관리자의 AI 교육, 무엇을 더 배워야 진짜 강화되는가

시스코는 지난 8월 말 전 세계 직원 약 9만명에게 개인별 생성형 AI 에이전트 배치를 끝냈습니다. 직원이 접근할 수 있는 사내 정보와 업무 도구를 그대로 쓰면서 자료 조사부터 데이터 분석, 보고서 작성과 이메일 관리까지 처리하는 방식입니다. 마크 패터슨 시스코 최고재무책임자는 공시 서류에 들어가는 경영진 설명 부분의 초안을 80~90% 수준까지 이미 AI가 만들고 있다고 말했습니다.

비슷한 시기에 메타에서는 다른 종류의 숫자가 나왔습니다. 로이터통신이 내부 문서를 확인해 보도한 내용을 보면, AI 도구를 쓰면서 사내 인프라와 플랫폼 전반의 코드 변경량이 전년보다 220% 늘었습니다. 실제로 이용자에게 전달된 신규 기능이나 개선은 36% 늘어나는 데 그쳤습니다.

메타는 지난 5월 전체 인원의 10% 정도를 줄였고, 11월로 예정돼 있던 2차 감축은 접었습니다. 생성형 AI에 일을 넘긴 만큼 사람이 할 일은 줄어들 것으로 봤는데, 메타에서는 사람 손이 오히려 다른 곳에서 더 필요해졌습니다.

AI 사용량, 성과와 같은 말이 아니다

오픈AI가 공개한 기업 고객 분석 보고서를 보면, 지난 6월 기준으로 월간 AI 사용량이 상위 10%에 해당하는 기업은 직원 한 명당 AI가 내놓은 결과물의 분량, 업계에서 출력 토큰 수라고 부르는 값이 중간 수준 기업의 8.3배였습니다. 올 1월에는 2.6배였습니다. 이 값은 AI가 내놓은 분량을 세어 비교한 것이고, 그 결과물이 실제 업무에 쓰였는지까지 확인한 숫자는 아닙니다.

같은 보고서에는 다른 수치도 있습니다. 사내 데이터와 업무 도구를 AI가 직접 가져다 쓰는 기능을 매주 쓰는 비율이 상위 기업은 21%, 중간 기업은 9%였습니다. 앞선 기업은 AI를 더 많이 쓰는 데 그치지 않고, 회사 안에 쌓인 데이터를 실제로 가져다 쓰고 있었습니다.

많이 쓰고 데이터를 잘 가져다 썼다고 해서 결과가 따라오는 것은 아닙니다. 앞서 본 메타의 두 숫자 옆에는 다른 두 숫자도 있습니다. 같은 기간 서비스 중단과 데이터 유출 위험 같은 주요 기술과 보안 사고가 40% 늘었고, 직원들이 그 사고를 수습하는 데 쓴 시간이 70% 늘었습니다.

만들어지는 양이 세 배로 늘어난 조직에서 그 결과물을 들여다볼 사람이 세 배로 늘지는 않았습니다. 그래서 대부분은 들여다보지 않은 채로 통과합니다. 통과한 것 중 일부가 사고가 되어 돌아오고, 그 수습에 사람 시간이 들어갑니다. 이용자에게 전달된 개선이 36%에 머문 것도 이 자리에서 나온 숫자입니다.

국내 기업으로 눈을 돌리면 다릅니다. 직원 9만명에게 에이전트를 배포하는 일은 아직 드뭅니다. 대신 지난 몇 년간 생성형 AI 교육을 거친 임직원이 자기 업무를 자동화한 도구를 만들어둔 조직은 많습니다. 교육이 끝날 때마다 산출물 목록이 채워지고, 그 목록은 해마다 길어집니다.

그 목록과 함께 결과 보고가 올라갑니다. 참여 인원과 만들어낸 도구 개수, 교육 이후 생성형 AI 사용률이 적힙니다. 이 숫자들은 전부 만들어진 양을 셉니다. 메타가 220%를 들여다보고 있던 위치와 다르지 않습니다. 지난 글에서 스킬 파일 건수만 채워져 있다면 지난 교육이 조직에 남긴 것은 올라간 확률뿐이라고 쓴 것과 같은 얘기입니다.

관리자의 일, 결과를 보는 데서 조건을 정하는 데로 넓어진다

에이전트를 도입한 조직에서 지금 나오는 권고는 대체로 한 방향을 가리킵니다. 에이전트가 직원 계정을 빌려 쓰지 않게 계정을 따로 내주어 사람이 한 일과 섞이지 않게 하고, 그 업무를 책임지는 사람을 정해두고, 업무에 필요한 최소한의 데이터만 보게 하고, 송금이나 구매나 파일 삭제나 외부 전송처럼 되돌리기 어려운 행동에는 사람 승인을 걸어두고, 무엇을 어떻게 처리했는지 기록을 남겨 사고가 났을 때 원인과 책임을 짚을 수 있게 하라는 것입니다.

여기에 AI를 어떻게 쓰라는 얘기는 없습니다. 무엇을 읽게 할지 정하고, 무엇을 내보내기 전에 사람이 확인할지 정하고, 무엇을 기록으로 남길지 정하는 일입니다. 이 결정들은 도구를 쓰는 사람보다 그 결과를 책임지는 사람 쪽에 놓여 있습니다.

국내 조직에서도 같은 결정이 이미 내려지고 있습니다. 임직원이 생성형 AI로 자기 업무 도구를 만들 때 무엇을 읽게 할지, 결과를 사람 확인 없이 내보낼지, 무엇을 기록으로 남길지를 만든 사람이 혼자 정합니다. 다만 이 결정을 되짚어 묻는 사람은 없습니다. 교육이 끝나고 제출되는 것은 작동하는 도구이고, 그 안에서 어떤 선택이 있었는지는 제출 대상이 아닙니다.

결과를 가릴 기준은 AI 쪽에 없습니다. 생산관리팀 팀원이 라인별 불량 데이터를 모아 주간 보고를 만드는 도구를 만들었다고 해봅시다. 팀장이 그 결과가 맞는지 판단하려면 불량 유형을 몇 가지로 나눠야 하는지, 어느 라인까지 포함해야 하는지, 지난주 대비 증가가 어느 폭을 넘으면 원인 조사로 넘기는지를 알고 있어야 합니다. 전부 그 업무를 판단해온 사람 머릿속에 있는 것들입니다. 이 기준을 손에 들고 있지 않으면 팀장이 볼 수 있는 것은 형식뿐입니다. 유형이 표에 들어차 있고 합계 칸이 채워져 있으면 넘어갑니다.

기준을 들고 있어도 결과만 보고는 가릴 수 없는 것이 남습니다. 주간 보고에 찍힌 불량 건수가 어느 파일에서 나온 것인지, 그 파일이 이번 주에 제대로 갱신된 것인지는 결과물 표면에 나타나지 않습니다. 팀장이 정해둬야 할 것은 결과를 받아보는 시점보다 앞에 있습니다.

관리자 대상 AI 교육을 강화해야 한다는 요청은 이미 많습니다. 상반기에도 리더 실습을 넣고 교육 시수를 늘려달라는 요청이 꾸준했습니다. 다만 그 요청은 대개 생성형 AI를 더 깊이 설명하거나 관리자가 직접 도구를 만들어보는 시간을 늘리는 쪽으로 번역됩니다. 팀원이 들고 온 결과를 자기 팀의 기준으로 가려내는 훈련, 그리고 그 결과가 어떻게 만들어질지를 미리 정해두는 훈련은 그 시간에 들어가지 않습니다. 강도를 올리는 것과 방향을 바꾸는 것은 다른 일입니다.

데이터가 있느냐는 질문, 어디에 어떤 형태로 쌓이느냐까지 가야 한다

그 방향이 갈리는 지점이 데이터입니다. 계정만 부여한 조직에서는 영업사원이 제안서를 써달라고 하기 전에 고객 정보와 기존 제안서, 가격표를 먼저 찾아 넘겨야 하고, 나온 초안도 직접 파일로 만들어 사내망에 올려야 합니다. 에이전트를 붙이면 그 구간이 사라집니다. 대신 그 데이터가 어디 있고 결과가 어디로 가야 하는지는 미리 정해져 있어야 합니다.

매일 아침 점포마다 전날 판매 데이터를 메일로 보내오는 회사를 생각해봅시다. 영업기획 담당자가 그 데이터를 모아 일일 보고를 만드는 도구를 만들었습니다. 도구는 공유 폴더에 있는 파일을 읽어 집계합니다. 실습에서는 잘 돌았습니다. 실무에 붙이자 매일 아침 누군가 메일을 열어 첨부 파일을 그 폴더에 저장하는 일이 남았습니다. 스무 개 점포면 스무 번입니다. 두 주쯤 지나 담당자는 예전처럼 직접 집계하고 있었습니다.

결과 쪽에서도 같은 일이 생깁니다. AI가 화면에 표를 만들어주면 그 자리에서는 일이 끝난 것처럼 보입니다. 다음 달에 지난달 수치와 견주려고 그 표를 다시 찾을 때 어디를 열어야 하는지 아무도 모릅니다. 저장할 곳을 정하지 않았으니 대화창에만 남아 있습니다.

저장할 곳을 정해도 그 자리가 하나여야 합니다. 누군가 파일을 내려받아 숫자를 고친 뒤 자기 폴더에 두고, 도구는 원래 파일을 계속 읽습니다. 회의에서 두 사람이 서로 다른 숫자를 들고 옵니다. 어느 쪽이 맞느냐는 질문에 답할 사람이 없습니다.

올라오는 데이터에서는 이름 표기가 자주 걸립니다. 같은 점포가 어떤 파일에서는 '강남점'으로, 어떤 파일에서는 '강남 점'으로 적혀 있으면 도구는 두 곳으로 셉니다. 합계는 맞고 점포 수만 하나 늘어납니다. 표를 보고 이상하다고 느낄 사람은 그 지역에 점포가 몇 개인지 외우고 있는 사람뿐입니다.

가장 알아채기 어려운 것은 데이터가 오지 않은 날입니다. 사람은 파일이 없으면 담당자에게 연락합니다. 도구는 그러지 않습니다. 어제 파일이 그 자리에 남아 있으면 그것으로 집계해 오늘 보고를 만듭니다. 형식이 어제와 똑같으니 받는 사람도 그냥 봅니다.

에이전트가 붙으면 같은 결함이 더 조용해집니다. 도구는 지정된 파일을 못 찾으면 멈추기도 합니다. 에이전트는 사내망을 훑어 그럴듯한 파일을 스스로 골라 읽습니다. 멈추지 않고 결과가 나오니 무엇을 읽었는지 확인하지 않으면 알 수 없습니다.

제조와 서비스와 유통 현장에서는 데이터가 이만큼 정돈돼 있는 경우가 드뭅니다. 사람 손을 여러 번 거쳐 만들어지고 그 손이 매번 조금씩 다르게 움직입니다. 지금까지는 사람이 보고 알아서 맞춰왔으니 드러나지 않았을 뿐입니다.

팀장이 데이터가 이렇게 움직인다는 것을 모르면 팀원이 도구를 만들겠다고 할 때 물을 것이 없습니다. 쓸 데이터가 있느냐고 묻고 매출 파일로 하겠다는 답을 들으면 그것으로 끝납니다. 그 파일이 어디에 있고 누가 언제 채우고 이름 표기가 매번 같은지는 묻지 않습니다. 그리고 결과가 어긋난 날 손댈 곳이 하나밖에 보이지 않습니다. 도구에 적어둔 지시문(예: CLAUDE.md)을 다시 고칩니다.

읽을 범위와 내보내기와 기록, 지금은 만든 사람이 혼자 정한다

무엇을 읽게 할지는 도구를 만드는 자리에서 정해집니다. 파일을 하나하나 지정하는 경우는 드뭅니다. 대개 폴더를 알려주고 그 안에 있는 것을 읽으라고 씁니다. 만드는 동안에는 그 폴더에 필요한 파일만 있었습니다. 몇 달 뒤 다른 팀 담당자가 참고용 데이터를 그 폴더에 하나 올려둡니다. 그달부터 집계 숫자가 달라집니다. 도구를 만든 사람은 폴더를 지정했다고만 기억하고 있으니 숫자가 왜 달라졌는지 찾는 데 며칠이 걸립니다.

결과가 나가기 전에 사람이 확인할지도 그 자리에서 정해집니다. 고객 문의를 유형별로 나눠 정형 답변을 회신하는 도구를 만들었다고 해봅시다. 확인 단계를 넣으면 자동화한 보람이 줄어 보입니다. 그래서 대개 넣지 않습니다. 잘못 분류된 문의에 엉뚱한 답변이 나가고 고객이 다시 문의해오면, 그때 확인 단계가 들어갑니다. 그 사이에 나간 답변이 몇 건인지는 아무도 셀 수 없습니다.

셀 수 없는 이유는 무엇을 기록으로 남길지도 같은 자리에서 정해졌기 때문입니다. 답변이 나간 사실은 메일함에 남지만, 그 문의를 어떤 근거로 어느 유형에 넣었는지는 남지 않습니다. 결과가 틀린 것을 발견한 날 되짚을 수 있는 범위는 사람이 기억하는 만큼입니다. 지난 몇 달 치를 다시 열어보는 일이 사람 손으로 돌아옵니다.

셋 다 도구를 만드는 자리에서 정해졌습니다. 그리고 그 사람은 자기 업무를 처리하려고 도구를 만든 것이지, 그 도구가 몇 달 뒤 팀에서 어떻게 될지를 놓고 만든 것이 아닙니다. 팀장이 물을 것도 이 셋입니다. 어느 폴더를 읽게 했는지, 밖으로 나가기 전에 누가 보는지, 무엇이 남는지입니다.

이걸 물으려면 파일이 폴더 단위로 읽힌다는 것, 자동으로 나가는 것과 사람이 보고 나가는 것이 다른 설정이라는 것, 처리 과정은 따로 남기지 않으면 남지 않는다는 것을 알고 있어야 합니다. 생성형 AI를 더 깊이 배워서 생기는 감각이 아닙니다.

에이전트를 붙인 조직에서는 이 세 결정이 만든 사람 손을 떠납니다. 도구 하나가 아니라 직원 수만큼의 에이전트가 사내망에 붙어 있으니 개인이 정할 수 있는 범위를 넘어섭니다. 시스코 규모에서 계정을 따로 내주고 승인을 걸고 기록을 남기라는 권고가 나온 것도 그래서입니다. 다만 그 조직에서도 승인 화면 앞에 앉는 사람은 관리자입니다.

결론

관리자 교육을 다시 설계할 때 재료로 쓸 것은 이미 조직 안에 있습니다. 지난 교육에서 나온 도구들입니다. 그중 몇 개를 골라 만든 사람과 그 팀 팀장을 같은 자리에 앉히고, 팀장이 세 가지를 물어보게 하면 됩니다. 어느 폴더를 읽고 있는지, 밖으로 나가기 전에 누가 보는지, 무엇이 남는지입니다. 만든 사람이 답하고 팀장이 되묻는 동안 팀장 쪽에서 무엇을 몰랐는지가 드러납니다.

이 자리를 한 번 거친 도구는 몇 달 뒤에도 같은 숫자를 냅니다. 어느 폴더를 읽을지 좁혀뒀으니 다른 파일이 섞여 들어와도 걸러지고, 밖으로 나가는 건은 정해둔 사람이 보고, 틀린 것이 나왔을 때는 남겨둔 기록으로 언제부터였는지 되짚을 수 있습니다.

여기에 새로 필요한 시간은 없습니다. 팀장이 직접 도구를 만들어보는 데 쓰던 시간을 옮기면 됩니다. 다만 그 자리에서 팀장의 질문에 답하는 쪽은 도구를 만든 팀원이고, 팀원이 처음부터 폴더와 확인 단계와 기록을 정해두려면 팀원도 같은 것을 알고 있어야 합니다.