AI 에이전트에게 일을 맡기기 전에, 사람이 먼저 세팅해야 할 세 가지

Claude Code, Codex, Antigravity 같은 도구들이 실무 현장에 빠르게 들어오고 있습니다. 대화만 하던 AI가 이제 파일을 직접 만들고, 코드를 실행하고, 결과물을 완성합니다.

그런데 막상 써보면 다른 일이 벌어집니다. 어제 잘 되던 요청이 오늘은 다른 결과를 냅니다. 자료를 담아둔 폴더에서 AI가 엉뚱한 파일을 참고합니다. 같은 질문인데도 담당자마다 형식도, 저장 위치도 다른 결과물이 돌아옵니다.

도구는 강력해졌는데, 결과는 왜 매번 달라질까요. 답은 이 시리즈의 출발점이자 첫 번째 주제이기도 합니다. AI에게 일을 맡기기 전에, 사람이 먼저 해둬야 할 일이 있다는 것입니다.

이 답에서 시작해, 이번 시리즈는 포텐스닷이 국내 대기업 제조 현장에서 진행한 AI Engineering 심화과정의 데이터 분석 편 내용을 다섯 편에 걸쳐 전달합니다. AI 에이전트가 일할 환경을 설계하는 법, 데이터 전처리에서 사람이 판단해야 할 것, 통계로 진짜 차이를 검증하는 법, 예측모델 네 가지, 그리고 이미지 분석까지. 교육에 참여하지 않았어도, 이 다섯 편만 따라오면 핵심은 그대로 얻어갈 수 있도록 구성했습니다.

대화형 AI에서 에이전트형 AI로

예전에는 AI를 쓰는 방식이 단순했습니다. 사람이 질문하면 AI가 코드를 답으로 주고, 그 코드를 사람이 복사해 직접 실행하는 식이었습니다. 지금의 AI 에이전트는 이 중간 단계를 스스로 처리합니다. 사람이 지시를 한 번 내리면, 그 다음부터는 AI가 탐색기·터미널·편집기를 스스로 제어해 완료까지 끝냅니다. 같은 결과에 도달하기까지 사람이 개입하는 단계가 크게 줄어드는 셈입니다.

여기서 놓치기 쉬운 조건이 하나 있습니다. AI는 하나의 '턴'(한 번의 대화 라운드) 안에서, 자기가 읽을 수 있는 분량(컨텍스트 윈도우)만큼만 근거로 삼아 답합니다. 자료가 이 한도를 넘으면 뒷부분은 그대로 놓칩니다. 그래서 무엇을 얼마나 보여줄지 미리 설계해두는 것, 이것은 여전히 사람의 일입니다. 다음 문제는 '얼마나'가 아니라, AI가 일할 환경 자체를 어떻게 갖추느냐입니다.

컨텍스트 엔지니어링, 프롬프트가 아니라 환경을 설계한다

지금까지는 도구를 어떻게 다루는지의 문제였습니다. 그런데 도구를 잘 다루는 것과 별개로, AI가 일할 환경 자체를 설계하는 문제가 따로 있습니다. 이걸 컨텍스트 엔지니어링이라고 부릅니다.

비유하면 이렇습니다. 프롬프트 엔지니어링이 AI에게 좋은 레시피를 주는 것, 즉 정확한 지시를 던지는 데 집중하는 것이라면, 컨텍스트 엔지니어링은 주방을 세팅하는 일에 가깝습니다. 요리, 즉 문제 풀이는 AI가 합니다. 사람은 어떤 재료(데이터)를 어떤 냄비(폴더)에 어떤 순서로 놓을지를 설계합니다.

AI 결과물을 가르는 건 질문이 아닙니다. 컨텍스트입니다. 같은 질문, 같은 AI라도 무엇을 보여주느냐가 결과를 결정합니다.

그럼 무엇을 세팅해야 할까요. 크게 세 가지입니다. 첫째는 폴더 구조입니다. 자료가 뒤섞이면 AI가 엉뚱한 파일을 참고하기 때문에, 참고 자료와 결과물, 도구를 각각 나눠 담습니다. 둘째는 파일명 규칙입니다. AI가 여러 파일을 볼 때 가장 먼저 보는 건 이름이라, 날짜와 목적, 버전을 담은 형식을 권장합니다. '최종.xlsx', '진짜최종.xlsx' 같은 파일명이 뒤섞이면 사람도 AI도 헷갈립니다. 셋째는 규칙서입니다. 사람은 모르면 질문하지만, AI는 지정하지 않은 것을 제멋대로 추측합니다. "보고서를 써줘"라고만 하면 형식과 저장 위치, 언어까지 AI가 임의로 정해버려 같은 요청에도 매번 다른 결과가 나옵니다. 그래서 항상 지켜야 할 규칙을 별도 파일에 미리 못박아 둡니다.

AI가 아무리 발전해도, 이 세 가지를 세팅하는 역할은 사람에게 남아 있습니다. 그리고 세팅이 끝났다고 일이 끝나는 것도 아닙니다.

컨텍스트 큐레이션, 실습 사례

컨텍스트 엔지니어링이 실제로 어떤 차이를 만드는지, 실습 사례로 확인할 수 있습니다.

상황은 이랬습니다. 특정 공정 설비를 다른 설비로 교체할지 검토하는 보고서를 써야 했습니다. 이런 의사결정에는 여러 자료가 필요한데, 현업에서 필요한 자료는 한 곳에 가지런히 정리되어 있는 법이 없습니다. 사내 위키에 흩어진 문서, 메신저 대화, 이메일, 공유 폴더, 담당자 개인 PC 폴더까지 뒤져서 하나로 모아야 합니다. 이 과정은 AI가 대신해줄 수 없습니다. 어디에 무엇이 있는지 아는 것 자체가 사람의 몫이기 때문입니다.

이렇게 모은 자료를 그대로 AI에게 넘기면 어떻게 될까요. 실제로 해보니, 자료를 다 넣고 "보고서를 써줘"라고 요청했을 때 AI는 그럴듯한 보고서를 만들어냈습니다. 문제는 그 안에 낡은 자료와 조건이 다른 수치가 섞여 있었다는 점입니다.

여기서 중요한 사실이 하나 드러납니다. 힘들게 모은 자료라고 해서 전부 쓸모 있는 건 아닙니다. 막상 업무를 해보면 필요하다고 생각했던 자료가 이미 오래되었거나, 우리 상황과 조건이 맞지 않아 참고할 수 없는 경우가 나옵니다. 반대로 검토가 진행되는 중에 새로운 자료가 확보되기도 합니다. 그래서 자료를 한 번 모아 넣고 끝나는 게 아니라, 필요 없는 자료는 걷어내고 새로 확보된 자료는 더해주는 작업이 계속 필요합니다. 이건 원래 사람이 일하는 방식 그대로입니다. AI에게 일을 맡길 때도 다르지 않습니다.

실제로 두 번째 시도에서는 지금도 유효한 자료인가, 우리 상황과 같은 조건인가, 임원 보고 근거로 써도 되는가라는 세 가지 기준으로 자료를 다시 걸렀습니다. 걸러야 할 자료에는 파일명에 표시를 해두고 다시 작성을 요청했더니, 보고서의 결론 자체가 달라졌습니다.

AI 시대 사람의 역할은 결국 어떤 데이터를 AI에게 줄 것인지를 결정하고, 해당 데이터를 모으는 것입니다.

지금까지 살펴본 내용을 정리하면 이렇습니다. AI 에이전트는 지시 한 번으로 탐색과 실행까지 끝낼 만큼 강력해졌지만, 그 결과를 가르는 건 여전히 사람의 몫입니다. 폴더 구조와 파일명 규칙, 지켜야 할 규칙을 미리 설계하는 것, 어디에 흩어진 자료를 모을지 판단하는 것, 모은 자료 중 무엇을 넣고 뺄지 가려내는 것. AI가 실행을 맡는 동안, 사람은 이 판단을 계속 맡습니다.

다음 편에서는 이렇게 정리된 자료를 실제로 분석에 쓸 수 있게 다듬는 단계, 데이터 전처리를 다룹니다. 결측값 하나를 채우는 방식에도 정답이 없고, 그 판단이 결과를 어떻게 바꾸는지 실제 제조 현장 사례로 확인합니다.

우리 조직에서도 AI 에이전트가 이런 방식으로 일하고 있는지, 혹은 그 이전 단계인 환경 설계부터 막혀 있는 건 아닌지 점검해보고 싶으시다면, 포텐스닷이 함께 확인해드릴 수 있습니다.