루프 엔지니어링이란, AI가 일을 완수할 때까지 반복하게 만드는 일

입사 첫날의 신입에게는 일을 하나하나 일러줘야 합니다. "이거 해 보세요", "틀렸네요, 다시 해 보세요"를 옆에서 매번 말해 줄 사람이 필요합니다. 그런데 6개월쯤 지나면 달라집니다. "이번 주 보고서 올려줘" 한마디면 스스로 확인하고, 틀린 곳을 고쳐서 가져옵니다.

하네스 엔지니어링 2편까지 마치면 에이전트에게는 일할 도구와 회사 사정, 결과를 통과시킬 기준과 장치가 갖춰집니다. 그래도 반려된 결과를 보고 다시 시키는 일은 여전히 사람이 합니다. 에이전트가 6개월차처럼 목표를 완수할 때까지 스스로 반복하게 하려면 무엇이 더 필요할까요.

답은 생각보다 간단합니다. 그 답을 확인해 볼 예시 업무는 국내 전자 대기업 영업 조직의 주간 채널 실적 보고입니다. 매주 금요일 오전, 채널 담당은 대리점 20곳이 보낸 주간 실적과 재무팀 확정 실적을 모아 한 장으로 정리해 팀장에게 올립니다. 하네스 엔지니어링 1·2편에서 다룬 월간 리뷰와 달리 매주 돌아오는 업무라 반복을 맡길 이유가 분명합니다. 이 보고서를 에이전트가 끝날 때까지 스스로 반복하게 만드는 루프 엔지니어링을 다섯 편으로 나눠 소개합니다.

루프 엔지니어링, 하네스 안에서 일이 끝날 때까지 에이전트를 돌게 한다

루프 엔지니어링이란, 하네스를 만들어 두고 그 안에서 에이전트가 일을 완수할 때까지 반복해서 돌게 하는 일입니다. 사람이 목표를 정하면 에이전트가 행동하고 결과를 확인합니다. 됐으면 멈추고, 아니면 다시 합니다. 이 순환이 루프이고, 앞에서 본 6개월차도 이렇게 일합니다.

하네스와 루프는 맡은 일이 다릅니다. 자동차로 치면 하네스는 엔진과 브레이크와 안전벨트이고, 루프는 몇 바퀴를 돌지, 언제 정비소에 들어갈지, 다음엔 어떤 코스로 갈지 정하는 운전 스케줄입니다.

하네스는 한 번의 실행을 위한 환경입니다. 하네스 엔지니어링 1·2편에서 갖춘 도구와 회사 사정, 판정 기준과 장치, 권한이 여기에 들어갑니다. 판정 장치는 코드일 수도, 만든 쪽과 따로 판정하는 검토 에이전트일 수도, 사람의 승인일 수도 있습니다. 루프는 그 장치가 내놓은 판정을 받아 다음 행동을 정합니다. 끝낼지, 실패한 부분만 다시 할지, 처음부터 다시 할지, 사람에게 넘길지가 그 선택지입니다. 하네스가 내놓은 통과와 반려를 받아야 루프가 움직입니다.

채널 담당이 에이전트에게 건네는 말로 옮기면 하네스는 "대리점이 보낸 원본 파일은 읽기만 하고, 발행 폴더에는 검증을 통과한 뒤에만 저장해."입니다. 루프는 "보고서를 만들면 항상 검토 에이전트에게 판정을 받고, 통과하면 거기서 끝내. 반려되면 사유를 보고 고쳐서 다시 만들고, 세 번을 해도 안 되면 나한테 물어봐."입니다.

루프 문장의 내용은 6개월차라면 굳이 듣지 않아도 알아서 하는 일입니다. 에이전트에게는 적어 줘야 합니다. 이 문장이 있으면 반려된 보고서를 사람이 다시 시키지 않아도 에이전트가 고쳐서 다시 냅니다.

루프 엔지니어링은 여기까지가 전부입니다. 하네스를 만들어 두고 "돌아라"라고 하면 끝입니다. 그런데 "돌아라"라고만 하면 몇 가지가 비어 있다는 것이 곧 드러납니다.

그냥 돌리기, 끝낼 때와 사람에게 넘길 때를 에이전트가 정해 버린다

에이전트는 지금도 한 번의 대화 안에서 결과를 확인하고 고쳐 가며 일합니다. 다만 어디까지 하면 끝인지는 에이전트가 정합니다. "돌아라"라고만 하면 그 판단이 그대로 에이전트 몫으로 남습니다. 끝을 정해 주지 않은 "이번 주 주간 보고서 만들어줘" 한 줄로 같은 보고서를 여러 번 만들게 했더니 결과가 모두 한 장을 크게 넘었습니다. 98줄에서 191줄까지 나왔고, 한 번은 시트 4개에 수식 1,016개가 든 엑셀 파일이 나왔습니다. 에이전트가 검증과 분석을 스스로 덧붙이며 보고서를 길게 늘렸기 때문입니다.

앞에서 본 루프 문장에 "통과하면 거기서 끝내"라고 적으려면 통과가 무엇인지가 먼저 정해져 있어야 합니다. "좋은 보고서가 될 때까지"는 읽는 사람마다 다른 답이 나오는 문장이라 에이전트가 언제 멈춰야 할지 알 수 없습니다. "필수 항목 5개가 모두 채워지고 숫자 출처가 전부 표시될 때까지"는 누가 확인해도 같은 답이 나옵니다. 끝났다는 기준은 이렇게 사람이 문장으로 정해 줘야 합니다.

사람에게 넘길 때도 마찬가지입니다. 대리점 한 곳의 파일이 빠졌거나 합계가 재무팀 확정 실적과 크게 어긋난 금요일 아침이라면 다시 만들어도 풀리지 않을 수 있습니다. 사람이 답해야 하는 문제이기 때문입니다. 루프 문장에서 "세 번을 해도 안 되면 나한테 물어봐"를 빼면 에이전트는 반복해서 고칠 문제인지 사람에게 물을 문제인지 구분할 방법이 없습니다. 통과할 때까지 끝없이 돌 수도 있고, 어느 시점에 조용히 멈출 수도 있습니다. 어느 쪽이든 사람이 모르는 사이에 일어납니다.

발행 폴더를 막아 둔 하네스 문장은 틀린 보고서가 나가는 것을 막을 뿐, 사람을 부르지는 않습니다. 일정한 순간에는 멈추고 사람의 확인을 받게 해야 하고, 그 순간은 사람이 정해 두어야 합니다.

하네스 위의 루프, 도구가 없으면 반복은 의미가 없다

대리점 파일을 읽어 합계를 내는 도구도, 보고서 양식과 회사 기준을 적어 둔 문서도 없는 에이전트에게 "돌아라"라고 하면 돌 때마다 같은 일을 처음부터 합니다. 하네스 엔지니어링 1편에서 본 것처럼 같은 일은 시킬 때마다 비용이 들고 결과도 조금씩 달라질 수 있는데, 반복하면 그 비용과 오차가 횟수만큼 쌓입니다.

판정 장치가 없으면 루프는 움직일 근거가 없습니다. "통과하면 거기서 끝내"도 "세 번을 해도 안 되면 나한테 물어봐"도 하네스가 내놓는 통과와 반려가 있어야 작동하는 말입니다.

회사 사정이 제대로 전해지지 않으면 하네스가 오동작하고, 하네스가 허술하면 루프는 같은 실수를 반복한 횟수만큼 키웁니다. 루프는 하네스와 따로 떼어 놓을 수 없고, 잘 갖춰진 하네스 위에서만 움직일 수 있습니다. 루프 엔지니어링은 성과를 낼 수 있는 하네스를 먼저 설계하고, 그 안에서 에이전트가 목표를 달성할 때까지 돌도록 끝낼 때와 사람에게 넘길 때를 정해 주는 일입니다.

6개월차는 어떤 보고서에 팀장이 고개를 끄덕이는지 압니다. 숫자마다 출처가 붙어 있는지, 합계가 재무팀 확정 실적과 맞는지를 열자마자 확인하는 사람입니다. 다만 그 기준을 글로 적어 본 적은 거의 없고, 처음 적어 보면 막히는 것이 정상입니다. 루프 문장의 "검토 에이전트에게 판정을 받고"는 그 기준이 있어야 쓸 수 있습니다. 같은 보고서에 한 사람은 통과를, 다른 사람은 반려를 준다면 검토 에이전트는 무엇을 따라야 할까요. 판정이 사람마다 흔들리면 그 기준으로 도는 루프도 흔들립니다. 다음 편에서는 두 사람이 따로 읽어도 같은 판정이 나오는 기준을 적고 확인하는 방법을 소개합니다.

이 사례는 포텐스닷이 진행한 루프 엔지니어링 교육에서 나온 것입니다. 같은 과정을 직접 설계해보고 싶다면 포텐스닷 기업교육에서 확인할 수 있습니다.