AI 시대의 전처리 판단력, 데이터 교육이 놓친 것

지난 편에서는 AI 에이전트에게 일을 맡기기 전에 사람이 먼저 세팅해야 할 세 가지를 살펴봤습니다. 폴더 구조와 파일명 규칙, 규칙서를 갖추고, 흩어진 자료 중 무엇을 넣고 무엇을 뺄지 가려내는 일까지였습니다.

여기까지 오면 자연스럽게 따라오는 기대가 있습니다. 파일을 직접 만들고 코드까지 실행하는 에이전트라면, 데이터를 분석할 수 있는 상태로 정리하는 일도 알아서 해주지 않을까 하는 기대입니다. 그런데 막상 파일을 넘기고 "전처리해줘"라고만 하면 결과가 이상하게 나옵니다. AI는 지정하지 않은 것을 제멋대로 추측하기 때문입니다. 어떤 행은 지워지고 어떤 빈 칸은 평균값으로 채워지는데, 왜 그렇게 처리됐는지 아무도 설명하지 못합니다.

AI 성능의 문제가 아닙니다. 기준을 정하지 않고 맡겼기 때문에 벌어진 일입니다. 데이터 교육을 이미 운영하고 있는 조직이라면 이 지점을 눈여겨볼 필요가 있습니다. 도구를 다루는 법은 가르쳤는데 기준을 세우는 법을 다루지 않았다면, 참여자는 AI에게 무엇을 지시해야 할지 모르는 상태로 남습니다.

이번 편에서는 국내 대기업 제조 현장에서 진행한 AI Engineering 심화과정의 데이터 전처리 파트를 살펴봅니다. AI가 실행하기 전에 사람이 무엇을 판단해야 하는지, 실제 실습 사례로 확인합니다.

AI가 도구를 대신 쓰는 시대, 사람에게 남는 능력

데이터를 잘 다루는 사람은 이제 엑셀이나 파이썬을 잘 다루는 사람이 아닙니다. 도구는 AI가 대신 씁니다. 남는 것은 데이터를 올바르게 설계하고 결과를 제대로 해석하는 능력입니다.

이 능력은 분석 단계에서 발휘되는 것이 아닙니다. 그보다 훨씬 앞, 데이터를 처음 열어보는 순간부터 필요합니다. 눈앞의 데이터가 어떤 데이터인지 읽어내지 못하면 그대로 분석에 넣어도 되는지 아니면 손질이 먼저인지 판단할 수 없고, AI에게 무엇을 시켜야 하는지도 정할 수 없습니다.

그래서 데이터의 유형부터 구분할 수 있어야 합니다.

데이터는 크게 정량 데이터와 정성 데이터로 나뉩니다. 정량 데이터는 정해진 항목에 값이 들어가 세거나 계산할 수 있는 데이터입니다. 설비별 온도 기록, 일자별 생산량, 라인별 불량 건수처럼 표의 각 칸이 값으로 채워진 형태입니다. 정성 데이터는 숫자나 정해진 값으로 기록되지 않은 데이터입니다. 담당자가 자유롭게 적은 점검 기록, 고객 문의 내용, 회의록, 설비 사진이 여기 해당합니다. 현장 데이터의 상당 부분이 실제로는 이쪽인데, 그 자체로는 집계도 비교도 불가능합니다. 표로 옮겨 정량 데이터로 바꾸는 작업이 반드시 앞에 붙어야 합니다.

정량 데이터는 다시 연속형과 범주형으로 나뉩니다. 연속형은 값의 간격이 의미를 가집니다. 날짜와 시간, 온도, 압력, 두께가 그렇습니다. 1월 1일과 1월 2일은 명확히 하루 차이이고 25도와 27도는 2도 차이여서, 평균을 내고 증감을 따지고 추세를 그리는 것이 모두 가능합니다. 범주형은 값이 이름표 역할만 합니다. 설비명, 라인 번호, 불량 유형, 작업조가 여기 해당합니다. '설비 1'과 '설비 2'를 더하거나 평균을 내면 아무 의미 없는 숫자가 나옵니다. 대신 이 데이터는 분류의 기준이 됩니다. 설비별로 묶어 불량 건수를 세거나 작업조별로 나눠 비교할 때 쓰입니다. (값이 이름표 역할을 하는 범주형은 통계학에서 정성 데이터로 분류하기도 합니다. 여기서는 표의 정해진 항목에 값이 들어가 집계할 수 있는지를 기준으로 나눴습니다.)

사소한 구분처럼 보이지만 이걸 넘어가면 AI에게 정확한 지시를 내릴 수 없습니다. 어떤 열을 숫자로 계산하고 어떤 열을 이름표로 취급해야 하는지 알려주지 않으면, AI는 열 이름과 값의 생김새만 보고 추측합니다. 숫자로 적힌 라인 번호가 평균 계산에 들어가는 일이 여기서 벌어집니다.

무엇보다 유형을 읽어내면 무엇을 손질해야 하는지가 함께 보입니다. 자유서술로 적힌 기록이라면 표로 바꿔야 하고, 연속형인데 시스템마다 날짜 서식과 단위가 다르다면 형식을 맞춰야 하고, 범주형인데 같은 설비가 다른 코드로 적혀 있다면 표기를 통일해야 합니다. 값이 비어 있는 칸을 어떻게 처리할지도 정해야 합니다.

유형을 구분했다면 그 데이터가 업무상 무엇을 담고 있는지도 분류해둘 필요가 있습니다. 생산 현장 데이터라면 4M이 참고할 만한 틀입니다. Man(사람), Machine(설비), Material(재료), Method(방법)로 나누는 방식입니다. 모든 데이터에 적용되는 분류 체계는 아니지만, 수십 개 열이 나열된 공정 데이터를 앞에 두고 어디서부터 봐야 할지 막막할 때 범위를 좁혀줍니다. 불량률이 올랐다면 원인이 사람 쪽인지 설비 쪽인지 재료 쪽인지 방법 쪽인지 가설을 세우고, AI에게 어떤 변수로 분석할지 지시할 수 있게 됩니다.

이 과정을 거치면 거의 예외 없이 같은 결론에 도달합니다. 지금 이 데이터를 그대로 분석에 쓸 수 있는 상태가 아니라는 것입니다.

전처리, 두 갈래의 판단

분석 가능한 상태가 아닌 데이터를 그대로 넣으면 결과는 틀립니다. 사람이 분석할 때도 마찬가지고 AI에게 맡길 때도 다르지 않습니다. 다만 차이가 하나 있습니다. 사람이 직접 엑셀을 열어 작업하면 데이터가 이상하다는 걸 중간에 눈치챕니다. 날짜 형식이 뒤죽박죽이면 정렬이 안 되고, 빈 칸이 많으면 계산식에 오류가 뜹니다. AI는 멈추지 않습니다. 알아서 처리하고 그럴듯한 결과를 내놓습니다. 어디서 무엇을 임의로 결정했는지는 결과물에 남지 않습니다.

실무에서 마주치는 전처리는 크게 두 갈래입니다.

첫째는 데이터 형식이 서로 맞지 않는 경우입니다. 여러 시스템에서 데이터를 내려받으면 한쪽은 날짜를 2026-07-24로 적고 다른 쪽은 26/7/24로 적습니다. 단위도 어긋납니다. 한 파일은 밀리미터, 다른 파일은 마이크로미터입니다. 설비 코드도 시스템마다 접두어가 붙거나 빠집니다. 여기서 필요한 판단은 무엇을 기준으로 맞출지 정하는 것입니다. 날짜를 어떤 형식으로 통일할지, 단위를 어느 쪽에 맞출지, 설비 코드는 어느 시스템 표기를 정답으로 볼지. AI는 어느 쪽이 맞는지 알 수 없습니다. 사내에서 어떤 표기를 표준으로 쓰는지, 어떤 시스템의 데이터가 더 신뢰할 만한지는 업무를 아는 사람만 알고 있습니다.

둘째는 값이 비어 있는 경우, 결측값 처리입니다. 여기에는 정답이 없습니다. 선택지는 크게 세 가지입니다. 빈 칸이 있는 행 전체를 지우거나, 관련된 값을 가져와 채우거나, 평균 같은 통계값으로 채웁니다. 어느 쪽이 맞는지는 데이터가 아니라 업무 맥락이 결정합니다.

같은 온도 데이터의 빈 칸이라도 사정이 다릅니다. 센서가 순간적으로 값을 놓친 것이라면 앞뒤 값을 참고해 채우는 편이 실제에 가깝습니다. 설비가 정지해 있어서 측정 자체가 없었던 것이라면, 채우는 순간 가동 중이던 것처럼 왜곡됩니다. 이때는 그 행을 빼는 것이 맞습니다. 평균으로 채우는 방식은 빈 칸이 몇 개뿐일 때는 무해하지만, 전체의 30%가 비어 있다면 데이터를 평균 쪽으로 끌어당겨 실제 편차를 지워버립니다.

이 판단은 데이터를 아무리 들여다봐도 나오지 않습니다. 그 빈 칸이 왜 비었는지 아는 사람에게서만 나옵니다. AI에게 "전처리해줘"라고만 하면 AI는 이 중 하나를 임의로 골라 실행합니다. 결과가 이상하게 나오는 것이 오히려 정상입니다.

징검다리 전략, 단계를 늘리면 정확해진다

여기까지 오면 문제의 정체가 분명해집니다. AI의 성능이 부족한 것이 아니라, 판단해줘야 할 것을 판단해주지 않은 채 맡긴 것입니다. 어떻게 처리할지에 대한 의사결정은 사람의 몫입니다.

그렇다면 이 판단을 어떻게 전달할까요. 전처리 항목을 미리 전부 예상해 지시문에 담는 것은 불가능합니다. 데이터를 열어보기 전에는 무슨 문제가 있는지 모르기 때문입니다.

그래서 "한 번에 다 해줘"가 아니라 중간에 확인 단계를 끼워 넣습니다. 먼저 어떤 문제가 있고 어떻게 처리할 계획인지 보고받습니다. 사람이 그 계획을 검토해 기준을 잡아줍니다. 그다음 실행하게 합니다. 계획을 받아보는 순간 "이 열의 빈 칸은 채우면 안 된다"는 판단이 비로소 가능해집니다. 이렇게 중간에 발판을 놓아가는 방식을 징검다리 전략이라고 부릅니다.

이 전략의 핵심은 단계를 늘릴수록 결과가 정확해진다는 점입니다. 사람이 직접 작업할 때는 단계를 늘리는 것이 곧 일이 늘어나는 것입니다. 그래서 우리는 습관적으로 단계를 줄이려 합니다. 실행을 AI가 맡으면 이 계산이 달라집니다. 단계가 늘어나도 사람이 하는 일은 계획을 검토하고 기준을 확인하는 것뿐이라, 작업량은 거의 그대로입니다. 정확도만 올라갑니다. AI에게 일을 맡길 때는 오히려 단계를 잘게 쪼개는 것이 유리합니다. 사람이 일할 때와 반대입니다.

징검다리는 결측값에만 쓰는 방식이 아닙니다. 형식을 통일할 때도, 여러 데이터를 연결할 때도, 그 이후의 분석 단계에서도 같은 원칙이 적용됩니다. 사람이 기준과 방향을 잡고 AI가 실행한다는 구조 자체가 징검다리입니다.

한 가지 덧붙일 것이 있습니다. 매번 반복되는 작업이고 처리 방식이 이미 정해져 있다면, 그때마다 AI에게 맡기는 것보다 코드로 한 번 굳혀두고 재사용하는 편이 빠르고 정확합니다. 코드는 같은 입력에 항상 같은 결과를 내놓고, 없는 내용을 지어내지도 않습니다. 무엇을 코드로 고정하고 무엇을 AI의 판단에 맡길지 가려내는 것, 이것이 AI 에이전트를 제대로 쓰는 능력입니다.

실습으로 확인한 것

상황은 이랬습니다. 매일 아침 설비 알람 로그를 내려받아 라인별로 거르고 정리하는 업무가 있었습니다. 하루에 쌓이는 양이 약 3,000행입니다. 문제는 데이터를 내려받는 시스템이 하나가 아니라는 점이었습니다. 날짜 표기가 다르고 단위 표기가 달라 손으로 맞추는 데만 매번 1.5시간이 걸렸습니다. 분석은 시작도 하기 전입니다.

이 작업을 두 갈래로 나눠 진행했습니다. 한쪽은 AI 에이전트에게 파일을 넘기고 "정제해줘"라고 요청했습니다. 다른 한쪽은 먼저 기준을 적었습니다. 어떤 행을 삭제할지, 어떤 열에서 숫자만 남길지, 날짜는 어떤 형식으로 통일할지를 정한 다음, 그 기준대로 동작하는 파이썬 코드를 만들도록 지시했습니다.

기준을 주지 않은 쪽에서는 AI가 추측해 처리했습니다. 정제된 파일이 나오기는 했지만, 그 안에서 무엇이 어떻게 처리됐는지 확인할 수 없었습니다. 삭제된 행이 왜 삭제됐는지, 남은 값이 어떤 단위인지 설명할 근거가 없습니다. 이 상태로는 다음 단계로 넘어갈 수 없습니다. 분석 결과가 이상해도 원인을 어디서 찾아야 할지 모르기 때문입니다. 기준을 준 쪽은 어떤 규칙으로 처리됐는지가 코드에 남았고, 다음 날 같은 작업을 다시 시켰을 때도 같은 결과가 나왔습니다. 1.5시간이 코드 실행 몇 초로 줄어든 것은 그다음 이야기입니다.

두 번째 상황은 형태가 다른 데이터였습니다. 담당자들이 자유롭게 적어온 설비 점검 기록을 매월 설비 ID, 점검 날짜, 이상 여부가 담긴 표로 옮기는 업무입니다. 표기 방식이 담당자마다 달라 자동화가 어려웠고, 그래서 한 건씩 눈으로 읽어가며 옮기고 있었습니다. 이 작업은 AI가 잘하는 영역입니다. 줄글의 구조를 파악해 항목별로 분해하고, 제각각인 날짜 표기를 하나로 맞추는 일까지 처리했습니다. 사람이 정해줘야 할 것은 어떤 항목을 뽑을지와 어떤 형식으로 통일할지였습니다. 현장 데이터의 상당 부분이 원래 이런 형태입니다. 점검 기록, 인수인계 메모, 고객 문의 이력처럼 사람이 읽으라고 쓴 기록들입니다. 이걸 표로 옮겨두지 않으면 집계도 비교도 예측도 시작할 수 없습니다.

세 번째는 흩어진 데이터를 하나로 합치는 작업이었습니다. 불량 원인을 보려면 부품 마스터와 입고 이력, 청구 이력을 부품 번호로 연결해야 했습니다. 그런데 시스템마다 코드 표기가 달랐습니다. 한쪽에는 접두어가 붙어 있고 다른 쪽에는 없는 식입니다. 이런 작업을 엑셀 함수로 처리하면 위험합니다. 표기가 어긋난 행은 오류를 내지 않고 그냥 연결되지 않은 채 남습니다. 결과 화면에는 숫자가 정상적으로 나오는데, 그 숫자가 전체 데이터의 몇 퍼센트를 반영한 것인지는 드러나지 않습니다.

그래서 순서를 바꿨습니다. 먼저 AI에게 어떤 기준으로 어떻게 합칠지 방안을 정리하게 하고, 사람이 그 방안을 검토했습니다. 접두어 차이를 어떻게 맞출지 확정한 다음 연결을 실행했습니다. 그리고 연결이 성공한 비율을 함께 계산해, 80% 미만이면 경고가 뜨도록 설계했습니다.

이 마지막 장치가 중요합니다. 무엇을 기준으로 연결해야 하는지 아는 사람만이 결과가 맞는지 검토할 수 있습니다. 연결율이라는 지표를 붙여야 한다는 판단도 데이터를 아는 사람에게서 나옵니다. AI는 지시받은 대로 연결하고, 그 결과가 신뢰할 만한지는 알려주지 않습니다.

판단은 사람, 실행은 AI

데이터를 분석에 쓸 수 있는 상태로 만드는 일은 이제 대부분 AI가 실행합니다. 형식을 통일하고 빈 칸을 처리하고 흩어진 데이터를 연결하는 작업 자체는 사람이 손댈 필요가 줄었습니다.

그러나 그 앞에 남는 것이 있습니다. 이 데이터가 어떤 유형인지 판정하는 것, 무엇을 기준으로 형식을 맞출지 정하는 것, 빈 칸이 왜 비었는지 알고 처리 방식을 결정하는 것, 연결된 결과가 믿을 만한지 검증할 장치를 설계하는 것. 이건 데이터를 아무리 들여다봐도 나오지 않습니다. 업무를 아는 사람에게서만 나옵니다.

HRD 관점에서 짚어볼 지점이 여기입니다. 데이터 교육을 이미 운영하고 있다면, 그 과정이 도구를 다루는 법에 얼마나 배정되어 있고 기준을 세우는 훈련에 얼마나 배정되어 있는지 확인해볼 필요가 있습니다. 도구를 다루는 일은 AI가 대신하는 영역으로 넘어갔습니다. 반면 기준을 세우는 판단은 대신할 주체가 없는데, 이 훈련은 교육 과정에 들어 있지 않은 경우가 많습니다. 참여자가 AI에게 무엇을 지시해야 할지 모르는 상태로 남는 이유입니다.

다음 편에서는 이렇게 정리된 데이터로 실제 비교를 시작합니다. "A조 불량률 3.4%, B조 3.1%"라는 숫자를 앞에 두고 A조가 문제라고 말할 수 있는지, 그 차이가 진짜인지 확인하는 방법을 다룹니다.

우리 조직의 데이터 교육이 도구 사용법에 머물러 있는지, 기준을 세우는 훈련까지 담고 있는지 점검해보고 싶으시다면, 포텐스닷이 함께 확인해드릴 수 있습니다.