AI에게 엑셀 파일을 던지고 “핵심만 분석해줘”라고 입력하면 몇 초 뒤 그럴듯한 답이 나온다. 매출이 왜 떨어졌는지, 어떤 고객군이 중요한지, 다음 달에는 무엇을 해야 하는지까지 말해준다. 예전 같으면 데이터를 정리하고 피벗 테이블을 만들고 차트를 그리느라 한참 걸렸을 일이 커피 한 모금 마시는 사이에 끝난다.
문제는 여기서 시작된다.
빨리 나온 답이 곧 맞는 답은 아니다.
AI 시대의 데이터 리터러시는 AI를 쓰지 않는 능력이 아니다. 오히려 AI를 적극적으로 쓰되, 어디까지 맡기고 어디서부터 사람이 확인해야 하는지 아는 능력에 가깝다. (human on the loop or human in the loop)
그 숫자는 어디에서 나왔나
월요일 오전, 팀장이 말한다.
“지난달 광고 성과 파일 AI에 넣어봤는데, 30대 여성 고객의 전환율이 가장 높대요. 다음 달 예산은 이쪽으로 몰죠.”
회의실에서 이 문장을 들으면 이상하게 반박하기 어렵다. ‘AI가 분석했다’는 말에는 사람이 직접 계산했다는 말보다 더 객관적이고 정교할 것 같은 느낌이 붙기 때문이다.
하지만 가장 먼저 물어야 할 질문은 언제나 같다. 그 숫자는 어디에서 나왔는가.
AI가 숫자를 말하는 과정에는 적어도 4개 층이 섞여 있다.
- 원본 데이터 — 실제로 수집된 매출, 클릭, 설문, 고객 기록
- 계산 — 합계, 평균, 비율, 증감률 같은 연산
- 해석 — 왜 이런 변화가 나타났는지에 대한 설명
- 생성된 문장 — 사람이 이해하기 쉽게 정리한 결론
우리는 ‘AI 분석 결과’라고 부른다. 하지만 믿어도 되는 정도는 층마다 다르다.
원본 파일에 30대 여성의 구매가 120건 있었다는 것은 확인할 수 있는 사실이다. 반면 “30대 여성은 브랜드 충성도가 높아서 구매가 많았다”는 문장은 해석이다. 데이터에 충성도를 잰 항목이 없다면 그럴듯한 추론일 뿐이다.
AI가 숫자를 틀리는 방식은 생각보다 평범하다
AI의 오류가 늘 영화처럼 거창한 것은 아니다. 실무에서는 오히려 아주 사소한 곳에서 난다.
- 전체 고객 수가 아니라 응답자 수를 분모로 쓴다
- 12.5% 증가를 12.5%p 증가처럼 표현한다
- 월별 데이터와 누적 데이터를 섞는다
- 결측치를 0으로 간주한다
- 서로 다른 기간을 비교한다
- 상관관계를 원인처럼 설명한다
- 표의 열을 잘못 읽는다
- 존재하지 않는 출처나 숫자를 그럴듯하게 제시한다
이중 몇 가지는 사람도 흔히 저지르는 실수다. 차이는 AI가 틀렸을 때도 문장을 아주 자연스럽게 만든다는 데 있다.
오타가 잔뜩 난 보고서는 의심하기 쉽다. 반대로 문장이 매끄럽고 표까지 깔끔하면 경계심이 낮아진다.
AI 시대에는 ‘그럴듯함’과 ‘정확함’을 분리해서 보는 습관이 필요하다.
보고서에 복사하기 전, 30초만 확인하자
AI가 내놓은 핵심 숫자가 있다면 이 여섯 가지를 물어보자.(품질이 중요해지는 이유이다.)
- 어떤 데이터를 썼는가?
- 기준 기간은 언제부터 언제까지인가?
- 분모와 분자는 무엇인가?
- 원본에서 같은 숫자를 다시 계산할 수 있는가?
- 이 문장은 사실인가, 해석인가?
- 결론을 바꿀 만한 누락 데이터는 없는가?
특히 중요한 숫자 하나는 직접 다시 계산해보는 것이 좋다. AI가 “재구매율이 34.2%”라고 말했다면, 원본에서 재구매 고객 수와 전체 고객 수를 확인해 같은 값이 나오는지 보는 것이다. (이래서 로직으로 계산된 BI가 있다면 어떨까?)
모든 결과를 재계산하라는 뜻은 아니다.
핵심 숫자 하나를 검증하면 분석 전체의 신뢰도를 빠르게 가늠할 수 있다.
“AI가 그랬어요”는 출처가 아니다
회의에서 “AI가 분석했는데요”라는 말은 앞으로 점점 흔해질 것이다. 그러나 AI는 근거가 아니라 도구다.
계산기를 썼다고 해서 계산기 이름을 출처로 적지 않는 것과 같다. 중요한 것은 어떤 숫자를 넣었고, 어떤 방식으로 계산했으며, 원자료가 어디에 있는지다. (근거를 꼭 확인하고 검증하는 과정만이 품질을 확보할 수 있다.)
AI를 잘 쓰는 사람은 AI의 답을 많이 얻는 사람이 아니다.
AI가 낸 답 중 무엇을 믿어도 되는지 구별하는 사람이다.