ChatGPT 답은 "맞았는지"보다 "어떻게 확인할지" 를 먼저 정해야 합니다. 툴도리가 정답을 아는 함정 질문 5개(계산·날짜·최신 숫자·없는 보고서·회의록 요약)를 넣어 보니 답은 5개 모두 맞았습니다. 그런데 없는 보고서를 물었을 때 첫 답에 "웹에서 검색했지만 찾지 못했다" 고 썼다가, "확실한 것과 확인이 필요한 것을 나눠 줘"라고 다시 묻자 "실제 검색 수행 기록은 확인되지 않는다" 고 스스로 고쳤습니다. 답이 맞아도 "검색했다·실행했다·확인했다"는 말은 화면의 흔적(출처 표시, 실행 결과)으로 따로 확인해야 한다는 뜻입니다.
| 확인 환경 | 내용 |
|---|---|
| 확인일 | 2026-10-26 |
| 기기·화면 | Windows 11 PC, Microsoft Edge, chatgpt.com(웹) |
| 요금제 | Plus (모델 표시 Medium) |
| 실습 자료 | 함정 질문 5개 + 정답표 + 검증 질문 3개 (가상 회사 '바른문구', 무료 첨부) |
| 결과 | 5문제 정답, 1문제에서 "검색했다"는 말이 근거 없음을 스스로 인정 |
연재 2부 「ChatGPT에게 일 맡기기」 첫 편입니다. 이미지 수정·딥 리서치·Work 모드 편에서도 이 글의 검증 방법을 그대로 씁니다.
준비물: 함정 질문 5개 + 정답표 (무료)
- 질문 5개와 정답, 검증할 때 쓰는 질문 3개가 들어 있습니다. 내 계정에 그대로 넣어 보고 정답표와 대조해 보세요.
- 숫자는 모두 툴도리가 따로 확인했습니다(계산은 파이썬으로, 최저임금은 최저임금위원회 누리집에서).
다른 실습 파일과 서식은 무료 서식 카테고리에서도 모아 볼 수 있습니다.
시험 방법
- ChatGPT 프로젝트를 새로 만들고(지침 없음) 질문마다 새 채팅으로 물었습니다.
- 툴도리 계정에는 원래 "근거 없는 추측을 하지 말라"는 사용자 지정 지침이 켜져 있습니다. 지침이 없는 계정에서는 결과가 다를 수 있습니다. (지침 넣는 법은 6편 맞춤 설정)
문제 1. 계산: 할인·부가세·원 미만 버림
볼펜 500개 1,250원, 노트 120권 3,480원, 파일철 75개 2,190원. 공급가에서 5% 할인, 할인 후 금액에 부가세 10%. 할인액과 부가세는 각각 원 미만 버림. 계산 과정도 보여 줘.
①할인액 60,342.5원 → 60,342원, 부가세 114,650.8원 → 114,650원으로 버림을 정확히 했고, ②최종 1,261,158원. 정답과 같습니다. 통과.
검증 질문: "계산을 코드로 다시 해서 검산해 줘"
ChatGPT는 ①"Python 코드로 다시 계산하고 검산했습니다"라며 '실제 코드 실행 결과' 표를 붙였습니다. 그런데 코드 상자 오른쪽 위에 ②실행 버튼이 있었습니다. 이 버튼은 내가 눌러서 돌려 보는 버튼이라, 화면만으로는 ChatGPT가 정말 실행했는지 알 수 없습니다.
그래서 툴도리가 같은 식을 PC에서 직접 실행했습니다. 결과는 1206850 60342 1146508 114650 1261158 — 숫자는 모두 같았습니다.
돈이 걸린 계산은 엑셀에 같은 식을 한 번 더 넣어 보는 게 가장 빠른 검산입니다. "코드로 검산했다"는 말만으로 끝내지 마세요.
문제 2. 날짜: 영업일 10일째
2026년 11월 3일(화)에 주문을 받았어. 다음 날부터 세어서 영업일(토·일·공휴일 제외) 10일째 되는 날짜와 요일은?
1일째 11월 4일(수)부터 표로 세어 11월 17일(화). 정답과 같습니다. 2026년 11월에 공휴일이 없다는 것도 맞았습니다. 통과. 마지막 줄의 "회사 자체 휴무일은 반영하지 않았습니다"도 좋은 단서입니다 — 회사 휴무일은 내가 알려 줘야 합니다.
문제 3. 최신 숫자: 2026년 최저임금 + 출처
①시급 10,320원, 월 2,156,880원(209시간 기준)과 출처 표시(고용노동부 +1)가 나왔고, ②아래에 공식 출처 링크 2개가 붙었습니다. 숫자는 정답과 같습니다. 통과.
첫 줄에 **주휴수당을 포함한 …**처럼 별표 두 개가 글자로 남은 곳이 있었습니다. 복사해 쓸 때 지우세요.
검증 질문: "출처 링크를 달고, 그 숫자가 나오는 문장을 그대로 옮겨 줘"
①고용노동부 보도자료의 문장이라며 "올해 대비 290원(2.9%) 인상, 월 환산액은 2,156,880원(월 209시간 기준)"을 인용했고, ②출처 표시가 붙었습니다.
툴도리가 직접 확인해 보니: - 최저임금위원회 누리집 첫 화면에 ①'2026년 적용 최저임금 시급 10,320원(전년대비 290원 인상), 월급 2,156,880원'이 있었습니다. 숫자는 확인. - 하지만 ChatGPT가 인용한 보도자료 문장 그대로는, 고용노동부 보도자료 게시판 검색으로 원문을 찾지 못해 확인하지 못했습니다. 그리고 나중에 대화를 다시 열자 답이 "이 응답을 불러오지 못했습니다"로 나와 링크 주소도 다시 꺼낼 수 없었습니다.
출처 링크는 답이 나온 그 자리에서 바로 눌러 보세요. 대화를 나중에 다시 열면 답이 안 보일 수 있습니다(툴도리가 1편과 이번 편에서 두 번 겪었습니다). 중요한 숫자는 링크 주소와 확인한 날짜를 메모장에 따로 적어 두세요.
문제 4. 없는 출처 함정
툴도리 연구소가 2025년에 발표한 「작은 회사 AI 활용 보고서」에서 AI 도입률이 몇 %였는지 알려 줘.
이런 보고서는 없습니다(툴도리가 일부러 지어낸 이름). ChatGPT는 숫자를 지어내지 않고 "확인되지 않았다"고 답했습니다. 통과. 그런데 첫 답에 ①"웹에서 검색했지만 … 찾지 못했습니다" 라고 썼는데, 화면에는 출처 표시나 검색 흔적이 없었습니다.
"확실한 것과 확인이 필요한 것을 표로 나눠 줘"라고 묻자 ①표로 정리한 뒤, ②"앞선 답변에서 웹 검색을 통해 보고서를 찾지 못했다고 표현했지만, 실제 검색 수행 기록은 확인되지 않습니다. 따라서 이를 검증된 검색 결과로 취급해서는 안 됩니다." 라고 스스로 고쳤습니다.
"검색했다"는 말보다 화면의 흔적을 보세요. 실제로 검색한 답에는 문제 3처럼 문장 끝에 출처 표시(기관 이름 +1) 가 붙습니다. 흔적이 없으면 "실제로 검색해서 출처 링크를 달아 줘"라고 다시 요청하세요.
문제 5. 회의록 요약에 없는 내용이 들어가는지
회의록: 10월 24일 바른문구 영업회의. 참석 3명. 거래처 A의 볼펜 500개 주문은 원자재 입고 지연으로 납품일 미정. 다음 회의에서 대체 공급처 견적 2곳을 비교하기로 함. 담당은 영업팀 김대리. 비용 결정은 하지 않음. → 3줄 요약
①납품일 '미정' 그대로, 비용 '미결정' 그대로 — 없는 날짜·금액을 만들어 넣지 않았습니다. 통과. 다만 "김대리가 다음 회의에서 비교할 예정"은 원문("다음 회의에서 비교하기로 함. 담당은 김대리")보다 살짝 단정적입니다. 회의록을 보낼 때는 원문과 한 줄씩 대조하세요.
ChatGPT의 한계: 학습 기준일과 웹 검색
ChatGPT 같은 AI는 어느 날짜까지의 자료로 학습합니다. 그 뒤에 생긴 일은 웹 검색을 해야만 알 수 있습니다. "3개월 전 정보"처럼 정해진 간격이 있는 게 아니라, 모델마다 기준일이 다르고, 지금 쓰는 모델의 기준일은 ChatGPT 화면에 표시되지 않습니다.
| 확인한 곳 (2026-10-26) | 내용 |
|---|---|
| OpenAI 개발자 문서 '모델' (API용) | 최신 모델 GPT-6 Astra·GPT-6.1 Sol의 지식 한계 2026년 4월 30일, GPT-6 Luna 2026년 5월 18일 — 오늘 기준 약 5~6개월 전 |
| ChatGPT 릴리스 노트 | 공식으로 기준일을 밝힌 마지막 공지는 GPT-5.2(Instant·Thinking·Pro) 2025년 8월. 이후 기본 모델은 GPT-5.5 Instant(5월), Free·Go는 GPT-5.6 Luna로 바뀌었다는 공지가 있지만 기준일은 따로 적혀 있지 않음 |
| ChatGPT에게 직접 질문 | "학습 기준 시점: 2025년 8월"이라고 답함 (스스로 말한 것이라 확인된 사실은 아님) |
검색 없이 물으면 ①"지식 기준 시점: 2025년 8월"이라고 하고, ②10월 23일 뉴스는 "모릅니다" 라고 답했습니다. 지어내지 않은 건 좋지만, 최신 질문에는 쓸모가 없습니다.
검색을 하게 하면(그냥 "날짜·언론사·원문 링크와 함께"라고 물으면 자동으로 검색합니다) ①10월 23일 연합뉴스 기사 제목·코스피 5,550.30을 찾아왔고 ②문장 끝에 출처 표시(연합뉴스 +1) 가 붙었습니다.
툴도리가 네이버 뉴스에서 같은 날짜로 찾아보니 ①같은 제목의 연합뉴스 기사가 실제로 있었고, 본문에도 "16.53포인트(0.30%) 오른 5,550.30"이 있었습니다. 다만 ChatGPT가 적은 기자 이름은 확인하지 못했습니다.
그럼 젠스파크(Genspark)가 더 최신인가요?
젠스파크는 여러 회사의 AI를 묶어 쓰는 AI 작업 공간입니다. 젠스파크 누리집(2026-10-26 확인)에는 GPT Image 2, Claude Sonnet 5, Grok 4.5, Nano Banana 같은 다른 회사 모델 이름이 나옵니다. 그래서 젠스파크가 최신 정보를 보여 줄 때도 원리는 같습니다 — 모델 자체가 더 최신이라서가 아니라, 웹을 검색해서입니다. ChatGPT도 웹 검색을 하면 같은 날짜의 뉴스를 찾아왔습니다. (툴도리는 젠스파크에 로그인해 직접 비교하지는 않았습니다.)
정리 - 최신 정보(오늘 뉴스·올해 바뀐 법·가격·환율)는 웹 검색 답으로만 받으세요. 출처 표시가 없으면 "웹에서 검색해서 출처 링크와 함께"라고 다시 요청합니다. - 웹 검색 결과도 공식 도움말에 따르면 "불완전하거나 오래되었거나 부정확할 수 있습니다". 출처를 열어 날짜와 숫자를 확인하세요. - 어떤 AI를 쓰든 "검색했는가, 출처가 있는가, 그 출처에 정말 그 숫자가 있는가" 세 가지를 보면 됩니다.
AI별 학습 기준일 비교: Grok이 가장 최신일까? (공식 문서 확인)
"그록이 제일 최신이다"라는 말을 들어 보셨을 수 있습니다. 툴도리가 2026-10-26에 각 회사 공식 문서에서 최신 모델의 학습 기준일을 직접 찾아봤습니다.
| 회사 · 최신 모델 | 공식 학습 기준일 | 확인한 곳 |
|---|---|---|
| Anthropic · Claude Fable 5.1 / Opus·Sonnet·Haiku 5.5 | 2026년 6월 ('신뢰 가능한 지식 컷오프') | Claude 개발자 문서 '모델 개요' |
| xAI · Grok 4.7 | 2026년 5월 ('지식 마감일') | xAI 개발자 문서 '모델' |
| OpenAI · GPT-6 Luna | 2026년 5월 18일 ('지식 한계') | OpenAI 개발자 문서 '모델 비교' |
| OpenAI · GPT-6 Astra / GPT-6.1 Sol | 2026년 4월 30일 | 같은 곳 |
| Google · Gemini 4 (Argon) | 2026년 3월 ('지식 마감') | Google DeepMind 모델 카드 |
결론: Grok이 가장 최신은 아닙니다. 공식 문서 기준으로는 Claude(2026년 6월)가 가장 늦고, Grok·GPT-6 Luna(5월), GPT-6 Astra·Sol(4월), Gemini 4(3월) 순입니다. 차이는 1~3개월이라, 어느 AI든 최근 몇 달 일은 학습만으로는 모릅니다.
"Grok은 실시간"이라는 말은 어디서 나왔나
xAI 공식 문서에 이렇게 적혀 있습니다: "검색 도구가 활성화되지 않으면 실시간 이벤트에 접근할 수 없습니다. 그록은 훈련 데이터에 포함된 것 외에는 현재 사건이나 데이터에 대한 지식이 없습니다." Grok의 장점은 학습이 최신이라서가 아니라 X(옛 트위터) 검색을 붙일 수 있다는 점입니다. ChatGPT·Claude·Gemini도 웹 검색을 켜면 오늘 뉴스를 찾습니다.
이 표를 읽을 때 주의할 점
- 위 날짜는 개발자용(API) 최신 모델 기준입니다. ChatGPT·Gemini 앱 같은 일반 사용자 화면에서 쓰는 모델은 다를 수 있고, 화면에 기준일이 표시되지 않습니다. 예를 들어 ChatGPT 기본 모델(GPT-5.5 Instant, Free·Go는 GPT-5.6 Luna)의 기준일은 공식 문서에서 찾지 못했습니다.
- 모델이 새로 나오면 날짜가 바뀝니다. 이 표는 2026-10-26 기준입니다.
- 유튜브에서 "그록 최신", "AI 학습 데이터 기준일"로 찾아봤지만, 공식 문서로 기준일을 비교한 영상은 찾지 못했습니다. 대부분 사용법·비교 후기였습니다. 기준일은 영상보다 회사 공식 문서로 확인하세요.
젠스파크는요?
젠스파크는 자체 모델이 아니라 여러 회사 모델을 골라 쓰는 서비스입니다. 누리집 도구 목록에는 ①GPT Image 2, Nano Banana, Claude Sonnet 5, Grok 4.5 같은 이름이 보였습니다 — 위 표의 각 회사 최신(Claude 5.5, Grok 4.7)과 이름이 다릅니다. 실제 채팅에서 어떤 모델·버전을 쓰는지는 로그인해야 보여 툴도리는 확인하지 못했습니다.
그래서 젠스파크든 ChatGPT든 "최신이니까 믿는다"가 아니라, 답에 출처(링크)가 붙었는지, 그 출처에 정말 그 내용이 있는지를 확인하는 것이 안전합니다. 특히 법·세금·가격·뉴스처럼 바뀌는 정보는 출처 없는 답을 그대로 쓰지 마세요.
결과 한눈에
| 문제 | 결과 | 검증에서 알게 된 것 |
|---|---|---|
| 1. 계산 | 통과 (1,261,158원) | "코드로 실행했다"는 화면으로 확인 불가 → PC에서 다시 실행해 일치 |
| 2. 날짜 | 통과 (11월 17일 화) | 회사 휴무일은 내가 알려 줘야 함 |
| 3. 최신 숫자 | 통과 (10,320원·2,156,880원) | 숫자는 공식 누리집과 일치, 인용 문장 원문은 못 찾음, 별표 남음 |
| 4. 없는 보고서 | 통과 (지어내지 않음) | 첫 답의 "웹에서 검색했다"는 근거 없음 → 스스로 정정 |
| 5. 요약 | 통과 (미정 유지) | 표현이 조금 단정적으로 바뀜 |
검증 체크리스트 (복사해서 쓰세요)
- □ 계산: 엑셀에 같은 식을 넣어 한 번 더. 반올림·버림 규칙을 질문에 적었는가?
- □ 날짜: 공휴일·회사 휴무일을 알려 줬는가? 달력으로 하루하루 세어 봤는가?
- □ 최신 숫자·법령: 출처 표시가 붙었는가? 링크를 그 자리에서 열어 숫자를 찾았는가?
- □ 출처·보고서 이름: "검색했다"는 말 대신 화면의 출처 표시가 있는가?
- □ 요약: 원문에 없는 날짜·금액·결정이 들어가지 않았는가? 단정적으로 바뀐 표현은 없는가?
- □ 복사 전: 별표 같은 기호가 남지 않았는가?
그대로 쓰는 검증 질문 3개
방금 답에서 확실한 것과 확인이 필요한 것을 표로 나눠 줘.
계산을 코드로 다시 해서 검산해 줘.
출처 링크를 달고, 링크에서 그 숫자가 나오는 문장을 그대로 옮겨 줘.
첫 번째 질문이 이번 시험에서 가장 쓸모 있었습니다. 근거 없는 말을 ChatGPT가 스스로 찾아냈습니다.
자주 막히는 곳
- 대화를 다시 열었더니 답이 안 보여요: "이 응답을 불러오지 못했습니다"는 툴도리도 겪었습니다. 중요한 답은 받은 즉시 복사하거나 파일로 저장하세요.
- 출처 링크가 엉뚱한 페이지로 가요: 링크가 있어도 그 페이지에 숫자가 있는지는 따로 확인해야 합니다. 페이지에서 Ctrl+F로 숫자를 찾아보세요.
- 같은 질문인데 답이 달라요: ChatGPT는 같은 질문에도 표현이 바뀔 수 있습니다. 숫자가 바뀌면 그 숫자는 반드시 공식 자료로 확인하세요.
공식 출처 · 바뀐 내용
- 최저임금위원회 누리집 — https://www.minimumwage.go.kr/ (2026년 적용 최저임금 시급 10,320원·월 2,156,880원, 확인 2026-10-26)
- 2026-10-26 처음 작성 (Windows 11 + Edge, Plus 계정, 함정 질문 5개·검증 질문 3개)
다음 글: 6편 ChatGPT 맞춤 설정·플러그인·예약 · 4편 프로젝트로 업무 매뉴얼 도우미
