.png)
.png)
HITL 검증 및 정교화
AI 출력의 환각·과신을 잡아내고, HITL 5단계로 검증·기록합니다.
이 차시를 마치면 AI 초안의 오류를 찾아 수정하고 검증 로그를 남길 수 있다
학습 목표 · AI 출력 오류를 분석·수정하고, HITL 검증 프로세스를 실행할 수 있다.
완료 기준 · 오류 분석표 3행+ · HITL 5단계 · 검증 로그 1건.
- AI 입력 전 비식별화(가명·마스킹·범주화)
- AI 출력 그대로 고용24·법정 서식 등록 금지
- 내담자 AI 보조 사용 고지 · HITL 검증 후 확정
2차시 AI 출력 — 「김○○에게 ○○물류 100% 적합, 월 350만 보장」 같은 문장을 잡아내고 고칩니다. AI를 믿되, 검증 없이 쓰지 않습니다.
HITL(Human-in-the-Loop)은 「AI를 안 쓰겠다」가 아니라 「사람이 확인하는 지점을 설계한다」는 뜻입니다. 상담 품질·법적 책임·내담자 신뢰가 여기서 결정됩니다.
1. AI 환각 · 불확실 정보 4유형
| 유형 | 예시 | 위험 |
|---|---|---|
| 사실 환각 | 없는 법령·기관·자격·프로그램 | 잘못된 안내·민원 |
| 수치 오류 | 임금·기간·모집인원 창작 | 기대 불일치·분쟁 |
| 과신 표현 | 「확실」「100%」「보장」 | 내담자 과기대·책임 소재 |
| 논리·누락 | 조건 불일치·필수 항목 빠짐 | 등록·지원 실패 |
2. HITL 검증 5단계
- 생성 — AI 초안 (비식별 맥락만)
- 점검 — 4유형 체크리스트 적용
- 수정 — 직접 편집 또는 재프롬프트
- 대조 — 내담자 발화·공고·공식 자료
- 확정·기록 — 버전·검증일·수정 요약
면담 직후 HITL → 당일 중 내담자 확인 → 그다음 등록·공유. 「나중에」는 누락·분쟁으로 이어집니다.
3. 오류 분석 실습 — 의도적 오류가 있는 AI 초안
김○○님은 반드시 ○○물류에 적합하며, 월 350만원이 보장됩니다. 국민취업지원제도 2유형은 자동 승인되며, 내일 바로 출근 가능합니다.
실습: 아래 표에 3행 이상 기록 (e-book 워크북).
| 유형 | 원문 | 수정문 | 검증 근거 |
|---|---|---|---|
| 과신 | 「반드시 적합」 | 「물류 경험 활용 가능성 탐색」 | 탐색형 멘트 |
| 수치 | 「350만 보장」 | 「희망 250~280, 공고별 상이」 | 내담자 발화 |
| 사실 | 「국취 자동 승인」 | 「자격 요건 별도 확인 필요」 | 공식 안내 |
4. AI vs 상담사 — 역할 분담
| 업무 | AI | 상담사 | 내담자 |
|---|---|---|---|
| 초안·정리·표 변환 | ✅ | 검증 | — |
| 관계·공감·동의 | ❌ | ✅ | 참여 |
| 사실 확인·등록·제출 | ❌ | ✅ | 확인·서명 |
| 최종 멘트·결정 | ❌ | ✅ | 선택 |
5. 검증용 프롬프트
[역할] HITL 검증 코치 [맥락] 아래는 직무 추천·알선 설명 AI 초안 [과업] 사실 오류·과신·누락 항목 나열 + 수정문 제안 [출력] 유형|원문|수정|근거
6. 검증 기록 — 왜 남기는가
팀 공유·감사·본인 회고에 쓰입니다. 한 줄이라도 「무엇을 고쳤는지」가 있으면 충분합니다.
2026-07-05 | 직무추천 | 과신 | 「100% 적합」→「탐색 후보」| 상담사 ○○
HITL 5단계 (매 AI 출력마다)
- 생성비식별 맥락으로 AI 초안
- 점검환각·과신·수치·누락 4유형
- 수정직접 편집 또는 재프롬프트
- 대조내담자 발화·공고·공식 자료
- 확정·기록버전·날짜·수정 요약
흔한 실수
- 「AI가 그랬으니까」 내담자에게 그대로 전달
- 과신 표현(100%·보장) 방치
- 검증 없이 팀 채팅·메일에 AI 초안 공유
- 수정 이력 없음 → 나중에 책임·감사 대응 불가
이 차시 산출물
- 오류 분석표 3행+ (유형|원문|수정|근거)
- HITL 검증 수정본 1건
- 검증 로그 1행+
- 역할 분담 (AI/상담사/내담자)
자주 묻는 질문
HITL이 너무 오래 걸리지 않나요?
전체 재작성보다 오류만 고치는 것이 보통 빠릅니다. HITL 습관이 핵심.
재프롬프트 vs 직접 수정?
사실·수치 오류는 직접 수정이 안전. 톤·형식은 재프롬프트도 OK.
실습 · 3차시
환각 사례 분석 · HITL 5단계 · 역할 분담 · 검증 로그.
본문 sec3 AI 초안 · 유형|원문|수정|근거 표 3행+
- 초안 → 체크리스트 → 수정본
- 재프롬프트 1회(선택) 기록
AI / 상담사 / 내담자 · e-book 워크북
차시 요약
- 환각 4유형
- HITL 5단계 1회
- 오류 분석표 3행+
- 다음: 데이터 구조화
지식 확인
셀프 체크핵심 개념을 스스로 점검합니다. 「정답 보기」 또는 「전체 정답 한번에 보기」를 사용하세요.
Q1 AI 환각이란?
정답 보기
Q2 상담 기록 검증 실습 순서는?
정답 보기
Q3 AI vs 상담사 역할 분담은?
정답 보기
Q4 검증 프롬프트 결과 분석 시 기록할 것은?
정답 보기
📋 전체 정답 한번에 보기
- Q1. 그럴듯하지만 사실이 아닌 정보를 AI가 생성하는 현상.
- Q2. AI 초안 → 오류 분석(사실·용어·논리·누락) → 수정 → 당사자 확인 → 확정.
- Q3. AI=초안·정리 / 상담사=판단·관계·검증·등록 책임.
- Q4. 오류 유형, 수정 내용, 재프롬프트 여부, 확인 일자.
- □ AI 환각 유형 2가지 이상을 말할 수 있는가
- □ 상담 기록 검증 실습 1회를 수행했는가
- □ AI vs 상담사 역할 분담 흐름을 그릴 수 있는가
- □ 검증 프롬프트 결과를 분석·기록했는가