프롬프트에 끌려가지 않는 LLM 사용법: 의도 보존과 환각을 줄이는 검증 프레임워크·체크리스트

# 프롬프트에 끌려가지 않는 LLM 사용법 LLM은 사용자의 의도를 이해해서 지키는 존재가 아니다. 입력과 맥락에 따라 그럴듯한 문장을 생성하는 확률적 시스템일 뿐이다. 따라서 의도 보존과 환각 억제는 사용자가 설계해야 하는 검증 체계의 문제다. LLM 도입이 확산되면서 많은 조직이 생산성 향상을 경험하고 있다. 동시에 "프롬프트에 끌려가서" 원래 의도와 다른 결론을 채택하거나, 근거 없는 사실을 그럴듯하게 받아들이는 실패도 늘어난다. 이 실패는 개인의 주의력 문제가 아니다. '의도-근거-검증'이 한 덩어리로 뒤섞인 채 대화가 진행되는 구조의 문제다. 이 글에서는 현상 수준에서 왜 이런 실패가 반복되는지 설명하고, 구조 수준에서 실패를 유발하는 경로를 분해한다. 이어서 LLM을 어떤 도구로 보아야 하는지 정리하고, 현업에 적용 가능한 검증 프레임워크와 체크리스트를 제시한다. --- ## 1. 현상: "그럴듯함"이 의도를 대체하는 순간 ### 1.1 프롬프트에 끌려간다는 것의 실체 "프롬프트에 끌려간다"는 말은 두 가지 현상으로 나타난다. **의도 변질**은 사용자가 해결하려던 문제 정의가 대화 중에 바뀌는 것이다. "장애 원인 분석"을 하려 했는데, 모델이 제안한 "성능 최적화"로 논점이 이동한다. **근거 붕괴**는 결론은 단정적인데 근거가 없거나 틀린 경우다. 이른바 환각이다. 특히 숫자, 법·정책, 제품 스펙, 인용문에서 치명적이다. 이 두 현상은 종종 결합한다. 의도가 변질된 상태에서 근거까지 붕괴하면, 사용자는 "정답 같은 이야기"를 얻었으나 실제 업무는 더 멀어진다. ### 1.2 실패가 발생하는 대표적 장면 현업에서 자주 관찰되는 장면을 압축하면 다음과 같다. **요구사항이 서술형으로만 존재하는 경우.** "이거 대충 정리해줘", "전략 좀 짜줘" 같은 요청은 목표함수가 없다. 모델은 그럴듯한 전략 문서를 생성한다. 사용자는 결과물의 형식에 만족하고, 목표 적합성 검증을 생략한다. **출처가 없는 '상식'이 사실을 대체하는 경우.** LLM은 통계적 상식을 잘 말한다. 그러나 상식은 시점과 도메인에 의해 깨진다. 2023년의 관행을 2025년의 규정으로 단정하거나, 특정 클라우드 서비스의 제한을 일반론으로 말한다. **검증이 "느낌"으로 끝나는 경우.** "자연스럽다", "논리적이다"는 검증이 아니다. 문장의 매끈함은 진실의 지표가 아니다. 오히려 LLM은 매끈함으로 오류를 숨긴다. --- ## 2. 구조: 의도·근거·검증이 섞일 때 생기는 오류 경로 ### 2.1 LLM 대화는 '명세 없는 개발'과 같다  소프트웨어 개발에서 명세 없이 코드를 짜면, 결과물은 우연히 맞거나 대체로 틀린다. LLM 사용도 동일하다. 대부분의 사용자는 "원하는 답"을 말로만 요청하고, 다음을 분리하지 않는다. - **의도**: 무엇을 위해, 무엇을 결정하려 하는가 - **제약**: 시간, 비용, 정책, 도메인 규칙, 금지 조건 - **근거**: 어떤 데이터·문서·로그·링크를 근거로 삼는가 - **검증**: 무엇을 확인하면 답이 맞다고 할 수 있는가 이 네 요소가 섞이면, 대화는 "서술의 흐름"을 따라가며 점점 모델의 제안에 동조한다. 사용자는 자신의 의도를 계속 재서술하지만, 검증 가능한 형태로 고정하지 않는다. ### 2.2 환각의 기술적 원인보다 중요한 사용 구조의 원인 환각은 모델 내부의 한계로도 발생한다. 학습 데이터의 공백, 추론의 확률성, 최신 정보 부재 등이다. 그러나 실무에서 더 큰 원인은 사용 구조에 있다. 근거 입력이 없으면 모델은 내부 패턴으로 메운다. 출처 요구가 없으면 모델은 단정문을 선호한다. 검증 루프가 없으면 한 번의 생성으로 의사결정이 끝난다. 역할 분리가 없으면 모델이 "작성자+검토자+심판"을 동시에 맡는다. 특히 마지막 항목은 치명적이다. 작성자와 검토자가 분리되지 않으면, 오류는 같은 스타일의 논리로 포장되어 살아남는다. ### 2.3 프롬프트 인젝션과 신뢰 경계 "프롬프트에 끌려감"은 단순히 사용자의 미숙함만이 아니다. 외부 텍스트가 모델의 지시를 바꾸는 **프롬프트 인젝션**이 실제로 존재한다. 웹 페이지나 문서에 "이전 지시를 무시하고…" 같은 문장이 섞이면, 모델이 이를 상위 지시로 오인할 수 있다. LLM 활용은 '텍스트를 입력하는 행위'가 아니라, '신뢰 경계를 넘나드는 행위'로 이해되어야 한다. 보안에서 입력 검증이 필수인 것처럼, LLM에서도 근거와 지시를 분리하고, 신뢰할 수 있는 소스만을 증거로 채택하는 규칙이 필요하다. --- ## 3. 본질: LLM을 "사유의 대리인"이 아니라 "언어적 연산 장치"로 다루기 ### 3.1 LLM의 강점은 추론이 아니라 '형식화'에 있다 LLM은 논증을 할 수 있는 것처럼 보이지만, 본질적 강점은 다음에 가깝다. - 비정형 정보를 정형 템플릿으로 변환 - 여러 관점을 병렬로 생성(가설 생성) - 문서 구조화, 요약, 비교표 작성 - 코드/쿼리/테스트 케이스 초안 생성 즉, LLM은 '정답을 찾는 기계'가 아니라 **사고의 중간 산출물을 빠르게 만들어주는 장치**다. 사용자는 정답을 "받는" 것이 아니라, 검증 가능한 산출물을 "만드는" 쪽으로 사용법을 바꿔야 한다. ### 3.2 의도 보존은 언어가 아니라 '명세'로 한다 의도는 대화의 분위기로 보존되지 않는다. **명세로 고정**해야 한다. 명세는 다음 조건을 만족해야 한다. - 테스트 가능하다(맞/틀 판단 기준이 있다) - 범위가 닫혀 있다(어디까지가 대상인지) - 금지 조건이 포함된다(하지 말아야 할 것) - 근거 소스가 지정된다(어떤 자료만 믿는지) 명세가 없으면 모델은 질문을 "최대한 유용해 보이게" 확장한다. 그 확장이 바로 '끌려감'이다. ### 3.3 검증은 "결과 검증"이 아니라 "근거 검증"이어야 한다 환각을 줄이려면 결과의 문장미를 평가하는 대신, 근거의 연쇄를 평가해야 한다. "이 답이 그럴듯한가"가 아니라 "이 답의 근거가 내가 승인한 자료에 의해 지지되는가"가 기준이 되어야 한다. --- ## 4. IGV 루프: Intent–Grounding–Verification 실무 적용을 위해 **명세화 → 근거 고정 → 생성/검증 분리 → 검증 루프**로 정리한다. 이를 "IGV 루프"라고 부른다. ### 4.1 I(Intent): 의도를 '테스트 가능한 문장'으로 고정 의도를 다음 템플릿으로 변환한다. - 목적: 무엇을 결정/작성/검증하려는가 - 산출물: 결과물의 형식(표, 보고서, 코드, 체크리스트) - 성공 기준: 무엇이 충족되면 성공인가 - 범위/제외: 포함·제외 범위 - 위험: 틀리면 큰일 나는 항목(숫자, 법, 보안, 비용) 예시(장애 분석): > 목적: 12/30 02:10~02:40 API 5xx 급증 원인을 규명하고 재발 방지책을 작성 > 산출물: (1) 타임라인 (2) 원인 후보 3개와 증거 (3) 최종 원인 1개 (4) 재발 방지 액션 아이템 > 성공 기준: 로그/메트릭/배포 이력 중 최소 2종 이상 근거로 최종 원인을 지지 > 범위: 서비스 A, B / 제외: 외부 CDN 장애(증거 없으면 가정 금지) > 위험: 고객 영향 수치, SLO 위반 여부는 반드시 원자료로 확인 이 단계에서 이미 환각의 상당 부분이 잘린다. "가정 금지"와 "근거 2종 이상" 같은 규칙이 모델의 서술 충동을 제한하기 때문이다. ### 4.2 G(Grounding): 근거를 '승인된 묶음'으로 고정 근거는 세 층으로 분리한다. - 1차 근거: 로그, 메트릭, DB, 배포 기록, 사내 위키의 공식 문서 - 2차 근거: 신뢰 가능한 외부 문서(벤더 공식 문서, 표준 문서) - 금지 근거: 출처 불명 블로그, 기억에 의존한 수치, 모델의 단정 실무적으로는 "근거 패킷"을 만든다. 링크/발췌/스냅샷을 모아, 모델에게는 그 패킷만을 근거로 삼게 한다. 웹 검색을 붙이는 경우에도, 검색 결과를 그대로 믿지 말고 '패킷으로 편입한 것만' 증거로 인정한다. ### 4.3 V(Verification): 생성과 검증의 역할을 분리 하나의 대화에서 모델이 작성과 검증을 동시에 하면 자기합리화가 발생한다. 역할을 분리한다. - 모델 A: 생성기(초안 작성) - 모델 B(또는 같은 모델의 별 세션): 검증기(근거·논리·제약 준수 검사) - 인간: 최종 승인자(리스크 항목만 집중 검증) 검증기는 다음을 강제한다. - 각 주장마다 근거 ID를 붙일 것 - 근거가 없으면 "모름/추정"으로 표시할 것 - 제약 위반 여부를 체크할 것 - 숫자/고유명사/인용은 원문 확인을 요구할 것 ### 4.4 IGV 루프를 위한 프롬프트 설계 원칙 프롬프트는 '문장'이 아니라 '규약'이어야 한다. 특히 다음 4가지를 포함한다. 1) **출력 계약**: 형식, 길이, 표/항목 구조 2) **근거 계약**: 근거 없는 단정 금지, 인용 방식 3) **불확실성 계약**: 모르면 모른다고 말하기 4) **검증 계약**: 자체 검토 항목 제출 예시 프롬프트(요약형): > 너의 작업은 (A) 초안 작성과 (B) 근거 매핑이다. > 근거로는 아래 Evidence Packet만 사용한다. > 각 문장에 [E1], [E2]처럼 근거 ID를 붙여라. 근거가 없으면 [UNVERIFIED]로 표시하고 단정하지 마라. > 마지막에 "검증 체크리스트 결과"를 표로 제출하라. 이 방식은 모델의 능력을 "정답 생성"이 아니라 "근거 기반 문장 생성"으로 재배치한다. --- ## 5. 실전 사례 ### 5.1 정책/법규 요약에서의 환각 차단 문제: "개인정보 처리방침을 개정하려는데, 최신 규정을 반영해줘." 위험: 최신성·조문 인용 오류가 치명적이다. 적용: - Intent: "개정안 문구 생성"이 아니라 "현행 방침 대비 변경 필요 항목 도출"로 제한 - Grounding: 법령 원문 링크/사내 법무 가이드 발췌만 패킷화 - Verification: 조문 번호·인용문은 원문과 대조, 불확실 시 공란 처리 결과: 모델은 '그럴듯한 법률 상식'을 말하는 대신, 근거 패킷의 범위 안에서만 변경점을 도출한다. 생산성은 유지되되, 오류는 관리 가능한 형태로 축소된다. ### 5.2 장애 분석에서 "원인 단정"을 막는 장치 문제: 5xx 급증. 모델은 흔히 "DB 커넥션 풀 고갈" 같은 상투적 원인을 단정한다. 적용: - Evidence Packet: (1) 에러 로그 샘플 (2) DB 커넥션 메트릭 (3) 배포 이력 (4) 외부 의존성 상태 - 생성기: 가능한 원인 후보 5개 생성하되, 각 후보의 "필요 증거"를 함께 제시 - 검증기: 후보별로 근거 충족 여부를 체크하고, 충족 안 되면 "보류"로 남김 핵심은 '원인'을 생성하는 것이 아니라 '원인 판별을 위한 증거 요구사항'을 먼저 생성하는 것이다. 이 순서 전환만으로 단정형 환각이 급감한다. ### 5.3 코드 작성에서의 환각(존재하지 않는 API) 억제 문제: 모델이 존재하지 않는 함수나 옵션을 제안한다. 적용: - Grounding: 사용 중인 프레임워크 버전, 공식 문서 일부, 현재 코드베이스 인터페이스를 패킷화 - Verification: "컴파일/테스트/린트"를 자동 실행하고 실패 로그를 다시 모델에 제공 - 규칙: 실패 로그가 해결되기 전까지 새 기능 제안 금지, 수정은 diff로만 제출 결과: 모델의 환각은 "말"에서 "실패 로그"로 교정된다. 검증이 언어에서 실행으로 내려오면, 환각은 구조적으로 설 자리를 잃는다. --- ## 6. 체크리스트: 의도 보존·환각 억제용 운영 규약 아래 체크리스트는 개인 사용에도 적용되지만, 팀/조직에서 더 큰 효과를 낸다. 의도와 근거가 공유 자산이 되면, 검증이 개인의 감각이 아니라 팀의 절차가 된다. ### 6.1 입력 전(의도 명세) 체크리스트 - [ ] 목적은 "결정/작성/검증" 중 무엇인가 - [ ] 산출물 형식이 고정되어 있는가(표/목차/코드/테스트) - [ ] 성공 기준이 측정 가능한가(충족 조건이 있는가) - [ ] 범위와 제외 조건이 명시되었는가 - [ ] 틀리면 큰일 나는 항목(숫자/법/보안/비용)을 표시했는가 ### 6.2 근거 패킷 체크리스트 - [ ] 1차 근거(로그/메트릭/원문/공식 문서)가 포함되었는가 - [ ] 각 근거에 ID(E1, E2…)를 부여했는가 - [ ] 근거의 시점(날짜/버전)이 명시되었는가 - [ ] 신뢰 경계 밖 텍스트(웹/메일/외부 문서)에는 인젝션 가능성을 고려했는가 - [ ] 근거가 없는 항목은 "추정"으로만 다루기로 합의했는가 ### 6.3 생성 단계 체크리스트(모델에게 강제) - [ ] 각 주장에 근거 ID가 붙어 있는가 - [ ] 근거 없는 단정이 [UNVERIFIED]로 표시되었는가 - [ ] 숫자/고유명사/인용문은 원문 발췌를 동반하는가 - [ ] 대안/반례/한계가 함께 제시되었는가(최소 2개) - [ ] 제약(시간/정책/보안)을 위반하지 않는가 ### 6.4 검증 단계 체크리스트(사람/도구/별도 모델) - [ ] 근거가 실제로 주장 내용을 지지하는가(오독/과잉 일반화는 없는가) - [ ] 누락된 중요한 변수(버전, 지역, 권한, 비용)가 없는가 - [ ] 실행 가능한 검증(테스트, 쿼리, 재현 절차)이 포함되었는가 - [ ] 결론은 "확정/가능/불명"으로 등급화되었는가 - [ ] 최종 산출물은 의도 명세의 성공 기준을 충족하는가 --- ## 7. 최소 도구화: "검증 프롬프트 템플릿"과 "출력 스키마" LLM 사용이 습관으로 굳기 전에, 최소한의 스키마를 붙이는 것이 좋다. 아래는 간단하지만 효과가 크다. ```text [Intent Spec] - 목적: - 산출물 형식: - 성공 기준: - 범위/제외: - 리스크 항목: [Evidence Packet] E1: E2: E3: [Instructions] 1) Evidence Packet 밖의 지식으로 단정하지 말 것. 2) 각 문장 끝에 근거 ID를 표기할 것. 근거 없으면 [UNVERIFIED]. 3) 마지막에 (a) 검증 필요 항목 (b) 추가로 필요한 근거 목록을 제출할 것. [Output Schema] - 요약(5줄) - 본문 - 주장-근거 매핑 표 - 불확실성 목록 - 다음 액션(검증 계획) ``` 이 템플릿은 "좋은 프롬프트"를 만드는 기교가 아니다. **의도와 근거를 고정하고, 검증을 반복 가능하게 만드는 운영 규약**이다. --- ## 결론 LLM을 사용할 때 가장 흔한 착각은 "더 정교한 프롬프트가 더 진실한 답을 준다"는 믿음이다. 그러나 의도 보존과 환각 억제의 핵심은 프롬프트의 수사학이 아니라, 의도-근거-검증을 분리하는 구조에 있다. 명세로 의도를 고정하고, 근거 패킷으로 신뢰 경계를 설정하며, 생성과 검증을 분리한 루프를 돌릴 때, LLM은 비로소 생산성을 해치지 않으면서도 오류를 관리 가능한 형태로 낮춘다. **LLM을 믿을수록 검증을 강화해야 하며, 검증을 구조화할수록 사용자의 의도는 끝까지 보존된다.**