개발 취재 노트

AI 글 생성 파이프라인 테스트는 통과했는데 실제 통과 글이 0개일 때, 어디부터 확인하나

이 글은 해결책이 아니라 진단 순서를 다룬다. 주제 선정 → 웹 조사 → 집필 → 심사를 거치는 IT 문제해결 글 자동 생성 프로그램(직접 만든 개인 프로젝트)에서 테스트 9개가 통과했는데, 실제 Claude CLI 실행은 후보 31개 중 통과 0개였다. 어느 단계에서 얼마나 떨어졌는지, 고쳐 쓰기(repair)가 몇 개를 살렸는지 나눠 세는 방법과, 가장 많이 탈락한 출처 충돌을 분류하는 방법을 정리한다 .

결론

이 사건은 해결 완료 사례가 아니다. 27개를 개별 재분류한 결과가 세션에 남아 있지 않아 ①②③의 실제 비율은 모른다. 조건 차이를 충돌로 과잉 판정했을 가능성은 assistant가 제기했을 뿐이다 .

수치는 한 번의 실행에 대한 assistant의 요약 보고다. 원시 로그로 독립 확인한 것이 아니며, 이전 실행과 조건이 같았는지도 확인되지 않았다. 변경의 효과 크기나 IT 글 자동화의 가능성을 이 숫자만으로 판정하지 않는다 .

상황

이 글의 파이프라인은 필자가 직접 만든 개인 프로젝트다. 공개된 라이브러리의 기능이 아니므로, 아래 이름은 독자의 코드에서 대응하는 단계를 찾아 읽으면 된다. discover → research → write → 게이트 구조로 후보 주제를 고르고, 웹에서 근거를 모아 글을 쓴 뒤 심사한다. 통과한 글은 저장하며, 실패 지점에 따라 집필 전에 탈락할 수도 있다 .

이번 사건과 관련된 검사는 다음과 같다. 세 번째 열은 판정 주체다.

검사역할판정 주체
주제 점수minimum_topic_score 미만이면 웹 조사·집필 전에 탈락 점수 문턱(규칙)
근거 검사(evidence_gate)조사 결과의 conflicts가 하나라도 있으면 source_conflict로 폐기 폐기는 규칙. conflicts 목록은 웹 조사 단계가 보고
모델 심사(model_review)집필 후 근거와의 모순이나 지어낸 구체값 등을 검사 모델 심사 프롬프트

conflicts를 채우는 것이 모델인지 규칙인지 세션에서 확인되지 않았다. 세션에서 확인된 것은 conflicts가 하나라도 있으면 폐기하는 규칙뿐이다 .

앞선 실행은 통과 2개·폐기 309개로 집계됐다. 폐기 중 주제 점수 미달이 290개, 모델 심사가 10개, 근거 단계가 9개였다. 당시에는 주제 문턱이 가장 큰 탈락 지점이었다 .

증상

이 집계를 바탕으로 다음 변경을 넣었다 .

  1. minimum_topic_score를 75에서 68로 낮췄다.
  2. revise()에 심사 지적 사항과 근거를 전달해 문제 부분을 최소 수정하게 했다. max_repair_attempts 기본값은 1이다.
  3. 심사 기준을 조정해 근거와 모순되거나 지어낸 구체값은 탈락시키고, 근거로 반박되지 않는 안전한 상식은 허용하도록 했다.

이어 조사 전에 유사 제목을 거르는 maximum_title_similarity: 0.8도 추가했다. 기존 6개, repair 관련 2개, 중복 검사 1개를 합친 테스트 9개가 모두 통과했다고 보고됐다 .

하지만 실제 Claude CLI 실행 결과는 43분 동안 후보 31개, 통과 0개였다. 탈락 내역은 evidence 27개, model_review 4개, 주제 점수 미달 0개였다 .

원인 분석

1. 테스트가 확인한 범위와 실제 품질은 달랐다

일반 픽스처는 심사를 통과하는 설정이었다. 엔드투엔드 결과는 ready 2 / rejected 1, 통과 글의 repair_attempts [0,0]으로 보고됐다. 따라서 이 실행은 repair의 효과를 보여주지 않는다 .

반면 별도 repair 테스트에는 첫 심사 실패 후 수정해 통과하는 시나리오가 있었다. 완료 보고에는 "repair로 심사 실패 글 회복", "repair=0이면 즉시 폐기" 두 테스트가 명시돼 있다. repair 경로를 전혀 테스트하지 않은 것은 아니다. 다만 정해진 테스트 시나리오의 통과와 실제 모델이 쓴 글의 회복은 다른 확인 항목이다 .

2. 가장 많은 탈락은 repair보다 앞에 있었다

27개가 출처 충돌로 탈락했다. 구현 설명에 따르면 repair는 집필 후 평가 실패를 고치는 기능이며, 이 근거 단계의 탈락에는 적용되지 않았다 .

결과 보고는 evidence_gate가 conflicts를 하나라도 받으면 폐기한다고 설명했다. 기기·버전마다 메뉴가 다른 것을 모순으로 과잉 보고했을 가능성도 함께 제기했다. 그러나 실제 모순과 조건 차이의 비율은 확인되지 않았다. 출처 충돌이 가장 큰 탈락 사유였다는 것과, 그 판정이 잘못됐다는 것은 구분해야 한다 .

3. 한 번의 repair로 회복된 글은 없었다

심사 탈락 4개는 모두 repair를 한 번 거쳤다. 보고된 오류 예시는 Google 근거의 사실을 Apple·Samsung 것처럼 표기한 출처 귀속 오류와, Pixel 한정 사실의 일반화였다 .

당시 해석은 출처가 뒤섞여 최소 수정 한 번으로 해결되지 않았다는 것이었다. 이 기록으로 확인할 수 있는 것은 이번 4개가 한 번의 수정 후에도 탈락했다는 것까지다. 이런 오류가 언제나 한 번으로 안 고쳐진다거나 두 번이면 해결된다고 단정할 수 없다 .

다음에 확인할 것

이 세션의 마지막 보고에도 수율을 회복한 후속 실행은 없다. 주제 점수 미달은 이번 실행에서 0개였지만, 이전 실행과 조건이 같다는 근거가 없어 변경 효과의 크기로 환산할 수 없다 .

다음은 이 글의 검증 제안이며, 완료된 해결책이 아니다.

  1. 출처 충돌 탈락 건의 근거를 읽고 실제 모순과 기기·버전 조건 차이를 구분한다(아래 분류표).
  2. 조건 차이 오탐이 확인되면 근거 검사 규칙을 바꾼다. 예를 들어 "conflicts가 하나라도 있으면 폐기"를 "충돌 항목마다 조건이 다른 두 출처의 주장으로 나뉘면 통과시키되, 글에 그 조건(기기·버전)을 명시하게 한다"로 바꾸고, 조건이 같은데 결론이 반대인 충돌만 폐기한다. 조사 프롬프트에는 각 주장에 기기·버전을 함께 적게 요구한다. 이 변경은 세션에서 실행된 것이 아니라 제안이며, 바꾼 뒤 다시 측정해야 한다.
  3. repair 전후 글에서 출처 귀속과 적용 범위가 어떻게 바뀌었는지 비교한다. 횟수만 늘려 효과를 가정하지 않는다.

1단계 예시: 충돌 분류표

아래 표는 분류 방법을 보이려고 새로 만든 합성 예시다. 세션의 27개 실제 근거가 아니다. 탈락한 후보마다 충돌한 두 출처의 주장을 나란히 적고, 기기·버전 같은 조건을 뽑아 비교한다.

후보출처 A 주장출처 B 주장조건 비교판정
x1"설정 > 블루투스에서 기기 삭제" (Pixel, Android 14)"설정 > 연결된 기기에서 삭제" (Galaxy, One UI 6)기기가 다름조건 차이 (오탐)
x2"재부팅 후 페어링 유지됨" (같은 기기·같은 버전)"재부팅 후 페어링 초기화됨" (같은 기기·같은 버전)조건 같음, 결론 반대실제 모순
x3"펌웨어 1.2에서 해결""업데이트 후에도 재현" (펌웨어 버전 미기재)한쪽 조건 없음판정 보류

판정 규칙은 결론의 세 갈래와 같다. 조건이 다르고 각 주장이 자기 조건 안에서 성립하면 조건 차이(글에 조건을 명시), 조건이 같은데 결론이 반대이면 실제 모순(탈락), 조건이 한쪽에만 적혀 있으면 보류(조건을 다시 조사)다.

27개 전부를 이렇게 분류하면 조건 차이 n / 실제 모순 m / 보류 k가 나온다. 이 비율이 나와야 근거 검사 규칙을 고칠지 판단할 수 있다. 위 x1~x3은 방법의 예이며 실제 비율과 무관하다.

집계 코드

집계 예시도 합성 입력이다. 세션의 실제 코드나 리포트 스키마가 아니며, 아래 필드가 있다고 가정한다. 자기 파이프라인에 적용하려면 후보마다 최종 결과를 한 줄씩 남기는 로그(또는 리포트 JSON)를 만들고, 폐기된 단계를 stage로, 고쳐 쓰기를 부른 횟수를 repair_attempts로 옮겨 적으면 된다. 세션의 리포트에는 repair_attempts가 기록된다고 보고됐다 .

필드뜻
id후보 식별자
status최종 상태. ready(통과) 또는 rejected(탈락)
stage탈락한 단계(topic_score, evidence, model_review). 통과 후보는 done
repair_attempts고쳐 쓰기를 시도한 횟수
from collections import Counter

results = [
    {"id": "c01", "status": "rejected", "stage": "evidence", "repair_attempts": 0},
    {"id": "c02", "status": "rejected", "stage": "evidence", "repair_attempts": 0},
    {"id": "c03", "status": "rejected", "stage": "evidence", "repair_attempts": 0},
    {"id": "c04", "status": "rejected", "stage": "model_review", "repair_attempts": 1},
    {"id": "c05", "status": "rejected", "stage": "model_review", "repair_attempts": 1},
    {"id": "c06", "status": "ready", "stage": "done", "repair_attempts": 1},
    {"id": "c07", "status": "ready", "stage": "done", "repair_attempts": 0},
    {"id": "c08", "status": "rejected", "stage": "topic_score", "repair_attempts": 0},
]

rejected = [r for r in results if r["status"] == "rejected"]
by_stage = Counter(r["stage"] for r in rejected)
repaired = [r for r in results if r.get("repair_attempts", 0) > 0]
recovered = [r for r in repaired if r["status"] == "ready"]

print(by_stage)
print(f"repair 시도 후보 {len(repaired)} / 회복 후보 {len(recovered)}")

예상 출력은 다음과 같다.

Counter({'evidence': 3, 'model_review': 2, 'topic_score': 1})
repair 시도 후보 3 / 회복 후보 1

읽는 법: 탈락 6개 중 3개가 evidence에서 멈췄고, repair를 시도한 3개(c04·c05·c06) 중 c06 하나만 통과했다. 세션의 실제 실행은 이 형태로 보면 evidence 27, model_review 4, repair 시도 4, 회복 0으로 보고됐다 .

테스트로 실패 후 수정 흐름을 확인하고, 실제 실행에서는 단계별 탈락과 수정 후 회복을 별도로 측정한다. 이 둘을 함께 봐야 다음에 고칠 지점을 정할 수 있다.


취재 후기 — 초록불 아홉 개와 0개의 글

박도은
우리가 만드는 건 IT 문제해결 글 생성기야. 주제 선정, 웹 조사, 집필, 심사를 거치는데 테스트 아홉 개가 통과한 뒤 실제 실행 결과는 후보 31개에 통과 0개로 나왔어 .
정바다
새로 넣은 repair가 아예 안 돈 거 아닐까? 심사에서 떨어진 글에 지적 사항을 전달해서 고쳐 쓰게 했는데, 그 단계가 빠지면 그냥 버려질 테니까 .
정하늘
먼저 결과 보고의 repair_attempts, 고쳐 쓰기를 시도한 횟수를 보자. 0인지 1인지 확인하면 수정 시도가 기록됐는지는 구분할 수 있어 .
박도은
심사 탈락 네 개는 모두 repair_attempts:1이야. 한 번씩 시도했지만 통과한 글은 없다고 나와 .
정하늘
그럼 아예 시도하지 않았다는 가설은 보고와 안 맞아. 다만 횟수가 찍혔다는 것만으로 수정 내용이나 구현 전체가 정상이라고 판단할 수는 없어 .
박도현
시도했는지와 살렸는지를 따로 세야겠네. 호출 횟수는 실행의 기록이고, 우리가 원하는 결과는 심사를 통과한 글이니까.
정바다
그런데 테스트도 통과했잖아. 실패한 글을 고쳐서 통과시키는 테스트라면 실제 글도 좋아졌다는 뜻인 줄 알았어 .
정하늘
어떤 입력과 응답으로 검사했는지 나눠 보자. 실제 모델 대신 정해진 응답을 주는 테스트용 provider를 썼다면 확인한 범위가 다를 수 있어.
박도은
일반 픽스처 실행은 심사를 통과하는 설정이라 수정 횟수가 [0,0]이었어. 별도 repair 테스트에는 첫 심사 실패 후 수정해서 통과하는 시나리오가 있었고 .
정하늘
그러면 수정 경로를 검사하지 않았다는 말도 틀려. 다만 준비한 시나리오가 통과한 것과 실제 모델의 글이 좋아진 것은 별도로 확인해야 해 .
박도현
테스트가 답한 질문을 정확히 읽어야겠어. 실패 후 수정 흐름이 이어지는지 확인했다고 해서 실제 생성물의 회복률까지 얻은 건 아니니까.
정바다
심사 탈락이 네 개면 나머지 27개는 어디서 멈춘 거야? 앞에서 막혔다면 고쳐 쓰기까지 도착하지 못했을 수도 있겠네 .
박도은
evidence, 조사한 근거를 검사하는 단계야. 27개 모두 source_conflict, 출처 충돌로 탈락했다고 나와 .
정하늘
그 검사는 conflicts 목록에 항목이 하나라도 있으면 바로 폐기하는 규칙이야. 그럼 목록에 뭐가 들어갔는지가 관건이지 .
박도은
기기마다 메뉴가 다르다는 정도도 충돌로 올라갔을 수 있다고 보고에 적혀 있어. 실제로 뭐가 들어갔는지는 우리가 아직 못 봤고 .
정하늘
그러니까 27개를 열어서 나눠야 해. 조건이 다른 주장끼리면 조건 차이, 같은 조건인데 결론이 반대면 실제 모순, 한쪽 조건이 비어 있으면 보류로.
정바다
그럼 게이트를 풀면 되잖아. 충돌이 하나라도 있으면 버리는 규칙을 없애 버리자. 그러면 27개가 한꺼번에 살아나겠네.
박도현
잠깐, 그건 조건 차이랑 실제 모순을 한꺼번에 통과시키는 거야. 같은 기기에서 재부팅하면 페어링이 유지된다는 글과 초기화된다는 글이 함께 나가면 독자한테 틀린 글을 주는 셈이지.
정바다
아… 오탐만 살리려다 진짜 모순까지 풀어 버리네. 그럼 조건이 다른 경우만 통과시키되 글에 조건을 적게 하면 되겠다.
정하늘
그게 맞는 방향이야. 그러려면 조사 단계가 주장마다 기기·버전을 같이 적어 와야 하고, 그 뒤에 다시 돌려서 비율이 어떻게 바뀌는지 재야 해.
박도은
심사에 간 네 개는 어땠어? 보고된 예시는 Google 근거를 Apple·Samsung 것처럼 쓴 것과, Pixel에서만 되는 걸 전체로 일반화한 것이었는데 .
정하늘
출처 귀속이랑 적용 범위가 섞인 오류네. 한 번 고쳤는데도 탈락했지만 두 번이면 되는지, 이런 오류는 원래 안 고쳐지는지는 이 기록으로 알 수 없어 .
박도현
그러면 횟수를 늘리기 전에 수정 전후 글을 비교해서 출처 귀속이 실제로 바뀌었는지부터 봐야겠어. 설정값은 언제든 바꿀 수 있으니까.
박도은
결국 통과 수는 아직 0개야. 앞선 실행과 조건이 같은지도 모르니까, 주제 탈락이 0이 됐다고 문턱 변경의 효과라고 단정하기도 어렵고 .
정하늘
맞아. 그래서 다음 조치는 27개 분류, 조건을 적어 오는 조사, 수정 전후 비교 순서야.
박도현
테스트 통과, 수정 시도, 수정 후 회복은 서로 다른 숫자야. 단계별 탈락 수와 함께 따로 세야 다음에 고칠 곳이 보이지.