개발 취재 노트
AI 모델 성능을 비교했는데 한쪽이 자꾸 질 때 — 추론 강도 설정부터 확인하세요
AI 캐릭터들이 그날의 이슈로 티격태격하는 쇼츠 영상을 대본부터 렌더링까지 자동으로 만드는 파이프라인(personaverse)에서, 대사를 쓰는 작업자로 Claude Opus와 Codex를 번갈아 돌려 비교하고 있었다. "Codex가 문장은 더 잘 쓰는 것 같던데?"라는 인상을 확인해보려 설정을 들여다봤더니, Codex 쪽 호출에는 추론 강도(reasoning effort)가 아예 비어 있어 조용히 기본값(낮음)으로 돌고 있었다. 그 상태로 해 온 비교는 처음부터 공정하지 않았다.
결론
LLM API 중에는 "추론 강도"나 "생각 예산" 같은 파라미터를 비워 두면 공급자가 정한 기본값으로 조용히 떨어지는
것들이 있다. 이 사례에서는 Codex 호출 기록에 reasoning_effort가 null로 남아 있었고, 예전 설정 메모에는 이
기본값이 '낮음'이라고 적혀 있었다. 반대쪽으로 비교하던 Claude Opus는 추론 여유를 충분히 두고
돌았다. 그래서 "Codex가 문장은 낫다"는 느낌은 설정값이 다른 두 모델을 비교한 결과였다.
# 전 — Codex 호출, 추론 강도를 안 적음
{"model": "gpt-6-astra", "reasoning_effort": null} # 비우면 기본값('낮음')으로 조용히 떨어짐
# 후 — 비교 대상과 추론 여유를 맞춤
{"model": "gpt-6-astra", "reasoning_effort": "high"}
추론 강도를 맞춰서 다시 비교한 결과는 절반만 뒤집혔다. 한 줄 한 줄의 말맛은 Codex가 정말로 더 좋았다.
하지만 장면 전체를 짜는 능력(문답 구조를 벗어나는 것)은 추론 강도를 최고(xhigh, 346초)로 올려도 나아지지
않았다. 즉 설정값 문제였던 부분과 모델 자체의 약점이었던 부분이 따로 있었고, 공정하게 맞춰
보기 전에는 둘을 구분할 수 없었다.
상황
이 글의 personaverse는 세대·가계·한국 현대사를 가진 AI 캐릭터 네 명이 그날의 이슈로 대화하는 쇼츠 영상을
대본부터 렌더링까지 만드는 파이프라인이다. 대사를 쓰는 작업자 엔진으로는 Claude Opus 5.5, Claude Sonnet 5
(루프 기본값), Codex(gpt-6-astra)를 써 봤다. 세 엔진을 같은 지시문으로
돌려 결과를 비교하며 지시문과 파이프라인을 개선하던 중이었다.
증상
여러 번 비교해 본 뒤 "개인적으로는 Codex가 문장 구사력은 더 좋다고 생각했는데 어때? 비교해 보고 싶어"라는 질문이 나왔다. 그런데 이 질문에 바로 답하기 전에, 지금까지의 비교가 같은 조건에서 이뤄진 것인지 확인이 필요했다.
원인
Codex 쪽 호출 설정을 확인하니 추론 강도(reasoning_effort)가 null로 남아 있었다. 비워 둔 값은 Codex가
기본값으로 처리했고, 예전 설정 메모에는 그 기본값이 '낮음'이라고 적혀 있었다. 반면 비교 상대인
Claude Opus 쪽 호출은 추론 여유를 충분히 두고 돌고 있었다. 그러니 그동안 "Codex가 문장은 더 잘 쓴다"거나
"Codex가 구조를 못 짠다" 같은 판단 모두, 추론 강도가 다른 두 모델을 비교한 결과였을 수 있었다.
해결
같은 지시문과 같은 입력으로, Codex의 추론 강도만 high와 xhigh로 올려 네 가지 시험을 동시에 돌렸다. 지시문
예시에 이미 나온 소재는 베낄 수 있어 제외하고, 두 쪽 다 새 소재(알뜰폰 요금, 전기장판 vs 온수매트)로
시험했다.
결과는 두 갈래로 나뉘었다.
- 한 줄 단위 말맛: 추론 강도를 올린 Codex는 "네 성질이 제일 급해", "아빠, 통화보다 한숨을 더 많이 쓰네" 같은
대사를 냈다. Opus에게서는 잘 안 나오는 톤이었다.
- 장면 구조: 같은 소재의 알뜰폰 편은
high·xhigh모두 앞쪽 절반이 "번호 바뀌면?" → "번호 그대로야" 식
문답으로 남아 있었다. xhigh는 346초를 들였는데도 이 구조가 고쳐지지 않았다.
즉 추론 강도를 맞추자 "Codex가 문장은 낫다"는 느낌은 확인됐지만, "장면을 못 짠다"는 약점은 설정과 무관하게 그대로 남았다. 두 결과를 나눠서 본 다음, 장면 구조는 Opus가 설계하고 문장 다듬기는 Codex에게 맡기는 분업으로 정리했다.
덤 — 이 프로젝트 밖에서도 같은 함정이 있을까
추론 강도나 생각 예산 파라미터를 선택할 수 있는 LLM API에서는, 값을 비워 두면 공급자가 정한 기본값으로 떨어지는 구조 자체가 드물지 않다. 다만 이번에 확인한 "기본값이 낮음"이라는 내용은 이 프로젝트의 예전 설정 메모에서 나온 것이고, Codex 쪽 공식 문서로 재확인한 것은 아니다. 여러 모델을 나란히 비교할 때는 모델 이름만 맞추지 말고, 추론 강도처럼 비워 두면 조용히 낮은 값으로 떨어지는 설정이 있는지부터 확인하는 게 안전하다.
취재 후기 — 설정 하나 비워뒀다고
같던데?" 하는 얘기가 나왔어
비교가 아니야.
reasoning_effort가 null로 찍혀 있어다시 돌려야 갈려.
올려서
(몇 분 뒤)
말투야
xhigh로 346초를 썼는데도 그래
틀렸던 거야. 둘 다였네.
맞추고 시작해야 해.