개발 취재 노트

AI 모델 성능을 비교했는데 한쪽이 자꾸 질 때 — 추론 강도 설정부터 확인하세요

AI 캐릭터들이 그날의 이슈로 티격태격하는 쇼츠 영상을 대본부터 렌더링까지 자동으로 만드는 파이프라인(personaverse)에서, 대사를 쓰는 작업자로 Claude Opus와 Codex를 번갈아 돌려 비교하고 있었다. "Codex가 문장은 더 잘 쓰는 것 같던데?"라는 인상을 확인해보려 설정을 들여다봤더니, Codex 쪽 호출에는 추론 강도(reasoning effort)가 아예 비어 있어 조용히 기본값(낮음)으로 돌고 있었다. 그 상태로 해 온 비교는 처음부터 공정하지 않았다.

결론

LLM API 중에는 "추론 강도"나 "생각 예산" 같은 파라미터를 비워 두면 공급자가 정한 기본값으로 조용히 떨어지는 것들이 있다. 이 사례에서는 Codex 호출 기록에 reasoning_effort가 null로 남아 있었고, 예전 설정 메모에는 이 기본값이 '낮음'이라고 적혀 있었다. 반대쪽으로 비교하던 Claude Opus는 추론 여유를 충분히 두고 돌았다. 그래서 "Codex가 문장은 낫다"는 느낌은 설정값이 다른 두 모델을 비교한 결과였다.

# 전 — Codex 호출, 추론 강도를 안 적음
{"model": "gpt-6-astra", "reasoning_effort": null}   # 비우면 기본값('낮음')으로 조용히 떨어짐

# 후 — 비교 대상과 추론 여유를 맞춤
{"model": "gpt-6-astra", "reasoning_effort": "high"}

추론 강도를 맞춰서 다시 비교한 결과는 절반만 뒤집혔다. 한 줄 한 줄의 말맛은 Codex가 정말로 더 좋았다. 하지만 장면 전체를 짜는 능력(문답 구조를 벗어나는 것)은 추론 강도를 최고(xhigh, 346초)로 올려도 나아지지 않았다. 즉 설정값 문제였던 부분과 모델 자체의 약점이었던 부분이 따로 있었고, 공정하게 맞춰 보기 전에는 둘을 구분할 수 없었다.

상황

이 글의 personaverse는 세대·가계·한국 현대사를 가진 AI 캐릭터 네 명이 그날의 이슈로 대화하는 쇼츠 영상을 대본부터 렌더링까지 만드는 파이프라인이다. 대사를 쓰는 작업자 엔진으로는 Claude Opus 5.5, Claude Sonnet 5 (루프 기본값), Codex(gpt-6-astra)를 써 봤다. 세 엔진을 같은 지시문으로 돌려 결과를 비교하며 지시문과 파이프라인을 개선하던 중이었다.

증상

여러 번 비교해 본 뒤 "개인적으로는 Codex가 문장 구사력은 더 좋다고 생각했는데 어때? 비교해 보고 싶어"라는 질문이 나왔다. 그런데 이 질문에 바로 답하기 전에, 지금까지의 비교가 같은 조건에서 이뤄진 것인지 확인이 필요했다.

원인

Codex 쪽 호출 설정을 확인하니 추론 강도(reasoning_effort)가 null로 남아 있었다. 비워 둔 값은 Codex가 기본값으로 처리했고, 예전 설정 메모에는 그 기본값이 '낮음'이라고 적혀 있었다. 반면 비교 상대인 Claude Opus 쪽 호출은 추론 여유를 충분히 두고 돌고 있었다. 그러니 그동안 "Codex가 문장은 더 잘 쓴다"거나 "Codex가 구조를 못 짠다" 같은 판단 모두, 추론 강도가 다른 두 모델을 비교한 결과였을 수 있었다.

해결

같은 지시문과 같은 입력으로, Codex의 추론 강도만 high와 xhigh로 올려 네 가지 시험을 동시에 돌렸다. 지시문 예시에 이미 나온 소재는 베낄 수 있어 제외하고, 두 쪽 다 새 소재(알뜰폰 요금, 전기장판 vs 온수매트)로 시험했다.

결과는 두 갈래로 나뉘었다.

대사를 냈다. Opus에게서는 잘 안 나오는 톤이었다.

문답으로 남아 있었다. xhigh는 346초를 들였는데도 이 구조가 고쳐지지 않았다.

즉 추론 강도를 맞추자 "Codex가 문장은 낫다"는 느낌은 확인됐지만, "장면을 못 짠다"는 약점은 설정과 무관하게 그대로 남았다. 두 결과를 나눠서 본 다음, 장면 구조는 Opus가 설계하고 문장 다듬기는 Codex에게 맡기는 분업으로 정리했다.

덤 — 이 프로젝트 밖에서도 같은 함정이 있을까

추론 강도나 생각 예산 파라미터를 선택할 수 있는 LLM API에서는, 값을 비워 두면 공급자가 정한 기본값으로 떨어지는 구조 자체가 드물지 않다. 다만 이번에 확인한 "기본값이 낮음"이라는 내용은 이 프로젝트의 예전 설정 메모에서 나온 것이고, Codex 쪽 공식 문서로 재확인한 것은 아니다. 여러 모델을 나란히 비교할 때는 모델 이름만 맞추지 말고, 추론 강도처럼 비워 두면 조용히 낮은 값으로 떨어지는 설정이 있는지부터 확인하는 게 안전하다.

취재 후기 — 설정 하나 비워뒀다고

박도은
대사 쓰는 작업자로 Opus랑 Codex를 같이 써보고 있었잖아. 그런데 "Codex가 문장은 더 잘 쓰는 것

같던데?" 하는 얘기가 나왔어

정바다
그거 맞을걸. 지난번 결과 보면 Codex 쪽 한 줄 한 줄이 더 입에 붙더라고. 모델 자체 차이 아니야?
정하늘
잠깐, 그 전에. 두 쪽 추론 강도는 맞춰놓고 비교한 거야?
정바다
추론 강도가 뭔데 그게 중요해? 같은 지시문 넣었으면 공정하지.
정하늘
모델이 답 내놓기 전에 얼마나 깊게 생각하게 할지 정하는 값이야. 그게 다르면 같은 지시문도 공정한

비교가 아니야.

박도은
확인해봤는데 아니었어. Codex 호출 기록에 reasoning_effort가 null로 찍혀 있어
정하늘
null이면 그냥 안 적은 거잖아. 그럼 뭐로 돌아간 거야?
박도은
예전 설정 메모 보니까 비워두면 기본값인 '낮음'으로 떨어진대
박도현
반대쪽 Opus는 추론 여유를 충분히 주고 돌렸고. 그럼 처음부터 공정한 비교가 아니었던 거네.
정바다
그래도 결과는 결과잖아. '낮음'으로도 그만큼 썼으면 Codex가 잘하는 거 아니야?
정하늘
그 말로는 "Codex가 원래 낫다"는 것도 "설정만 낮았다"는 것도 둘 다 증명 못 해. 추론 강도 올려서

다시 돌려야 갈려.

박도은
그래서 네 개를 동시에 돌렸어. 같은 지시문, 새 소재 둘인데 Codex만 추론 강도를 high랑 xhigh로

올려서

(몇 분 뒤)

박도현
나왔어? 얼마나 걸렸는데.
박도은
xhigh는 346초. 기본 강도일 때보다 훨씬 오래 걸렸어
정바다
봐, 시간 더 썼으니까 좋아졌겠지. 이제 Codex가 이긴 거 아니야?
정하늘
줄 단위로 봐야지. 전체가 좋아졌는지 한 군데만 좋아졌는지.
박도은
한 줄 한 줄은 진짜 좋아졌어. "네 성질이 제일 급해" 같은 대사, Opus한테서는 잘 안 나오는

말투야

정바다
그럼 내 말이 맞았네. Codex가 문장은 낫잖아.
박도현
문장만 보지 말고 장면 구조는 어때. 처음에 문제 됐던 그 부분.
박도은
그건 여전히 안 됐어. 알뜰폰 편 앞쪽 절반이 아직도 "번호 바뀌면?" → "번호 그대로야" 식 문답이야.

xhigh로 346초를 썼는데도 그래

정하늘
그러니까 추론 강도가 올린 건 한 줄의 말맛이고, 장면을 짜는 능력은 안 올라간 거네.
정바다
*(뜸)* …그럼 처음에 내가 "모델이 별로다"라고 한 것도 틀렸고, "설정만 낮았다"고 넘겼어도

틀렸던 거야. 둘 다였네.

박도현
맞아. 공정하게 맞춰보지 않았으면 둘 중 뭐가 진짜 약점인지 영원히 몰랐을 거야.
박도은
그래서 결정은, 장면은 Opus가 짜고 문장은 Codex가 다듬는 걸로 가자
정하늘
설정 하나 비워뒀다고 모델 자체가 못한다고 결론 낼 뻔했잖아. 모델 비교할 땐 추론 강도부터

맞추고 시작해야 해.