Jev 생태계 관찰 (3): 4일간의 실패 사례, 언제 믿지 말아야 하나

앞선 두 글에서는 이 생태계가 4일간 이룬 성공적인 측면을 다뤘습니다. 이번 글은 반대편인 실패 기록에 집중합니다. 증거 기준은 동일합니다. 모두 2026-09-15부터 09-19까지 진행한 10차례 스캔에서 수집했고, 서드파티 수치는 모두 작성자 자체 보고이며 A/B/C 등급으로 분류했습니다. 다만 이 글에서 인용한 핵심 평가는 원문을 한 단어도 빠짐없이 읽었습니다.

$1.43짜리 엄격한 실험

독립 평가 기관 agentjournal은 이 생태계에서 가장 탄탄한 대조 실험 중 하나를 진행했습니다. 분류 작업 세 가지, 테스트 5,477행, 토큰 34.1M개, 총비용 $1.43으로 "단일 직접 질의"와 "12-14개 차원으로 나눠 점수를 매긴 뒤 로컬에서 피팅하는 방식"을 비교했습니다. 하나씩 기억해 둘 만한 결과는 다섯 가지입니다.

1. 단순한 작업에서는 차원 분할을 피하세요. 함정이 포함된 합성 샘플 200개에서 직접 질의는 정확도 100%를 기록했지만(레이블을 바꿔도 100%로 위치 편향 없음), 12차원 분할 파이프라인은 98.0%였습니다. 토큰을 더 쓰고 더 나쁜 결과를 얻은 셈입니다.
2. 평가 분할이 잘못되면 숫자가 거짓말을 합니다. 무작위 교차 검증은 98.0%를 보고했지만, 템플릿 계열별로 그룹화하고 일치하는 특징을 홀드아웃하자 90.0%로 떨어졌습니다. 8포인트의 템플릿 누수입니다. 같은 분할에서 무료 문자 바이그램 베이스라인은 93.5%로 오히려 더 높았습니다. 작성자의 두 가지 습관은 도입할 만합니다. 항상 다수 클래스 베이스라인을 먼저 출력하고, 데이터셋을 보기 전에 분할을 설계하는 것입니다.
3. 차원 분할은 어려운 작업에서만 이득이 있습니다. 레이블이 여러 약한 신호의 집계 속에 숨겨진 300행 작업에서 직접 질의는 64.7%, 차원 분할은 74.0%를 기록했습니다(9포인트 향상, p=0.0050). 하지만 무료 문자 바이그램 베이스라인도 똑같이 74.0%였습니다. 무료 베이스라인을 먼저 작성하고, 모델은 그다음에 논의하세요.
4. 넓은 옵션은 반드시 무너집니다. 실제 장부 데이터에서 단일 Choice 프롬프트에 선택지 12개를 주자 정확도는 0.3998에 그쳤습니다. "모든 단어는 이해했지만 12개 중 1개를 고르는 데 실패했다"는 것으로, 병목이 이해력이 아니라 의사결정 형식에 있음을 보여 줍니다. 14개 차원으로 나누고 가중치를 주자 정확도가 0.9105로 회복되었고, n-gram과 스태킹하면 0.9695에 도달했습니다.
5. 오탐에 민감한 시나리오에서 차원 분할은 재앙입니다. 판별하기 어려운 정상 샘플 339개(보안 문서, 레드팀 노트, 이 글 같은 기사처럼 "공격 기법을 언급하지만 무해한" 콘텐츠)에서 직접 질의의 오탐률은 1.5%였지만 12차원 분할은 37.2%로 약 25배 차이가 났고, 네 차례의 수정 시도도 모두 실패했습니다. 작성자의 결론은 이것이 파라미터 튜닝 문제가 아니라 차원 설계 문제라는 것입니다. 제대로 된 직접 호출은 모델에 특징으로 끼워 넣기보다 독립적인 심판으로 모델 옆에 두어야 합니다.

공식도 예외는 아니었습니다

커뮤니티는 공식 Python SDK의 빠른 시작 이슈 #2에 이를 기록했습니다. 예시 티켓 댓글에는 technical로 분류되어야 한다고 적혀 있었지만, 제보자들이 실제로 측정해 보니 billing(0.67)이 반환되었고, 100번 반복해도 결론은 같았습니다. 고객 지원 티켓에 결제 실패와 연동 오류가 함께 담겨 있다면 3지선다 분류의 경계는 본래 모호합니다. 그래도 공식 예시가 스스로 내세운 기준에서 실패했다는 것은 입문자의 신뢰에 실질적인 타격을 줍니다.

제품 측의 솔직한 사례

공식의 실패보다 더 가치 있는 것은 제품 측이 공개한 결함입니다. 주장 검증 제품 Attest는 두 가지 수치를 공개했습니다. 실제 검사 24건 중 22건이 0.95~0.99 사이에 몰려 신뢰도 필드를 없앴고("항상 같은 숫자는 정보가 아닙니다"), 증거 순서를 뒤집으면 판단의 5.8%가 바뀝니다. 스타트업 아이디어 채점기 killmyidea는 사용자 테스트에서 세 글자만 빼도 점수가 크게 흔들린다는 사실이 드러났고, 작성자는 이것이 "일관된 직관 점검 도구일 뿐, 정답을 알려 주는 존재는 아니다"라고 인정했습니다. 게임 쪽에서는 공중전 AI 작성자가 "꽤 형편없다"고 자체 평가했고, 트레이딩 쪽에서는 모의 거래 375건에서 승률 41.1%라는 필터링하지 않은 데이터를 공개한 사람도 있습니다. 모두가 좋은 소식만 전하는 이 생태계에서 과장되지 않은 수치는 하나하나 기록해 둘 가치가 있습니다.

메타 경고도 있습니다. 유명 개발자 steve8708은 X에서 화제가 된 Jev 데모에 배속 처리되거나 조작된 내용이 섞여 있다고 공개적으로 지적했습니다. 저희는 이에 대한 대응을 수록 기준에 반영했습니다. "초인적인 속도"를 내세우는 데모는 완전한 방법론과 실행 트레이스를 갖춘 경우에만 인정합니다.

믿지 말아야 할 때

이 글과 이전 글의 교훈을 합치면 신뢰하지 말아야 할 조건을 정리한 체크리스트가 나옵니다:

• 신뢰도 ≥0.9라고 정답은 아닙니다. 전체 행의 42%를 차지한 고신뢰도 행에서도 정확도는 72.2%에 불과했습니다.
• 차원 분할이 더 엄밀하다는 뜻은 아닙니다. 오탐에 민감한 시나리오에서는 25배 나쁜 결과를 냅니다.
• 한 번에 옵션을 10개 넘게 주면 정확도가 무작위 베이스라인 수준으로 곧장 떨어집니다.
• 입력 순서와 표현이 달라지면 판단도 그에 따라 흔들릴 수 있습니다.
• 무료 베이스라인(n-gram, Naive Bayes, 규칙)을 돌려 보기 전에는 어떤 정확도 수치든 보수적으로 평가하세요.
• 실제 분포를 기준으로 분할을 설계하지 않으면 템플릿 누수가 없던 8포인트를 만들어 낼 수 있습니다.

이에 대응하는 자기 방어 체크리스트는 여섯 가지입니다. 직접 질의 우선, 좁은 옵션 사용, 입력 순서 고정, 베이스라인 먼저 실행, 독립 평가 세트 유지, 직접 호출을 독립 심판으로 활용하기입니다. 의사결정 프리미티브의 최적 지점(좁은 문제 × 고빈도 × 제한된 액션)은 여전히 유효하지만, 그 범위를 벗어나면 실제로 발목을 잡힐 수 있습니다.

시리즈의 다음 글에서는 개별 사례를 넘어 이 생태계가 이미 키워 낸 인프라 계층을 살펴봅니다. 판단 계층에 안정적인 댓글, 평판, 가격 데이터가 입력으로 필요하다면 통합 데이터 API 연동 가이드부터 시작해 보세요.