에이전트 AI - Jev : 자연어로 즉석 정의된 판단 과제가 바뀌어도 정확도와 확률 보정이 유지되는가

https://substack.com/@rasbt/note/c-341539482?r=gz98s

2026.9.21
[It’s easy to dismiss Jev as “just a classifier”]

이 텍스트는 인공지능 전문가 세바스찬 라쉬카(Sebastian Raschka) 박사가 새로운 AI 분류 도구인 Jev에 대해 남긴 평가와 이에 대한 소셜 미디어상의 반응을 담고 있습니다. 과거의 인코더 모델들이 특정 목적에만 국한되었던 것과 달리, Jev는 다양한 작업에 유연하게 대응하는 강력한 일반화 능력을 갖추었다는 점이 핵심적인 성과로 꼽힙니다. 라쉬카 박사는 이러한 성공의 비결이 복잡한 알고리즘보다는 학습 데이터의 품질과 사용자 친화적인 API 디자인에 있다고 분석합니다. 종합적으로 이 자료는 Jev가 단순한 분류기를 넘어, 개발자들이 자연어를 통해 고성능 모델을 쉽게 활용할 수 있게 하는 분류 기술의 민주화를 이끌고 있음을 시사합니다.

 

Raschka의 핵심 평가는 다음 한 문장입니다.

Jev의 본질은 “분류기”라는 출력 형식이 아니라, 과제·도메인·레이블이 매번 달라져도 잘 일반화하는 범용 의사결정 모델이며, 차별성의 중심은 RLCD 자체보다 훈련 데이터와 API 설계에 있을 가능성이 크다.[1]

 

타당한 지점

1. “그냥 분류기”라는 축소 해석의 한계 전통적 encoder 분류기는 보통 고정 레이블·고정 과업을 위한 전용 모델이었습니다. Jev는 자연어 state와 실행 시점에 정의하는 질문·선택지로 판단 과업을 구성한다는 점에서 전통 classifier보다 범용적입니다.

1. 데이터가 핵심일 가능성 TypeSafe도 calibrated decision을 학습했다고 주장하지만, 모델 구조·RLCD 목적함수·합성데이터 생성법은 충분히 공개하지 않았습니다. 따라서 범용성의 원인을 RLCD로 단정할 수 없고, 모호성 수준과 실제 정답확률을 통제한 고품질 합성 판단 데이터가 핵심일 수 있다는 Raschka의 가설은 매우 합리적입니다.

1. API 설계의 제품적 가치 첨부 그림은 Jev가 단순 JSON 생성이 아니라:

반드시 구분할 부분

그림의 설명처럼 noul=0.95를 “긴급할 확률 95%”로 해석하려면, 해당 업무분포에서 실제로 0.95를 받은 사례의 약 95%가 긴급이라는 실증적 calibration 검증이 전제돼야 합니다. API가 0~1 값을 반환하는 것과 그 수치가 실제 빈도와 일치하는 것은 별개입니다.

또한 Choice의 confidence=0.81은 별도의 정답확률이 아니라, 선택지 확률분포의 집중도를 요약한 값입니다. 따라서 다음을 혼동하면 안 됩니다.

 

billing 확률 0.88 → 해당 선택지에 대한 모델의 분포

confidence 0.81 → 분포 집중도 요약값

실제 정답률 88% → 반드시 hold-out 실측으로 확인할 값

 

기존 보고서에 추가할 핵심 보완

Raschka의 관점을 반영하면 Jev의 평가 프레임은 아래처럼 정리하는 것이 적절합니다.

평가 질문	검증 대상
Jev는 범용적인가?	미학습 도메인·새 질문·새 레이블에서 정확도와 calibration 유지 여부
RLCD가 효과적인가?	동일 데이터·동일 모델에서 RLCD 대 지도학습+temperature scaling 비교
데이터가 핵심인가?	합성 판단 데이터의 모호성·정답확률 통제 품질 및 실제 업무 전이 성능
API가 가치 있는가?	타입 준수율, p95 지연, 비용, 코드 통합 난이도, 정책 실행 오류율
확률을 믿을 수 있는가?	업무별 ECE/cwECE, Brier, NLL, reliability diagram, risk-coverage

 

종합적으로, Raschka의 논평은 Jev를 과대평가하지도 과소평가하지도 않는 좋은 관점입니다. 혁신의 판단 기준은 “classifier인가 아닌가”가 아니라, 자연어로 즉석 정의된 판단 과제가 바뀌어도 정확도와 확률 보정이 유지되는가입니다. 그 일반화가 독립 벤치마크에서 확인된다면, Jev의 가치가 단순한 빠른 분류 API를 넘어섭니다. 반대로 그 일반화가 합성 평가에만 머문다면, 핵심 가치는 RLCD보다 데이터 큐레이션과 인터페이스 설계에 더 가깝습니다.

 

[1] https://substack.com/@rasbt/note/c-341539482?r=gz98s