인공지능 - 합성 데이터 (Synthetic data) - 개념 중심 합성 데이터

 

https://huggingface.co/blog/nvidia/synthetic-code-concepts

 

1,500만 개의 파이썬 프로그래밍 문제로 구성된 'Code Concepts' 데이터셋은 AI 모델의 프로그래밍 숙련도와 추론 능력을 비약적으로 향상시켰습니다,.

이 데이터셋이 AI 성능을 높인 구체적인 방식과 결과는 다음과 같습니다.

• 벤치마크 점수의 대폭 향상: Nemotron-Nano-v3 모델의 사전 학습(pretraining) 마지막 1,000억 개의 토큰 중 100억 개를 이 데이터셋으로 대체하여 학습시킨 결과, HumanEval 벤치마크 점수가 73점에서 79점으로 6포인트 상승하는 성과를 거두었습니다,,.
• 개념 중심의 정밀한 학습: 단순히 양질의 데이터를 많이 넣는 것에 그치지 않고, 수천 개의 프로그래밍 개념을 체계화한 **계층적 분류 체계(Taxonomy)**를 활용했습니다. 특히 HumanEval 벤치마크와 관련성이 높은 91개의 핵심 개념을 선정하여 모델이 특정 기술을 집중적으로 강화할 수 있도록 **개념적 타겟팅(conceptual targeting)**을 수행했습니다,.
• 코드 품질 및 유효성 보장: 생성된 1,500만 개의 문제는 모두 파이썬의 ast.parse 함수를 통해 실제 작동하는 코드임이 검증되어 데이터의 신뢰성을 높였습니다.
• 정성적 수행 능력의 개선: 수치적인 점수 향상 외에도 모델은 그래프 알고리즘, 집합 연산(set operations) 등 복잡한 프로그래밍 개념에서 더 강한 성능을 보였으며, 특히 예외 상황(edge cases) 처리 및 코드 실행 추론 능력이 눈에 띄게 개선되었습니다.

결론적으로, 이 데이터셋은 대규모 언어 모델(LLM)이 사전 학습 과정에서 부족할 수 있는 논리적 추론과 구체적인 프로그래밍 지식을 보완함으로써 전체적인 모델의 질을 높이는 역할을 했습니다.