LLM 성능 발전: 무어의 법칙을 초월하는 가속화
"LLM의 성능 발전은 전통적인 무어의 법칙과 유사하나, 모델 크기, 데이터, 알고리즘의 복합적 작용으로 훨씬 빠르고 복잡한 패턴을 보이며 지난 수년간 효율성 측면에서 이를 압도하고 있습니다."
추론 비용의 지수적 감소
동일 성능(GPT-3.5급) LLM 추론 비용이 2021년부터 매년 약 10배씩 감소했습니다. 2021년 1백만 토큰당 60달러에서 현재는 수십 배 이상 저렴해진 수준으로, 2년마다 2배 효율을 향상시키는 무어의 법칙을 압도합니다.
컴퓨트 요구량의 급격한 감소
동일 벤치마크 점수 달성을 위한 컴퓨트 파워가 8개월마다 절반으로 감소하고 있습니다. 이는 무어의 법칙보다 약 3배 빠른 속도로, 더 적은 자원으로 고성능을 달성하는 진보가 가속화되고 있음을 입증합니다.
모델 크기와 스케일링 전략의 변화
SOTA 모델의 파라미터 수는 매년 10배씩 증가하며 지수적 성장을 기록해 왔습니다. 최근에는 '스케일링 법칙의 한계' 논의와 함께, 단순 크기 증가보다는 추론 시 컴퓨트 스케일링(inference-time scaling)이나 알고리즘 개선이 성장을 주도하는 양상으로 변화하고 있습니다.
AI 에이전트의 자율성 향상
AI 에이전트의 복잡한 작업 완수 능력은 약 7개월마다 2배씩 향상되고 있습니다. 이는 'AI의 새로운 무어의 법칙'으로 불리며, LLM이 단순 텍스트 생성을 넘어 장기 추론 및 실질적 작업 수행 영역으로 진화하고 있음을 뜻합니다.