Total params
2.8T
MoE · Kimi K2 대비 +167%
Kimi K3는 2.8조 파라미터 규모의 Mixture-of-Experts 모델이다. 네이티브 비전 능력과 100만 토큰 컨텍스트를 갖추며, Kimi Delta Attention과 Attention Residuals 위에 세워졌다. 공개 가중치로 제공되는 세계 최초의 3T급 모델로, 장기 지평(long-horizon) 코딩·에이전트·지식·추론·비전 과제 전반에서 프런티어 수준의 성능을 낸다.
스케일링에는 두 개의 축이 있다. 하나는 사전학습 규모를 키우는 것이고, 다른 하나는 추론 시점(test-time) 계산을 늘리는 것이다. 오픈소스 생태계는 두 번째 축에서 빠르게 발전했지만 첫 번째 축은 대부분 1T급에 머물러 있었다. Kimi K3는 두 축을 함께 밀어 사전학습 기반을 3T급으로 확장하는 동시에, 강화학습·추론 노력(reasoning effort)·100만 토큰 상호작용을 함께 확장한다.
KDA, Attention Residuals, Stable LatentMoE와 정제된 데이터·학습 레시피를 결합해 전체 스케일링 효율을 Kimi K2 대비 약 2.5배 끌어올린다.
일반·에이전트·코딩 도메인과 low/high/max 추론 노력 수준에 걸쳐 RL을 수행한 뒤, 다중 교사 온-폴리시 증류로 하나의 통합 모델에 응축한다.
KDA 시스템 공동설계, 완전 부하 균형 MoonEP, 재개 가능한 마이크로VM 샌드박스로 100만 토큰 에이전트 궤적을 유지한다.
Kimi K3는 시퀀스 길이, 네트워크 깊이, 모델 폭이라는 세 방향으로 정보 흐름을 확장하도록 설계됐다. 시퀀스 방향에서는 하이브리드 어텐션이, 깊이 방향에서는 Attention Residuals가, 폭 방향에서는 Stable LatentMoE가 각각 이 역할을 맡는다.
델타 규칙 순환에 채널별 망각 게이트를 더한 선형 어텐션이다. 고정 크기 순환 상태로 소프트맥스 KV 캐시를 대체하며, 로그-디케이를 아래로 한계짓는 스케일드 시그모이드로 대각 타일까지 Tensor Core 밀집 연산에 태운다.
표준 잔차가 모든 이전 정보를 하나의 상태로 압축하는 병목을 깬다. 각 층이 학습된 유사-쿼리로 앞선 모든 층의 표현에 선택적으로 어텐션한다. 층을 8개 블록으로 분할해 오버헤드를 O(Ld)에서 O(Nd)로 낮춘다.
공유 전문가는 전폭 경로를, 라우팅 전문가는 압축된 잠재 공간을 쓴다. 업-프로젝션 전 RMSNorm, 활성 폭주를 막는 SiTU-GLU, 부하 균형을 위한 Quantile Balancing이 극단적 희소성에서 최적화를 안정화한다.
// KDA 층이 위치·최근성 정보를, MLA 층이 무제한 전역 상호작용을 담당한다. MLA에 NoPE를 적용해 컨텍스트 확장 시 RoPE 재조정 없이 100만 토큰까지 직접 외삽한다. 네이티브 비전은 MoonViT-V2(27층 · 0.4B)가 처음부터 next-token 예측으로 학습돼 입력단에서 합류한다.
아키텍처·데이터·학습 개선이 최적 학습 영역 자체를 바꾸므로, 배치 크기·학습률·TPP·모델 형태를 재조정하는 전용 스케일링 법칙 연구를 수행했다. 그 결과가 아래 구조적 변화이며, 스케일링 효율은 약 2.5배 향상됐다.
| 항목 | Kimi K2 | Kimi K3 | Δ |
|---|---|---|---|
| 레이어 수 | 61 | 93 | ↑ 52% |
| 전체 파라미터 | 1.04T | 2.78T | ↑ 167% |
| 활성 파라미터 | 32.6B | 104.2B | ↑ 220% |
| 라우팅 전문가 | 384 | 896 | ↑ 133% |
| 토큰당 활성 전문가 | 8 | 16 | ↑ 100% |
| 공유 전문가 | 1 | 2 | ↑ 100% |
| 어텐션 헤드 | 64 | 96 | ↑ 50% |
| 학습 컨텍스트 길이 | 128K | 1M | 8× |
| 어텐션 메커니즘 | MLA | Hybrid KDA–MLA | — |
| 활성화 함수 | SwiGLU | SiTU-GLU | — |
SFT로 콜드-스타트 정책을 세우고, 9개 도메인·노력 전문가를 RL로 키운 뒤, 다중 교사 온-폴리시 증류(MOPD)로 하나의 통합 모델에 응축한다.
RLKimi K3는 한 모델에서 좀처럼 함께 마주치지 않는 세 난제를 결합한다. 하이브리드 KDA 어텐션, 3T급 희소 멀티모달 학습·추론, 100만 토큰 에이전트 워크로드다. 인프라는 모델 생애주기 전반에 걸쳐 이 난제들과 함께 설계됐다.
청크 내 계산과 청크 간 상태 전파를 겹치는 CUTLASS 커널, 그리고 고정 크기 all-gather만으로 순환 상태를 동기화하는 KDA 컨텍스트 병렬화.
동적 여분 전문가로 완전 부하 균형을 달성한다. 모든 랭크가 정확히 S×K 토큰을 받아 정적 연산 형태를 확보하고, 제로-카피 통신 경로를 만든다.
Firecracker 마이크로VM 기반 샌드박스. 증분 체크포인트로 체크포인트·재개 지연을 133ms·49ms까지 낮추고, Pause·Fork·Snapshot을 제공한다.
고정 크기 순환 상태를 MLA KV와 같은 페이지 풀에 담아 관리한다. 512토큰 경계 단위 세밀 접두어 재사용과, 캐시 인지 어피니티·예산 기반 수용 제어로 서빙을 예측 가능하게 만든다.
전반 성능은 가장 강력한 독점 모델인 Claude Fable 5, GPT-5.6 Sol에 근소하게 뒤지지만, 평가 대상 나머지 오픈·독점 모델은 일관되게 앞선다. 아래 막대는 스크롤 시 실제 점수에 맞춰 채워진다. 파란 막대가 Kimi K3다.
독립 제3자 평가에서도 결과는 일관된다. Artificial Analysis Intelligence Index v4.1에서 57.1로 상위권에 들고, LMArena WebDev Arena에서는 이 리더보드를 처음으로 석권한 오픈 모델이 됐다.
580개 모델 중 4위. Claude Fable 5(59.9), GPT-5.6 Sol(58.9)에 이어, 나머지 모든 평가 모델을 앞선다.
GDP 가중 산업 벤치마크 39개 모델 중 2위. Claude Fable 5(75.1%) 바로 뒤에서 GPT-5.6 Sol을 앞선다.
99개 모델 중 1위(Elo 1,678). 이 리더보드 정상에 오른 최초의 오픈 모델이다.
벤치마크를 넘어, 대표 사례들은 Kimi K3가 여러 시간·수백 단계에 걸친 자율 작업을 수행함을 보여준다.
세계 최초의 오픈 3T급 모델로서, Kimi K3는 모두의 손이 닿는 곳에 새로운 오픈 프런티어를 세운다. 강력한 독점 모델과의 격차는 남아 있지만, 프런티어 지능을 연구·배포·혁신을 위해 개방한다.
K3