턴을 기다리는 비서에서,
대화하며 일하는 지속형 협업자로

기존 음성 assistant는 사용자가 발화를 끝낸 뒤 VAD나 ASR이 경계를 정하고 모델이 응답하는 request-response 구조에 가깝다. 이 구조는 질문응답에는 충분하지만 hesitation, pause, overlapping speech, interruption, backchannel, multi-party conversation처럼 실제 대화의 동적인 상태를 모델 내부에서 다루기 어렵다.

관련 연구는 세 방향으로 진화해 왔다. BayLing-Duplex·Qwen-Audio-3.0-Realtime·Audio Interaction Model·Seeduplex·GPT-Live 같은 연구는 언제 듣고 언제 말할지를 모델의 autoregressive decision으로 내부화했다. Qwen Omni·MiniCPM-o 4.5·JoyAI-VL-Interaction·SeedRealtime은 visual stream까지 결합해 omni interaction을 확장했다. Qwen Audio Agent, GPT-Live+Codex, Claude Voice Mode 계열은 continuous voice와 backend task execution을 결합하는 방향으로 나아갔다.

하지만 논문이 제기하는 핵심 문제는 여전히 남는다. 대화 중 사용자가 새 제약을 추가하거나 작업을 취소하면 어떻게 해야 하는가. agent가 몇 분 동안 코드를 고치는 동안 사용자는 계속 대화할 수 있는가. 화면의 변화가 task state에 영향을 주면 누가 이를 반영하는가. Gander는 이 셋을 interaction state, environment state, task state의 공동관리 문제로 본다.

Figure 2의 구조는 세 요소로 나뉜다. Front Cerebellum은 streaming speech·camera·screen input을 계속 받아 listen, speak, brief feedback, interruption, tool invocation을 결정한다. Back Brain은 information retrieval, code/file manipulation, document processing 등 긴 작업을 수행한다. Agent Orchestration Runtime은 둘 사이의 transport와 execution state를 관리한다.

Cerebellum은 low latency, Brain은 long horizon이라는 계산 요구의 차이를 architecture 자체에서 분리한다. simple conversation과 short-horizon search는 front가 직접 해결하고, multi-step reasoning·external tool use·sustained execution은 back brain으로 넘긴다.

Back Brain은 training-free plug-and-play component이다. 논문은 Codex나 Claude Code 같은 general-purpose agent를 예로 든다. 평가에서는 Codex worker provider를 통해 GPT-5.6을 사용한다. 이 설계는 stronger reasoner를 core interaction model 재학습 없이 교체할 수 있다는 장점을 가진다.

Perception을 기다리지 않고 계속 갱신한다

Front Cerebellum은 visual stream과 acoustic stream을 동시에 인코딩한다. visual pathway는 SigLIP 기반 any-resolution slicing 뒤 query-based resampler를 사용해 raw patch grid 대비 약 16배 줄인 visual token을 만든다. realtime budget을 위해 최대 해상도는 448×448로 제한한다.

audio pathway는 약 50 frame/s의 streaming speech feature를 5× temporal downsampling해 약 10 audio tokens/s로 낮춘다. 목적은 audio가 shared context budget을 과도하게 점유하지 않으면서 phonetic·prosodic cue를 보존하는 것이다.

한 chunk 안에서 먼저 ‘말할지’를 정하고 그 다음 ‘무엇을 말할지’를 정한다

Figure 4의 핵심은 audio·video input과 model output을 하나의 causal token stream에 flatten하는 것이다. 연속 interaction을 1초 단위 window로 나누고 각 chunk를 perceptual tokens → control token → optional text tokens 순서로 직렬화한다.

LISTEN이면 현재 window에서 아무 말도 하지 않는다. SPEAK이면 text를 생성해 speech synthesis로 보낸다. INTERRUPT이면 진행 중인 발화를 중단한다. proactive behavior가 외부 VAD trigger가 아니라 chunk-level prediction 자체에서 발생한다는 것이 중요하다.

speech generation은 semantic planning과 acoustic realization을 분리한다. LLM은 text-domain reasoning을 유지하고, 작은 autoregressive speech-token decoder와 streaming flow-matching decoder가 waveform을 생성한다. reference audio에 따라 zero-shot voice control도 가능하며 waveform은 utterance 전체를 기다리지 않고 chunk-wise로 출력된다.

Figure 3은 사용자가 오류수정을 맡긴 뒤 대화를 계속하고, 실행 중 “Python 3.12 compatibility도 유지하라”고 제약을 추가한 뒤 결과를 전달받는 흐름을 보여준다. 이때 단순 메시지 전달이 아니라 task lifecycle과 stale execution을 구분하는 state machine이 작동한다.

Front Cerebellum이 runtime에 보내는 세 핵심 operation은 다음과 같다.

Runtime의 Gateway는 Project, Task, Run, WorkerEvent, Delivery 다섯 persistent entity를 관리한다. task state transition, worker scheduling, workspace isolation, concurrency, permission, delivery가 이 계층의 책임이다.

두 control mode도 제공한다. lean mode는 front의 분류를 바로 실행해 latency와 failure point를 줄인다. coordinator mode는 별도 control-plane model이 reasoning intensity, questioning policy, permission policy, delivery strategy를 선언한다. 다만 coordinator는 file/shell/network를 직접 만지지 않고 gateway의 structured validation을 통과해야 한다.

Back Brain은 runtime-specific interface인 context_fetch, memory_search, share를 사용할 수 있다. 각각 현재 lineage context, cross-session multimodal memory, 검증된 progress/result 전달을 담당한다.

Duplex behavior는 별도 supervision으로 합성한다

Speech interaction은 corpus의 약 37%이다. 11.2K scene/topic seed와 45개 everyday/task scenario를 사용하고, 8~18 turns·총 발화 96초 이하로 대화를 합성한다. 기존 dialogue를 spoken style로 변환할 때는 markdown, code, URL, 수학표기, 지나치게 긴 발화를 걸러낸다.

InteractionSpeech는 competitive interruption과 supportive backchannel을 명시적으로 구분한다. backchannel은 Chinese 8자/English 6단어 이하 조건과 bilingual lexicon을 사용하며, lexicon은 중국어 266개·영어 170개 표현, 11개 intent category로 구성된다. rendering 단계에서는 onset·duration·overlap interval을 explicit timing supervision으로 만든다.

Audio-visual interaction은 JoyAI-VL, LiveCC, Streamo에서 수집한 뒤 Qwen3.5-297B-A17B로 temporal alignment를 보정해 약 1.1M pair를 만든다. target response는 DeepSeek-V4-Pro로 평균 약 8 tokens/s가 되도록 조정한다.

Figure 5의 agentic data pipeline은 long-horizon execution 중 multi-turn request, constraint update, progress query, cancel task, final delivery를 backend state와 interleave한다. audio-agentic 320.2K와 omni-agentic 36K는 user speech, Cerebellum response, Back Brain trajectory를 함께 합성하고 task validity, interaction coherence, lifecycle completeness, query validity, TTS/timeline quality로 filter한다.

Full-Duplex-Bench v3의 100개 scenario에서 Gander는 Take-turn 100%와 Interrupt 8.0%로 timing 측면에서 가장 강한 결과를 낸다. 반면 Pass@1 0.400, RespQual 0.490으로 task accuracy는 비교군보다 낮다. 상호작용의 자연스러움과 task correctness를 동시에 얻었다고 해석하면 안 된다.

Back Brain만 transcript에서 직접 구동하면 ToolSel 0.934, RespQual 0.740, Pass@1 0.520으로 올라간다. 논문은 이를 execution tier 자체보다 delegation decision과 speech/ASR path가 end-to-end 정확도의 주요 병목일 수 있음을 보여주는 진단으로 해석한다.

SpokenQA에서는 full-duplex group을 이끌지만 VoiceBench open-ended response와 accented speech 관련 지표에서는 Audio-Interaction보다 낮다. 논문은 short conversational turn 중심의 interaction supervision이 긴 서술형 응답과 accent coverage를 충분히 가르치지 못한 결과로 해석한다.

MiniCPM-o 4.5 초기화와 비교하면 WorldSense는 55.70→49.62로 6.08p 낮아지고 Daily-Omni는 80.20→78.53으로 1.67p 낮아진다. 동시에 audio-video joint input의 fusion gain은 WorldSense +5.01p, Daily-Omni +19.13p이다. interaction training은 시간축의 audio-visual alignment는 잘 보존하지만 static fine-grained attribute inspection에는 trade-off를 남긴다.

가장 흥미로운 지점은 Gander가 하나의 monolithic “더 똑똑한 voice model”을 제안하지 않는다는 데 있다. 실시간 상호작용 모델, 장기 reasoning agent, deterministic orchestration state를 분리한 뒤 하나의 persistent collaboration loop로 묶는다.

이 구조는 향후 desktop assistant, coding companion, multimodal workplace agent, physical/embodied assistant로 확장될 수 있는 시스템 설계 패턴을 제공한다. 그러나 논문 자체가 말하듯 아직 초기 exploration이다. 실제 장기 배포의 신뢰성은 memory, post-training, permission, evaluation, cross-component communication이 얼마나 체계적으로 개선되는가에 달려 있다.