OMAC
LLM 기반 멀티에이전트 협업을 기능과 구조 양쪽에서 최적화하는 통합 프레임워크
이 웹페이지는 논문 “OMAC: A Holistic Optimization Framework for LLM-Based Multi-Agent Collaboration”의 본문과 부록 전체를 한국어 기술문서 스타일로 재구성한 단일 HTML 문서다. 핵심은 수작업으로 설계되던 멀티에이전트 시스템을 감독 신호 기반 contrastive reasoning으로 자동 개선하는 방법론이다.
OMAC은 MAS를 정보흐름 그래프로 보고, 노드 기능과 엣지 구조를 함께 최적화한다
에이전트는 프롬프트와 few-shot 예시로 정의되는 노드이고, 협업 구조는 어떤 에이전트가 언제 참여하며 누구의 출력을 누구에게 전달할지 결정하는 엣지다. OMAC은 이 두 축을 다섯 개 일반 차원으로 분해하고, 각 차원을 단일 알고리즘으로 최적화한다.
논문의 압축 메시지
기존 MAS 연구는 에이전트 역할과 협업 구조를 사람이 설계하는 경향이 강하다. OMAC은 훈련 데이터에서 얻은 성능 차이를 positive-negative pair로 만들고, LLM이 그 차이의 원인을 비교 추론하도록 하여 프롬프트, 에이전트 생성, 후보 선택, 동적 참여, 통신 흐름을 모두 개선한다.
멀티에이전트 시스템은 강력하지만, 설계와 최적화는 아직 수작업 중심이다
논문은 LLM 기반 에이전트를 자연어 프롬프트로 구동되는 함수로 정의하고, 여러 에이전트가 다단계 절차에서 이전 단계 산출물을 활용하는 협업 문제를 다룬다.
에이전트 정의
에이전트는 프롬프트 p와 입력 i를 받아 분석, 추론, 해결책 o를 생성하는 함수로 표현된다.
P는 instruction prompt와 few-shot 예시, I는 질의·태스크 설명·다른 에이전트 산출물, O는 분석·추론·해답이다.
다단계 협업 정의
각 단계 st에는 전체 팀 중 일부 에이전트가 참여한다. 후속 단계 에이전트는 이전 단계의 해석과 해답을 입력 문맥으로 사용한다.
수학 문제에서는 초기 에이전트가 문제를 분해하고, 후속 에이전트가 하위 문제를 풀며, 마지막 단계가 통합 결론을 생성한다.
수작업 설계
agents = ["Programmer", "Reviewer", "Tester"] topology = "fully-connected" selection = fixed_or_heuristic communication = all_previous_outputs
역할, 팀 구성, 통신 구조가 과제별 경험과 휴리스틱에 의존한다.
감독 신호 기반 자동 최적화
candidate prompts/controllers → collaboration evaluation → positive / negative pair → contrastive refinement → joint iterative optimization
훈련 데이터 성능 차이를 직접 사용해 에이전트와 협업 구조를 반복 개선한다.
OMAC의 다섯 최적화 차원은 MAS 그래프의 노드와 엣지를 포괄한다
두 개의 기능 차원은 에이전트 노드의 능력을 개선한다. 세 개의 구조 차원은 에이전트 선택과 통신 경로라는 그래프 구조를 제어한다.
기존 에이전트 최적화
현재 MAS 안에 존재하는 특정 에이전트의 instruction prompt와 few-shot 예시를 개선한다. 목표는 역할을 유지하면서 태스크별 성능을 높이는 것이다.
신규 에이전트 구성 최적화
기존 팀 구성과 태스크 문맥을 바탕으로 새로운 역할과 프롬프트를 생성해 MAS에 통합한다. 협업 능력의 빈틈을 메우는 노드를 추가한다.
후보 에이전트 선택
태스크 시작 전 전체 에이전트 중 어떤 subset이 협업에 유리한지 고르는 LLM controller의 프롬프트를 최적화한다.
단계별 동적 참여 선택
각 협업 단계에서 현재 문맥과 이전 산출물을 보고 어떤 에이전트가 참여해야 하는지 결정하는 controller를 최적화한다.
에이전트 통신 흐름
한 에이전트의 출력이 다른 에이전트의 입력으로 들어가야 하는지 결정한다. 모든 정보를 전달하지 않고 필요한 정보만 라우팅한다.
OMAC의 핵심 추상화는 “에이전트 = 노드, 커뮤니케이션 = 엣지”다. 기능 최적화는 노드 능력을 바꾸고, 구조 최적화는 그래프 연결과 흐름을 바꾼다.
Semantic Initializer가 탐색하고, Contrastive Comparator가 성능 차이를 이용해 개선한다
단일 차원 최적화는 초기 후보 생성, 협업 평가, positive-negative pair 샘플링, 비교 추론, 후보 삽입과 반복 평가로 구성된다.
단일 차원 최적화의 직관
LLM은 처음부터 최적 프롬프트를 알지 못한다. 대신 서로 다른 강조점과 구조를 가진 후보를 생성한 뒤, 실제 협업 성능으로 좋은 후보와 나쁜 후보를 구분한다. 비교 추론은 “무엇이 성능 차이를 만들었는가”를 추출하고, 그 요인을 강화한 새 후보를 만든다.
다차원 최적화의 원칙
여러 차원을 동시에 바꾸면 성능 차이의 원인을 분리하기 어렵다. OMAC은 한 번에 하나의 차원만 최적화하고 나머지는 고정한다. 이 방식은 positive-negative pair의 차이를 해석 가능하게 유지한다.
Fun-1 Programmer 예시
초기 후보 중 하나는 단순히 파이썬 함수를 완성하라고 지시한다. 다른 후보는 코드 전체에 주석을 포함하라고 명시한다.
Agent 1: Complete the Python function.
Agent 2: Include comments throughout your code
and follow the given signatures.
비교기는 주석이 코드의 기능 단위와 논리 구조를 명확히 하여 성능을 높인다고 판단하고, 주석의 목적과 사용 방식을 더 구체화한 child prompt를 생성한다.
Child: Implement the function, include meaningful comments that clarify each line, and keep the response format consistent with the signature.
OMAC은 코드 생성, 일반 추론, 산술 추론에서 강한 baseline을 일관되게 능가한다
주요 평가는 HumanEval, MMLU, MATH에서 수행된다. 추가로 MBPP와 GAIA에서도 일반화 성능을 확인한다. 기본 LLM은 gpt-3.5-turbo-1106, temperature 0.8이다.
HumanEval 단일 차원 최적화
| Method | Pass@1 |
|---|---|
| CodeT | 67.50±1.68 |
| AgentVerse | 78.29±2.34 |
| ADAS | 75.61±2.06 |
| AFlow | 85.63±2.10 |
| DyLAN | 85.74±2.83 |
| OMAC Str-3 | 87.55±2.46 |
| OMAC Fun-1.4 | 89.25±1.30 |
핵심 경향
코드 생성에서는 기능 차원 최적화가 특히 강하다. Fun-1.4가 가장 높은 Pass@1을 보인다.
MMLU 단일 차원 최적화
| Method | Accuracy |
|---|---|
| Single Execution | 65.76±2.31 |
| LLM Debate | 68.74±2.67 |
| ADAS | 69.02±2.44 |
| AFlow | 70.06±2.57 |
| DyLAN | 69.42±2.16 |
| OMAC Str-3 | 73.18±1.47 |
| OMAC Fun-1.4 | 74.22±2.22 |
핵심 경향
일반 추론에서는 기능 최적화와 통신 흐름 최적화가 모두 강한 성능을 낸다.
MATH 단일 차원 최적화
| Method | Accuracy |
|---|---|
| Single Execution | 28.72±1.75 |
| Self-Consistency | 29.14±2.07 |
| LLM Debate | 29.42±2.33 |
| AFlow | 32.49±2.62 |
| DyLAN | 32.35±1.94 |
| OMAC Str-3 | 33.70±1.62 |
| OMAC Fun-1.1 | 35.17±1.96 |
다차원 반복 최적화
Figure 4는 산술 추론에서 다차원 반복 최적화가 단일 차원보다 큰 성능 향상을 만든다는 점을 보인다.
MBPP
| Method | Pass@1 |
|---|---|
| CodeT | 65.72±2.04 |
| CAMEL | 70.43±2.41 |
| AFlow | 81.45±1.98 |
| DyLAN | 79.32±2.03 |
| OMAC Fun-1.5 | 83.43±1.60 |
GAIA Level 2
| Method | Pass@1 |
|---|---|
| AutoGPT | 1.04±0.15 |
| ADAS | 3.87±1.25 |
| AFlow | 8.23±2.63 |
| DyLAN | 9.82±2.41 |
| OMAC Str-3 | 11.58±1.05 |
| OMAC Fun-1.6 | 12.98±1.57 |
MBPP는 더 현실적인 Python 프로그래밍 태스크, GAIA는 reasoning·multimodal understanding·web browsing·tool-use가 필요한 복합 질의다.
Ablation: Comparator의 효과
OMAC-C는 Contrastive Comparator를 제거하고 Semantic Initializer 후보 중 최고만 선택한다. 모든 태스크에서 full OMAC이 더 높다.
하이퍼파라미터 민감도
초기 컬렉션 크기 z와 contrastive 반복 수 w가 커질수록 대체로 성능이 오른다. 논문 기본값 z=3, w=3도 DyLAN 대비 충분한 향상을 보인다.
다중 차원 동시 변경의 문제
여러 차원을 동시에 바꾸면 비교기가 성능 차이의 원인을 분리하지 못해 성능 향상 폭이 작고 분산이 커진다.
OMAC은 학습 비용을 쓰지만, 구조 제어로 추론 비용을 줄인다
Str-1, Str-2, Str-3는 불필요한 에이전트 참여와 문맥 전달을 줄인다. 이로 인해 online inference의 API call과 token cost가 감소한다.
HumanEval 추론 비용
| Method | #API Calls | Cost ($) |
|---|---|---|
| CodeT | 20.72 | 0.1430 |
| AgentVerse | 23.15 | 0.1958 |
| DyLAN | 17.94 | 0.1288 |
| AFlow | 17.25 | 0.1134 |
| OMAC Str-2+Str-3 | 14.80 | 0.0883 |
MATH 추론 비용
| Method | #API Calls | Cost ($) |
|---|---|---|
| LLM-Blender | 7.12 | 0.0458 |
| LLM-Debate | 8.26 | 0.0530 |
| DyLAN | 7.30 | 0.0446 |
| AFlow | 7.72 | 0.0477 |
| OMAC Str-2+Str-3 | 5.74 | 0.0316 |
훈련 비용과 subset 평가 전략
OMAC은 후보 agent/controller를 훈련 데이터 전체에서 평가하므로 차원 하나를 최적화하는 데 HumanEval 기준 약 1,400 API call이 필요하다. 논문은 50% 훈련 데이터 subset을 무작위 샘플링해 평가하면 API call과 비용을 약 절반으로 줄이면서도 DyLAN보다 높은 성능을 유지한다고 보고한다.
| Method | Training Cost ($) | Inference Cost ($) | Accuracy (%) |
|---|---|---|---|
| AgentVerse | - | 0.1928 | 78.26 |
| DyLAN | 4.47 | 0.1288 | 85.74 |
| AFlow | 8.24 | 0.1134 | 85.63 |
| OMAC avg. | 5.15 | 0.0974 | 87.68 |
부록은 차원별 구현 세부사항, 하이퍼파라미터, 추가 벤치마크, 프롬프트 템플릿을 제공한다
부록 A–E는 관련연구 확장, 최적화 차원별 입력·출력, 실험 설정, 추가 결과, 논의, 프롬프트 템플릿과 최적화 전후 예시를 포함한다.
실험 설정 요약
- 데이터는 train/validation/test = 3:1:1로 분할한다.
- HumanEval은 180개를 샘플링하고 code writer 4개, reviewer 4개 에이전트를 사용한다.
- MMLU는 168개 객관식 문제를 샘플링하고 Economist, Doctor, Lawyer, Mathematician, Psychologist, Programmer, Historian을 사용한다.
- MATH는 140개 문제를 7개 하위영역에서 균등 샘플링하고 동일 프롬프트를 가진 4개 에이전트를 사용한다.
- 코드 생성·산술 추론 최대 토큰은 2048, 일반 추론은 1024다.
미래 연구 방향
- Spiral, MHGPO 계열 RL을 OMAC의 multi-step, role-specialized MAS 최적화로 확장한다.
- SWE-bench 같은 환경에서 tool-use와 복잡한 도구 상호작용을 명시적으로 최적화한다.
- memory management, retrieval mechanism도 기능·구조 차원으로 통합한다.
- Pareto optimization, Bayesian optimization, evolutionary algorithms 등으로 더 효율적인 다목적 공동 최적화를 탐색한다.
- 정보흐름 그래프 최적화에 대한 이론적 보장과 landscape 분석을 수행한다.
프롬프트 템플릿 요약
Semantic Initializer
각 차원의 기능을 설명하고, one-shot 예시와 초기 후보 개수를 제공해 여러 distinct prompt를 생성한다.
Generate {initialization number} distinct prompts...
Do not output all at once...
Return only the corresponding prompt one by one.
Contrastive Comparator
positive parent와 negative parent를 비교하고 성능 차이의 원인을 반영해 child prompt를 생성한다.
Carefully compare the two parent prompts... Identify why the positive prompt performs better... Output only the child prompt.
최적화 전후 예시
Fun-1에서는 단순 “수학자” 프롬프트가 하위문제 분해, 제약 분석, 방법 선택, 반복 개선을 명시하는 형태로 확장된다.
Default: You are a mathematician... Optimized: Break down the problem, analyze constraints, choose a method, explain rationale step by step.
Bias 완화
LLM 비교 추론은 bias를 가질 수 있다. OMAC은 모든 새 후보를 훈련 데이터로 평가하고, 성능이 낮은 후보를 다음 반복의 negative example로 재사용한다.
Centralized MAS 확장
OMAC 차원은 flat MAS뿐 아니라 master agent가 하위 에이전트를 조정하는 중앙집중형 MAS에도 적용 가능하다. 다만 통신 구조 최적화는 master-subordinate 형태에 맞게 수정해야 한다.
한계
논문은 엄밀한 최적성 보장을 주장하지 않는다. “optimize”는 수학적 전역 최적이 아니라 경험적 개선을 의미한다.
OMAC은 멀티에이전트 시스템을 “프롬프트로 구성된 노드와 통신으로 연결된 그래프”로 보고, 훈련 성능에서 나온 positive-negative contrast를 이용해 기능과 구조를 반복적으로 개선하는 실용적 최적화 프레임워크다.