AI Research NotesWikiSkill · Persistent Knowledge · Skill Evolution
Google Research · Agent Skill Evolution · Paper date 28 Aug 2026 · arXiv:2608.27454v1

에이전트의 경험을 흘려보내지 않고
지식으로 축적해
스킬의 진화를 만든다

WikiSkill separates immutable execution experience, persistent knowledge, and executable skills—then lets them co-evolve under validation gating.

SKILL LAYER /skills/Evolving Procedural Knowledgereversible · conditionalWIKI LAYER /wiki/Structured Patterns & Evolution Logscompounding · never resetRAW LAYER /raw/Immutable Execution Tracespermanent · write once1 · INFERENCE AGENTrollouts + active skills2 · WIKI MAINTAINERroot-cause consolidation3 · SKILL PROPOSERReAct · create / patch4 · GATE / ROLLBACKaccept only if better
Executive Summary

WikiSkill의 핵심은 단순하다. 실행 경험을 바로 스킬로 덮어쓰지 않고, 먼저 장기적으로 축적되는 지식층에 컴파일한 뒤 그 지식을 사용해 스킬을 갱신한다.

논문은 agent workspace를 Raw Layer → Wiki Layer → Skill Layer로 분리한다. Raw Layer는 실행 trajectory를 불변 기록으로 남기고, Wiki Layer는 성공·실패 패턴과 진화 로그를 축적하며, Skill Layer는 실제 추론 에이전트가 사용할 간결한 procedural instruction을 담는다. Skill update는 validation에서 성능을 올릴 때만 채택되지만 Wiki는 rollback되지 않는다.

5개 benchmark와 5개 모델에서 WikiSkill은 기존 skill-evolution 방법보다 높은 평균 성능을 보였고, 더 큰 모델일수록 evolved skill의 이득이 커졌다. 동시에 작은 모델이 좋은 skill을 장착하면 훨씬 큰 no-skill 모델을 이길 수 있었고, 타 모델이 만든 skill이 self-evolved skill보다 더 좋은 경우도 관찰됐다.

WikiSkill이 제시하는 더 큰 메시지는 “모델 파라미터만이 지능의 누적 장소가 아니다”라는 것이다. 실행경험을 외부의 auditable persistent knowledge로 축적하고, 그 위에서 procedural skill을 진화시키는 것도 agent capability scaling의 독립적인 축이 된다.
Part I · Motivation & Problem Setup

왜 “경험 → 스킬” 사이에 별도의 지식층이 필요한가

§1 · Agent skills

Agent skill은 domain-specific procedure와 workflow를 instructions, scripts, resources로 패키징한 filesystem-based module이다. 모델 파라미터를 다시 학습하지 않아도 전문지식을 재사용할 수 있고, 필요한 내용만 선택적으로 노출하는 progressive disclosure를 통해 context 비용도 줄일 수 있다.

기존 skill evolution은 training task를 수행하고 성공·실패 trajectory를 분석해 skill을 갱신한다. EvoSkill은 proposal/outcome history를 유지하고, Trace2Skill은 trajectory의 lesson을 통합하며, SkillOpt는 rejected-edit feedback과 epoch-level meta guidance를 사용한다. 그러나 “무엇을 배웠는가” 자체를 독립적이고 진화하는 knowledge representation으로 유지하지는 않는다.

§2 · Research question
Can agent experience be compiled into persistent knowledge to support long-term skill evolution?

WikiSkill은 raw experience와 executable procedure 사이에 structured knowledge layer를 넣어, iteration마다 흩어진 optimization artifact가 아니라 점점 더 잘 지지되는 cumulative knowledge를 다음 skill update의 기반으로 삼는다.

§3 · Formal problem

Dataset \(D=\{(x_i,y_i)\}_{i=1}^N\)를 train/validation/test로 분리하고, agent \(\pi\)는 tool set \(U\)와 active skills \(S\)를 사용해 trajectory \(\tau_i=(o_1,a_1,\ldots,o_T,a_T)\)를 생성한다. 시스템 state는 iteration \(k\)에서 다음의 joint state다.

\[(S_k, W_k)\]

여기서 \(S_k\)는 현재 active skill set, \(W_k\)는 persistent Wiki다. Skill candidate는 validation score가 나빠지면 rollback되지만, Wiki는 계속 누적된다.

Part II · Three-Layer Architecture & Evolution Loop

불변 기록, 누적 지식, 실행 스킬을 의도적으로 분리한다

§4 · Three layers

Raw Layer · raw/

reasoning, tool calls, outputs, final answer를 포함한 execution trace를 불변으로 저장한다. write-once history다.

Wiki Layer · wiki/

pattern pages, index, evolution logs, skill-impact history를 축적한다. recurring failure와 rejected intervention도 남긴다.

Skill Layer · skills/

Inference Agent가 실제 사용하는 procedural skill. SKILL.md와 PURPOSE.md로 구성되고 validation gate에 따라 reversible하다.

§5 · Four components
1 · Inference Agentcurrent skills를 주입해 training rollout을 생성한다. training 중 Wiki 접근은 제한한다.
2 · Wiki Maintainer성공/실패 trace를 root-cause 분석해 pattern page와 evolution log를 갱신한다.
3 · Skill ProposerWiki index, skill-impact, relevant traces를 ReAct 방식으로 탐색해 atomic create/patch를 제안한다.
4 · Gating & Rollbackvalidation 성능이 개선될 때만 skill update를 accept한다. Wiki는 reject와 무관하게 유지된다.
§6 · Wiki contents
wiki/ index.md # pattern catalog logs.md # chronological evolution log skill-impact.md # proposal diff + validation score + accepted/rejected patterns/ failure-or-success-pattern.md skills// SKILL.md # executable procedure PURPOSE.md # origin + motivating wiki patterns + evolution history

Wiki Maintainer는 기존 pattern에 patch-based edit를 적용하고 새로운 evidence를 append한다. Skill Proposer는 index를 먼저 보고 필요한 pattern/trace만 on-demand로 읽는다. 이 구조는 long optimization history를 한 번에 prompt에 넣지 않고도 historical awareness를 제공한다.

§7 · Acceptance rule

Candidate skill set \(S'_k\)의 validation score가 현재 best보다 높을 때만 accept한다.

\[S_k=\begin{cases}S'_k,&R(T_{val,k})>R_{best}\\S_{k-1},&\text{otherwise}\end{cases}\]

Rejected skill은 rollback되지만 그 proposal, diff, validation score, rejection outcome은 Wiki에 남아 같은 실패전략을 다시 제안하지 않게 한다.

Part III · Experimental Design

다섯 유형의 agent task와 다섯 모델에서 검증한다

§8 · Benchmarks and tools
BenchmarkRoleInteractionTrainValTestTools
LiveMathematicianBench수학적 reasoningSingle-step3518124None
SealQAsearch-augmented factual QAMulti-step161085web_search, read_file
SpreadsheetBenchspreadsheet manipulationMulti-step8040280bash
OfficeQAlong-context Treasury documentsMulti-step5024172glob, grep, read
ALFWorldinteractive embodied taskMulti-step3918134admissible actions
§9 · Models and baselines

Closed model은 Gemini-3.5-Flash, open-weight 모델은 Qwen-3.5-4B/9B-Instruct, Qwen-3.6-27B, Gemma-4-31B-It를 사용한다. Baseline은 no-skill, Trace2Skill, EvoSkill, SkillOpt다. 일반 automatic prompt optimizer보다 dedicated skill-evolution framework와의 비교에 초점을 둔다.

전체 evolution은 method마다 3회 독립 반복하며, test result는 세 evolved skill set의 평균이다. 유의성은 paired bootstrap 1,000 iterations, \(p<0.05\)로 평가한다.

§10 · Figure 1 reconstructed
25405570Qwen 4BQwen 9BQwen 27BGeminiNo skillEvoSkillSkillOptWikiSkill
Part IV · Main Results & Scaling

스킬 진화는 모델 scaling의 대체재가 아니라 보완재다

§11 · Full Table 1
ModelMethodLiveMathSealQASpreadSheetOfficeQAALFWorldAvg.
Qwen-3.5-4BNo skill29.132.514.630.224.426.2
Trace2Skill31.537.617.531.042.832.1
EvoSkill41.737.318.629.541.533.7
SkillOpt48.733.314.034.545.335.2
WikiSkill49.739.421.128.553.738.5
Qwen-3.5-9BNo skill28.226.324.335.934.729.9
Trace2Skill33.136.926.538.448.836.7
EvoSkill58.134.535.434.948.542.3
SkillOpt48.729.429.038.055.740.2
WikiSkill56.343.133.640.563.447.4
Qwen-3.6-27BNo skill33.927.540.842.152.839.4
Trace2Skill36.337.353.354.355.547.3
EvoSkill57.332.959.552.564.253.3
SkillOpt51.934.553.254.859.250.7
WikiSkill61.941.681.753.777.663.3
Gemma-4-31BNo skill33.930.648.343.350.441.3
Trace2Skill32.337.758.543.257.245.8
EvoSkill29.838.456.439.952.643.4
SkillOpt40.136.163.144.461.949.1
WikiSkill56.741.268.044.264.454.9
Gemini-3.5-FlashNo skill33.029.450.548.685.949.5
Trace2Skill41.944.356.050.085.955.6
EvoSkill44.643.655.451.285.956.1
SkillOpt49.728.266.149.885.955.9
WikiSkill72.644.776.660.785.968.1
§12 · What the numbers mean
+12.3Qwen 4B avg gain
+17.5Qwen 9B avg gain
+23.9Qwen 27B avg gain
47.4 > 39.49B+Wiki vs 27B no-skill

Qwen family에서 모델이 커질수록 WikiSkill gain이 커진다. 동시에 Qwen-3.5-9B+WikiSkill의 47.4%는 Qwen-3.6-27B no-skill의 39.4%를 넘어선다. 즉 model capability와 procedural knowledge는 서로 다른 두 성능원천이다.

WikiSkill은 각 모델에서 strongest competing skill-evolution method 대비 평균 +3.3, +5.1, +10.0, +5.8, +12.0 points를 기록한다. Gemini-3.5-Flash는 LiveMath 33.0→72.6, Spreadsheet 50.5→76.6으로 상승했고, Qwen-3.6-27B는 ALFWorld 52.8→77.6으로 개선됐다.

§13 · Task dependence

LiveMath는 모든 모델에서 +20.6~+39.6 points의 큰 gain을 보이고, ALFWorld도 evolution이 수행된 네 모델에서 +14.0~+29.3 points 개선된다. 반면 OfficeQA는 long-context navigation을 정확히 수행할 execution capability가 필요해 작은 모델에서는 효과가 제한되거나 약간 악화될 수 있다.

Gemini-3.5-Flash의 ALFWorld validation은 evolution 이전부터 100%이므로 early stopping되어 모든 방법의 test score가 85.9%로 동일하다.

Part V · Cross-Model Transfer, Ablation & Case Study

좋은 스킬은 모델을 넘어 이동하지만, 모든 스킬이 보편적인 것은 아니다

§14 · Cross-model transfer highlights
Inference modelSkill sourceLiveMathSealQASpreadSheetOfficeQAALFWorld
Qwen-3.5-9BNone28.226.324.335.934.7
Qwen-3.5-9BSelf56.343.133.640.563.4
Qwen-3.5-9BQwen-3.6-27B59.140.450.539.970.2
Gemma-4-31BNone33.930.648.343.350.4
Gemma-4-31BQwen-3.6-27B73.737.772.044.266.9
Gemini-3.5-FlashNone33.029.450.548.685.9
Gemini-3.5-FlashQwen-3.6-27B73.943.563.447.786.8
Gemini-3.5-FlashQwen-3.5-4B67.540.018.148.587.3

Qwen-3.6-27B가 만든 skill은 Qwen-3.5-9B의 Spreadsheet를 24.3→50.5로, ALFWorld를 34.7→70.2로 올린다. Gemma-4-31B의 LiveMath도 33.9 no-skill, 56.7 self-evolved에서 73.7까지 상승한다.

하지만 negative transfer도 존재한다. Qwen-3.5-4B의 Spreadsheet skill은 Gemini-3.5-Flash를 50.5→18.1로 악화시킨다. 작은 모델의 low-level workaround와 fragmented diagnostic procedure가 강한 모델의 더 포괄적인 script 실행을 오히려 방해할 수 있기 때문이다.

논문이 분리해낸 중요한 두 능력은 “유용한 procedure를 발견하는 능력”과 “그 procedure를 실행하는 능력”이다.

§15 · Persistent Wiki ablation
Inference Wiki?Proposer Wiki?LiveMathSealQASpreadSheetOfficeQAAvg.
No skill33.029.450.548.640.4
YesNo43.842.044.451.045.3
NoNo51.338.449.955.248.7
YesYes64.842.880.255.660.9
NoYes72.644.776.660.763.7

Inference Agent의 Wiki 접근을 막은 상태에서 Skill Proposer에게 persistent Wiki를 주면 평균 48.7→63.7로 +15.0 points 상승한다. 반대로 Proposer가 Wiki를 가진 상태에서 Inference Agent까지 Wiki를 읽게 하면 63.7→60.9로 떨어지고 LiveMath는 72.6→64.8로 하락한다.

저자들은 training rollout 중 inference agent가 Wiki에서 직접 task-solving knowledge를 얻으면 trajectory가 skill development에 덜 informative해질 수 있다고 해석한다. 지식은 evolution controller에게는 보여주되, behavior-generating agent에는 제한하는 정보격리가 중요하다는 결과다.

§16 · Wiki and skill dynamics
CategorySkill create proposed/acceptedSkill edit proposed/acceptedAvg skill lengthWiki patterns createdWiki editsAvg pattern length
Qwen-3.5-4B3.1 / 1.64.9 / 1.3126.28.818.448.2
Qwen-3.5-9B4.6 / 1.43.4 / 0.7128.67.310.926.6
Qwen-3.6-27B4.4 / 1.53.6 / 0.8118.96.517.947.7
Gemma-4-31B4.8 / 1.33.2 / 0.845.16.313.723.7
Gemini-3.5-Flash2.3 / 1.25.7 / 1.181.28.97.018.1
SpreadSheet4.5 / 1.43.5 / 1.1142.59.811.338.5
LiveMath1.9 / 1.16.1 / 1.984.64.412.131.7

Wiki pattern은 계속 축적되지만 active skill은 상대적으로 간결하게 유지된다. Accepted update의 39~52%가 초기 iteration에 발생하지만 middle·late stage에도 상당한 refinement가 이어진다. SealQA는 accepted update의 33%가 middle, 28%가 late stage다.

§17 · ALFWorld case study

Qwen-3.6-27B의 ALFWorld 사례에서 iteration 0의 goal-directed-action skill은 너무 추상적이라 validation 0.72에서 reject된다. 그러나 Wiki의 skill-impact.md가 rejected diff와 outcome을 보존한다.

Iteration 1에서 반복행동 pattern evidence를 바탕으로 더 구체적인 break-repetition-loop skill이 생성되어 validation 0.78로 accept된다. 이후 multi-operation-loop 같은 새로운 반복 failure가 누적되자 iteration 4에서 “operation type을 item마다 한 번만 수행”하는 rule로 skill이 다시 refinement된다.

실패한 proposal을 지워버리는 대신 “왜 실패했는가”를 persistent knowledge로 남기는 것이 다음 성공한 skill의 설계근거가 된다.
Part VI · Algorithm, Cost & Prompt Engineering

Appendix는 WikiSkill을 재현 가능한 agent engineering system으로 만든다

§18 · Algorithm 1 distilled
S0 = empty skill set W0 = empty wiki Rbest = validation score of S0 for k = 1 ... K: if Rbest == 1.0: stop T_train = rollout(agent, S[k-1]) T_sample = stratified_sample(T_train) W_prime = WikiMaintainer(W[k-1], T_sample) P = SkillProposer(W_prime, S[k-1], T_train) S_candidate = Apply(S[k-1], P) R = Validate(S_candidate) if R > Rbest: S[k] = S_candidate Rbest = R outcome = Accepted else: S[k] = S[k-1] outcome = Rejected W[k] = UpdateWikiLog(W_prime, P, R, outcome) return S[K], W[K]
§19 · Sampling and statistics

각 iteration에서 Wiki Maintainer용 diagnostic sample은 최대 8 traces다. 최대 5개 failing trace로 root-cause를 분석하고, 최대 3개 passing trace로 working strategy와 regression risk를 파악한다. 각 execution log는 prompt injection 전에 15,000 characters로 제한한다.

통계검정은 benchmark마다 paired bootstrap 1,000 iterations를 사용하고, cross-benchmark는 benchmark별 독립 resampling 후 equal-weight macro average를 사용한다.

§20 · Optimizer API call complexity
FrameworkPer-iteration call modelAsymptotic behavior
Trace2Skilltrajectory-wise analysis + map + hierarchical reducelower-bounded by \(O(N_{train})\)
EvoSkill\(2N_{train}/B\)\(O(N_{train}/B)\)
SkillOpt\(K_{opt}N_{train}/B\), \(K_{opt}\approx6\text{–}8\)\(O(N_{train}/B)\)
WikiSkill\((1+T_{ReAct})N_{train}/B\)\(O(N_{train}/B)\); full-batch에서 training-size 기준 \(O(1)\)

WikiSkill 실험은 모든 dataset에서 \(B=N_{train}\)인 full-batch를 사용한다. 따라서 iteration당 optimizer call은 \(1+T_{ReAct}\)이며, Skill Proposer의 ReAct turn은 대략 10~20이다. 호출 수는 training instance 수와 무관하지만 실제 inference cost는 dataset에 따라 클 수 있다.

§21 · Prompt design

Inference Agent

Task-specific prompt에 active skill을 직접 주입한다. Skill retrieval/triggering failure를 confounder에서 제거하기 위한 선택이다.

Wiki Maintainer

실제 command/action을 읽고 success vs failure를 비교하며 surface error가 아니라 root cause와 action pattern을 추출한다.

Pattern Page

문제·원인·실제 trace evidence·구체적 workaround를 기록한다. success와 failure를 모두 남기고 duplicate pattern은 새로 만들지 않는다.

Skill Proposer

index → skill-impact → relevant patterns → failed traces 순으로 탐색한다. create/patch/no_action 중 선택하고 기존 skill이 일부 맞으면 patch를 선호한다.

Wiki index entry는 full page를 읽지 않아도 relevance를 판단하도록 Problem + Root Cause + Fix를 1~2문장에 담도록 설계된다. Proposer는 proposal 전에 최소 4개 execution trace를 읽도록 강제된다.

§22 · Task-specific prompt intent
LiveMath

quantifier, hypothesis, extremal wording, exact equality condition에 주의하는 multiple-choice mathematical reasoning.

SealQA

web_search와 read_file을 반복해 factual evidence를 찾고 충분한 evidence 후 exact answer를 반환한다.

SpreadsheetBench

working directory 범위 안에서 bash/Python으로 지정 spreadsheet와 answer position만 수정하고 output path에 저장한다.

OfficeQA

긴 문서를 무작정 읽지 않고 targeted search → small local reads → exact operands → arithmetic 순으로 grounded reasoning을 수행한다.

ALFWorld

최근 observation/action history와 admissible actions를 보고 step-by-step reasoning 후 한 admissible action을 선택하는 sequential control task다.

Part VII · Related Work, Limitations & Outlook

WikiSkill이 해결한 것과 아직 남은 것

§23 · Related-work map

Experience-driven evolution

EvoSkill, Trace2Skill, SkillOpt, SkillRL, Skill0, SkillOS, SkillGrad, Skill1, CoEvoSkills 등이 execution trace에서 procedural knowledge를 추출·개선한다.

Skill usage & retrieval

SkillCraft, SkillsBench, SkillNet, SkillRet, Skill Retrieval Augmentation, SkillRouter는 skill 선택·사용·routing을 다룬다. WikiSkill은 retrieval을 고정하고 skill quality에 집중한다.

Harness self-improvement

HarnessX, Meta-Harness, Agentic Harness Engineering, AutoHarness, Self-Harness 등은 prompt·context·tools·memory·workflow 전체를 최적화한다. WikiSkill과 상보적이다.

§24 · Limitations

1 · Retrieval not evaluated

Active skill을 직접 prompt에 주입하므로 skill retrieval·triggering 문제는 평가하지 않는다. skill library가 커지면 별도 연구가 필요하다.

2 · Strict gating

즉시 validation score를 높이지 않는 neutral update는 거절된다. 나중의 개선을 가능하게 하는 stepping-stone update를 놓칠 수 있다.

3 · No automatic pruning

Wiki가 계속 커지지만 오래된 pattern/log/diff를 자동 정리하는 pruning mechanism이 없다.

4 · Not very long horizon

수백 action 또는 수시간에 걸친 task는 포함하지 않는다. single rollout 안에서 online skill adaptation하는 문제도 남는다.

§25 · Accepted-update timing
CategoryEarly · iter 0–1Mid · iter 2–4Late · iter 5–7
Qwen-3.5-4B39%39%21%
Qwen-3.5-9B52%30%19%
Qwen-3.6-27B43%40%17%
Gemma-4-31B52%37%11%
Gemini-3.5-Flash50%46%4%
LiveMath44%42%14%
SealQA39%33%28%
SpreadSheet41%48%11%
OfficeQA58%26%16%
ALFWorld55%34%10%
§26 · Final synthesis
Raw trace는 사실의 기록이고, Wiki는 경험에서 추출된 장기 기억이며, Skill은 현재 행동을 바꾸는 실행가능한 압축물이다. WikiSkill의 강점은 이 세 가지를 하나의 메모리로 섞지 않는 데 있다.

논문의 empirical evidence는 persistent knowledge accumulation이 skill evolution에 중요하고, evolved procedural knowledge가 model scale과 독립적인 capability 축이며, cross-model transfer가 가능하다는 점을 지지한다. 동시에 negative transfer와 task-dependent executability는 “좋은 skill”이 보편적 prompt가 아니라 모델·task·tool budget과 맞물린 procedure임을 보여준다.

§27 · AI disclosure

논문은 large language models와 coding agents가 writing polish와 일부 table/plot 생성에 사용되었다고 명시한다.

Paper & Selected References

출처와 관련 연구

01
WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution
Liyan Tang, Cyrus Rashtchian, Chun-Sung Ferng, Andrew Tomkins, Da-Cheng Juan, Tu Vu · Google Research / Virginia Tech · arXiv:2608.27454v1
arXiv
Experience-driven skill evolution references

EvoSkill · Trace2Skill · SkillOpt · SkillRL · Skill0 · SkillOS · SkillGrad · Skill1 · CoEvoSkills.

Skill architecture, retrieval and evaluation references

SkillCraft · SkillsBench · SkillNet · SkillRet · Skill Retrieval Augmentation · SkillRouter · Agent Skills for Large Language Models.

Harness and self-improvement references

HarnessX · Meta-Harness · Agentic Harness Engineering · AutoHarness · Self-Harness · MementoSkills · GEPA.

Benchmarks and foundations

LiveMathematicianBench · SealQA · SpreadsheetBench · OfficeQA · ALFWorld · ReAct.

Source boundary

본 게시물은 첨부된 28쪽 논문의 본문, 표, 도식, appendix, prompt specification, references와 limitation을 구조화해 재작성했다. 논문의 Figure 2·Figure 3은 원 이미지를 복제하지 않고 의미구조를 바탕으로 독자적인 SVG와 설명으로 재구성했다. 논문이 직접 실험하지 않은 skill retrieval, very-long-horizon adaptation, automated wiki pruning은 완료된 기능처럼 서술하지 않았다.