AI co-scientist 연구는 가설을 만들고, 관련 문헌을 찾고, 실험을 설계하고, 코드를 실행하고, 논문을 쓰는 방향으로 빠르게 진화했다. 이 논문이 문제 삼는 것은 그 다음 단계다. 지금의 시스템은 대체로 연구 목표는 보지만 연구자는 보지 않는다. 같은 goal을 넣으면 초년 박사과정 연구자든, senior professor든, graph mining 연구자든, computational biologist든 비슷한 output distribution을 돌려준다.
저자들은 이를 단순한 사용자 경험 문제가 아니라 과학적 창의성의 구조적 손실로 본다. 실제 연구의 novelty, value, feasibility는 연구자의 prior work, method repertoire, collaborator network, available compute, 실패 경험, 학문 공동체와의 위치에 따라 달라진다. 그래서 이 논문은 personalized auto-research를 제안한다. 개인화를 응답 문체에 붙이는 것이 아니라 literature retrieval부터 hypothesis search, experiment, code, figure, writing, citation, review까지 연구 trajectory 전체에 관통시킨다.
개인화가 없는 AI scientist는 과학을 평균화할 수 있다
개별 연구자에게는 실행 가능성이 떨어지고, 전체 공동체에는 같은 아이디어를 반복 탐색하는 scientific monoculture를 만들 수 있다는 문제설정이다.
현재 시스템은 목표·문헌·reviewer는 조건으로 쓰지만 연구자 자신은 조건으로 쓰지 않는다
AI Scientist 이후 auto-research는 template loop에서 progressive agentic tree search, experiment manager, parallel execution, vision-language figure feedback, shared archive, cross-run memory, human-in-the-loop interaction, provenance와 safety로 넓어졌다. 논문은 이 진전을 인정하면서도 하나의 공통 구조를 지적한다. 시스템의 optimization target은 goal, literature, evidence, reviewer model 또는 benchmark이며, 그 결과를 실제로 채택하고 검증할 특정 연구자는 대부분 모델링하지 않는다.
이 구조에서는 동일한 goal이 동일한 연구 package 분포로 이어진다. 결과가 능숙하더라도 interchangeable하다. 그러나 실제 연구 아이디어는 연구자가 겪은 실패, 익숙한 방법, 실험 감각, collaborator와 community에서 생긴 비대칭적 정보 때문에 서로 다르게 생긴다.
epistemic, systemic, practical
Epistemic
과학적 능력의 상당 부분은 tacit knowledge이며 문헌에 기록되지 않는다. 문헌만 조건으로 한 시스템은 이를 직접 접근하기 어렵다.
Systemic
많은 연구자가 같은 generic engine을 쓰면 같은 고득점 아이디어를 경쟁적으로 추적하고, 특정 연구자만 실행할 수 있는 counterfactual direction이 사라질 수 있다.
Practical
연구자는 자신의 전문성과 자원에 맞는 방향만 충분히 검증하고 채택할 수 있다. quality가 높아도 실행 불가능하면 co-research artifact로서는 가치가 낮다.
response가 아니라 end-to-end research trajectory
기존 personalization 연구는 추천, preference alignment, user-conditioned generation을 다룬다. 반면 personalized auto-research에서 개인화 대상은 응답 하나가 아니다. 무엇을 검색할지, 어떤 가설을 만들지, 어느 실험을 실행할지, 어떤 framing으로 쓸지, 무엇을 인용하고 어떻게 revise할지까지 이어지는 sequence of scientific decisions이다.
더 자율적이라고 더 개인화된 것은 아니다
논문의 Table 1은 현재 AI scientist 경쟁이 거의 autonomy 축을 따라 진행됐다는 사실을 2×2 구조로 정리한다.
Autonomy와 personalization은 서로 다른 축이다
| Researcher-agnostic | Personalized | |
|---|---|---|
| Fully autonomous | AI Scientist, DeepScientist 등 | Personalized Auto-Research — Algorithm 1 |
| Human-in-the-loop | Co-Scientist, AutoResearchClaw 등 | True AI Co-Scientist — Algorithm 1 + persistent human-in-the-loop update |
이 표가 던지는 질문은 단순하다. 사람을 중간에 넣었다고 개인화된 것은 아니다. session-level instruction은 세션이 끝나면 사라질 수 있다. 논문이 말하는 personalization은 연구자가 prompt에 다 표현하지 못하는 특성까지 persistent representation으로 학습하고, interaction이 그 representation을 다시 갱신하는 것이다.
하나는 capability이고 다른 하나는 relationship이다
저자들은 두 용어를 동의어로 쓰지 않는다. auto-research는 연구 자동화 능력이고, co-scientist는 특정 연구자와 맺는 관계를 뜻한다. 자동화 수준을 끌어올리는 것만으로 bottom-right quadrant에 갈 수 없다. 같은 고득점 결과를 모든 사람에게 주는 universal system은 더 좋은 instrument가 될 수 있지만, 연구자별 complementarity를 형성하는 collaborator와는 다르다.
연구자를 profile text가 아니라 research landscape의 graph position으로 표현한다
논문의 형식화는 researcher, paper, venue, institution, method, dataset, topic을 하나의 heterogeneous graph에 놓는 데서 시작한다.
연구자는 자신이 쓴 논문만으로 정의되지 않는다
연구자 집합을 \(\mathcal U\), 연구 생태계의 heterogeneous graph를 \(\mathcal G=(\mathcal V,E_{\mathcal G},\tau_V,\tau_E)\)라고 하자. node에는 researcher, paper, venue, institution, method, dataset, topic이 포함되고, edge에는 co-authorship, citation, publication, affiliation, usage, topic assignment가 포함된다.
연구자 \(u\)의 관측 signal \(S_u\)에는 papers, citations, code, review history, venue preferences, explicit constraints가 들어간다. graph encoder는 연구자의 구조적 표현 \(z_u\)를 만들고 context encoder가 이를 operational context \(c_u\)로 변환한다.
모든 stage를 researcher-conditioned model로 바꾼다
research goal을 \(g\), 연구 stage를 \(\mathcal P=(p_1,\ldots,p_K)\)라고 하자. 문헌 검색, 가설 생성, 실험 설계, 코드 실행, 글쓰기, citation, refinement, review가 여기에 포함된다. researcher-agnostic system은
처럼 goal과 이전 output만 본다. personalized auto-research는 연구자 context를 조건으로 추가한다.
이때 목표는 세 가지다. feasible — 연구자의 능력·자원·제약 안에서 실행 가능할 것. aligned — scientific identity, community, style과 호환될 것. novel — field에 새롭고 동시에 연구자의 prior work를 단순 반복하지 않을 것. 저자들이 중요하게 구분하는 점은 feasibility와 alignment는 개인적 속성이지만 novelty는 field-level과 user-relative 성격을 동시에 가진다는 것이다.
개인화는 가설 생성 한 지점이 아니라 search tree 전체에 스며든다
retrieval, branch selection, hypothesis utility, implementation, execution, figure feedback, writing, citation, review, provenance까지 같은 context를 공유한다.
goal과 researcher context를 함께 embedding한다
literature corpus \(D\), document representation \(\eta(d)\), goal과 researcher context representation \(\rho(g,c_u)\)가 있을 때 검색 score를 inner product로 둔다.
따라서 \(R_u(g)\)는 goal에 가장 가까운 논문 목록이 아니라, 해당 연구자의 prior work, collaborators, methods, resources, graph position을 고려했을 때 이 연구자에게 유용한 evidence set이다.
novelty, relevance, feasibility를 researcher-specific하게 랭킹한다
같은 아이디어가 한 연구자에게는 infeasible하고, 다른 연구자에게는 obvious하며, 세 번째 연구자에게는 structural bridge를 만들 수 있는 transformative direction일 수 있다는 직관이다. 핵심은 global novelty pass/fail filter가 아니라 연구자 context에 따라 utility landscape가 달라진다는 점이다.
세 단계로 읽는 Personalized Auto-Research
human-in-the-loop interaction을 일회성 steering으로 끝내지 않는다
연구자가 현재 best state에 critique를 주면 그 feedback은 \(S_u\)에 합쳐지고 \(c_u=\Phi(S_u,z_u)\)가 다시 계산된다. session이 끝나도 guidance가 사라지는 방식이 아니라, 연구자와 시스템 사이의 relationship representation 자체가 run 내부와 run 사이에서 업데이트되는 구조다.
논문은 figure feedback조차 개인화될 수 있다고 본다. 같은 quantitative result라도 graph-mining researcher와 biomedical collaborator가 필요로 하는 visual encoding과 terminology가 다를 수 있기 때문이다.
왜 이 결과가 이 연구자에게 나왔는지를 audit할 metadata까지 포함한다
이 tuple에는 hypothesis, score, code, outputs, figures, paper, automated review, provenance log, context, evidence가 들어간다. personalization은 black-box taste filter가 아니라 왜 이 package가 이 연구자에게 생성됐는지 감사할 수 있는 metadata를 남기는 방향으로 설계된다.
연구자 표현, 전체 파이프라인 개인화, 개인에 근거한 평가
논문은 구현 세부보다 세 축의 연구의제를 제시한다. 중요한 것은 profile fitting이 아니라 scientific complementarity를 학습하는 것이다.
publication list보다 graph neighborhood가 더 많은 것을 말할 수 있다
비슷한 논문 목록을 가진 두 연구자도 학문적 위치는 다를 수 있다. 한 사람은 theorist의 dense cluster 안에 있고, 다른 사람은 같은 cluster와 computational biology 사이를 잇는 bridge일 수 있다. 저자들은 \(z_u\)를 multi-hop research graph에서 학습해 collaborator의 collaborator가 무엇을 하고, extended network가 어디에 발표하고, 어떤 topic이 인접해 있는지까지 반영하자고 제안한다.
이 관점은 Ronald Burt의 structural hole 개념과 연결된다. 가장 가치 있는 personalized direction은 과거 연구의 직선적 연장이 아니라, 연구자가 이미 inhabiting하는 region과 아직 연결되지 않은 nearby region 사이의 bridge일 수 있다.
personalize the how without narrowing the what
가설만 personalized하고 retrieval, experiment design, writing, citation, review를 generic하게 두면 내부적으로 모순이다. aligned hypothesis가 연구자에게 없는 장비나 compute를 요구할 수도 있고, citation이 해당 연구자 community의 핵심 문헌을 빠뜨릴 수도 있다.
논문이 제시하는 design principle은 exploitation과 exploration의 분리다. exploitation은 연구자의 trajectory를 확장하고, exploration은 candidate space 자체를 좁히지 않은 채 연구자 profile을 feasibility와 framing을 평가하는 기준으로 사용한다. 즉 개인화는 무엇을 생각할지 좁히는 장치가 아니라, 넓게 생각한 것을 어떻게 실현할지 조절하는 장치여야 한다.
Eq. (4)의 \(\alpha,\beta,\gamma\), Nov/Rel/Feas 함수도 researcher trace에서 학습할 수 있다. revisions, reviews, abandoned versus published projects를 이용하고, feasibility는 self-report가 아니라 actual repositories, compute, datasets에 grounding하며, review는 연구자가 rigorously verify할 수 있는 범위에 맞춰 calibration한다.
“다음 논문을 맞히는가”는 오히려 나쁜 평가가 될 수 있다
연구자의 held-out paper를 정확히 예측하는 시스템은 과거의 path-dependent trajectory를 잘 모사한 것일 수 있다. 하지만 연구자가 실제로 하지 않았던 더 좋은 방향을 추천한 시스템은 이 metric에서 손해를 본다. 그래서 저자들은 세 가지 평가를 제안한다.
Feasibility alignment
documented capability와 자원으로 실제 실행 가능한가.
Expert-assessed quality
blind expert가 해당 profile을 고려했을 때 novel, significant, appropriate하다고 판단하는가.
Longitudinal impact
여러 해에 걸쳐 co-scientist 사용이 더 영향력 있는 연구로 이어지는가.
held-out paper는 여전히 scalable한 necessary-condition test로 쓸 수 있다. 시점 \(t\) 이전 record만으로 \(c_u\)를 만들고 paper의 general concept를 goal로 준 뒤, 실제 hypothesis·experimental path를 어느 정도 회복하는지 fidelity를 본다. 동시에 다른 researcher context들이 같은 concept에서 얼마나 다른 trajectory를 만드는지 contrast를 본다. high fidelity + high contrast라면 \(c_u\)가 개인화 signal을 담는다는 증거가 된다. 그러나 이것은 recommendation quality의 상한을 증명하지 않는다.
개인화를 잘못하면 창의성을 늘리는 대신 과거를 복제할 수도 있다
논문이 제시하는 난점은 engineering backlog가 아니라 novelty, equity, privacy, career lifecycle, collective discovery를 건드리는 구조적 tension이다.
generic engine은 population scale에서 hypothesis portfolio를 좁힐 수 있다
연구자-비인지형 시스템은 goal에서 output distribution으로 가는 하나의 mapping을 공유한다. 수많은 연구자가 이를 쓰면 field가 globally best-scoring ideas에 몰려 같은 아이디어를 중복 race하고, 특정 연구자만 실행 가능한 counterfactual direction은 탐색되지 않을 수 있다. 저자들은 personalization을 개인 편의가 아니라 collective discovery를 위한 decorrelation mechanism으로 본다.
하지만 개인화를 과거의 biographical mimicry로 만들면 반대 실패가 온다. source가 제안하는 방향은 counterfactual complementarity다. universal model에서도 확률이 낮고 사용자의 과거 work를 모사한 mimicry model에서도 likelihood가 낮지만, 그 연구자의 accumulated experience를 고려하면 plausible하고 valuable한 아이디어를 보상하는 것이다.
career stage가 바뀌면 objective function 자체가 바뀐다
senior researcher는 dense graph를 가지고 있어 adjacent unexplored territory나 structural hole bridging에서 가치가 나올 수 있다. 반대로 early-career researcher는 sparse history 때문에 기존 identity를 연장하기보다 identity를 형성하도록 도와야 한다. 저자들은 이것이 recommender system의 고전적 cold start보다 더 어렵다고 본다. 데이터가 적은 것이 아니라 무엇을 최적화할지 자체가 career stage에 따라 달라지기 때문이다.
과학은 개인보다 팀이 많이 한다
팀 \(T\subseteq\mathcal U\)를 하나의 research subgraph로 보고 각 member의 \((S_u,z_u)\)를 aggregate해
를 만들 수 있다. 여기서 세 desiderata는 대칭적으로 합쳐지지 않는다. feasibility는 팀원이 하나라도 실행할 수 있으면 되므로 union/max에 가깝고, novelty는 팀 전체 prior work의 union에 상대적이며, alignment는 모든 member community가 이해할 수 있어야 하므로 intersection/min에 가깝다.
이 비대칭 덕분에 experiment를 가장 적합한 member에게 routing하거나, 팀 community의 union을 대상으로 citation·writing하거나, structural hole을 메우는 collaborator를 추천할 수 있다. 동시에 conflict preference aggregation은 social-choice problem이 되고, max feasibility는 frictionless handoff를 가정하며, multi-party privacy가 훨씬 어려워진다.
우리가 알고 싶은 값은 관측되지 않는다
가장 근본적인 문제는 “이 연구자에게 이 방향이 얼마나 좋은가”라는 target label이 존재하지 않는다는 점이다. history에는 연구자가 실제로 선택한 하나의 trajectory만 남는다. 그 선택도 funding, advisor, reviewing, chance에 의해 영향을 받았다. 선택하지 않은 alternative의 counterfactual value는 기록되지 않는다.
따라서 similarity-to-history는 mimicry를 보상하고 better-than-history recommendation을 벌줄 수 있다. 이를 넘어가려면 expert panel이라는 human judgment, multi-year longitudinal study라는 time, 혹은 counterfactual/interventional design이 필요하다.
관계가 없는 자율성은 협업이 아니라 자동화에 가깝다
이 논문은 성능 leaderboard를 제시하지 않는다. 대신 다음 세대 AI scientist를 평가할 새로운 축을 추가한다.
세 가지 새 기준과 하나의 grand challenge
논문의 기여는 네 가지로 정리된다. personalized auto-research 문제를 형식화하고, Algorithm 1로 전체 research loop의 personalizable interface를 제안하고, researcher representation·pipeline personalization·individual-grounded evaluation이라는 세 축을 연구의제로 만들며, creativity collapse·lifecycle·team personalization·counterfactual evaluation을 open challenge로 제시한다.
이 framing은 current SOTA와 경쟁하는 새 benchmark score가 아니다. personalization이 autonomy와 orthogonal하며, 더 강한 universal engine 위에도 별도의 관계 모델이 필요하다는 문제제기다.
연구자를 더 닮는 AI가 아니라 연구자를 더 보완하는 AI
논문 결론의 중요한 단어는 complementarity rather than similarity이다. 인간 연구자도 자신과 똑같은 사람보다 자신에게 없는 expertise를 가진 collaborator를 찾는다. personalized co-scientist도 사용자의 과거를 모방하기보다 generic system이 놓치는 방향 중에서 이 연구자가 수행할 수 있고, 이 연구자의 위치 때문에 의미가 생기는 방향을 찾아야 한다.
graph learning, agentic systems, HCI, benchmark가 한 문제로 만난다
Graph learning
research identity와 structural position을 어떻게 robust하고 privacy-aware하게 encode할 것인가.
Agentic systems
context를 retrieval·search·execution·review 전체에 어떻게 지속적으로 전달하고 업데이트할 것인가.
HCI
사용자가 consent, correction, forgetting, control을 어떻게 행사할 것인가.
Community benchmark
counterfactual quality가 없는 상황에서 feasibility, expert quality, diversity, longitudinal impact를 어떻게 측정할 것인가.
저자들은 이 문제를 AI ecosystem의 grand challenge로 둔다. single group이 혼자 해결하기 어렵고 novelty, equity, privacy, lifecycle, evaluation의 tension이 알고리즘만큼 이 분야를 규정한다고 결론짓는다.