마지막 답사처다. 4권에서 우리는 지식을 가중치 속에 감추지 않고 족보 위에 펼쳐 옮기는 법을 보았다. 그 다음 걸음은 파이프라인의 뒷마디, 곧 강화학습으로 다듬는 일(미세조정)이다. 그러자면 없어서는 안 될 물건이 하나 있다 — 내놓은 물건의 질을 미덥게 가늠하는 보상 함수다. 도움 되는 조수 모델이라면 사람의 선호에서 그 보상을 길어 오고 [Bai 2022a], 추론 모델이라면 중간 단계의 옳고 그름이 그대로 신호가 된다 [Shao 2024].
그런데 과학이라면 사정이 딴판이다. 과학의 질은 눈에 곧바로 보이지도, 셈으로 쉽게 옮겨지지도 않는다. 실증이 필요하고, 그 분야의 안목이 필요하고, 재현이 되는지 살펴야 하고, 서 있는 이론의 틀과 어긋나지 않아야 한다 — 어느 것도 스칼라 하나로 갈무리되지 않는 잣대들이다. 사람의 선호마저 여기서는 부리기 어렵다. 동료평가가 한 갈래 신호이겠으나 대부분 공개되지 않고 [Staudinger 2024] 그 과정 자체가 몹시 어수선하며 [Beygelzimer 2023] — 원고와 심사자의 어긋난 짝짓기가 그 한 까닭이다. 인용 수가 또 한 갈래이겠으나 [Zhang & Wu 2024] 분야의 크기와 발표 이후 흐른 시간에 크게 휘둘리니 질의 척도로는 미덥지 않다.
말하자면 이 답사는 감식(鑑識)의 문제다. 서화 한 폭의 값을 매길 때 우리는 두 가지에 기댄다 — 당대 감정가들의 품평과 후세가 그것을 얼마나 찾았는가. 전자가 동료평가요 후자가 인용이다. 이 권은 그 두 저울을 나란히 놓고 무게를 재며, 1장에서 받아 든 넷째 물음(RQ4)에 답한다.
그 분야 전문가의 심사는 논문의 학문적 질을 재는 으뜸 잣대(gold standard)다. 그러나 대부분 공개되지 않아 데이터가 궁하고, 학회마다 서식이 달라 견주기 어려우며, 과정 자체에 잡음이 많다.
흠 — 데이터의 궁함 · 서식의 난립 · 잡음인용은 그 논문이 학계에 미친 영향력을 잰다. 대규모로 모으기 쉬워 큰 모형을 기를 밑천이 된다. 그러나 분야의 크기, 발표 이후의 세월, 저자의 인맥 같은 글 밖의 사정에 크게 휘둘린다.
흠 — 분야 편중 · 시간 의존 · 인맥파운데이션 모델의 발전 [Driess 2023; Achiam 2023]은 연구의 여러 마디를 거들 가능성으로 눈길을 끌어당겼다 [Boiko 2023; Lee 2022] — 연구 가설 짓기 [Wang 2024b; Baek 2025; Si 2025], 글쓰기 시중 [Funkquist 2023; Gao 2023], 동료평가 [Liu & Shah 2023; Yuan 2022]가 그것이다. 특히 문헌을 밑절미로 과학 콘텐츠를 지어내는 쪽이 두드러졌는데, 전문가들이 사람이 낸 것보다 참신하다고 여긴 연구 가설까지 나왔다 [Si 2025]. 다만 눈길은 대개 가설 짓기에 머물렀고, 논문 한 편을 온전히 짓거나 연구의 여러 걸음을 잇는 시도는 드물다 [Lu 2024; Li 2024].
이 고을의 진짜 난제는 지어낸 것의 질을 가늠하는 일이다 [Baek 2025; Lu 2024; Si 2025]. 연구들은 대개 전문가의 평과 LLM의 평을 섞어 쓰는데, 전문가의 평은 비싸고 오래 걸려 몇 갈래 방법론에만 쓰이고, 그 몇 갈래를 고르는 일마저 LLM 심사자의 결과에 기대는 형편이다 [Qi 2023]. 초기에는 LLM 심사자가 유망해 보였으나 [Baek 2025; Lu 2024], 근래의 발견은 그 미더움을 흔든다 — 참신한 연구 가설을 두고 사람의 평과 견주었을 때 어떤 LLM 심사자는 동전 던지기보다 나을 바 없었다 [Si 2025].
자동 감식기가 갖추어야 할 됨됨이는 셋이다 — 셈이 값싸고, 학문의 질을 미덥게 가리키며, 아직 오지 않은 훗날의 연구에도 통해야 한다. 학술문헌 품질 예측(SDQP) [Maillette de Buy Wenniger 2023] 분야가 심사 점수와 인용 수를 대리 지표로 예측해 왔으나 [Kang 2018; Hirako 2024], 데이터가 궁해 심사 점수 예측은 막혀 있었고 [Staudinger 2024] 인용 예측은 글이 아닌 메타데이터에 기대 왔다 [Zhang & Wu 2024]. 가설 하나만으로 학문의 질을 점치는 일도, 훗날의 연구로의 일반화를 따지는 일도 아직 아무도 하지 않았다. 그리하여 이 장은 논문과 심사를 담을 데이터 모형을 세워 OpenReview의 모든 투고를 한 서식으로 옮기고, 인용 수와 연구 가설을 덧붙여 주석한다. 세 가지 공적을 현판에 새기면 이렇다.
인용 수 예측과 심사 점수 예측을 AI가 지어낸 과학 콘텐츠의 자동 평가 지표로 제안한다.
OpenReview의 모든 투고를 한 서식으로 파싱하고, 메타데이터를 덧붙여 갈무리한다.
단순한 점수 예측 모형이 LLM 기반 심사보다 사람의 평과 더 잘 맞음을 입증한다.
지시를 따르는 생성 모델의 발전 [Achiam 2023; Esser 2024]이 과학 콘텐츠 생성으로 눈길을 끌었다 — 가설 짓기, 논문 초고 [Gao 2023], 나아가 실험 설계 [Bran 2024; Li 2024]까지다. 대개 한 조각 문제에 머물되, 연구 과정 전체에 손을 댄 예 [Lu 2024]와 기계학습 연구에 집중하되 보고서 집필은 뺀 예 [Li 2024]가 눈에 띈다.
난제는 역시 가늠하기다. 참신함이나 실행 가능성을 재려면 전문가의 값비싼 품이 든다 [Si 2025]. 하여 LLM의 평으로 사람의 판단을 갈음하거나 [Baek 2025; Qi 2023; Yang 2024], 아예 사람을 물린 예도 있다 [Lu 2024]. 그 미더움이 근래 의심받는 터에 이 장은 인용·심사 점수 예측을 대안 잣대로 내놓고 LLM 체계와 견준다.
투고가 밀려들자 심사 과정의 자동화에 눈길이 쏠렸다 [Fernandes & Vaz de Melo 2024] — 심사자 배정 [Jecmen 2023]부터 심사평 생성 [Yuan 2022; D'Arcy 2024; Zhou 2024]까지다. 다만 글로 된 심사평은 그것만으로 잣대가 되지 못한다 — 어느 방법이 더 값진 논문을 낳는지 가리기 어렵기 때문이다. 그래서 이 장은 심사 점수 예측(RSP) [Kang 2018]에 집중한다. 논문 채택 여부 예측 [Bharti 2021]도 있으나 결이 거칠다.
선구적 연구 [Kang 2018]는 곳간이 작고(PeerRead, 1천 편 미만) 시간을 건너는 일반화를 다루지 않았다. 후속 연구는 무라벨 데이터 [Muangkammuen 2022]나 중간 과업 [Muangkammuen 2023]으로 데이터의 궁함을 달랬다. 연구마다 제 곳간을 짓다 보니 견줄 잣대가 없고, F1000·PeerJ 같은 대안은 주제는 너르되 익명 심사가 없다 [Dycke 2023].
무엇을 밑천으로 삼느냐에 따라 공법이 갈린다 [Zhang & Wu 2024] — 인용 이력 [Wang 2021b], 메타데이터(저자·h-지수) [Bai 2019], 논문의 내용 [van Dongen 2020]이다. 갓 지어낸 콘텐츠에는 이력도 메타데이터도 없으니, 잣대로 쓸 수 있는 것은 내용 기반뿐이다.
초기 연구는 제목·요약의 n-그램과 어휘 빈도에, 3천 편 남짓의 작은 곳간과 짧은 기간을 썼고 [Fu & Aliferis 2008; Ibáñez 2009], 근래에는 3~4만 편으로 늘리고 언어모델 임베딩을 들였다 [van Dongen 2020; Hirako 2024]. 논문 전문을 쓰는 것이 크게 도움된다는 보고와 미미하다는 보고가 엇갈리는데 [Hirako 2024], 곳간과 목표 지표가 저마다 달라 견줄 수 없음이 그 까닭이다. 시간을 건너는 일반화를 명시로 다룬 연구는 드물다 — 검증 집합의 발표 시점이 훈련 집합과 고작 한 달 벌어진 예도 있다 [Hirako 2023, 2024].
인용과 심사 점수의 관계를 캔 연구는 더 드물다. 심사평이 인용 예측을 돕는다는 보고는 있으나 [Li 2019; Plank & van Dalen 2019], 이 장의 관심은 둘의 상관이다 — 강하게 상관한다면 두 저울이 같은 것을 재고 있다는 뜻이다. ICLR 2017–2019에서 약한 양의 상관이 보고된 바를 [Wang 2021a] OpenReview 전체로 넓힌다.
과업은 둘로 나뉜다. ① 짝 비교(pairwise ranking) — 두 편 가운데 어느 것이 더 높은 점수를 받을지 가리는 일이요, ② 회귀(regression) — 한 편의 점수를 곧바로 점치는 일이다. 짝 비교기는 물건들을 차례로 견주어 순위를 낼 수 있으니, 모두가 모두와 겨루는 돌려겨루기(round-robin)나 현재 순위에 따라 짝을 붙이는 스위스식으로 부린다 [Si 2025].
곳간은 D = {(ω, c, s)}다 — ω는 논문의 표현, c는 참고문헌 따위의 문맥, s는 딸린 품질 점수다.
논문의 표현으로는 제목·요약에서 연구 가설까지 여러 부위를 갈아 넣어 본다.
과학 텍스트의 임베딩은 SPECTER2에 회귀 어댑터를 얹어 뽑는데
[Singh 2023], 문맥 길이를 넘는 글은 NLTK 문장 토크나이저
[Bird 2006]로 잘라 각 토막의 임베딩을 따로 구한 뒤 평균해
한 벌의 고정 크기 표현을 만든다. 임베딩 모형의 매개변수는 얼려 둔다.
① 논문을 제목·요약으로 대표하고 나머지 절(節)들을 문맥으로 삼는 길.
② 논문을 제목·요약으로 대표하고 참고문헌의 제목·요약을 문맥으로 삼는 길.
인용 — 모형 훈련 시점까지의 총인용을 발표 후 개월 수로 나눈 월평균 인용을 쓴다. 분포가 심히 치우쳐 있으므로(몇 편이 태반을 가져간다) 그 로그를 점친다 [van Dongen 2020].
심사 — 논문마다 여러 심사평이 딸리고 학회마다 서식이 다르니, 모두 한 데이터 모형으로 옮긴 뒤 평균 종합점수와 영향력 점수를 점친다.
바탕은 널리 쓰이는 ACL-OCL [Rohatgi 2023]이다 — 여기에 인용 수를 새로 갱신하고, 참고문헌의 제목·요약을 끌어오고, 이미 있는 GROBID 파싱에 절 라벨을 달고, 표본마다 연구 가설을 붙였다. 그리고 OpenReview 투고를 — 아는 한 가장 큰 규모로 — 갈무리해 같은 메타데이터를 덧붙였다.
OpenReview는 투고와 그에 딸린 심사평을 잇는 값진 자원이나 [Staudinger 2024], 큰 걸림돌이 있다 — 학회마다 심사 서식이 딴판이라는 것이다. 어느 워크숍은 종합점수 하나뿐인데 ICLR-2023은 명료성·참신성 따위 다섯 항목을 둔다. 하여 통일 데이터 모형을 세우고 학회별 항목을 손으로 대응시켰다. 공정은 다섯 마디다.
모든 투고의 PDF를 GROBID로 파싱한다.
논문의 부위마다 따로 조건을 걸 수 있도록, 학술 텍스트의 한 단락을 받아 서론·배경·방법론·실험및결과·결론으로 가리는 절 분류기를 따로 기른다.
투고마다 GPT-3.5-turbo에 프롬프트를 넣어 연구 가설을 주석한다. 그 품질은 제1저자들에게 제 논문의 주석을 평가해 달라 청하여 가늠했다.
모든 투고의 참고문헌 제목·요약과, 채택된 투고의 인용 수를 Semantic Scholar에서 가져온다.
심사평은 모두 CC BY 4.0이나 투고는 그렇지 않으니, 투고를 뺀 전체 곳간을 공개하고 CC BY 4.0인 투고는 따로 열어 준다. 투고까지 포함한 전체는 Huggingface의 스크립트로 접근한다.
먼저 저울끼리 견준다(§5.5.1). 심사평 안쪽의 항목들부터 보자. 심사자의 확신도만 빼면 모든 항목이 종합점수와 양의 상관을 보인다 — 곧 심사자들이 높은 점수를 줄 때든 낮은 점수를 줄 때든 확신의 정도가 달라지지는 않는다는 뜻이다. 항목 가운데 영향력과 명료성이 종합점수와 가장 강하게 얽힌다. 이는 ACL 2017 심사평을 분석해 명료성을 요긴한 요인으로 짚은 선행 연구 [Kang 2018]와 얼마간 맞물리되, 그쪽은 영향력의 상관을 이보다 약하게 보았다.
짙은 담청이 강한 양의 상관, 황단빛이 음의 상관이다. 영향력 0.79와 명료성 0.61이 종합점수와 가장 짙게 얽히고, 확신도만 홀로 음의 자리(−0.12)에 앉는다. 눈여겨볼 대목은 영향력과 재현성이 −0.22로 등을 돌린다는 것 — 울림이 큰 연구와 되짚어 볼 수 있는 연구가 학계의 눈에는 늘 한 몸이 아니라는 뜻이다.
대체로 약한 양의 상관이며 NeurIPS에서는 있으나 마나다. ICLR·NeurIPS처럼 주제가 너른 학회에서는 분야마다 유행의 정도가 다른 것이 교란 요인일 수 있다 — 실제로 ICLR-2023을 저자가 밝힌 분야별로 갈라 보면 어떤 분야에서는 상관이 짙어지고 어떤 분야에서는 아예 사라진다.
이제 감식기의 성적이다(§5.5.2). ACL-OCL 곳간에서 로그 월평균 인용을 점치되, 논문의 어느 부위를 표현으로 삼는지에 따라 성적이 어찌 갈리는지 본다.
| 논문의 표현 | 짝 비교 정확도 | 짝 비교 ρs | 회귀 L1 | 회귀 ρs |
|---|---|---|---|---|
| 제목 + 요약 | 0.665 (.010) | 0.481 (.026) | 0.921 (.001) | 0.498 (.002) |
| 서론 | 0.655 (.006) | 0.460 (.016) | 0.943 (.002) | 0.452 (.002) |
| 실험 및 결과 | 0.651 (.004) | 0.446 (.012) | 0.946 (.001) | 0.449 (.001) |
| 결론 | 0.647 (.005) | 0.439 (.014) | 0.944 (.001) | 0.431 (.002) |
| 방법론 | 0.634 (.010) | 0.397 (.027) | 0.981 (.001) | 0.399 (.002) |
| 관련 연구 | 0.631 (.008) | 0.386 (.022) | 0.955 (.001) | 0.393 (.002) |
| 연구 가설 | 0.615 (.008) | 0.339 (.024) | 1.003 (.002) | 0.366 (.001) |
순위를 배우는 것과 점수를 배우는 것이 얻는 스피어만 상관은 서로 비슷하다. 결과에 관한 정보를 담은 부위가 더 잘 맞히는데, 그 낙차가 가장 두드러진 곳이 제목·요약(0.481) 대 연구 가설(0.339)의 사이다. 그럼에도 연구 가설 하나만으로도 동전 던지기보다는 낫게 인용을 점칠 수 있다. 실증 연구는 결과가 인상적일 때 더 인용된다는 직관과 맞물리는 대목이다.
다음으로 문맥 모형을 기르고, 구조 변경 자체의 효과를 가려내려 제목·요약 기준선을 빈 문맥으로 다시 돌렸다. 결과는 담담하다 — 논문 전문을 다 넣거나 모든 참고문헌의 제목·요약을 문맥으로 붙여도 이득이 미미하다(Figure 5.3). 까닭인즉, 인용 점수에서 글에 딸린 변동은 이미 제목·요약이 거의 다 담고 있고, 남은 차이는 저자의 인맥 같은 글 밖의 사정에서 오기 때문이다. 게다가 곳간이 작아 단순한 모형에 머물러야 했다 — 큰 모형은 과적합해 일반화에 실패했다.
심사 점수 예측은 형편이 훨씬 고약하다. OpenReview 전체에서 학회를 가리지 않는 예측은 동전 던지기보다 나을 바 없었다 (Table 5.3 — 정확도 0.506, ρs 0.014). 두 가지가 그 까닭으로 짚인다 — 첫째 학회마다 심사의 잣대가 달라 정규화한 뒤에도 같은 논문이 이 학회에서 0.6, 저 학회에서 0.8을 받고, 둘째 학회 사이의 주제 폭이 한 학회 안보다 넓어 견주기가 어렵다. 반면 학회별 모형은 짝 비교 정확도 60% 안팎에 이른다 — NeurIPS 0.584, ICLR 0.594다.
| 곳간 · 표현 · 지표 | 짝 비교 정확도 | 짝 비교 ρs | 회귀 L1 | 회귀 ρs |
|---|---|---|---|---|
| 전체 · TA · 심사점수 | 0.506 (.008) | 0.014 (.025) | 0.094 (.001) | −0.006 (.014) |
| 전체 · TA · 영향력 | 0.541 (.007) | 0.124 (.018) | 0.097 (.005) | 0.109 (.015) |
| 전체 · TA · 인용 | 0.608 (.010) | 0.353 (.031) | 2.371 (.013) | 0.330 (.006) |
| 전체 · H · 심사점수 | 0.500 (.006) | 0.001 (.015) | 0.096 (.005) | 0.010 (.017) |
| 전체 · H · 인용 | 0.590 (.006) | 0.287 (.015) | 2.236 (.017) | 0.294 (.007) |
| NeurIPS · TA · 심사점수 | 0.584 (.004) | 0.252 (.011) | 0.054 (.001) | 0.242 (.006) |
| NeurIPS · TA · 인용 | 0.603 (.007) | 0.322 (.014) | 2.132 (.034) | 0.199 (.017) |
| ICLR · TA · 심사점수 | 0.594 (.004) | 0.274 (.013) | 0.117 (.000) | 0.292 (.006) |
| ICLR · TA · 인용 | 0.648 (.001) | 0.433 (.003) | 1.242 (.005) | 0.443 (.003) |
곳간의 어느 조각을 보아도 한결같은 흐름이 있다 — 인용을 점치는 일이 심사 점수를 점치는 일보다 쉽다. 그리고 ACL-OCL에서처럼 제목·요약이 연구 가설보다 낫다. 인용 예측의 정확도가 ACL-OCL에서 더 높은 까닭으로는, 주제 폭이 덜 너른 곳간에 데이터가 더 많았음이 짚인다. 그렇다면 ICLR을 주제별로 갈라 기르면 나아질까 하여, LDA로 잠재 주제를 나누어 가장 빈번한 다섯 주제마다 짝 비교 모형을 따로 길러 보았다(Table 5.4) — 성적은 0.565~0.599로, 주제별로 나누어 길러도 나아지지 않았다.
단순한 우리 모형이 두 학회 모두에서 LLM 심사자의 짝 비교 정확도를 앞선다. 원 연구 [Si 2025]와 두 가지가 다르다는 점은 밝혀 둔다 — 그쪽 LLM은 논문 전문이 아닌 연구 계획서를 보았고, 대상이 LLM 관련 주제로 한정되어 견주기가 수월했을 수 있다. 그럼에도 LLM 심사자의 성적은 원 연구와 비슷한 수준이다. 사람의 평과의 상관을 보면 Sakana 0.161 < 우리 모형 0.330 < 사람끼리 0.412의 순서다 — 기계가 LLM 심사자를 앞질렀으되 사람만큼 서로 일관되지는 못한다. (사람 기준선은 심사평 셋 이상인 투고에서 하나를 빼 그 하나와 나머지의 평균을 견주는 방식으로, 5회 반복해 얻었다.)
감식기는 무엇을 보고 있었나(§5.5.4). ICLR 조각으로 기른 모형들에 대해 근사 섀플리 값 [Lundberg & Lee 2017]을 셈해 들여다보았다. 제목·요약을 쓴 모형은 결과 지향의 표현을 지렛대로 삼는다 — "인간 이하에서 인간 이상의 성능으로", "최신 시스템 대비 몇 배의 속도 향상" 같은 구절이 한결같이 높은 양의 섀플리 값을 얻는다. 반면 연구 가설을 쓴 모형은 개별 방법(NoisyNet, GAN)이나 주제(심층 강화학습의 탐험, 생성 모델링)에 눈길을 둔다. 더 흥미로운 것은 인용 모형과 심사 모형을 견줄 때다 — "효율적 탐험", "적대적 목적함수" 같은 몇몇 구절은 두 점수에 서로 반대 방향으로 기여한다. 당대의 심사자가 아끼는 말과 후세가 찾는 말이 늘 같지는 않은 것이다.
이 답사가 얻은 것은 이렇다. 인용·심사 점수 예측 모형은 자동 평가 지표로서 가망이 있다 — 사람의 평과 맞물리고, LLM 기반 심사 체계보다 낫다. 그러나 사람의 평이 여전히 더 일관되다. 학회마다 심사 서식이 다른 것이 견주기를 어렵게 만들고, 심사 점수보다 인용 점수를 점치는 편이 더 실답다. 내용 기반 인용 예측은 아직 깊이 파이지 않은 밭이니, 곳간을 키워 규모를 늘리는 문제와 어떤 목표 점수·입력 특징이 가장 효험 있는지가 물음으로 남는다. 표와 그림을 뺀 것도 인용 예측 모형의 잠재를 깎았을 수 있다 [Hirako 2024]. 그리고 두 갈래 잣대 모두에 도사린 위험이 하나 있다 — 허울 좋은 상관(spurious correlation)에 기대어, 작품의 참된 질을 놓칠 수 있다는 것이다 [Si 2025].
남은 흠도 정직히 적는다. 지금의 모형은 논문의 작은 조각만 쓰고 있으니 전문과 참고문헌을 더 잘 들일 여지가 있다. 곳간이 작아 시간을 건너 통하는 무늬를 배우는 힘도 제한된다. 무엇보다 인용 수와 심사 점수는 저자의 인맥 같은 사정에 휘둘리는 불완전한 대리 지표이니, 글의 내용만으로 그것을 얼마나 정확히 점칠 수 있는가는 여전히 열린 물음이다.