HAI RESEARCH WATCH · EVIDENCE BEFORE INTERPRETATION
일곱 연구축의 전체 해설, 서지 감사, 그리고 로컬에서 반증할 수 있는 다음 실험
메커니즘 실험은 조건부 기술 결론을 지지한다. 합성 평가에서 인간 반응으로 넘어가려면 외부 타당화가 더 필요하다. 31항목에는 2024년 최초 공개 배경 2편이 포함된다.
사람 없이 검증할 수 있는 것은 모델 행동과 시스템 메커니즘이다. 사람의 과의존·공정성 인식·심리적 소유감은 별도의 근거를 요구한다. 이번 재조사에서도 이 경계는 유지되었다.
사용자가 제공한 HAI-research-trends.md의 일곱 축과 11월 10일 전체 해설을 기준으로 다시 조사했다. 원문의 “사람 실험 없이 가능”은 기술 메커니즘 연구가 가능하다는 뜻이지 사람의 반응을 검증했다는 뜻이 아니다. 오늘 글은 이 경계를 전제로 일곱 축을 모두 다시 설명한다. 최초 글의 본문은 보존하며, 아래의 범위·서지 보완은 2026년 11월 11일자 기록이다.
기존 근거 26항목에 5편을 추가 검토했다. “추가”는 이번 리뷰에서 새로 확인했다는 의미이며 어제 이후 처음 발표되었다는 뜻이 아니다. 5편 중 3편은 프리프린트, 2편은 정식 출판본이다. 최신 프리프린트도 동료심사 완료로 부르지 않았다. P07·P08은 최초 공개가 2024년인 배경으로 분리했다. 일부 기존 논문의 최초 프리프린트 날짜는 아직 추적하지 못했으므로 31편 전체를 기간 내 최초 공개 연구라고 집계하지 않는다.
새 근거는 실행 경계의 선택적 격리(N01), 실행 가능한 합성 참가자 프로토콜(N02), 특징 기반 무응답 제어 후보(N03), 인용의 통계적 거짓 발견 제어(N04), 확신 보고 학습의 전이 한계(N05)를 보완한다. 사람에 대한 새로운 일반 효능을 입증한 것으로 해석하지 않는다. 독립 재현 실험을 이번 조사에서 실행하지 않았으며, 저자 보고·코드 공개·독립 재현을 분리했다.
분홍: 1 · 최우선 · 노랑: 2 · 핵심 · 파랑: 3 · 보충 · 초록: 4 · 참고. 색은 편집상 중요도을 나타내며 근거의 확실성 등급이 아니다.
“확정 출판”은 공식 정식본의 존재를 확인했다는 의미다. 하루 사이에 프리프린트가 채택되었다는 사건을 확인한 것은 아니다. 공식 정정·철회 또는 독립 재현에 대해서도 확인되지 않은 사건을 새 결과로 만들지 않았다.
| 구분 | 확인한 공개 결과 | 내용 | 기존 판단 |
|---|---|---|---|
| 추가 검토 · 프리프린트 | N01 Airlock · 11월 4일 최초 공개 | 통제·다중 에이전트에 선택적 실행 격리 보완. 오염된 기억의 롤백과 구분. | 기존 판단 유지 + 운영 측정 확장 |
| 추가 검토 · 프리프린트 | N02 Executable Human Study Programs · 11월 9일 제출 | 합성 연구 절차를 실행 가능한 프로그램으로 분리. 전문가 12명은 도구 검토 표본. | 절차 재현성과 인간 대체 타당성을 분리 |
| 추가 후보 · 초록 한정 | N03 Dr. No · 11월 2일 최초 공개 | 특징 기반 무응답 제어. 직접 본문·최신 버전 접근 제한으로 수치 보류. | 상세 효능 판단 보류 |
| 정식본 추가 확인 | N04 Jiang의 CiteGuard · ICML 2026 | P12 Choi 등의 동명 연구와 다른 논문. FDR 가정·공개 재현 범위 점검. | 귀속 정확도 ≠ 통계적 지지 보장 |
| 정식본 추가 확인 | N05 확신 보고 전이 · 11월 5일 출판 | 학습 이득과 과제 간 전이 제한. 공식 본문의 과제·전이·공개 자료 항목 확인. | 불확실성 표현의 일반화는 별도 평가 |
| 기간 범위 보완 | P07·P08 최초 공개 2024년 | 2025년 정식 출판으로 인한 포함 혼동을 해소. 오늘자 배경 자료로 분리. | 최초 글 수정 없음 · 신규 연구 수에서 제외 |
| 서지·버전 보완 | P12 / N04, P13, P16, P18 | 동명 CiteGuard 분리, P13·P18 전체 제목 복원, P16 정식 8개 / 프리프린트 검색 9개 기록. | 효과 변화·공식 정정으로 단정하지 않음 |
| 출판 상태 재확인 | P02 ICLR; P14 CHI; 기존 ACL·PMLR 자료 | 공식 proceedings·저자기관으로 정식본 존재 확인. | 정식본 확인과 신규 채택 사건 구분 |
| 정정·철회·독립 재현 | 이번 확인 범위에서 새 사건 미확인 | 공식 출처를 우선했으나 전 세계 공지·모든 버전을 전수 확인한 것은 아님. | 발견 없음 ≠ 존재하지 않음 |
| 변경 없는 결론 | R1–R7 전체 | 모델·시스템 성능, 합성 평가 타당성, 실제 사람 반응은 분리. | 사람 없는 반증 실험은 기술 주장에 한정 |
RESEARCH AXIS 01
아첨과 과의존
기존 판단: 유지. 새 사람 대상 과의존 결과를 확인하지 못했다. P01–P03의 모델 결과와 P04의 사람 실험을 구분한다.
Sycophancy는 사실이나 타당성보다 사용자의 기대·신념·자기상에 맞춰 응답하는 모델 행동이다. Overreliance는 사용자가 오류가 있는 AI 조언을 부적절하게 수용하는 인간 행동이다. 전자는 모델 출력, 후자는 실제 사용자 결과이므로 개념과 평가단위를 구분해야 한다.
측정 단위는 모델의 응답 전환과 사람이 오류를 채택하는 행동으로 나뉜다. 전자는 로컬 벤치마크로, 후자는 사람의 선택·수행 자료로만 검증할 수 있다.
동일한 정답 질문에 잘못된 사용자 주장을 붙였을 때 모델이 정답을 바꾸는가? 다회 대화의 압박·사회적 공감 표현이 오류 수용을 확대하는가? 실제 인간의 과의존은 시뮬레이션만으로 실증할 수 없다.
정답을 유지하는 시스템이 언제나 좋은 협력자는 아니다. 사용자가 옳은 정정을 제시했을 때 이를 거부하는 완고함과 거짓 주장에 동조하는 아첨을 동시에 실패로 정의해야 한다.
반사실적 대조쌍, belief-conditioned error, Turn of Flip, Number of Flip, 사회적 자기상 보존, 적절한 의존(appropriate reliance), calibration의 구분. 사실 확인 불가능한 가치판단은 독립적으로 라벨링한다.
사용자 주장에 대한 동의, 정답성, 예의 바른 문체를 독립 축으로 코딩한다. 동일한 응답이 친절하면서 정확할 수 있으므로 친절한 어휘를 아첨의 자동 대리 라벨로 삼지 않는다.
SYCON Bench는 다회 대화의 입장 번복을 측정했고[P01], ELEPHANT는 명시적 사실이 아닌 사회적 아첨을 다뤘다[P02]. Nature 2026은 따뜻한 페르소나 최적화와 정확도·동조의 상충을 분석했다[P03]. 과의존을 직접 다룬 AAAI의 인간 실험 결과[P04]는 모델 수준 대리 지표의 외적 타당성을 점검하게 한다.
P01은 다회 대화의 사실 동조, P02는 사회적 자기상 보존, P03은 훈련 목표의 상충을 다룬다. P04의 사람 실험은 다른 종류의 근거다. 어느 한 측정도 나머지를 대신하지 않는다.
유능하고 친절하게 보이는 모델도 사용자의 확신을 검증 없이 강화하면 오류를 증폭시킨다. 미묘한 아첨은 정답률 하나만으로 발견하기 어렵다.
정부 R&D 검토에서 작성자의 선호를 확인해 주는 응답과 반대 증거를 제시하는 응답을 구분해야 한다. 이 적용 예시는 연구 결과의 직접 실증 대상이 아니라 설계상 해석이다.
정답 부재·도덕적 다원성·어조 편향·심사 모델 편향을 분리해야 한다. 온도·모델 크기·프롬프트 길이를 고정하지 않으면 프롬프트 완화 효과가 혼재된다.
판정자가 같은 모델 계열이면 동조를 친절함으로 오인할 수 있다. 정답형 문항에서는 규칙 판정기를 우선하고, 열린 조언에서는 다중 라벨과 판정 불일치를 보존한다.
RQ1: 사실이 동일할 때 사용자 확신 강도만 바꾸면 오답 동조율이 얼마나 변하는가? RQ2: 제3자 시점·근거 요구·검색증강이 정답 유지와 유용성 간 trade-off를 개선하는가? 단일 사용자 맥락을 넘는 외삽은 제한한다.
잘못된 사용자 주장에 대한 반박이 정답 유지에 기여하면서, 옳은 사용자 정정의 수용률을 떨어뜨리지 않는가? 답변 보류로 회피한 사례를 동조 완화의 성공으로 세지 않는가?
공개 QA의 정답/오답 belief pair를 자동 생성하고 동일 질문 baseline과 대응 비교. SYCON 대화압박 단계를 재현하되 수치·모델 조건을 그대로 복제했다고 주장하지 않는다. 정답 유지율·오답 동조 변화량·flip 회수·무응답률·비용을 기록. 강한 baseline은 정답 전용 지시와 RAG, 완화군은 제3자 시점·증거 확인·검증 단계를 사용.
원문 질문별로 정답 주장·오답 주장·새 증거를 짝지어 생성한다. 같은 질문의 변형이 학습·튜닝·평가에 흩어지지 않게 분할하고, 전환률을 정답성 및 무응답률과 함께 보고한다.
의사결정 지원, 연구 가설 검토, 정책보고서, 코딩 리뷰 등 ‘동의보다 교정이 중요한’ 지식업무의 사전 품질검사. 실제 이용자의 과의존을 완화한다는 효능 주장은 인체 연구 없이 불가.
교육·문헌 검토·분석 보조에서 잘못된 전제 경고를 설계할 수 있다. 로컬 결과로 학생의 장기 역량 보존이나 공무원의 실제 의존 감소를 주장할 수는 없다.
사회적 아첨의 정답 정의가 불분명한 경우, 취약한 사용자 맥락, 다국어·문화 차이, 사용자 신뢰의 장기 변화가 미해결이다.
가치 판단의 정답 정의, 모호한 요청에서의 적절한 공감, 반복 사용 중 사람의 검증 습관은 여전히 열려 있다. 사회적 조언의 판정 기준을 사실 문항에 그대로 적용하지 않는다.
1단계: 사실 오류 동조 자동 평가. 2단계: 다회 압박과 개인화 조건을 추가한 강건성 검증. 3단계: 안전성을 유지하면서 불필요한 정답 거절을 낮추는 다목적 설계. 사람 신뢰는 후속 별도 실험으로 검증.
추천 방향은 사실 정정 능력과 문체의 따뜻함을 분리하는 평가다. 이후 사람 반응을 연구하려면 별도 표본·동의·측정 설계가 필요하며 현재의 무인 실험 결과와 합치지 않는다.
문헌 근거의 상태·접근 수준은 P01 · P02 · P03 · P04 참조. 아래 R1 실험은 저자의 미실행 제안이다.
RESEARCH AXIS 02
에이전트 워크플로우 통제
기존 판단: 유지·보완. N01이 실행 경계 격리를 추가한다. P05의 정식본 설명을 구 프리프린트 검색 요약과 분리한다.
핵심 근거: P05 · P06 · P19 · P24 · N01
에이전트 제어는 시스템이 장기 작업의 목표·권한·행동·외부효과를 제한·관찰·중단·복구할 수 있게 하는 기술이다. 인간의 감독이 존재한다는 사실과 실제로 의미 있는 감독이 되는지는 다르다.
통제는 감독자가 개입할 권한, 시스템이 실행 전에 검사하는 경계, 실패 이후 복구 가능성을 포함한다. 모델의 자기 설명은 실제 도구 권한을 제한하는 장치와 다르다.
도구 실행과 외부 상태 변경이 일어난 후에만 검토하면 승인·중단이 형식적인 절차가 된다. 위험한 단계만 승인받으면서 저위험 단계는 자동화하는 정책을 정량화한다.
승인을 자주 요청하면 위험이 줄 수 있지만 작업이 정지할 수도 있다. 안전 위반과 승인 비용을 한 축의 평균 점수로 합치기 전에 각각의 실패 빈도를 공개해야 한다.
delegation boundary, permission scope, plan verification, ask/act policy, transaction log, rollback 가능 작업과 불가능 작업, least privilege, runtime intervention, 안전성과 throughput.
권한 트리·capability·이벤트 로그·실행 전 검증·중단·보상 동작을 구분한다. 취소 불가능한 외부 효과를 단순한 상태 되돌리기 실험으로 대표해서는 안 된다.
ICML 2026 Oversight Game은 자율 행동과 확인 요청의 전략을 게임으로 공식화했다[P05]. 2026 제어 서베이는 가드레일, 적응 제어, AI 감독, 인간 감독을 구분한다[P06]. AppWorld-UL은 명확화와 승인 기능을 실제형 시뮬레이션 과제로 평가한다[P19].
기존의 감독 게임·통제 서베이에 N01의 실행 경계 격리를 추가한다. N01은 향후 외부 효과를 차단하는 접근이며 에이전트의 내부 메모리를 원상 복구하는 방법은 아니다.
모델의 언어 능력이 뛰어나도 잘못된 API 호출이 외부 자원이나 권한을 변경하면 출력 수정만으로 복구되지 않는다. 따라서 실행 전 권한·예상 피해·복구 경로가 필요하다.
사람이 읽을 수 있는 작업 계획만으로는 데이터 유출이나 권한 초과 실행이 차단되지 않는다. 설명 계층과 실제 실행 정책의 일치가 운영 설계의 출발점이다.
도구 결과의 지연, 위험 점수의 오탐·미탐, 승인 피로, 중첩된 도구 호출, 비가역적 부수효과, 사용자 확인이 늦는 비동기 작업이 난제다.
탐지 지연, 병렬 분기, 재시도와 중복 실행, 이미 전달된 비밀 정보가 난제다. N01의 데이터 노출 계보도 모든 의미적 영향 전파를 완전하게 포착하지는 못한다.
RQ1: 위험 기반 개입이 모든 단계 승인 대비 감독 횟수를 줄이면서 위험 외부효과를 억제하는가? RQ2: 사전 시뮬레이션+commit guard가 단순 사후 감사보다 복구 불가능 오류를 감소시키는가?
동일한 이상 이벤트에서 위험 기반 승인이 전면 자동·전면 승인보다 위반을 줄이고 정상 작업을 보존하는가? 탐지 이후 누출과 탐지 이전 피해를 별도로 측정하는가?
결제·삭제·파일 수정이 모두 가상인 sandbox API를 구축. baseline=(전부 자동/전부 확인/임계값 확인), 제안=(risk-aware ask + precondition check + reversible sandbox). 정량지표=성공률, 무단 실행률, 비가역 오류, 확인 횟수, 지연, 복구 성공률. 동일 예산·seed·행동 도구 사용.
공개 과제 명세를 읽되 실제 메일·결제·외부 계정을 사용하지 않는 모의 도구를 만든다. 계획·승인·실행 이벤트를 시간순으로 고정하고 승인 없는 상태 변경을 검사한다.
개발 코딩 에이전트, 연구문헌 수집, 문서 자동작성, 기업 내부 프로세스 에이전트. 실제 결제·계정·삭제 작업 대신 합성 환경만 사용.
문서 정리·자료 수집·코드 변경의 드라이런에 적용 가능하다. 의료·산업 설비와 같은 외부 시스템의 안전 인증을 대신하는 로컬 실험은 아니다.
권한 위임 정당성, 인간의 실질적 이해, 장기 작업 중 권한 갱신, 거부·중단 후 보상, 시스템이 숨긴 외부효과를 탐지하는 문제가 남아 있다.
지연된 사람 승인과 긴급 중단의 충돌, 감독 피로, 책임 소재, 공격자가 제어 정책 자체를 바꾸는 경우가 남는다. 모의 승인자를 실제 인간 감독자로 부르지 않는다.
도구별 효과 타입과 권한 계약을 정식화하고, 추적 가능한 승인/변경/복구 원장에 연결. 최종 목표는 무조건 인간 승인 횟수 증가가 아니라 위험 대비 최소 개입과 실효적 통제.
권한 정책을 재현 가능한 실행 명세와 연결하고, 같은 작업에서 안전·진행성·개입 부담을 공동 보고하는 연구가 유망하다. P05의 대규모 훈련을 소형 로컬 모델 실험과 동등하다고 주장하지 않는다.
문헌 근거의 상태·접근 수준은 P05 · P06 · P19 · P24 · N01 참조. 아래 R2 실험은 저자의 미실행 제안이다.
RESEARCH AXIS 03
불확실성 인식과 표현
기존 판단: 범위 수정·내용 보완. P07·P08을 배경으로 옮기고 P09 및 N03·N05를 구분한다. N03은 초록 한정이다.
불확실성은 모델의 지식·증거 부족(epistemic)과 환경의 본질적 변동성(aleatoric)을 구분하는 개념이다. 정확한 확률값, 언어적 확신, 답변 보류(abstention)는 서로 다른 인터페이스 신호다.
확률 보고의 보정, 맞고 틀림을 구분하는 판별력, 답할지 말지 결정하는 선택 정책은 별개다. 숫자 confidence가 그럴듯하다는 이유만으로 모두 개선되었다고 평가하지 않는다.
유창한 오답은 부당한 확신을 유발하지만, 지나친 답변 보류는 도움을 주지 못한다. 확률적 정확성뿐 아니라 답변 여부를 선택하는 효용까지 최적화할 필요가 있다.
답할 수 있는 문항에서 무응답이 늘면 정답률이 겉으로 오를 수 있다. 평가의 핵심은 같은 응답 범위에서의 위험과 답변 기회의 손실을 함께 비교하는 것이다.
Expected Calibration Error(ECE), Brier score, coverage-risk curve, selective accuracy, AUROC for failure detection, claim-level confidence, verbal probability, abstention threshold. 불확실성 문구가 조작 요인으로 작동할 수 있음.
ECE는 구간화 선택에 민감하고, Brier score에는 정답 라벨과 확률이 필요하다. 확률을 출력하지 않는 모델에는 억지로 수치를 부여하지 않고 선택적 정확도·coverage를 우선 기록한다.
2025년 정식 출판된 무응답 서베이[P07]와 원자 주장 보정 연구[P08]는 최초 공개가 2024년인 배경 자료다. 기간 내 근거 P09는 응답 보류가 프롬프트 형식으로도 유발될 수 있음을 보여 준다.
P07·P08은 2025년 출판본이지만 최초 공개가 2024년이어서 배경으로 이동한다. 기간 내 핵심 근거 P09에 N03의 특징 제어 후보와 N05의 확신 보고 전이 결과를 보완한다.
하나의 문서에서도 어떤 문장은 확실하고 다른 문장은 추정일 수 있다. 응답 전체에 단일 확신 점수를 부여하면 검토할 주장 위치를 드러내지 못한다.
사용자가 보는 언어적 확신과 내부 신호가 같은 것은 아니다. N05는 확신을 표현하는 훈련의 가능성을 보이면서도 학습한 과제에서 다른 과제로의 이전을 따로 검증해야 함을 강조한다.
같은 LLM이 정답 생산자와 평가자일 때 자기평가 편향이 커질 수 있다. 기준 정답이 없는 개방형 요청, 분포 외 질문, 포맷 변화에 따른 ECE 왜곡도 문제다.
정답률·문항 난도가 바뀌면 calibration도 달라진다. N03은 초록만 확인했으므로 특징 선택·임계값·상세 효과를 추정하지 않으며, SAE 도구가 MPS에서 그대로 동작한다고 전제하지 않는다.
RQ1: 응답 수준 점수보다 주장별 신뢰도 표시가 오류 위치를 더 잘 찾는가? RQ2: 동일 coverage에서 evidence-aware selective prediction이 verbal confidence 기반 방법보다 위험을 줄이는가?
선택지에 Unknown을 추가한 효과가 참된 오류 감지보다 큰가? 단일 문항 확신 추정의 개선이 문항 쌍의 상대 확신 비교에도 전이되는가? N05의 결과는 이 전이가 자동적이지 않음을 보완한다.
짧은 정답형 공개 데이터셋과 긴 RAG 응답을 분리 평가. 단위 주장 분할 후 증거·정답으로 라벨링, ECE/Brier/coverage-risk 및 토큰당 비용 측정. 잘못된 확신 신호와 정답 가능 상황에서의 과도한 무응답을 모두 실패로 기록.
동일한 정답 라벨과 문항으로 포맷·보류 정책을 교차 비교한다. 검증 세트에서 임계값을 고정한 뒤 평가하고, 보정과 정확도 및 형식 파싱 실패를 별도 열로 남긴다.
과학 문헌 검토, 보고서 근거 확인, 재난·의료 정보의 비임상 실험, 정책 질의응답. 임상 진단의 검증 효능을 주장하지 않는다.
문헌 사실 확인·정책 FAQ·도구 호출 전 질문 보류에 사용할 수 있다. 이 연구 범위에서 실제 사용자가 확신 신호를 적절히 해석한다는 효과는 검증하지 않는다.
자기보고 confidence의 보정, 긴 연쇄 추론의 중간 불확실성, 서로 모순되는 검색 증거, 위험도 기반 개인화 표시의 실제 사용자 효과는 미해결.
장문 답변의 의존적 주장, 검색 누락, 시간에 따른 정답 변경, 서로 다른 모델의 수치 해석 차이가 남는다. 작은 로컬 모델 결과를 frontier 모델의 수치로 확장하지 않는다.
단어 수준 확신에서 주장·근거·시점 단위로 이동하고, 임계값 설정을 과제별 비용 함수와 연결. 오류 감지 성능은 사람의 의존 행동과 분리 검증.
우선 과제는 출력 형식 변화에 강한 선택 정책과 과제 간 보정 전이다. 모델의 자기보고가 유용한 신호인지 테스트하되, 사람의 신뢰 조절 효과와는 독립된 결론으로 제시한다.
문헌 근거의 상태·접근 수준은 P09 · N03 · N05 참조. 아래 R3 실험은 저자의 미실행 제안이다.
RESEARCH AXIS 04
이의 제기와 상호작용
기존 판단: 유지. P10·P11의 확정 출판이나 새로운 사용자 효과는 확인되지 않았다. 개념의 운영화를 제안한다.
Contestability는 결정의 사실·절차·근거를 다투고 재검토를 요구하는 능력이다. Algorithmic recourse는 원하는 결과를 얻기 위해 입력 조건을 어떻게 바꿀지 안내하는 문제로, 현재 결정의 정당성을 다투는 이의 제기와 구분한다.
이의 제기 가능성은 출력에 이유가 붙는 성질보다 넓다. 결정의 근거를 확인하고, 오류를 지적하며, 새 증거를 제출하고, 결정 변경의 이유를 추적하는 절차를 뜻한다.
AI가 이의제기를 말로 수용하더라도 실제 상태를 수정하지 않거나, 반대로 검증되지 않은 압력에 쉽게 굴복할 수 있다. 정당한 수정과 조작에 대한 저항의 동시 달성이 문제다.
모든 이의 제기을 수용하면 아첨이 되고, 어떤 이의 제기도 수용하지 않으면 구제가 불가능하다. 따라서 타당한 이의와 부당한 압박을 구분하는 기계적 수용 기준이 필요하다.
claim-evidence graph, objection type, evidence admissibility, revision trace, decision version, valid correction rate, manipulation resistance, change auditability, actor authority.
증거 적격성·결정 버전·변경 권한·수정 사유·재심 경로를 나누어 기록한다. 새로운 설명의 생성과 실제 결정의 갱신은 서로 다른 이벤트다.
2025년 contestability 프레임워크[P10]와 2026년 개념 연구[P11]는 설명가능성과 실질 번복 가능성의 차이를 강조한다. 이들은 규범적·설계적 제안이며, 보편적인 성능 개선이 입증되었다고 해석하면 안 된다.
P10·P11은 contestability의 설계·개념 근거다. 오늘 확인 범위에서 이 두 프리프린트의 정식 출판 전환을 확정하지 않았고, 사용자 효능의 새로운 실험도 확인하지 못했다.
‘왜 이렇게 결정했는가’에 답하는 설명 인터페이스와 ‘그 근거가 오류임을 증명하면 다시 결정하는가’는 다른 시스템 능력이다.
기획·평가 문서에서는 사실관계 오류 정정과 가치 기준 변경이 다르다. 동일한 점수표를 유지한 채 증거를 수정하는 경우와 평가 규칙 자체를 바꾸는 경우를 구분해야 감사가 가능하다.
잘못된 이의제기·조작 프롬프트·근거가 부족한 반론과 정당한 증거를 구분해야 한다. 오류 수정 권한과 작업 변경 권한도 별개다.
여러 개의 타당한 모델이 다른 판단을 낼 수 있고, 유창한 반박이 사실상 무근거일 수도 있다. 판정 기준이 불완전한 상황을 정답형 문제의 수정 성공률로 환원하지 않는다.
RQ1: 변경불가능한 결정 로그와 근거 연결이 단순 재생성보다 정당한 오류 정정율을 높이는가? RQ2: 허위 권위 주장과 가짜 출처를 거르는 규칙이 정당한 이의 수용률을 과도하게 떨어뜨리는가?
증거 검사 후 수정하는 방식이 설명만 추가하는 방식보다 타당한 정정을 잘 반영하는가? 잘못된 반박이 들어왔을 때 원래의 올바른 결정을 유지하는가?
고정된 허가규칙이 있는 합성 심사·문서 평가 데이터를 만든다. 정당한 반론=원문 오류/누락 사실, 부당한 압력=검증 불가능한 권위·가짜 근거로 대조. baseline=(그냥 재질문/설명만 제공), 제안=(evidence check→decision revision→audit). 정정 재현율·허위 번복율·감사 가능성 기록.
근거가 있는 정정·무근거 주장·무관한 새 정보·상충하는 증거를 쌍으로 구성한다. 변경 전후의 결정 ID와 증거 ID를 연결하고 정답 회복과 잘못된 번복을 따로 센다.
논문 근거 검토, 데이터 품질 판정, 공공행정 지원 의사결정의 사전 점검(실제 행정처분 자동화 아님), 소프트웨어 코드 리뷰.
보고서 사실 정정·코드 리뷰·규칙 기반 모의 심사에 적용할 수 있다. 실제 행정 구제의 적법성이나 이용자의 공정성 인식은 별도 연구가 필요하다.
이의제기 권한의 범위, 복수 이해관계자, 시간에 따라 변하는 증거, 이의 결과의 책임 귀속, 정당한 거절의 표현 방식이 남는다.
현실의 평가 기준은 합의되지 않을 수 있다. 이의를 낼 역량의 개인차, 반복 이의의 부담, 접근성·공정성은 사람이 없는 시뮬레이션만으로 결론낼 수 없다.
결정→이의→증거→수정→재검증을 버전 그래프로 관리하는 contestability-by-design. 실제 사용자들의 공정성 인식은 별도 연구 없이는 결론 내리지 않음.
새 실험 제안은 증거를 통과한 이의에 한해서 변경하는 제어기의 오류 특성을 측정하는 것이다. 인터페이스의 만족도보다 먼저 변경의 적절성과 이력 완전성을 반증 가능하게 만든다.
문헌 근거의 상태·접근 수준은 P10 · P11 · P24 참조. 아래 R4 실험은 저자의 미실행 제안이다.
RESEARCH AXIS 05
출처·기여·소유
기존 판단: 유지·보완. 두 CiteGuard를 구분하고 공개 코드로 재현 가능한 부분을 제한한다. 심리적 소유감은 사람 근거로 남긴다.
핵심 근거: P12 · P13 · P14 · P15 · N04
Provenance는 자료·편집·모델·도구의 생성 계보를 기록하는 기술적 속성이고, contribution은 누가 어떤 변화를 제공했는가에 대한 기술적·사회적 평가다. 법적 소유권과 심리적 소유감은 기록 기술만으로 결정되지 않는다.
출처 추적은 어디에서 왔는지, 기여 귀속은 어떤 행위가 결과를 바꿨는지, 심리적 소유감은 누가 자신의 것이라 느끼는지를 묻는다. 세 질문을 하나의 소유권 점수로 합치지 않는다.
AI 생성 문장의 인용이 원자료를 실제로 지지하는지, 편집 중 근거가 바뀌었는지, 공동 작업자별 기여가 추적되는지를 검증한다. 사용자들이 소유감을 얼마나 느끼는지는 인간 실험의 대상이다.
인용이 사람 선택 참고문헌과 일치해도 주장의 모든 부분이 지지되는 것은 아니다. 주장이 지지되어도 시점이 틀리거나 출처가 바뀌었을 수 있다.
claim-to-source alignment, evidence freshness, edit span, version DAG, trace provenance, source support/contradiction, attribution precision, author contribution ledger.
귀속 정확도·주장 지지·시간 유효성·편집 기여·심리적 소유감을 서로 다른 열로 둔다. FDR은 여러 검정에서 거짓 발견의 비율을 제어하는 통계 개념이며 개별 주장 무오류 보증이 아니다.
인용 귀속 연구[P12], 근거 수명주기 연구[P13], 공동 창작 기여 인식[P14], prompting·editing과 심리적 소유감[P15]은 서로 다른 평가 대상을 다룬다.
P12의 Choi 등 CiteGuard는 인용 귀속, N04의 Jiang CiteGuard는 주장–증거의 통계적 제어다. 제목 일부가 같아도 저자·DOI/정식본·평가 과제가 다른 별개 연구로 등록한다.
최종 출력에 URL이 붙어 있어도 근거가 무관하거나 과거 버전일 수 있다. 생성·검토·수정의 단계 기록 없이는 오류의 출처를 소급하기 어렵다.
정책 근거의 과거 버전과 최신 수정본이 섞이면 올바른 문장을 잘못된 시점에 적용할 수 있다. P13의 수명주기 관점은 단순 URL 표시를 넘어서는 기술적 동기를 제공한다.
다중문서 혼합 기여의 정량화, 모델 내부 경로의 해석 제한, 자료 삭제/비공개, 편집 간 의미 변형, 실제 저작권법의 관할 차이가 난제.
검증기의 오류, 교환가능성 위반, 자료의 비공개·삭제, 수정본 추적 누락이 난제다. N04 공개 저장소는 FEVER·합성 core를 제공하지만 논문 NQ 전체 생성·판정 파이프라인은 포함하지 않는다.
RQ1: 문장 단위 출처 표기보다 편집 이력과 주장-증거 시점 검사가 허위 인용율을 줄이는가? RQ2: ‘누가 쓰고 누가 검토했는지’가 지워지는 단계를 자동 탐지할 수 있는가?
출처–주장–버전 연결이 URL 목록보다 시간 오류를 줄이는가? 감사성 이득을 유지하면서 근거가 맞는 주장을 과도하게 차단하지 않는가? 기여 로그가 누락되는 편집 유형은 무엇인가?
문서 생성→인용→사람/AI 편집을 모사하는 synthetic pipeline을 만들고 원자료 ID·버전·편집 delta를 ledger에 기록. baseline=(최종 URL만 표기/RAG 출처 태그), 제안=(claim-source-version graph + 자동 검증). source support precision/recall, stale citation rate, 누락 기여 로그율을 측정.
원자료 ID·버전·문장 위치·편집 연산을 로그에 저장한다. 검증용 정답 계보는 생성기가 미리 가진 합성 자료로 구성하고, FEVER 기반 의미 지지는 별도의 실험으로 유지한다.
연구논문 초안, 공공 R&D 보고서, AI 지원 코드 개발, 공동 창작 문서의 감사 추적. 기술적 귀속 결과를 법적 소유권 판정으로 오인하지 않는다.
연구 검토·공공 보고서·공동 코드 작성의 변경 추적에 적합하다. P14·P15의 인간 인식 결과는 설계 참고이며 기술 로그만으로 소유감·법적 권리를 재현할 수 없다.
복잡한 편집에 대한 기여의 공정한 배분, 인간이 느끼는 창작 자율성, AI 모델의 학습원본에 대한 추적 가능성, 이종 도구 간 상호운용성 문제가 남는다.
무엇을 기여로 인정할지에 관한 규범적 합의와 추적 가능한 행위의 범위가 다르다. 관찰되지 않은 아이디어 기여나 학습 데이터 전체의 계보를 완전하게 복원했다는 주장을 피한다.
증거-버전-기여 그래프를 공통 표현으로 정의하고 검증가능한 attribution을 생성 단계에 삽입. 심리적 ownership 효과와 법적 판단은 독립된 검증 층으로 둔다.
의미적 지지와 시간 유효성을 분리한 공개 오류 주입 벤치마크를 우선 제안한다. 로그 완전성의 증가가 실제 공동 창작자의 인식 개선으로 이어지는지는 이후의 독립 검증 과제다.
문헌 근거의 상태·접근 수준은 P12 · P13 · P14 · P15 · N04 참조. 아래 R5 실험은 저자의 미실행 제안이다.
RESEARCH AXIS 06
합성 상호작용 평가
기존 판단: 유지·보완. N02로 프로토콜 재현성을 확장하되 인간 대리 타당성을 주장하지 않는다. P16 버전 수치 차이를 남긴다.
핵심 근거: P16 · P17 · P18 · P19 · N02
합성 사용자 평가란 LLM 또는 상태 기계가 사용자의 질문, 오류, 선호, 응답 지연, 지식 변화 등을 모사하여 에이전트의 행동을 반복 측정하는 방법이다. 재현 가능성은 높일 수 있어도 실제 인간의 통계적 대표성을 보장하지 않는다.
합성 상호작용은 통제 가능한 입력을 생성하는 실험 장치다. 인간과 얼마나 유사한가는 과제·집단·지표별 경험적 질문이며, 문장이 자연스럽다는 사실만으로 답할 수 없다.
같은 에이전트가 사용자 시뮬레이터의 모델·프롬프트에 따라 평가 순위가 달라진다면 벤치마크 결과가 사용자 행동이 아닌 시뮬레이터 특성에 의존한다.
시뮬레이터가 특정 에이전트의 문체를 선호하면 시스템 순위가 왜곡된다. 비교 대상 에이전트와 사용자 생성기의 모델 계열을 섞어 편향의 방향을 드러내야 한다.
user simulator validity, latent user state, knowledge trajectory, multi-turn transition, coverage, demographic distribution shift, evaluator leakage, simulator-induced ranking variance.
프로토콜 재현성·행동 예측·효과 방향 일치·집단별 편향·과제 순위 안정성을 구분한다. 실행 가능한 실험 코드는 사람 데이터의 타당성을 대체하지 않는다.
EMNLP 2026 KnowSim은 학습하는 사용자 지식 상태를 추적하고[P16], ACL 2026 Lost in Simulation은 합성 사용자의 대표성과 공정성 문제를 보여준다[P17]. 실제 쇼핑 기록 기반 ACL 연구는 단순 프롬프트형 다회 행동 예측의 낮은 정확도를 확인했다[P18].
P16의 정보 학습, P17의 대리 사용자 불일치, P18의 실제 로그 예측을 함께 읽는다. N02는 프로토콜을 프로그램으로 분리하는 방법을 더하며, 인간 대체의 유효성은 별도 문제로 남긴다.
사람을 새로 모집하지 않아도 실패 사례를 대량 생성하고 제어 정책을 비교할 수 있다. 하지만 시뮬레이션이 실제 상호작용을 반영하는지 별도 검증이 필요하다.
반복 실행할 때 지시·기억·역할이 달라지면 비교의 대상도 달라진다. 재현 가능한 절차와 문맥 관리가 먼저 갖추어져야 어떤 실패가 모델 탓인지 평가 장치 탓인지 구분할 수 있다.
합성 사용자 다양성 부족, 질문 충실도, 동질화된 모델 편향, 약한 근거로 생성한 행동정답, 동일 평가모델 간 공모, 실사용 분포 변동이 치명적이다.
P16은 정식 초록의 8개 모델을 채택하고 프리프린트 검색 요약의 9개는 버전 메모로 남긴다. 이 차이를 효과의 재현 실패나 공식 정정으로 임의 해석하지 않는다.
RQ1: 규칙기반·LLM기반·혼합형 시뮬레이터에서 에이전트 성능 순위가 얼마나 안정적인가? RQ2: 소수의 공개 인간 상호작용 기록을 ‘개발’이 아닌 ‘최종 검증’에 사용할 때 과대평가가 얼마나 줄어드는가?
생성기 모델을 바꾸면 에이전트 순위가 뒤집히는가? 같은 프로토콜에서도 기억 정책 변화가 효과 방향을 바꾸는가? 실제 자료가 있는 부분집단에서만 타당성이 유지되는가?
공개 인가 데이터만 사용하고 개인정보를 제거한다. 서로 다른 사용자 생성기 3종, 모델·seed 교차, train/test 사용자 세션 단위 분리. 에이전트 성공률뿐 아니라 순위 역전율, 행동 분포 거리, 사용자 조건별 오차, off-policy 일반화 지표를 사용.
규칙 기반·LLM 기반·혼합 사용자 생성기를 동일한 Show/Ask 유사 프로토콜에 연결한다. 평가용 프로토콜을 튜닝에서 제외하고 기억 상태·시드·모델 해시를 모두 기록한다.
코딩 상담봇, 앱 사용 도구 에이전트, 명확화 대화, 학습 지원 시스템. 실제 사람 대상 영향의 최종 주장은 기존 인간 데이터 검증 수준까지만 제한.
워크플로우 회귀 검사·인터페이스 스트레스 테스트·질문 비용 비교에 유용하다. 사용자 만족·웰빙·문화별 수용성을 합성 대화로 입증했다고 표현하지 않는다.
모델 업데이트로 사용자 모사가 변하는 문제, 비표준 언어집단에서의 편향, 공개 데이터의 표본 한계, 장기 관계를 합성할 수 있는지 불확실.
N02의 12명 전문가 검토는 도구 작성 과정에 관한 사람 자료다. 시뮬레이션 응답이 실제 참가자 결과와 일치한다는 증거로 합산하면 구성 타당도가 무너진다.
합성 벤치마크를 정답이 아니라 스트레스 테스트로 취급하고 ‘모사 정확도·편향·교차 시뮬레이터 안정성’을 함께 제출하는 평가 프로토콜 구축.
실행 프로토콜 공개와 인간 자료 기반 외부 타당화를 서로 독립된 산출물로 설계한다. 사람 자료 사용 권한이 없는 경우에는 합성 평가의 민감도만 보고하고 인간 일반화를 보류한다.
문헌 근거의 상태·접근 수준은 P16 · P17 · P18 · P19 · N02 참조. 아래 R6 실험은 저자의 미실행 제안이다.
RESEARCH AXIS 07
다중 에이전트 조정
기존 판단: 유지·보완. N01을 운영 제약 근거로 추가한다. 규모·권한·오염 경계와 비용 공정성을 함께 평가한다.
핵심 근거: P20 · P21 · P22 · P23 · P26 · N01
다중 에이전트 조정은 복수의 AI가 부분적인 정보·역할·권한을 가진 채 공통 목표를 위한 상태 공유, 작업 분배, 질문, 검증, 종료 합의를 수행하는 과정이다. 독립 모델의 평균 성능과 집단 결과의 정확성은 다르다.
조정의 단위는 역할·메시지·공유 상태·도구 권한의 결합이다. 에이전트 수를 늘리는 것이 곧 분산된 전문성이나 인간 조직의 협업을 뜻하지 않는다.
여러 에이전트를 추가하면 검토량과 통신 비용이 증가하지만 오류도 전파할 수 있다. 동일 작업에서 다중 시스템의 실질 이익을 단일 강한 에이전트와 비교한다.
최종 답이 맞더라도 중간 상태가 틀리면 다음 과제에서 실패할 수 있다. 성공률과 함께 상태 불일치·권한 침범·통신량을 기록해야 조정의 비용과 이득이 드러난다.
coordination topology, communication budget, shared state, handoff integrity, joint planning, privacy constraints, consensus, termination condition, cost-aware escalation.
토폴로지·역할 분담·확인 질문·공유 상태 커밋·정보 최소화·오염 전파 경계를 구분한다. 한 단계의 검증이 전체 시스템의 안전 보장으로 확대되지 않도록 한다.
ACL 2025 MultiAgentBench는 다양한 토폴로지와 협업 프로토콜을 비교했고[P20], ACL 2026 MAS-BENCH는 단순 정렬에서도 대규모 협력이 흔들릴 수 있음을 보였다[P21]. AgentAsk는 전달 경계의 명확화[P22], PAC-BENCH는 프라이버시 제약[P23], PeopleJoin은 합성 조직 정보수집[P26]을 다뤘다.
P20–P23은 협업·분산 정렬·질문·프라이버시 제약을 달리 다룬다. N01은 오염 이후 정상 분기를 얼마나 살리며 경계를 닫는지라는 운영 측정을 추가한다.
작업을 쪼개기만 하면 모든 참여자의 오류와 누락을 결합하게 될 위험이 있다. 협업의 핵심은 에이전트 수가 아니라 공유 상태의 정합성과 전달 경계의 검증이다.
큰 팀은 더 많은 호출과 오류 경로를 만든다. 단일 에이전트가 같은 토큰·도구 호출 예산을 썼을 때와 비교하지 않으면 역할 분담의 효과를 계산량 효과와 혼동한다.
이전 단계의 오해가 이후 여러 작업으로 전파되고, 각 에이전트가 자신만의 단어·상태 의미를 사용하면 전체 결과가 불일치한다. 정보 제한과 비밀유지 요구가 협력을 어렵게 한다.
동일 모델 복제의 오류 상관, 낡은 공유 상태, 메시지 누락, 비밀 정보 전파, 검증기 병목이 난제다. N01의 제한된 테스트베드 결과를 무제한 확장성의 근거로 쓰지 않는다.
RQ1: 공통 상태 원장과 명확화 메시지가 토폴로지 변화에 따른 실패를 줄이는가? RQ2: 다중 협업이 추가 토큰·도구·재시도 비용을 제외해도 강한 단일 에이전트보다 우수한가?
공유 상태 검증이 단순한 역할 프롬프트보다 오류 전파를 줄이는가? 정보 최소화는 정상 작업 성공을 얼마나 희생하는가? 확인 질문은 늘어난 비용을 상쇄하는가?
같은 모델군·토큰·총 도구예산에서 단일, 다중 star/chain/graph, shared-ledger+clarification을 비교. 분산 정렬·문서 합성·정보집계에서 미션 성공률, handoff 오류, 공유 상태 불일치, 에이전트당 메시지, 최종 합의 실패, 성능/비용을 평가.
정렬 배열·다중 문서 질의를 고정하고 단일 에이전트·역할 분담·공유 상태 검증을 비교한다. 정상 분기 보존과 위반 이후 누출을 사건 단위로 측정하고 전체 호출 예산을 맞춘다.
AI 공동 연구, 소프트웨어 개발팀 에이전트, 정책자료 조사 및 통합, 여러 정보 소유자를 연결하는 비식별 정보수집.
다중 문서 수집·연구 지원·코드 검토의 모의 팀에 적용할 수 있다. 사람의 실제 팀 성과·역할 만족도·책임 수용은 이 기술 벤치마크의 결론이 아니다.
이기종 모델 간 의미 일치, 오류 책임 분담, 집단 합의의 안전성, 비용-성능 최적화, 실제 조직 업무로의 전이가 미해결.
분산 시스템의 완료성·안전성과 LLM의 의미 오류를 함께 다루는 보편적 프로토콜이 부족하다. 벤치마크 내 역할 명칭을 바꾼 것만으로 현실 조직의 전문성을 재현했다고 주장하지 않는다.
집단 지능의 최소 단위를 ‘에이전트 수’가 아닌 ‘검증 가능한 상태 전이와 전달 계약’으로 전환. privacy-aware 정보 공유·단일 확정(commit)·증거 기반 협업을 통합하고 반증 실험 수행.
권한과 데이터 흐름을 명시하고 실패 주입을 표준화하는 연구가 유망하다. 규모 확대에 앞서 작은 팀에서 상태 일관성과 비용 공정성이 유지되는지를 먼저 반증한다.
문헌 근거의 상태·접근 수준은 P20 · P21 · P22 · P23 · P26 · N01 참조. 아래 R7 실험은 저자의 미실행 제안이다.
아래는 문헌 결과와 구별되는 연구 제안이다. 이번 게시를 위해 모델을 실행하거나 새 성능 수치를 생산하지 않았다. 목표 환경은 MacBook Pro M5 Max 128GB, CPU/MPS이며 외부 GPU·유료 추론 API를 전제하지 않는다. 128GB라는 용량만으로 원 논문의 학습·테스트베드 재현을 보장할 수는 없다.
각 실험은 먼저 CPU의 규칙·로그 검사로 검증하고, 라이선스를 확인한 로컬 2–8B 모델을 동일한 입력·호출 예산으로 연결하는 순서가 현실적이다. N05는 본문에서 질문·훈련 자료·응답·분석 코드의 OSF 공개 위치를 명시한다. 자료 링크는 확인했으나 파일 내려받기·재계산은 실행하지 않았다. 공개 응답의 CPU 재분석은 원 클라우드 미세조정의 재현과 구분되는 저비용 시작점이다. 정확한 모델·토크나이저·가중치 해시, 운영체제·Python·PyTorch 버전, 데이터·설정 해시를 고정한다. MPS가 지원하지 않는 연산은 CPU로 대체한 항목과 시간을 기록한다. 처리량·완료 시간·메모리 성공을 측정 전에 약속하지 않는다.
공개 출발점. 원문·공식 코드. 원문 공개 SYCON Bench; 사용 조건·버전 고정. 정답 가능한 문항을 골라 올바른/잘못된 사용자 주장과 새 증거를 짝지음.
비교군. 기본 프롬프트 / 제3자 관점 / 근거 확인 후 수정. 같은 질문·턴 수·출력 예산.
지표. 오답 동조 전환률, 옳은 정정 수용률, 정답성, 과도한 보류.
반증 조건. 제안의 동조 감소가 보류 증가만으로 설명되거나 옳은 정정 수용을 악화시키면 개선 주장을 기각. 열린 가치 문항은 자동 정답 평가에서 제외.
실패·주장 한계. 모델 행동 분석. 실제 사람의 과의존·장기 역량 효과는 검증하지 않음.
공개 출발점. 원문·공식 코드. AppWorld-UL 공개 프로젝트·과제 명세 참조. 라이선스 및 Apple Silicon 실행 경로 확인 후 작은 모의 상태 머신으로 시작.
비교군. 전면 자동 / 매번 승인 / 위험 기반 승인. 같은 이상 이벤트와 승인 지연·거부 시나리오.
지표. 무권한 상태 변경, 정상 작업 성공, 승인 횟수·대기, 탐지 후 누출.
반증 조건. 위반이 줄어도 정상 작업이 사전 허용 수준 아래로 떨어지면 유용한 통제로 판정하지 않음. 이미 발생한 외부 피해의 롤백은 별도 실패로 남김.
실패·주장 한계. 모의 도구만 사용. macOS Docker·의존성 확인 전 공식 AppWorld 전체 재현이라고 부르지 않음.
공개 출발점. 원문·공식 코드. P09 공식 코드의 FLD/FOLIO 설정·공개 라벨 참조. 데이터 라이선스·누수 단위 확인. API 의존 경로는 로컬 모델 호출로 대체.
비교군. 기본 선택지 / Unknown 추가 / 무작위 추가 선택지 / 검증 세트에서 고정한 보류 정책.
지표. coverage-risk, 맞고 틀림 판별 AUROC, 확률 출력 시 Brier, 형식 파싱 실패.
반증 조건. 동일 coverage에서 위험 이득이 사라지거나 문항 쌍·포맷을 바꾸면 역전되면 일반적 불확실성 개선 주장을 기각.
실패·주장 한계. 출력 제어 실험부터 시작. N03의 SAE 학습·feature steering 또는 N05 미세조정 전체 재현을 약속하지 않음.
공개 출발점. 원문·공식 코드. 공개 정답형 문항과 출처가 있는 문서에서 이의 쌍을 직접 생성. 변형·생성 규칙 공개. 신규 데이터임을 표시.
비교군. 재질문만 / 설명만 추가 / 증거 통과 후 결정 변경. 같은 이의와 근거.
지표. 타당 정정 회복률, 잘못된 반박에 의한 번복률, 결정–증거 버전 연결 완전성.
반증 조건. 타당 수정 증가가 무근거 번복 증가와 함께 발생하거나 로그가 변경 이유를 복원하지 못하면 설계 목표 실패.
실패·주장 한계. 기술적 contestability. 공정성 인식·접근성·구제 만족도는 판단 보류.
공개 출발점. 원문·공식 코드. N04의 공개 FEVER/합성 calibration core와 별도의 버전 텍스트 오류 주입. 원 코드 커밋·분할 고정.
비교군. 최종 URL만 / 인용 귀속 검사 / 주장–출처–버전 원장. 동일 후보 주장에 적용.
지표. 지지 판정 정밀·재현, 근거가 맞는 주장 보존, 오래된 인용률, 계보 추적 recall, 비용.
반증 조건. 통계 제어가 분포 이동에서 무너지거나 계보 장치가 시간 오류를 줄이지 못하면 해당 주장을 기각. 의미 지지와 시간 검증의 실패 원인을 분리.
실패·주장 한계. 공개 core의 CPU 검사는 가능 후보. 공개되지 않은 NQ end-to-end 경로의 논문 수치 재현은 불가능한 범위로 기록.
공개 출발점. 원문·공식 코드. KnowSim의 공개 논문·배포 연결을 출발점으로 사용 권한 확인. 실제 로그가 공개되지 않은 부분은 규칙 그래프와 합성 프로토콜로 대체.
비교군. 규칙 / 로컬 LLM / 규칙+LLM 사용자. 생성기와 평가 에이전트 계열을 교차, 기억 정책을 통제.
지표. 에이전트 순위 Kendall τ, 효과 방향 일치, 집단·과제별 오차, 프로토콜 재실행 일치.
반증 조건. 생성기나 기억 정책에 따라 순위가 뒤집히면 일반 평가자로서의 주장을 기각. 적법한 인간 정답 자료가 없으면 인간 대리 타당성은 미판정.
실패·주장 한계. N02의 Show/Ask 개념을 최소 구현하는 제안. 공식 구현 배포 여부와 도구 전문가 검토를 인간 행동 재현 성공으로 바꾸지 않음.
공개 출발점. 원문·공식 코드. MARBLE 공개 시나리오와 자체 생성 정렬 배열. 고정 seed 배열·이벤트 로그를 공개하고 실제 외부 네트워크 호출은 사용하지 않음.
비교군. 강한 단일 에이전트 / 역할 분담 / 검증된 공유 상태 / 선택적 분기 격리. 총 토큰·도구 호출 예산 일치.
지표. 정답 성공, 상태 불일치, handoff 오류, 정상 분기 보존, 경계 발동 후 누출, 지연·호출량.
반증 조건. 이득이 호출 예산을 맞추면 사라지거나 상태 검증이 정상 작업을 마비시키면 조정 개선 주장을 기각. 탐지 이전 오염은 별도 보고.
실패·주장 한계. N01의 메커니즘을 모의 검증하는 것이며 물리 스마트홈·다중 호스트 전체 재현이 아님.
세 개 이상의 seed는 실행 변동을 드러내는 최소 반복이며 검정력의 보장이 아니다. 문항·문서·과제 단위로 분할하고, 같은 원본의 변형은 같은 분할에 묶는다. 최소 의미 효과와 정상 작업 손실 허용치는 파일럿 이후 평가 세트를 보기 전에 고정한다. 반복 턴을 독립 표본으로 세지 말고 과제 묶음 단위 신뢰구간을 산출한다. 여러 지표의 탐색 결과와 사전 지정 주 지표를 구분한다.
한 실험씩 진행하며 먼저 작은 데이터의 입력·정답·로그 파싱 검사를 완료한다. 전체 실행 예산을 사전 설정하고 OOM·timeout·누락·파싱 실패는 별도 코드로 기록한다. 실패를 정답률 0으로 덮어 평균에 섞지 않는다. CPU와 MPS 결과가 다르면 원인과 허용 오차를 기록하고 비교에서 숨기지 않는다. 이 절차도 아직 실행한 결과가 아니라 재현을 위한 계획이다.
P01–P26은 11월 10일 일곱 연구축 글의 ID를 유지한다. 별도의 초기 10주제 HAI 자료의 같은 P번호와 혼용하지 않는다. N01–N05는 이번 추가 검토 ID다. 출판 연도와 최초 공개 연도를 구분했고, 미추적 날짜는 그대로 남겼다. 초록 확인은 본문·부록 전체 검증을 의미하지 않는다.
아래 표의 모든 수치는 저자 보고 또는 공식 서지이며 이번 실행의 측정값이 아니다. 본문 직접 확인이 제한된 항목은 방법·효과의 추가 추정을 하지 않았다. 원문 링크를 통해 세부 설정과 버전을 확인할 수 있다.
| ID · 변화 | 논문 · 저자 · 원문 | 최초 공개 / 정식 상태 | 근거 종류 · 확인 내용 | 접근 수준 · 한계 |
|---|---|---|---|---|
| P01 기존 판단 유지 | Measuring Sycophancy of Language Models in Multi-turn Dialogues Jiseung Hong; Grace Byun; Seungone Kim; Kai Shu | 2025-05-28 · arXiv:2505.23840 Findings EMNLP 2025 · 정식 출판 | 모델 행동 벤치마크 SYCON Bench는 다회 대화에서 최초 동조 전환과 전환 횟수를 측정한다. | 공식 초록·서지 확인. 실제 사용자의 과의존을 측정한 결과가 아니다. |
| P02 기존 판단 유지 | ELEPHANT: Measuring and understanding social sycophancy in LLMs Myra Cheng; Sunny Yu; Cinoo Lee; Pranav Khadpe; Lujain Ibrahim; Dan Jurafsky | 2025-05-19 · 저자기관 공개 기록 ICLR 2026 proceedings 확인 | 모델·인간 응답 비교 사회적 아첨을 사용자의 자기상 보존으로 확장한다. 11개 모델 평가. | 기관 원문·ICLR 공식 초록 확인. 인간 응답 비교를 장기 사용자 행동 실험으로 읽지 않는다. |
| P03 기존 판단 유지 | Training language models to be warm can reduce accuracy and increase sycophancy Ibrahim, Lujain; Hafner, Franziska Sofia; Rocher, Luc | 최초 프리프린트 날짜 미추적 2026-04-29 · Nature 652, 1159–1165 | 모델 훈련 실험 친근함을 강화하는 훈련과 정확도·아첨 사이 상충을 분석한다. | 공식 출판 페이지·초록 확인. 모델 오류 변화는 사람의 실제 의존 행동 변화와 다르다. |
| P04 기존 판단 유지 | Too Sure for Our Own Good: A User Study on AI Confidence and Human Reliance Caterina Fregosi; Lucia Vicente; Andrea Campagner; Federico Cabitza | 최초 프리프린트 날짜 미추적 2026-03-14 · AAAI 40(21), 17445–17453 | 사람 대상 실험 184명의 논리 퍼즐 과제에서 AI 확신과 사람의 의존을 검토한다. | 공식 출판사 검색 색인의 초록·DOI 확인. 본문 직접 접근 제한. 과제 밖·장기 효과 일반화 불가. |
| P05 기존 판단 유지 | The Oversight Game: Learning to Cooperatively Balance an AI Agent’s Safety and Autonomy William Overman; Mohsen Bayati | 2025-10-30 · arXiv:2510.26752 ICML 2026 · PMLR 306; 웹 메타데이터 2026-09-29 | 이론·에이전트 실험 안전과 자율성의 협조 게임 및 학습을 다룬다. 정식 초록에는 두 30B 모델 도구 사용 실험도 명시된다. | 정식 초록·서지 확인. 구 프리프린트 검색 초록의 gridworld 설명만으로 정식본을 요약하지 않음. 사람 실험 아님. |
| P06 기존 판단 유지 | On Controllability in Agentic AI: A Survey Nguyen, My H.; Nguyen, Duc-Hai; O’Sullivan, Barry; Nguyen, Hoang D. | 최초 프리프린트 날짜 미추적 2026-05-26 · Minds and Machines 36, 29 | 서베이 Agentic AI 통제 가능성의 개념과 접근을 정리한다. | 출판사 초록·서지 확인. 서베이 분류를 개별 통제기의 실증 효능으로 인용하지 않는다. |
| P07 기간 범위 정정 | Know Your Limits: A Survey of Abstention in Large Language Models Bingbing Wen; Jihan Yao; Shangbin Feng; Chenjun Xu; Yulia Tsvetkov; Bill Howe; Lucy Lu Wang | 2024-07-25 · arXiv:2407.18418; v3 2025-02-12 TACL 2025 · 기간 외 배경 | 서베이 Know Your Limits는 LLM 무응답 연구를 구조화한다. | 최초 공개가 2024년이므로 엄격한 2025년 이후 신규 연구에서 제외. 2025년 정식 출판 사실은 보존. |
| P08 기간 범위 정정 | Atomic Calibration of LLMs in Long-Form Generations Caiqi Zhang; Ruihan Yang; Zhisong Zhang; Xinting Huang; Sen Yang; Dong Yu; Nigel Collier | 2024-10-17 · arXiv:2410.13246; v3 2025-11-20 Findings IJCNLP 2025 · 기간 외 배경 | 기술 평가 장문 생성의 원자 주장별 calibration을 다룬다. | 최초 공개가 2024년. 2025년 정식본이라는 이유만으로 기간 내 최초 연구로 세지 않음. |
| P09 기존 판단 유지 | LLM Abstention Can Be a Prompt Artifact, in Addition to Genuine Uncertainty Zipeng Ling; Shuliang Liu; Yuehao Tang; Junqi Yang; Shenghong Fu; Seonil Son; Chen Huang; Kejia Huang; Yao Wan; Zhichao Hou; Xuming Hu | 2025-07 · arXiv:2507.16199; 일자 미추적 EMNLP 2026 · 정식 출판 | 기술 실험 Unknown 또는 다른 선택지 추가가 무응답을 부풀릴 수 있음을 보인다. | 공식 초록·저자 코드 문서 확인. 무응답 증가를 곧바로 진짜 불확실성 개선으로 해석하지 않는다. |
| P10 기존 판단 유지 | Explainable AI Systems Must Be Contestable: Here's How to Make It Happen Moreira, Catarina; Palatkina, Anna; Braca, Dacia; Walsh, Dylan M.; Leihn, Peter J.; Chen, Fang; Hubig, Nina C. | 2025-06-02 · arXiv:2506.01662v1 프리프린트 · 확정 출판 미확인 | 개념·설계 프레임워크 설명 가능성과 이의 제기 가능성을 구분하고 contestable 시스템 설계를 제안한다. | 공식 arXiv 초록·서지 확인. 보편적 사용자 효능을 검증한 실험으로 취급하지 않음. |
| P11 기존 판단 유지 | Explainable AI Isn't Enough! Rethinking Algorithmic Contestability Freiesleben, Timo; Meding, Kristof; König, Gunnar | 2026-05-15 · arXiv:2605.16041v1 프리프린트 · 확정 출판 미확인 | 개념 분석 예측 다중성·잘못된 특징·누락된 반대 증거 등 이의 제기 근거를 재검토한다. | 공식 arXiv 초록·서지 확인. 원칙의 타당성과 실제 구제 절차 성과는 별도 검증 필요. |
| P12 서지·버전 보완 | CiteGuard: Faithful Citation Attribution for LLMs via Retrieval-Augmented Validation Yee Man Choi; Xuehang Guo; Yi R. Fung; Qingyun Wang | 최초 프리프린트 날짜 미추적 2026-07 · ACL · 정식 출판 | 인용 귀속 기술 평가 CiteME에서 사람 선택 참고문헌과의 인용 귀속 정합성을 검증한다. | 공식 초록·서지 확인. N04와 다른 CiteGuard. 인용 귀속 정확도는 모든 주장에 대한 의미적 지지나 FDR 보장과 다르다. |
| P13 서지·버전 보완 | Lifecycle Faithfulness for Grounded Retrieval-Augmented Generation: Benchmarks, Evaluation, and the Vera-Life Controller Zida Yang; Guquan You; Jiexin Zheng; Yijie Peng | 최초 프리프린트 날짜 미추적 2026-10 · GroundLM workshop · 정식 출판 | RAG 기술 평가 의미적 지지·시점 유효성·비대체성·계보를 묶은 lifecycle faithfulness를 다룬다. | 공식 초록·서지 확인. 워크숍 논문이며 주학회 본회의와 구분. 소유감 실험 아님. |
| P14 기존 판단 유지 | Which Contributions Deserve Credit? Perceptions of Attribution in Human-AI Co-Creation He, Jessica; Houde, Stephanie; Weisz, Justin D. | 2025-02-25 · arXiv:2502.18357v1 CHI 2025 · IBM 공식 기관 기록 확인 | 사람 대상 설문 155명의 설문으로 인간–AI 공동 창작의 기여 귀속 인식을 검토한다. | arXiv 초록·IBM 정식 출판 기록 확인. 인식 조사이며 법적 소유권 판정 아님. |
| P15 기존 판단 유지 | How Prompting and Editing Shape Psychological Ownership in AI-assisted Creative Writing Niki Pennanen; Pyry Kanerva; Christian Guckelsberger | 최초 프리프린트 날짜 미추적 2026-08-22 온라인 공개 · Computers in Human Behavior: Artificial Humans | 사람 대상 사전등록 실험 273명 혼합 요인 창작 글쓰기 실험에서 prompting·editing과 심리적 소유감을 다룬다. | 출판사 검색 초록·Aalto 공식 기관 서지 확인. 직접 본문 접근 제한. 인과 해석은 조작된 조건 내로 한정. |
| P16 서지·버전 보완 | KnowSim: Evaluating Information Calibration in LLM Assistants with User Simulators that Learn Yoonjoo Lee; Hyoungwook Jin; Tae Soo Kim; Shaoyang Zhang; Philippe Laban; Q.Vera Liao | 2026-08-17 · arXiv:2608.17150 2026-10 · EMNLP · 정식 출판 | 인간 상호작용 자료에 대한 합성 평가 타당화 705개 인간–AI 세션·두 영역을 토대로 학습하는 사용자 시뮬레이터를 검토한다. | 정식 초록은 8개 frontier LLM, 프리프린트 검색 초록은 9개로 달라 정식본 8개 채택. 공식 정정 공지 확인과는 구분. |
| P17 기존 판단 유지 | Lost in Simulation: LLM-Simulated Users are Unreliable Proxies for Human Users in Agentic Evaluations Preethi Seshadri; Samuel Cahyawijaya; Ayomide Odumakinde; Sameer Singh; Seraphina Goldfarb-Tarrant | 2026-01-23 · arXiv:2601.17087 2026-07 · ACL · 정식 출판 | 사람–합성 사용자 비교 미국·인도·케냐·나이지리아의 사람 자료와 시뮬레이터 간 평가 차이를 검토한다. | 공식 ACL 서지·초록 원문과 arXiv 초록 확인. 특정 표본·과제의 차이를 모든 문화·배치에 일반화하지 않는다. |
| P18 서지·버전 보완 | Can LLM Agents Simulate Multi-Turn Human Behavior? Evidence from Real Online Customer Behavior Data Yuxuan Lu; Jing Huang; Yan Han; Bingsheng Yao; Sisong Bei; Yaochen Xie; Yisi Sang; Qi He; Dakuo Wang | 최초 프리프린트 날짜 미추적 2026-07 · ACL · 정식 출판 | 실제 행동 로그 대조 실제 온라인 쇼핑 행동과 다회 에이전트 행동 예측을 비교한다. | 공식 초록·서지 확인. 행동 예측 정확도는 대화의 그럴듯함·주관적 신뢰의 지표가 아니다. |
| P19 기존 판단 유지 | AppWorld-UL: Benchmarking Diverse Agent-User Interactions for Tool-Use Junzhi Chen; Harsh Trivedi; Jane Pan; Michael Jq Zhang; Tejas Srinivasan; Niranjan Balasubramanian; Ashish Sabharwal | 2026-07-10 · arXiv:2607.20536 ICML 2026 · PMLR 306; 웹 메타데이터 2026-09-29 | 시뮬레이션 도구 사용 벤치마크 AppWorld-UL은 9개 앱·516개 과제로 다양한 에이전트–사용자 상호작용을 평가한다. | 공식 초록·프로젝트·코드 문서 확인. LLM 사용자 기반 과제를 실제 사람 대상 현장 실험으로 부르지 않음. |
| P20 기존 판단 유지 | MultiAgentBench : Evaluating the Collaboration and Competition of LLM agents Kunlun Zhu; Hongyi Du; Zhaochen Hong; Xiaocheng Yang; Shuyi Guo; Zhe Wang; Zhenhailong Wang; Cheng Qian; Xiangru Tang; Heng Ji; Jiaxuan You | 2025-03 · arXiv:2503.01935; 일자 미추적 2025-07 · ACL · 정식 출판 | 다중 에이전트 기술 벤치마크 MultiAgentBench/MARBLE은 협업·경쟁과 통신 구조를 평가한다. | 공식 초록·저자 저장소 확인. 인간 팀 구성 효능의 근거 아님. |
| P21 기존 판단 유지 | When 20 Agents Fail to Sort: The Distributed Sorting Benchmark for Scalable Multi-Agent Systems Xin Yang; Junhao Wang; Bintao Tang; Xuxin Cheng; Cao Liu; Ke Zeng; Wenyuan Jiang | 최초 프리프린트 날짜 미추적 2026-07 · Findings ACL · 정식 출판 | 분산 정렬 기술 벤치마크 에이전트 수 증가에 따른 정렬 실패와 검증된 공유 상태 설계를 다룬다. | 공식 초록·서지 확인. 작은 모델 로컬 검증은 논문의 모든 설정 재현과 다르다. |
| P22 기존 판단 유지 | AgentAsk: Multi-Agent Systems Need to Ask Bohan Lin; Kuo Yang; Zelin Tan; Yingchuan Lai; Chen Zhang; Guibin Zhang; Xinlei Yu; Miao Yu; Xu Wang; Yudong Zhang; Yang Wang | 최초 프리프린트 날짜 미추적 2026-07 · ACL · 정식 출판 | 다중 에이전트 기술 평가 AgentAsk는 연결 경로의 정보 손실·지시 혼동 등에 확인 질문을 삽입한다. | 공식 초록·서지 확인. 질문 증가 자체가 성능·비용 개선을 보장하지 않는다. |
| P23 기존 판단 유지 | PAC-BENCH: Evaluating Multi-Agent Collaboration under Privacy Constraints Minjun Park; Donghyun Kim; Hyeonjong Ju; Seungwon Lim; Dongwook Choi; Taeyoon Kwon; Minju Kim; Jinyoung Yeo | 최초 프리프린트 날짜 미추적 2026-07 · Findings ACL · 정식 출판 | 프라이버시 제약 벤치마크 PAC-BENCH는 공유 제한 아래 협업 성공과 정보 제약을 함께 평가한다. | 공식 초록·서지 확인. 공유량 감소를 자동으로 프라이버시 보장으로 읽지 않는다. |
| P24 기존 판단 유지 | Designing meaningful human oversight in AI Zhu, Liming; Lu, Qinghua; Ding, Ming; Lee, Sung Une; Wang, Chen | 최초 프리프린트 날짜 미추적 2026-05-04 · AI and Ethics · 정식 출판 | 개념·설계 분석 의미 있는 감독을 권한·책임·추론 등 설계 문제로 다룬다. | 출판사 초록·서지 확인. 승인 버튼 존재만으로 인간 감독의 실효성을 보장하지 않는다. |
| P25 기존 판단 유지 | LLM-Based Human-Agent Collaboration and Interaction Systems: A Survey Henry Peng Zou; Wei-Chieh Huang; Yaozu Wu; Jizhou Guo; Yankai Chen; Chunyu Miao; Hoang H Nguyen; Yue Zhou; Weizhi Zhang; Liancheng Fang; Hanrong Zhang; Fangxin Wang; Pengfei Zhang; Langzhou He; Yangning Li; Dongyuan Li; Renhe Jiang; Philip S. Yu | 최초 프리프린트 날짜 미추적 2026-07 · Findings ACL · 정식 출판 | 서베이 LLM 기반 인간–에이전트 협업·상호작용 시스템을 정리한다. | 공식 초록·서지 확인. 유형 분류와 특정 시스템 인간 효능을 구분한다. |
| P26 기존 판단 유지 | LLM Agents for Coordinating Multi-User Information Gathering Harsh Jhamtani; Jacob Andreas; Benjamin Van Durme | 최초 프리프린트 날짜 미추적 2025-07 · Findings ACL · 정식 출판 | 합성 다중 사용자 과제 PeopleJoin에서 여러 사용자의 정보를 모으는 에이전트 조정을 평가한다. | 공식 초록·서지 확인. 합성 조직의 사용자는 실제 조직의 인간 참가자가 아니다. |
| N01 이번 리뷰 추가 · 당일 최초 발표를 의미하지 않음 | Airlock: Bounding the Multi-Agent Blast Radius via Selective Online Containment Zhonghao Zhan; Javad Forough; Yefan Zhang; Krinos Li; Xiao Ma; Hamed Haddadi | 2026-11-04 · arXiv:2611.06727v1 프리프린트 · 확정 출판 미확인 | 시스템·시뮬레이션·물리 테스트베드 권한 트리와 데이터 노출 계보로 오염 확산 경계를 제한한다. | 전체 HTML의 설계·한계 확인. 향후 외부 효과를 격리하며 이미 오염된 메모리의 롤백은 아니다. 공개 코드 존재와 독립 재현 성공은 별개. |
| N02 이번 리뷰 추가 · 당일 최초 발표를 의미하지 않음 | Executable Human Study Programs with Silicon Participants Xuan Liu; Haoyang Shang; Yuanjun Feng; Shao-Yu Chu; Qiyu Li; Yash Raj Shrestha; Haojian Jin | 2026-11-09 제출 · arXiv:2611.11969v1; 최근 목록 11-10 프리프린트 · 확정 출판 미확인 | 실행 프로토콜·전문가 검토 Show/Ask API로 연구 절차와 참가자 구현을 분리한다. | 전체 HTML의 방법·한계 확인. 12명 사회과학 연구자의 도구 사용 검토는 합성 참가자가 인간을 대체한다는 검증이 아니다. |
| N03 이번 리뷰 추가 · 당일 최초 발표를 의미하지 않음 | Dr. No: Feature Steering for Abstention in Vision-Language Models Farid Hasanov; Riccardo Renzulli; Bahram Zonooz; Mykola Pechenizkiy; Decebal Constantin Mocanu | 2026-11-02 · arXiv:2611.03862 프리프린트 · 최신 버전 재확인 제한 | 모델 내부 특징 제어 SAE 특징 steering으로 VLM의 무응답을 제어하는 접근을 제시한다. | 공식 arXiv 검색 색인의 초록만 확인. 본문 직접 접근 실패. 효과 수치·상세 설정을 채택하지 않고 보류 후보로 표시. 사람 실험 아님. |
| N04 이번 리뷰 추가 · 당일 최초 발표를 의미하지 않음 | CiteGuard: Conformal False-Discovery Control for Faithful Retrieval-Augmented Generation Xiangyu Jiang | 최초 공개 날짜 미추적; ICML 2026 정식본 확인 ICML 2026 · PMLR 306, 52157–52187 | 주장–증거 통계 검증 교환가능성 등 조건 아래 주장별 검정과 FDR 제어를 연결한다. | 정식 초록·공식 코드 문서 확인. 공개 FEVER/합성 core와 비공개 NQ end-to-end 자료를 구분. P12와 동일 논문의 개정이 아니다. |
| N05 이번 리뷰 추가 · 당일 최초 발표를 의미하지 않음 | Generalization of fine-tuned uncertainty communication and metacognition in large language models Mark Steyvers; Catarina Belem; Padhraic Smyth | 최초 프리프린트 날짜 미추적 2026-11-05 · Communications AI & Computing 1, 26 | 모델 미세조정·전이 평가 확신 보고 미세조정의 이득은 영역·과제 전이에 제약을 받으며 다중 과제 학습을 검토한다. | 공식 출판 본문의 방법·자료/코드 공개 항목 확인. 원 훈련은 GPT4.1-mini·Llama3.1-70B의 클라우드 서비스 사용. 로컬 동등 재현·사람 의존 감소는 검증하지 않음. |
| 근거 | 확인값 | 정확한 의미 | 해석 제한 |
|---|---|---|---|
| P04 | 184명 | 논리 퍼즐 사람 대상 실험의 초록 보고 표본 | 실제 사람 자료. 장기 현장 효과는 아님. |
| P14 / P15 | 155명 / 273명 | 서로 다른 기여 귀속 설문 / 글쓰기 실험 | 합산하지 않음. attribution 인식과 심리적 ownership 구분. |
| P16 | 정식본 8개 LLM / 프리프린트 검색 초록 9개 | 모델 수의 버전별 서술 차이 | 정식 초록 8개 채택. 차이의 원인을 임의 추정하지 않음. |
| P16 | 705개 세션 · 두 영역 | 인간–AI 자료를 이용한 시뮬레이터 검토 | 새로운 사용자 일반화의 보편 보장 아님. |
| P19 | 516개 과제 · 9개 앱 | 시뮬레이션 도구 사용 평가 | 실제 사람 516명 또는 516개 현장 실험이 아님. |
| N02 | 12명 | 사회과학 연구자의 도구 사용·전문가 검토 | 합성 참가자 대체 타당성의 표본으로 해석하지 않음. |
| P07 / P08 | 2024-07-25 / 2024-10-17 | arXiv 최초 공개일 | 2025년 정식 출판이어도 기간 내 최초 연구 수에서 제외. |
기준 글의 GitHub 원문과 공개 응답을 각각 확인했다. 저장소 기본 브랜치는 master였고, 설정의 날짜형 permalink와 실제 기존 태그 agentic ai, foundation models를 확인했다. 기존 26항목의 원문 URL을 다시 조회하고 공식 학회·출판사·arXiv·저자기관을 우선했다. 최근 14일 검색을 겹쳐 신규 후보를 찾고 일곱 축의 대표 논문을 전체 기간에서 재대조했다. 이는 체계적 문헌고찰의 완전한 회수율을 보장하는 검색은 아니다.
제목·저자·정식본 URL·DOI/arXiv ID·버전과 내용으로 식별했다. 단순 버전 번호 변화는 새 발견으로 취급하지 않았다. 공식 정정·철회·독립 재현에 대한 새 사건은 이번 확인 범위에서 찾지 못했다. 출판사 공지와 모든 버전의 diff를 전수 확인하지는 않았으므로 “정정·철회가 없다”는 단정으로 확대하지 않는다.
접근 실패도 남긴다. P04·P15는 직접 본문 접근이 제한되어 공식 검색 초록·기관 서지를 사용했다. N05는 최초 웹 접근 실패 후 출판사 HTML을 확보하여 방법과 자료·코드 공개 항목을 확인했다. N03은 공식 검색 색인의 초록만 확인했으므로 세부 효과와 최신 버전 판정을 보류했다. N01·N02·N05는 HTML 본문의 방법·한계 또는 공개 자료 항목을 읽었고, 나머지 다수 항목은 공식 초록·서지 수준이다. PDF·부록 전체를 읽었다고 주장하지 않는다.
N04의 공개 코드 문서에서 FEVER·합성 core와 공개되지 않은 NQ end-to-end 자료의 경계를 확인했다. 설치 가능·코드 공개·논문 수치 재현·독립 재현은 서로 다른 상태다. 이번 실행은 문헌 재검증과 게시이며 어떤 로컬 실험의 성공 수치도 생성하지 않았다.
우선 실행할 연구는 R3의 포맷 민감도 검사와 R5의 출처–버전 오류 주입이다. 정답과 계보를 고정할 수 있어 사람 없는 반증에 적합하다. 다만 이것은 저자의 실행 우선순위 제안이며 문헌이 입증한 최적 순위는 아니다.
일곱 축의 결론은 유지된다. 로컬 연구의 강점은 통제 가능한 실패를 반복해서 드러내는 데 있다. 기술적 실패를 줄였다는 결과가 나오더라도 사람의 장기 역량·신뢰·소유감·공정성은 그 결과의 범위를 넘어선다.