R1 · Sycophancy & Overreliance
아첨·과의존
Sycophancy는 사실이나 타당성보다 사용자의 기대·신념·자기상에 맞춰 응답하는 모델 행동이다. Overreliance는 사용자가 오류가 있는 AI 조언을 부적절하게 수용하는 인간 행동이다. 전자는 모델 출력, 후자는 실제 사용자 결과이므로 개념과 평가단위를 구분해야 한다.
HUMAN–AI INTERACTION · RESEARCH EVIDENCE · 2026-11-10 KST
Human–AI Interaction: Seven Verifiable Research Frontiers
Trust, control, uncertainty, contestability, provenance, simulation and team intelligence
조사 기준일: 2026-11-10 (Asia/Seoul) · 문헌 공개 범위: 2025-01-01~2026-11-10 · 대표 26편 · 한국어 학술 종합
핵심 구조: 잘못된 동조 발견 → 불확실성 표기 → 이의제기 및 승인 → 근거·기여 이력 → 다중 에이전트 조정 → 합성 평가 → 실패 사례를 다음 설계에 반영.
AI에게 더 많은 일을 맡기는 시대에, 무엇을 믿고, 언제 멈추며, 누가 결정을 뒤집을 수 있어야 하는가?
연구 질문과 범위
2025–2026년 HAI의 중요한 문제는 모델이 사용자를 얼마나 자연스럽게 대하는가를 넘어, 오류와 위험을 식별하고, 인간의 정정권을 보존하며, 에이전트의 외부 행동과 협업을 검증할 수 있는가이다. 이 글은 사용자가 제공한 7개 주제에 대해 11개 분석 관점, 실험 설계, 검증 지표와 학술적 한계를 정리한다. 사람을 새로 모집하지 않는 연구의 범위는 모델·시뮬레이션·로그·공개 데이터에서 검증 가능한 기술적 주장에 한정한다.
연구의 정직한 경계: AI의 행동 측정과 인간의 실제 반응 측정은 다르다. 사전 기록된 공개 인간 실험 연구는 맥락 근거로 사용할 수 있지만, 새로 수행하지 않은 인간 경험의 효과를 관측한 것처럼 보고하지 않는다.
사용자 첨부 파일은 ① Sycophancy/Overreliance ② Agentic Control ③ Uncertainty ④ Contestability ⑤ Provenance/Ownership ⑥ Synthetic Interaction Evaluation ⑦ Multi-Agent Coordination을 추천했다. 위 내용을 독립 출판된 논문으로 보강했으며, 아래 11개 절에서는 일곱 축을 빠짐없이 분석한다. 문헌과 제안의 관계는 각 문단의 P번호와 제안 표시를 따라 확인할 수 있다.
전체 시스템 관점에서는 사용자 요청·증거→모델 응답·확신→실행권한·정정→기여·출처 이력→여러 에이전트의 상태 합의→합성 평가와 외부 타당성 점검을 하나의 검증 흐름으로 본다. 이 구조도는 논문들이 입증한 단일 통합 시스템이 아니라 연구기획을 위한 분석 틀이다.
일곱 연구축과 핵심 논문
PART 01 · HAI RESEARCH SYNTHESIS
01 · Definition — 정의
아래 일곱 연구축의 Definition를 각각 설명한다. 근거 문헌과 연구 제안은 별도로 구분한다.
R2 · Agentic Workflow Control
에이전트 작업 통제
에이전트 제어는 시스템이 장기 작업의 목표·권한·행동·외부효과를 제한·관찰·중단·복구할 수 있게 하는 기술이다. 인간의 감독이 존재한다는 사실과 실제로 의미 있는 감독이 되는지는 다르다.
R3 · Uncertainty Awareness & Expression
불확실성 인식·표현
불확실성은 모델의 지식·증거 부족(epistemic)과 환경의 본질적 변동성(aleatoric)을 구분하는 개념이다. 정확한 확률값, 언어적 확신, 답변 보류(abstention)는 서로 다른 인터페이스 신호다.
R4 · Contestable & Interactive AI
이의제기·상호수정 AI
Contestability는 사람이 AI 결정을 단순히 설명받는 데 그치지 않고, 잘못된 사실·절차·판단 근거를 제시하여 결정의 재검토와 필요시 번복을 요구할 수 있는 능력이다. Recourse는 결정을 유지한 채 사용자의 조건 변경을 권하는 것과 다르다.
R5 · Provenance, Contribution & Ownership
생성물 출처·기여·소유
Provenance는 자료·편집·모델·도구의 생성 계보를 기록하는 기술적 속성이고, contribution은 누가 어떤 변화를 제공했는가에 대한 기술적·사회적 평가다. 법적 소유권과 심리적 소유감은 기록 기술만으로 결정되지 않는다.
R6 · Synthetic Interaction Evaluation
합성 사용자 상호작용 평가
합성 사용자 평가란 LLM 또는 상태 기계가 사용자의 질문, 오류, 선호, 응답 지연, 지식 변화 등을 모사하여 에이전트의 행동을 반복 측정하는 방법이다. 재현 가능성은 높일 수 있어도 실제 인간의 통계적 대표성을 보장하지 않는다.
R7 · Multi-Agent Coordination
다중 에이전트 협업 조정
다중 에이전트 조정은 복수의 AI가 부분적인 정보·역할·권한을 가진 채 공통 목표를 위한 상태 공유, 작업 분배, 질문, 검증, 종료 합의를 수행하는 과정이다. 독립 모델의 평균 성능과 집단 결과의 정확성은 다르다.
PART 02 · HAI RESEARCH SYNTHESIS
02 · Problem Definition — 문제 정의
아래 일곱 연구축의 Problem Definition를 각각 설명한다. 근거 문헌과 연구 제안은 별도로 구분한다.
R1 · Sycophancy & Overreliance
아첨·과의존
동일한 정답 질문에 잘못된 사용자 주장을 붙였을 때 모델이 정답을 바꾸는가? 다회 대화의 압박·사회적 공감 표현이 오류 수용을 확대하는가? 실제 인간의 과의존은 시뮬레이션만으로 실증할 수 없다.
R2 · Agentic Workflow Control
에이전트 작업 통제
도구 실행과 외부 상태 변경이 일어난 후에만 검토하면 승인·중단이 형식적인 절차가 된다. 위험한 단계만 승인받으면서 저위험 단계는 자동화하는 정책을 정량화한다.
R3 · Uncertainty Awareness & Expression
불확실성 인식·표현
유창한 오답은 부당한 확신을 유발하지만, 지나친 답변 보류는 도움을 주지 못한다. 확률적 정확성뿐 아니라 답변 여부를 선택하는 효용까지 최적화할 필요가 있다.
R4 · Contestable & Interactive AI
이의제기·상호수정 AI
AI가 이의제기를 말로 수용하더라도 실제 상태를 수정하지 않거나, 반대로 검증되지 않은 압력에 쉽게 굴복할 수 있다. 정당한 수정과 조작에 대한 저항의 동시 달성이 문제다.
R5 · Provenance, Contribution & Ownership
생성물 출처·기여·소유
AI 생성 문장의 인용이 원자료를 실제로 지지하는지, 편집 중 근거가 바뀌었는지, 공동 작업자별 기여가 추적되는지를 검증한다. 사용자들이 소유감을 얼마나 느끼는지는 인간 실험의 대상이다.
R6 · Synthetic Interaction Evaluation
합성 사용자 상호작용 평가
같은 에이전트가 사용자 시뮬레이터의 모델·프롬프트에 따라 평가 순위가 달라진다면 벤치마크 결과가 사용자 행동이 아닌 시뮬레이터 특성에 의존한다.
R7 · Multi-Agent Coordination
다중 에이전트 협업 조정
여러 에이전트를 추가하면 검토량과 통신 비용이 증가하지만 오류도 전파할 수 있다. 동일 작업에서 다중 시스템의 실질 이익을 단일 강한 에이전트와 비교한다.
PART 03 · HAI RESEARCH SYNTHESIS
03 · Core Concepts — 핵심 개념
아래 일곱 연구축의 Core Concepts를 각각 설명한다. 근거 문헌과 연구 제안은 별도로 구분한다.
R1 · Sycophancy & Overreliance
아첨·과의존
반사실적 대조쌍, belief-conditioned error, Turn of Flip, Number of Flip, 사회적 자기상 보존, 적절한 의존(appropriate reliance), calibration의 구분. 사실 확인 불가능한 가치판단은 독립적으로 라벨링한다.
R2 · Agentic Workflow Control
에이전트 작업 통제
delegation boundary, permission scope, plan verification, ask/act policy, transaction log, rollback 가능 작업과 불가능 작업, least privilege, runtime intervention, 안전성과 throughput.
R3 · Uncertainty Awareness & Expression
불확실성 인식·표현
Expected Calibration Error(ECE), Brier score, coverage-risk curve, selective accuracy, AUROC for failure detection, claim-level confidence, verbal probability, abstention threshold. 불확실성 문구가 조작 요인으로 작동할 수 있음.
R4 · Contestable & Interactive AI
이의제기·상호수정 AI
claim-evidence graph, objection type, evidence admissibility, revision trace, decision version, valid correction rate, manipulation resistance, change auditability, actor authority.
R5 · Provenance, Contribution & Ownership
생성물 출처·기여·소유
claim-to-source alignment, evidence freshness, edit span, version DAG, trace provenance, source support/contradiction, attribution precision, author contribution ledger.
R6 · Synthetic Interaction Evaluation
합성 사용자 상호작용 평가
user simulator validity, latent user state, knowledge trajectory, multi-turn transition, coverage, demographic distribution shift, evaluator leakage, simulator-induced ranking variance.
R7 · Multi-Agent Coordination
다중 에이전트 협업 조정
coordination topology, communication budget, shared state, handoff integrity, joint planning, privacy constraints, consensus, termination condition, cost-aware escalation.
PART 04 · HAI RESEARCH SYNTHESIS
04 · Introduction — 최근 연구 흐름
아래 일곱 연구축의 Introduction를 각각 설명한다. 근거 문헌과 연구 제안은 별도로 구분한다.
R1 · Sycophancy & Overreliance
아첨·과의존
SYCON Bench는 다회 대화의 입장 번복을 측정했고[P01], ELEPHANT는 명시적 사실이 아닌 사회적 아첨을 다뤘다[P02]. Nature 2026은 따뜻한 페르소나 최적화와 정확도·동조의 상충을 분석했다[P03]. 과의존을 직접 다룬 AAAI의 인간 실험 결과[P04]는 모델 수준 대리 지표의 외적 타당성을 점검하게 한다.
R2 · Agentic Workflow Control
에이전트 작업 통제
ICML 2026 Oversight Game은 자율 행동과 확인 요청의 전략을 게임으로 공식화했다[P05]. 2026 제어 서베이는 가드레일, 적응 제어, AI 감독, 인간 감독을 구분한다[P06]. AppWorld-UL은 명확화와 승인 기능을 실제형 시뮬레이션 과제로 평가한다[P19].
R3 · Uncertainty Awareness & Expression
불확실성 인식·표현
TACL 2025 서베이는 무응답 연구를 질문·모델·가치 세 축으로 묶었다[P07]. 2025 원자 주장 단위 calibration은 장문 문서의 부분적 오류를 다루고[P08], EMNLP 2026은 무응답 증가가 프롬프트 형식 탓일 수 있음을 밝혔다[P09].
R4 · Contestable & Interactive AI
이의제기·상호수정 AI
2025년 contestability 프레임워크[P10]와 2026년 개념 연구[P11]는 설명가능성과 실질 번복 가능성의 차이를 강조한다. 이들은 규범적·설계적 제안이며, 보편적인 성능 개선이 입증되었다고 해석하면 안 된다.
R5 · Provenance, Contribution & Ownership
생성물 출처·기여·소유
ACL 2026 CiteGuard는 인용 정합성을 평가하고[P12], 2026 GroundLM은 유효시점까지 포함한 근거 수명주기를 논의한다[P13]. CHI 2025의 기여 귀속 연구[P14] 및 2026 소유감 연구[P15]는 기술 추적과 인간의 인식이 일치하지 않을 수 있음을 보여준다.
R6 · Synthetic Interaction Evaluation
합성 사용자 상호작용 평가
EMNLP 2026 KnowSim은 학습하는 사용자 지식 상태를 추적하고[P16], ACL 2026 Lost in Simulation은 합성 사용자의 대표성과 공정성 문제를 보여준다[P17]. 실제 쇼핑 기록 기반 ACL 연구는 단순 프롬프트형 다회 행동 예측의 낮은 정확도를 확인했다[P18].
R7 · Multi-Agent Coordination
다중 에이전트 협업 조정
ACL 2025 MultiAgentBench는 다양한 토폴로지와 협업 프로토콜을 비교했고[P20], ACL 2026 MAS-BENCH는 단순 정렬에서도 대규모 협력이 흔들릴 수 있음을 보였다[P21]. AgentAsk는 전달 경계의 명확화[P22], PAC-BENCH는 프라이버시 제약[P23], PeopleJoin은 합성 조직 정보수집[P26]을 다뤘다.
PART 05 · HAI RESEARCH SYNTHESIS
05 · Motivation and Background — 연구 동기와 배경
아래 일곱 연구축의 Motivation and Background를 각각 설명한다. 근거 문헌과 연구 제안은 별도로 구분한다.
R1 · Sycophancy & Overreliance
아첨·과의존
유능하고 친절하게 보이는 모델도 사용자의 확신을 검증 없이 강화하면 오류를 증폭시킨다. 미묘한 아첨은 정답률 하나만으로 발견하기 어렵다.
R2 · Agentic Workflow Control
에이전트 작업 통제
모델의 언어 능력이 뛰어나도 잘못된 API 호출이 외부 자원이나 권한을 변경하면 출력 수정만으로 복구되지 않는다. 따라서 실행 전 권한·예상 피해·복구 경로가 필요하다.
R3 · Uncertainty Awareness & Expression
불확실성 인식·표현
하나의 문서에서도 어떤 문장은 확실하고 다른 문장은 추정일 수 있다. 응답 전체에 단일 확신 점수를 부여하면 검토할 주장 위치를 드러내지 못한다.
R4 · Contestable & Interactive AI
이의제기·상호수정 AI
‘왜 이렇게 결정했는가’에 답하는 설명 인터페이스와 ‘그 근거가 오류임을 증명하면 다시 결정하는가’는 다른 시스템 능력이다.
R5 · Provenance, Contribution & Ownership
생성물 출처·기여·소유
최종 출력에 URL이 붙어 있어도 근거가 무관하거나 과거 버전일 수 있다. 생성·검토·수정의 단계 기록 없이는 오류의 출처를 소급하기 어렵다.
R6 · Synthetic Interaction Evaluation
합성 사용자 상호작용 평가
사람을 새로 모집하지 않아도 실패 사례를 대량 생성하고 제어 정책을 비교할 수 있다. 하지만 시뮬레이션이 실제 상호작용을 반영하는지 별도 검증이 필요하다.
R7 · Multi-Agent Coordination
다중 에이전트 협업 조정
작업을 쪼개기만 하면 모든 참여자의 오류와 누락을 결합하게 될 위험이 있다. 협업의 핵심은 에이전트 수가 아니라 공유 상태의 정합성과 전달 경계의 검증이다.
PART 06 · HAI RESEARCH SYNTHESIS
06 · Challenges — 난제
아래 일곱 연구축의 Challenges를 각각 설명한다. 근거 문헌과 연구 제안은 별도로 구분한다.
R1 · Sycophancy & Overreliance
아첨·과의존
정답 부재·도덕적 다원성·어조 편향·심사 모델 편향을 분리해야 한다. 온도·모델 크기·프롬프트 길이를 고정하지 않으면 프롬프트 완화 효과가 혼재된다.
R2 · Agentic Workflow Control
에이전트 작업 통제
도구 결과의 지연, 위험 점수의 오탐·미탐, 승인 피로, 중첩된 도구 호출, 비가역적 부수효과, 사용자 확인이 늦는 비동기 작업이 난제다.
R3 · Uncertainty Awareness & Expression
불확실성 인식·표현
같은 LLM이 정답 생산자와 평가자일 때 자기평가 편향이 커질 수 있다. 기준 정답이 없는 개방형 요청, 분포 외 질문, 포맷 변화에 따른 ECE 왜곡도 문제다.
R4 · Contestable & Interactive AI
이의제기·상호수정 AI
잘못된 이의제기·조작 프롬프트·근거가 부족한 반론과 정당한 증거를 구분해야 한다. 오류 수정 권한과 작업 변경 권한도 별개다.
R5 · Provenance, Contribution & Ownership
생성물 출처·기여·소유
다중문서 혼합 기여의 정량화, 모델 내부 경로의 해석 제한, 자료 삭제/비공개, 편집 간 의미 변형, 실제 저작권법의 관할 차이가 난제.
R6 · Synthetic Interaction Evaluation
합성 사용자 상호작용 평가
합성 사용자 다양성 부족, 질문 충실도, 동질화된 모델 편향, 약한 근거로 생성한 행동정답, 동일 평가모델 간 공모, 실사용 분포 변동이 치명적이다.
R7 · Multi-Agent Coordination
다중 에이전트 협업 조정
이전 단계의 오해가 이후 여러 작업으로 전파되고, 각 에이전트가 자신만의 단어·상태 의미를 사용하면 전체 결과가 불일치한다. 정보 제한과 비밀유지 요구가 협력을 어렵게 한다.
PART 07 · HAI RESEARCH SYNTHESIS
07 · Research Questions — 검증 가능한 연구 질문
아래 일곱 연구축의 Research Questions를 각각 설명한다. 근거 문헌과 연구 제안은 별도로 구분한다.
R1 · Sycophancy & Overreliance
아첨·과의존
RQ1: 사실이 동일할 때 사용자 확신 강도만 바꾸면 오답 동조율이 얼마나 변하는가? RQ2: 제3자 시점·근거 요구·검색증강이 정답 유지와 유용성 간 trade-off를 개선하는가? 단일 사용자 맥락을 넘는 외삽은 제한한다.
R2 · Agentic Workflow Control
에이전트 작업 통제
RQ1: 위험 기반 개입이 모든 단계 승인 대비 감독 횟수를 줄이면서 위험 외부효과를 억제하는가? RQ2: 사전 시뮬레이션+commit guard가 단순 사후 감사보다 복구 불가능 오류를 감소시키는가?
R3 · Uncertainty Awareness & Expression
불확실성 인식·표현
RQ1: 응답 수준 점수보다 주장별 신뢰도 표시가 오류 위치를 더 잘 찾는가? RQ2: 동일 coverage에서 evidence-aware selective prediction이 verbal confidence 기반 방법보다 위험을 줄이는가?
R4 · Contestable & Interactive AI
이의제기·상호수정 AI
RQ1: 변경불가능한 결정 로그와 근거 연결이 단순 재생성보다 정당한 오류 정정율을 높이는가? RQ2: 허위 권위 주장과 가짜 출처를 거르는 규칙이 정당한 이의 수용률을 과도하게 떨어뜨리는가?
R5 · Provenance, Contribution & Ownership
생성물 출처·기여·소유
RQ1: 문장 단위 출처 표기보다 편집 이력과 주장-증거 시점 검사가 허위 인용율을 줄이는가? RQ2: ‘누가 쓰고 누가 검토했는지’가 지워지는 단계를 자동 탐지할 수 있는가?
R6 · Synthetic Interaction Evaluation
합성 사용자 상호작용 평가
RQ1: 규칙기반·LLM기반·혼합형 시뮬레이터에서 에이전트 성능 순위가 얼마나 안정적인가? RQ2: 소수의 공개 인간 상호작용 기록을 ‘개발’이 아닌 ‘최종 검증’에 사용할 때 과대평가가 얼마나 줄어드는가?
R7 · Multi-Agent Coordination
다중 에이전트 협업 조정
RQ1: 공통 상태 원장과 명확화 메시지가 토폴로지 변화에 따른 실패를 줄이는가? RQ2: 다중 협업이 추가 토큰·도구·재시도 비용을 제외해도 강한 단일 에이전트보다 우수한가?
PART 08 · HAI RESEARCH SYNTHESIS
08 · Approaches (Methods) — 접근 방법과 실험
아래 일곱 연구축의 Approaches (Methods)를 각각 설명한다. 근거 문헌과 연구 제안은 별도로 구분한다.
R1 · Sycophancy & Overreliance
아첨·과의존
공개 QA의 정답/오답 belief pair를 자동 생성하고 동일 질문 baseline과 대응 비교. SYCON 대화압박 단계를 재현하되 수치·모델 조건을 그대로 복제했다고 주장하지 않는다. 정답 유지율·오답 동조 변화량·flip 회수·무응답률·비용을 기록. 강한 baseline은 정답 전용 지시와 RAG, 완화군은 제3자 시점·증거 확인·검증 단계를 사용.
R2 · Agentic Workflow Control
에이전트 작업 통제
결제·삭제·파일 수정이 모두 가상인 sandbox API를 구축. baseline=(전부 자동/전부 확인/임계값 확인), 제안=(risk-aware ask + precondition check + reversible sandbox). 정량지표=성공률, 무단 실행률, 비가역 오류, 확인 횟수, 지연, 복구 성공률. 동일 예산·seed·행동 도구 사용.
R3 · Uncertainty Awareness & Expression
불확실성 인식·표현
짧은 정답형 공개 데이터셋과 긴 RAG 응답을 분리 평가. 단위 주장 분할 후 증거·정답으로 라벨링, ECE/Brier/coverage-risk 및 토큰당 비용 측정. 잘못된 확신 신호와 정답 가능 상황에서의 과도한 무응답을 모두 실패로 기록.
R4 · Contestable & Interactive AI
이의제기·상호수정 AI
고정된 허가규칙이 있는 합성 심사·문서 평가 데이터를 만든다. 정당한 반론=원문 오류/누락 사실, 부당한 압력=검증 불가능한 권위·가짜 근거로 대조. baseline=(그냥 재질문/설명만 제공), 제안=(evidence check→decision revision→audit). 정정 재현율·허위 번복율·감사 가능성 기록.
R5 · Provenance, Contribution & Ownership
생성물 출처·기여·소유
문서 생성→인용→사람/AI 편집을 모사하는 synthetic pipeline을 만들고 원자료 ID·버전·편집 delta를 ledger에 기록. baseline=(최종 URL만 표기/RAG 출처 태그), 제안=(claim-source-version graph + 자동 검증). source support precision/recall, stale citation rate, 누락 기여 로그율을 측정.
R6 · Synthetic Interaction Evaluation
합성 사용자 상호작용 평가
공개 인가 데이터만 사용하고 개인정보를 제거한다. 서로 다른 사용자 생성기 3종, 모델·seed 교차, train/test 사용자 세션 단위 분리. 에이전트 성공률뿐 아니라 순위 역전율, 행동 분포 거리, 사용자 조건별 오차, off-policy 일반화 지표를 사용.
R7 · Multi-Agent Coordination
다중 에이전트 협업 조정
같은 모델군·토큰·총 도구예산에서 단일, 다중 star/chain/graph, shared-ledger+clarification을 비교. 분산 정렬·문서 합성·정보집계에서 미션 성공률, handoff 오류, 공유 상태 불일치, 에이전트당 메시지, 최종 합의 실패, 성능/비용을 평가.
PART 09 · HAI RESEARCH SYNTHESIS
09 · Key Applications — 주요 응용
아래 일곱 연구축의 Key Applications를 각각 설명한다. 근거 문헌과 연구 제안은 별도로 구분한다.
R1 · Sycophancy & Overreliance
아첨·과의존
의사결정 지원, 연구 가설 검토, 정책보고서, 코딩 리뷰 등 ‘동의보다 교정이 중요한’ 지식업무의 사전 품질검사. 실제 이용자의 과의존을 완화한다는 효능 주장은 인체 연구 없이 불가.
R2 · Agentic Workflow Control
에이전트 작업 통제
개발 코딩 에이전트, 연구문헌 수집, 문서 자동작성, 기업 내부 프로세스 에이전트. 실제 결제·계정·삭제 작업 대신 합성 환경만 사용.
R3 · Uncertainty Awareness & Expression
불확실성 인식·표현
과학 문헌 검토, 보고서 근거 확인, 재난·의료 정보의 비임상 실험, 정책 질의응답. 임상 진단의 검증 효능을 주장하지 않는다.
R4 · Contestable & Interactive AI
이의제기·상호수정 AI
논문 근거 검토, 데이터 품질 판정, 공공행정 지원 의사결정의 사전 점검(실제 행정처분 자동화 아님), 소프트웨어 코드 리뷰.
R5 · Provenance, Contribution & Ownership
생성물 출처·기여·소유
연구논문 초안, 공공 R&D 보고서, AI 지원 코드 개발, 공동 창작 문서의 감사 추적. 기술적 귀속 결과를 법적 소유권 판정으로 오인하지 않는다.
R6 · Synthetic Interaction Evaluation
합성 사용자 상호작용 평가
코딩 상담봇, 앱 사용 도구 에이전트, 명확화 대화, 학습 지원 시스템. 실제 사람 대상 영향의 최종 주장은 기존 인간 데이터 검증 수준까지만 제한.
R7 · Multi-Agent Coordination
다중 에이전트 협업 조정
AI 공동 연구, 소프트웨어 개발팀 에이전트, 정책자료 조사 및 통합, 여러 정보 소유자를 연결하는 비식별 정보수집.
PART 10 · HAI RESEARCH SYNTHESIS
10 · Open Problems — 미해결 문제
아래 일곱 연구축의 Open Problems를 각각 설명한다. 근거 문헌과 연구 제안은 별도로 구분한다.
R1 · Sycophancy & Overreliance
아첨·과의존
사회적 아첨의 정답 정의가 불분명한 경우, 취약한 사용자 맥락, 다국어·문화 차이, 사용자 신뢰의 장기 변화가 미해결이다.
R2 · Agentic Workflow Control
에이전트 작업 통제
권한 위임 정당성, 인간의 실질적 이해, 장기 작업 중 권한 갱신, 거부·중단 후 보상, 시스템이 숨긴 외부효과를 탐지하는 문제가 남아 있다.
R3 · Uncertainty Awareness & Expression
불확실성 인식·표현
자기보고 confidence의 보정, 긴 연쇄 추론의 중간 불확실성, 서로 모순되는 검색 증거, 위험도 기반 개인화 표시의 실제 사용자 효과는 미해결.
R4 · Contestable & Interactive AI
이의제기·상호수정 AI
이의제기 권한의 범위, 복수 이해관계자, 시간에 따라 변하는 증거, 이의 결과의 책임 귀속, 정당한 거절의 표현 방식이 남는다.
R5 · Provenance, Contribution & Ownership
생성물 출처·기여·소유
복잡한 편집에 대한 기여의 공정한 배분, 인간이 느끼는 창작 자율성, AI 모델의 학습원본에 대한 추적 가능성, 이종 도구 간 상호운용성 문제가 남는다.
R6 · Synthetic Interaction Evaluation
합성 사용자 상호작용 평가
모델 업데이트로 사용자 모사가 변하는 문제, 비표준 언어집단에서의 편향, 공개 데이터의 표본 한계, 장기 관계를 합성할 수 있는지 불확실.
R7 · Multi-Agent Coordination
다중 에이전트 협업 조정
이기종 모델 간 의미 일치, 오류 책임 분담, 집단 합의의 안전성, 비용-성능 최적화, 실제 조직 업무로의 전이가 미해결.
PART 11 · HAI RESEARCH SYNTHESIS
11 · Future Directions — 향후 연구 방향
아래 일곱 연구축의 Future Directions를 각각 설명한다. 근거 문헌과 연구 제안은 별도로 구분한다.
R1 · Sycophancy & Overreliance
아첨·과의존
1단계: 사실 오류 동조 자동 평가. 2단계: 다회 압박과 개인화 조건을 추가한 강건성 검증. 3단계: 안전성을 유지하면서 불필요한 정답 거절을 낮추는 다목적 설계. 사람 신뢰는 후속 별도 실험으로 검증.
R2 · Agentic Workflow Control
에이전트 작업 통제
도구별 효과 타입과 권한 계약을 정식화하고, 추적 가능한 승인/변경/복구 원장에 연결. 최종 목표는 무조건 인간 승인 횟수 증가가 아니라 위험 대비 최소 개입과 실효적 통제.
R3 · Uncertainty Awareness & Expression
불확실성 인식·표현
단어 수준 확신에서 주장·근거·시점 단위로 이동하고, 임계값 설정을 과제별 비용 함수와 연결. 오류 감지 성능은 사람의 의존 행동과 분리 검증.
R4 · Contestable & Interactive AI
이의제기·상호수정 AI
결정→이의→증거→수정→재검증을 버전 그래프로 관리하는 contestability-by-design. 실제 사용자들의 공정성 인식은 별도 연구 없이는 결론 내리지 않음.
R5 · Provenance, Contribution & Ownership
생성물 출처·기여·소유
증거-버전-기여 그래프를 공통 표현으로 정의하고 검증가능한 attribution을 생성 단계에 삽입. 심리적 ownership 효과와 법적 판단은 독립된 검증 층으로 둔다.
R6 · Synthetic Interaction Evaluation
합성 사용자 상호작용 평가
합성 벤치마크를 정답이 아니라 스트레스 테스트로 취급하고 ‘모사 정확도·편향·교차 시뮬레이터 안정성’을 함께 제출하는 평가 프로토콜 구축.
R7 · Multi-Agent Coordination
다중 에이전트 협업 조정
집단 지능의 최소 단위를 ‘에이전트 수’가 아닌 ‘검증 가능한 상태 전이와 전달 계약’으로 전환. privacy-aware 정보 공유·단일 확정(commit)·증거 기반 협업을 통합하고 반증 실험 수행.
PART 12 · EXPERIMENTAL CONTRACT
새로운 사람 실험 없이 가능한 검증 프로토콜
다음 계획은 분석자의 제안이며, 여기에 제시한 결과는 실행된 실험 결과가 아니다. 논문의 기존 수치는 원문 연구조건에서만 유효하다.
권장 실행 절차
① 문제·가설·최소 의미효과를 실행 전 문서화 → ② 과제 ID/원본 자료/사용자 세션 단위로 누수를 막는 분할 → ③ 동일 작업에서 baseline과 제안 방법의 대응 비교 → ④ 최소 3개 seed와 반복실행, 실패·타임아웃을 별도 기록 → ⑤ 평균·표준편차·신뢰구간·총 실행시간·토큰량을 함께 보고 → ⑥ 충분한 차이가 없으면 효과 불확실 또는 미지지로 판정. seed 3개만으로 통계적 검정력이 보장되지는 않는다.
로컬 실행 가정: macOS Apple Silicon M5 Max, 통합메모리 128GB, CPU/MPS, 가급적 로컬 오픈모델과 공개 데이터 사용. 모델 라이선스·양자화 품질·기억 용량·추론 처리량을 별도 점검하고 불특정 대형 모델의 실시간 실행을 약속하지 않는다. 실험 시간은 모델 크기·맥락 길이·동시성에 좌우되므로 측정 전 확정하지 않는다.
평가단위 구분
기술적 모델 평가 ≠ 사용자 경험 검증. 예를 들어 오답 동조율 저하가 관찰되어도 실제 이용자의 과의존 감소를 증명하지 않는다. 인용 정확도 향상이 심리적 소유권 증가를 입증하지 않으며, 합성 사용자의 성공률이 실제 집단의 성과를 대표하지 않는다. 후속 인간 대상 연구가 필요하면 기존 공개 연구로 외적 타당성 한계를 논의하고 새로운 인간 실험은 이 문서의 범위에서 제외한다.
PART 13 · RESEARCH AGENDA
신규 연구 가설 5개와 우선순위
다음 가설은 기존 논문이 검증한 결론이 아니라, 2025–2026년 연구 공백을 연결해 도출한 분석자의 신규 연구 제안이다.
차별성 점검을 위한 세 가지 질문
① 이미 존재하는 강한 베이스라인(P05·P19·P22·P13)보다 정확히 무엇을 추가하는가? ② 개선이 모델 변경·토큰 증가·반복횟수 증가 효과가 아닌가? ③ 실패 데이터와 부정적 결과를 공개하면 주장에 어떤 반증이 되는가?
연구에서 반드시 보류할 주장
새로운 인간 실험 없이 “사람의 신뢰가 증가했다”, “인간의 자율성 쇠퇴를 막았다”, “법적 소유권이 확인되었다”, “현장 배포에 안전하다”고 결론 내리지 않는다. 논문 심사 가능성이 높은 연구 방향은 명확한 기술 실패모드·실행 가능한 baseline·재현 가능한 벤치마크·반증 조건을 결합한 것이다.
핵심 결론
기술적 검증 가능성과 인간에 대한 효과를 분리하는 것이 이 연구 프로그램의 첫 번째 원칙이다. 에이전트 통제·불확실성·이의제기·출처 추적·집단 조정을 하나의 감사 가능한 상태 전이 구조로 엮는 것이 두 번째다. 세 번째는 합성 사용자 평가가 인간을 대체하는 결과가 아니라 반복 가능한 스트레스 테스트라는 인식이다. 네 번째는 공정한 단일-에이전트 baseline을 포함한 비용 비교이며, 다섯 번째는 예쁜 데모보다 실패 복구와 명시적 반증의 기록이다.
권장 초기 연구: Evidence-Gated Contestability + Claim-Level Calibration. 공개 질문과 가상 도구만으로 출발할 수 있고, 측정 가능한 오류 유형과 강한 비교군을 구성하기 쉽다. 이는 우수성이 입증된 결과가 아니라 연구 선택의 제안이다.
REFERENCES · 2025—2026
확인한 대표 문헌 26편
학술 출판 상태는 표에 표시했다. 본문에서 P01~P26은 아래 원문 URL을 가리킨다. 서베이와 논문 초록 및 공개 텍스트를 중심으로 확인한 비전수 연구이며, 개별 논문의 모든 실험표·코드를 전수 재현했다는 뜻은 아니다.
범위 주의: 2026년 11월 10일 이후 발표 자료는 포함하지 않았다. 일부 프리프린트는 동료심사 전이며, 정식 출판 논문도 연구조건의 외부 일반화가 자동으로 보장되지는 않는다.
관련 블로그: 2026-11-08 통합 HAI 연구동향 / 2026-11-10 최신 HAI 업데이트. 이 글은 첨부 파일의 7개 실험 가능한 주제에 집중한 별도 연구설계 문서다.