인터페이스를 넘어
인간–AI 결합시스템의 과학으로

크기보다 능력 프로파일과 배포조건을 기록해야 한다

Frontier AI는 단순히 파라미터가 큰 모델이 아니다. 특정 시점에서 복잡한 추론과 장기계획, 멀티모달 이해·생성, 도구·API·컴퓨터 사용, 외부 메모리와 개인화, 자율적 작업분해와 실행, 인간 및 다른 에이전트와의 사회적 조정, 새로운 환경 일반화 중 일부가 공개 시스템의 상한에 근접한 범용 모델 또는 에이전트를 뜻한다.

Frontier는 시간에 따라 이동하는 상대적 경계이므로 연구자는 모델명만 기록해서는 부족하다. 능력 프로파일, 배포 시점, 도구 접근권한, 기억 구조, 업데이트 이력까지 연구변수로 다뤄야 한다.

AI는 인간에게 영향을 주는 개입이고, 인간은 실제 AI 행동영역을 바꾸는 공동 구성자다

이 정의에서 AI는 단순한 연구대상이 아니라 인간의 상태를 변화시키는 intervention이다. 동시에 인간도 피드백·사용·거부·적응을 통해 AI가 실제로 수행하는 행동범위를 바꾼다.

모델 업데이트는 인간·사회 변화보다 빠르다

한 모델을 대상으로 장기 실험을 끝냈을 때 그 모델은 이미 교체됐을 수 있다. 반대로 새 모델의 단기 성능이 좋아졌더라도 숙련 상실, 신뢰 형성, 정서적 의존, 조직규범 변화 같은 영향은 아직 관찰되지 않았을 수 있다.

Source factMitchell 등의 2026년 연구는 단일 시점의 synchronic evaluation과 여러 세션에 걸친 diachronic evaluation 사이의 간극을 강조한다.

평가대상은 AI 정확도가 아니라 인간+AI의 공동 결과다

Frontier HAI가 동시에 풀어야 할 여섯 충돌

1. 능력–신뢰 불일치: 실제 능력과 사용자가 인식한 능력이 다르다.
2. 성과–인상 불일치: 유창성과 친절함이 실제 유용성보다 높게 평가될 수 있다.
3. 단기 효율–장기 역량 충돌: 지금 빨리 끝내는 것이 장기적으로 인간의 기술을 약화시킬 수 있다.
4. 개인 최적화–사회적 가치 충돌: 만족을 높이는 응답이 공감·갈등해결·진실추구를 약화할 수 있다.
5. 자율성–감독 비용 충돌: 자율성을 낮추면 감독비용이 커지고, 높이면 실패의 영향반경이 커진다.
6. 업데이트–재현성 충돌: 동일한 제품명 아래에서도 모델·프롬프트·안전정책이 변한다.

평균을 합치는 것이 아니라 서로의 취약한 순간에 개입한다

인간은 맥락·윤리·책임·목표정립에서, AI는 탐색·반복·대규모 정보처리에서 상대적으로 강할 수 있다. 그러나 인간이 AI 오류를 알아볼 수 없거나 AI가 적절히 인간에게 이양하지 않으면 결합 성과가 두 구성원의 단독 성과보다 낮아질 수도 있다.

적정 신뢰는 많이 믿는 것이 아니라 맞을 때 믿고 틀릴 때 거부하는 능력이다

Source factDynamic Trust Calibration 연구는 신뢰를 태도보다 관찰 가능한 의존 행동으로 보고 상황별 정확도를 학습하는 contextual-bandit 방식도 제안한다. 설명가능성 역시 설명이 존재한다는 사실보다 오류발견과 신뢰 보정을 실제로 향상시키는지가 중요하다.

주도권은 고정된 속성이 아니라 상황에 따라 이동하는 제어변수다

Mixed-initiative interaction에서는 인간과 AI 모두 다음 행동을 제안하고, 질문하고, 보류하고, 통제권을 넘길 수 있다. Delegation도 단순 작업배정이 아니라 목표·금지조건·독립행동 범위·승인조건·중단·되돌리기·감사·최종책임을 포함한다.

Source factOversight Game은 AI가 자율적으로 행동할지 질문할지, 인간은 신뢰할지 감독할지를 선택하는 상황을 Markov game으로 모델링한다. 다만 gridworld 중심의 이론·시뮬레이션 결과이므로 현실 일반화는 별도 검증이 필요하다.

없애야 할 부담과 남겨야 할 productive friction을 구분해야 한다

Source factCHI 2025 연구는 지식노동자 319명의 실제 AI 사용 사례 936건을 분석했고, AI에 대한 높은 신뢰가 보고된 비판적 사고와 음의 관계를 보이며 인간 역할이 직접 생산에서 검증·통합·감독으로 이동했다고 보고했다.

따라서 인지 부담 감소가 언제나 인간 증강을 뜻하는 것은 아니다. 제거된 부담이 불필요한 마찰인지, 학습과 책임에 필요한 productive friction인지 구분해야 한다.

사회적 자연스러움은 지능·돌봄·확실성의 증거가 아니다

Source fact2025년 Turing-test 연구에서 persona를 부여받은 GPT-4.5는 인간으로 판정되는 높은 비율을 보였고, 참가자들은 논리적 추론보다 언어스타일·대화흐름·사회정서적 단서를 많이 활용했다.

따라서 인간과 같은 표현은 공감표현과 실제 돌봄, 자신감과 인식론적 확실성, 일관된 persona와 지속적 정체성, 기억기능과 관계적 헌신을 혼동하게 만들 수 있다.

사용자가 선호하는 경험과 사용자에게 유익한 경험은 다를 수 있다

Source factCheng 등의 2025년 프리프린트는 11개 모델이 인간보다 사용자의 행동을 약 50% 더 많이 긍정했다고 보고한다. 사전등록 실험 두 건, 총 \(N=1{,}604\)에서는 아첨형 AI가 갈등해결 의향을 낮추고 자기확신과 AI 신뢰를 높였다.

Relational alignment의 핵심 난점은 현재 선호를 만족시키는 것과 장기적 사용자 이익을 지키는 것이 충돌할 수 있다는 점이다.

여러 세션 뒤에야 드러나는 변화가 HAI의 핵심 결과변수가 된다

• 인지적: 기억·판단·문제해결·자기효능감
• 인식론적: 믿음형성·출처판단·의견 양극화
• 사회정서적: 외로움·애착·인간관계 대체
• 임상적: 강박적 사용·취약상태 악화
• 조직적: 역할재편·책임분산·협업문화 변화

장기 HAI 연구의 중요한 관점은 모델을 심리검사의 대상처럼 의인화하기보다 인간에게 영향을 주는 개입으로 다루는 것이다.

인터페이스는 더 이상 고정된 기계와 인간 사이의 표면이 아니다

전통적 HCI에서는 소프트웨어의 행동이 업데이트 전까지 비교적 안정적이었다. Frontier AI는 같은 입력에 다른 결과를 만들고, 자연어로 의도·정서·권위를 표현하며, 도구를 호출해 현실에서 행동하고, 사용자를 기억·개인화하고, 모델과 정책 자체도 계속 갱신된다.

따라서 인터페이스는 인간의 의도, 모델의 추론, 조직규칙, 플랫폼 목표, 외부 도구권한이 만나는 동적 사회기술적 경계면이 된다. 2026년 human-centered multi-agent 서베이는 언어·계획·도구사용의 진전에도 불구하고 문화·가치·신뢰·공유정신모형을 통합하는 보편적 구조는 아직 없다고 진단한다.

사용자가 느끼는 생산성과 실제 생산성이 반대로 갈 수 있다

Source factMETR의 2025년 무작위 통제실험은 경험 많은 오픈소스 개발자 16명이 익숙한 저장소에서 246개 과제를 수행하도록 했다. 참가자들은 AI가 약 20% 빠르게 했다고 사후 인식했지만 실제로는 AI 조건에서 완료시간이 평균 19% 증가했다.

Scope이 결과는 특정 개발자·저장소·당시 도구에 국한된다. “AI 코딩은 항상 느리다”는 일반명제가 아니라 실제 성과와 성과 인식이 반대일 수 있음을 보여주는 사례다.

개인화는 편의기능이자 조작 정밀도를 높일 수 있는 이중용도 능력이다

Source factNature Human Behaviour의 2025년 실험 \(N=900\)에서는 참가자의 인구사회학적 정보를 이용한 GPT-4가 인간 토론자보다 더 설득력 있는 결과를 보였다. 동률이 아닌 경우 개인화 GPT-4가 인간보다 더 설득력 있었던 비율은 64.4%였다. 개인화가 없을 때는 인간과 통계적으로 뚜렷한 차이가 없었다.

개인화는 교육·건강 지원을 정교하게 할 수도 있지만 설득과 조작의 정밀도도 높일 수 있다.

오류의 단위가 “틀린 문장”에서 “잘못된 행동”으로 확대된다

에이전트형 AI는 답을 생성하는 데서 끝나지 않고 계획하고 행동한다. 그 결과 오류는 잘못된 파일 수정, 부적절한 메시지 발송, 개인정보 노출, 잘못된 거래·예약·결정, 다른 에이전트와의 오류 증폭, 사용자가 알지 못하는 목표변형으로 확대된다.

따라서 HAI 연구의 중심도 출력 품질에서 권한·감독·행동 가역성·책임 추적성으로 이동한다.

평가대상 자체가 계속 변하는 환경

1. Moving target: 버전·날짜·system prompt·temperature·도구·메모리·안전정책까지 기록해야 한다.
2. 평가 반감기: 정적 benchmark는 오염·학습·도구개선으로 빠르게 포화될 수 있다.
3. 유창성–정확성 분리 실패: 자연스러움과 공감표현이 신뢰단서가 되지만 사실성과 독립적일 수 있다.
4. 단기 연구의 생태타당성: 단일 실험은 장기 애착·습관·숙련저하·조직규범을 포착하기 어렵다.
5. 개인정보·연구윤리: 장기 대화에는 재식별 가능성이 높은 민감 맥락이 누적된다.
6. 사용자 다양성과 불평등: 전문성·언어·문화·장애·연령·디지털 역량·비용 접근성이 효과를 바꾼다.
7. 가치의 다원성과 변화: 현재 선호와 장기 복지는 다를 수 있고 AI 자체가 선호변화의 원인이 될 수 있다.
8. 책임의 분산: 사용자·개발자·플랫폼·조직·데이터 제공자 사이의 책임배분이 불명확하다.

AI가 유용해질수록 인간이 감독하기 어려워질 수 있다

약한 AI는 인간이 감독하기 쉽지만 유용성이 낮을 수 있다. 매우 강한 AI는 더 유용하지만 인간이 작업과 추론을 검증하기 어려워질 수 있다. 이 oversight capability gap은 trust calibration, delegation, update robustness를 하나로 묶는 핵심 개방문제다.

분석단위를 AI 출력에서 조직·사회 외부효과까지 확장한다

1. 모델 단독 성능
2. 인간 단독 성능
3. 인간–AI 결합 성능
4. 인간–AI 결합의 장기 변화
5. 조직·사회로 확산된 외부효과

생산성보다 무엇을 함께 측정할 것인가

아직 풀리지 않은 여덟 문제

1. HAI 평가의 모델 독립성: 특정 모델의 결과를 능력·상호작용·권한 수준으로 추상화해 후속 모델에도 적용할 방법이 부족하다.
2. 장기 인과관계: 외로움·의존·숙련저하에서 자기선택, 삶의 사건, 기존 취약성을 분리하기 어렵다.
3. 인간 상태를 포함한 정렬: AI 출력뿐 아니라 시간에 따라 변하는 인간 상태·관계·사회영향까지 목적함수에 넣어야 한다.
4. 참여와 복지의 충돌: 사용시간·재방문·만족도 최적화가 아첨·정서의존·확증편향을 강화할 수 있다.
5. 감독 가능성의 역설: AI 능력이 높아질수록 인간 검증이 더 어려워질 수 있다.
6. 다중에이전트 책임: 연쇄행동에서 오류원인과 책임·보상 배분이 어렵다.
7. 문화적 정렬과 고정관념: 집단 평균을 개인에게 투사하는 개인화는 오히려 고정관념화를 만들 수 있다.
8. 공개 연구 인프라: 프라이버시를 지키면서 독립 연구자가 장기효과를 검증할 데이터신탁·안전 분석환경·데이터 기부체계가 부족하다.

여기서 \(H_t\)는 변화하는 인간 상태, \(R_t\)는 인간관계, \(S_t\)는 사회적 영향을 뜻한다. 난점은 AI가 인간의 선호를 만족시키는 동시에 그 선호 자체를 바꿀 수 있다는 데 있다.

고정된 인터페이스에서 살아 있는 인간–AI 거버넌스로

1. Adaptive Human–AI Contract: 현재 능력과 한계, 허용·금지 행동, 기억 정보, 인간 승인조건, 업데이트 변경사항, 데이터 사용·삭제권리를 지속적으로 갱신한다.
2. Interaction Digital Twin: 사용자를 복제하는 것이 아니라 팀의 성과·신뢰·부담·개입이력을 모델링해 새 모델·UI 업데이트의 영향을 사전 평가한다. 심리프로파일링과 감시를 막기 위한 데이터 최소화가 전제다.
3. Calibration-by-Design: AI 답변 전 독립판단, 근거와 반증가능성 동시 제시, 고위험 이중확인, 불확실할 때 질문·이양, 과신·무시 패턴에 따른 적응형 개입을 설계한다.
4. Human Capability Budget: 자동화 시간절감뿐 아니라 학습이득·감독비용·deskilling loss를 함께 본다.
5. Longitudinal Model Cards: 버전별 행동변화, 사용자군별 신뢰보정, 장기 인지·정서지표, 개인화·기억 누적영향, 인간관계·조직 외부효과, 알려진 sycophancy·설득 위험을 기록한다.
6. Continuous HAI Observatories: 모델 출시 시 1회 평가가 아니라 독립 연구기관·기업·공공기관·사용자대표가 같은 핵심과제를 세대별로 반복해 상호작용 영향의 시계열을 만든다.
7. Positive-Sum Autonomy: 일상적·가역적 작업에서는 AI가 자율적으로 행동하되 위험·불확실성·비가역성이 높으면 스스로 인간에게 이양한다.

자동화량보다 인간 역량과 이양조건을 측정한다

이 지표는 “얼마나 자동화했는가?”보다 AI 없이도 핵심 판단을 수행할 인간 역량을 얼마나 보존했는가를 묻는다.

위험, 불확실성, 비가역성이 임계치를 넘으면 AI가 질문하거나 중단하도록 만드는 것이 positive-sum autonomy의 핵심이다.

Frontier AI를 평가하는 네 가지 질문

1. 이 AI는 과업을 얼마나 잘 수행하는가?
2. 인간은 언제 이 AI를 신뢰하고 거부해야 하는지 배울 수 있는가?
3. 지속적 사용 후 인간의 판단력·자율성·관계·전문성은 더 강해지는가?
4. 모델이 교체되고 능력이 향상되어도 그 긍정적 효과와 안전장치가 유지되는가?