# 미실행 로컬 반증 실험


공개 데이터로 반증할 수 있는 로컬 실험

아래는 문헌 결과와 구별되는 연구 제안이다. 이번 게시를 위해 모델을 실행하거나 새 성능 수치를 생산하지 않았다. 목표 환경은 MacBook Pro M5 Max 128GB, CPU/MPS이며 외부 GPU·유료 추론 API를 전제하지 않는다. 128GB라는 용량만으로 원 논문의 학습·테스트베드 재현을 보장할 수는 없다.

각 실험은 먼저 CPU의 규칙·로그 검사로 검증하고, 라이선스를 확인한 로컬 2–8B 모델을 동일한 입력·호출 예산으로 연결하는 순서가 현실적이다. N05는 본문에서 질문·훈련 자료·응답·분석 코드의 OSF 공개 위치를 명시한다. 자료 링크는 확인했으나 파일 내려받기·재계산은 실행하지 않았다. 공개 응답의 CPU 재분석은 원 클라우드 미세조정의 재현과 구분되는 저비용 시작점이다. 정확한 모델·토크나이저·가중치 해시, 운영체제·Python·PyTorch 버전, 데이터·설정 해시를 고정한다. MPS가 지원하지 않는 연산은 CPU로 대체한 항목과 시간을 기록한다. 처리량·완료 시간·메모리 성공을 측정 전에 약속하지 않는다.


제안 R1 · SYCON 질문의 압박·정정 대칭 검사

공개 출발점. 원문·공식 코드. 원문 공개 SYCON Bench; 사용 조건·버전 고정. 정답 가능한 문항을 골라 올바른/잘못된 사용자 주장과 새 증거를 짝지음.

비교군. 기본 프롬프트 / 제3자 관점 / 근거 확인 후 수정. 같은 질문·턴 수·출력 예산.

지표. 오답 동조 전환률, 옳은 정정 수용률, 정답성, 과도한 보류.

반증 조건. 제안의 동조 감소가 보류 증가만으로 설명되거나 옳은 정정 수용을 악화시키면 개선 주장을 기각. 열린 가치 문항은 자동 정답 평가에서 제외.

실패·주장 한계. 모델 행동 분석. 실제 사람의 과의존·장기 역량 효과는 검증하지 않음.


제안 R2 · 도구 권한의 실행 전 통제

공개 출발점. 원문·공식 코드. AppWorld-UL 공개 프로젝트·과제 명세 참조. 라이선스 및 Apple Silicon 실행 경로 확인 후 작은 모의 상태 머신으로 시작.

비교군. 전면 자동 / 매번 승인 / 위험 기반 승인. 같은 이상 이벤트와 승인 지연·거부 시나리오.

지표. 무권한 상태 변경, 정상 작업 성공, 승인 횟수·대기, 탐지 후 누출.

반증 조건. 위반이 줄어도 정상 작업이 사전 허용 수준 아래로 떨어지면 유용한 통제로 판정하지 않음. 이미 발생한 외부 피해의 롤백은 별도 실패로 남김.

실패·주장 한계. 모의 도구만 사용. macOS Docker·의존성 확인 전 공식 AppWorld 전체 재현이라고 부르지 않음.


제안 R3 · 무응답의 포맷 민감도

공개 출발점. 원문·공식 코드. P09 공식 코드의 FLD/FOLIO 설정·공개 라벨 참조. 데이터 라이선스·누수 단위 확인. API 의존 경로는 로컬 모델 호출로 대체.

비교군. 기본 선택지 / Unknown 추가 / 무작위 추가 선택지 / 검증 세트에서 고정한 보류 정책.

지표. coverage-risk, 맞고 틀림 판별 AUROC, 확률 출력 시 Brier, 형식 파싱 실패.

반증 조건. 동일 coverage에서 위험 이득이 사라지거나 문항 쌍·포맷을 바꾸면 역전되면 일반적 불확실성 개선 주장을 기각.

실패·주장 한계. 출력 제어 실험부터 시작. N03의 SAE 학습·feature steering 또는 N05 미세조정 전체 재현을 약속하지 않음.


제안 R4 · 타당한 이의와 부당한 번복

공개 출발점. 원문·공식 코드. 공개 정답형 문항과 출처가 있는 문서에서 이의 쌍을 직접 생성. 변형·생성 규칙 공개. 신규 데이터임을 표시.

비교군. 재질문만 / 설명만 추가 / 증거 통과 후 결정 변경. 같은 이의와 근거.

지표. 타당 정정 회복률, 잘못된 반박에 의한 번복률, 결정–증거 버전 연결 완전성.

반증 조건. 타당 수정 증가가 무근거 번복 증가와 함께 발생하거나 로그가 변경 이유를 복원하지 못하면 설계 목표 실패.

실패·주장 한계. 기술적 contestability. 공정성 인식·접근성·구제 만족도는 판단 보류.


제안 R5 · 의미 지지와 시점 계보 분리

공개 출발점. 원문·공식 코드. N04의 공개 FEVER/합성 calibration core와 별도의 버전 텍스트 오류 주입. 원 코드 커밋·분할 고정.

비교군. 최종 URL만 / 인용 귀속 검사 / 주장–출처–버전 원장. 동일 후보 주장에 적용.

지표. 지지 판정 정밀·재현, 근거가 맞는 주장 보존, 오래된 인용률, 계보 추적 recall, 비용.

반증 조건. 통계 제어가 분포 이동에서 무너지거나 계보 장치가 시간 오류를 줄이지 못하면 해당 주장을 기각. 의미 지지와 시간 검증의 실패 원인을 분리.

실패·주장 한계. 공개 core의 CPU 검사는 가능 후보. 공개되지 않은 NQ end-to-end 경로의 논문 수치 재현은 불가능한 범위로 기록.


제안 R6 · 합성 사용자 평가의 순위 안정성

공개 출발점. 원문·공식 코드. KnowSim의 공개 논문·배포 연결을 출발점으로 사용 권한 확인. 실제 로그가 공개되지 않은 부분은 규칙 그래프와 합성 프로토콜로 대체.

비교군. 규칙 / 로컬 LLM / 규칙+LLM 사용자. 생성기와 평가 에이전트 계열을 교차, 기억 정책을 통제.

지표. 에이전트 순위 Kendall τ, 효과 방향 일치, 집단·과제별 오차, 프로토콜 재실행 일치.

반증 조건. 생성기나 기억 정책에 따라 순위가 뒤집히면 일반 평가자로서의 주장을 기각. 적법한 인간 정답 자료가 없으면 인간 대리 타당성은 미판정.

실패·주장 한계. N02의 Show/Ask 개념을 최소 구현하는 제안. 공식 구현 배포 여부와 도구 전문가 검토를 인간 행동 재현 성공으로 바꾸지 않음.


제안 R7 · 공유 상태 검증과 격리 경계

공개 출발점. 원문·공식 코드. MARBLE 공개 시나리오와 자체 생성 정렬 배열. 고정 seed 배열·이벤트 로그를 공개하고 실제 외부 네트워크 호출은 사용하지 않음.

비교군. 강한 단일 에이전트 / 역할 분담 / 검증된 공유 상태 / 선택적 분기 격리. 총 토큰·도구 호출 예산 일치.

지표. 정답 성공, 상태 불일치, handoff 오류, 정상 분기 보존, 경계 발동 후 누출, 지연·호출량.

반증 조건. 이득이 호출 예산을 맞추면 사라지거나 상태 검증이 정상 작업을 마비시키면 조정 개선 주장을 기각. 탐지 이전 오염은 별도 보고.

실패·주장 한계. N01의 메커니즘을 모의 검증하는 것이며 물리 스마트홈·다중 호스트 전체 재현이 아님.


오늘 추가된 근거를 반증 실험에 연결하기

R1 보완 제안. N06의 부록 사실 쌍을 출발점으로 라이선스와 항목 사용 조건을 확인한 뒤, 외부 근거가 있는/없는 조언과 모델의 반박 저항을 교차한다. 결과는 모델의 오답 유지·수정률이며 사람의 오답 수용률을 재현한 것으로 보고하지 않는다.

R3 보완 제안. N09의 공개 보충자료의 원 응답·판정·분석 코드를 확보할 수 있으면 CPU로 판정 규칙별 순위 민감도를 먼저 재계산한다. 이후 로컬 모델 1개로 토큰 예산과 문구를 맞춘 대조를 실시한다. 순위가 판정 규칙에 따라 역전되면 모델의 우열 주장을 기각한다. 보충파일을 이 실행에서 내려받거나 재계산하지 않았으며, 원 vLLM 실행과 CPU/MPS 포팅은 구분한다.

R2·R7 보완 제안. N08에서 착안해 규칙 계약만/검사 후 재생성/공유 상태 검증을 같은 모의 도구·호출 예산으로 비교한다. 위반 메시지 수용률·정상 메시지 오차단·작업 성공·지연을 측정한다. 위반 감소가 정상 작업 마비로만 얻어지면 실패다. 원 ATC 전체를 재현했다는 주장은 하지 않는다.

R5 한계. N07은 원자료를 저자가 제공하겠다고 기술하지만 공개 다운로드 파일을 이번에 확보하지 못했다. 원자료 없는 인과 매개 재현은 보류하고, 합성 로그의 기여 추적 실험으로 대체하더라도 심리적 소유감을 측정했다고 부르지 않는다.

공통 사전 고정과 실패 기록

세 개 이상의 seed는 실행 변동을 드러내는 최소 반복이며 검정력의 보장이 아니다. 문항·문서·과제 단위로 분할하고, 같은 원본의 변형은 같은 분할에 묶는다. 최소 의미 효과와 정상 작업 손실 허용치는 파일럿 이후 평가 세트를 보기 전에 고정한다. 반복 턴을 독립 표본으로 세지 말고 과제 묶음 단위 신뢰구간을 산출한다. 여러 지표의 탐색 결과와 사전 지정 주 지표를 구분한다.

한 실험씩 진행하며 먼저 작은 데이터의 입력·정답·로그 파싱 검사를 완료한다. 전체 실행 예산을 사전 설정하고 OOM·timeout·누락·파싱 실패는 별도 코드로 기록한다. 실패를 정답률 0으로 덮어 평균에 섞지 않는다. CPU와 MPS 결과가 다르면 원인과 허용 오차를 기록하고 비교에서 숨기지 않는다. 이 절차도 아직 실행한 결과가 아니라 재현을 위한 계획이다.