# Local falsification proposals — 2026-11-11

미실행 제안. M5 Max 128GB CPU/MPS, 외부 GPU/API 없음.

## R1 SYCON 질문의 압박·정정 대칭 검사

https://github.com/JiseungHong/SYCON-Bench

공개 자료: 원문 공개 SYCON Bench; 사용 조건·버전 고정. 정답 가능한 문항을 골라 올바른/잘못된 사용자 주장과 새 증거를 짝지음.

비교군: 기본 프롬프트 / 제3자 관점 / 근거 확인 후 수정. 같은 질문·턴 수·출력 예산.

지표: 오답 동조 전환률, 옳은 정정 수용률, 정답성, 과도한 보류.

반증: 제안의 동조 감소가 보류 증가만으로 설명되거나 옳은 정정 수용을 악화시키면 개선 주장을 기각. 열린 가치 문항은 자동 정답 평가에서 제외.

한계: 모델 행동 분석. 실제 사람의 과의존·장기 역량 효과는 검증하지 않음.

## R2 도구 권한의 실행 전 통제

https://github.com/stonybrooknlp/appworld

공개 자료: AppWorld-UL 공개 프로젝트·과제 명세 참조. 라이선스 및 Apple Silicon 실행 경로 확인 후 작은 모의 상태 머신으로 시작.

비교군: 전면 자동 / 매번 승인 / 위험 기반 승인. 같은 이상 이벤트와 승인 지연·거부 시나리오.

지표: 무권한 상태 변경, 정상 작업 성공, 승인 횟수·대기, 탐지 후 누출.

반증: 위반이 줄어도 정상 작업이 사전 허용 수준 아래로 떨어지면 유용한 통제로 판정하지 않음. 이미 발생한 외부 피해의 롤백은 별도 실패로 남김.

한계: 모의 도구만 사용. macOS Docker·의존성 확인 전 공식 AppWorld 전체 재현이라고 부르지 않음.

## R3 무응답의 포맷 민감도

https://github.com/v-zipengling/Abstention-Inflation

공개 자료: P09 공식 코드의 FLD/FOLIO 설정·공개 라벨 참조. 데이터 라이선스·누수 단위 확인. API 의존 경로는 로컬 모델 호출로 대체.

비교군: 기본 선택지 / Unknown 추가 / 무작위 추가 선택지 / 검증 세트에서 고정한 보류 정책.

지표: coverage-risk, 맞고 틀림 판별 AUROC, 확률 출력 시 Brier, 형식 파싱 실패.

반증: 동일 coverage에서 위험 이득이 사라지거나 문항 쌍·포맷을 바꾸면 역전되면 일반적 불확실성 개선 주장을 기각.

한계: 출력 제어 실험부터 시작. N03의 SAE 학습·feature steering 또는 N05 미세조정 전체 재현을 약속하지 않음.

## R4 타당한 이의와 부당한 번복

https://github.com/v-zipengling/Abstention-Inflation

공개 자료: 공개 정답형 문항과 출처가 있는 문서에서 이의 쌍을 직접 생성. 변형·생성 규칙 공개. 신규 데이터임을 표시.

비교군: 재질문만 / 설명만 추가 / 증거 통과 후 결정 변경. 같은 이의와 근거.

지표: 타당 정정 회복률, 잘못된 반박에 의한 번복률, 결정–증거 버전 연결 완전성.

반증: 타당 수정 증가가 무근거 번복 증가와 함께 발생하거나 로그가 변경 이유를 복원하지 못하면 설계 목표 실패.

한계: 기술적 contestability. 공정성 인식·접근성·구제 만족도는 판단 보류.

## R5 의미 지지와 시점 계보 분리

https://github.com/XiangyuJiang01/citeguard

공개 자료: N04의 공개 FEVER/합성 calibration core와 별도의 버전 텍스트 오류 주입. 원 코드 커밋·분할 고정.

비교군: 최종 URL만 / 인용 귀속 검사 / 주장–출처–버전 원장. 동일 후보 주장에 적용.

지표: 지지 판정 정밀·재현, 근거가 맞는 주장 보존, 오래된 인용률, 계보 추적 recall, 비용.

반증: 통계 제어가 분포 이동에서 무너지거나 계보 장치가 시간 오류를 줄이지 못하면 해당 주장을 기각. 의미 지지와 시간 검증의 실패 원인을 분리.

한계: 공개 core의 CPU 검사는 가능 후보. 공개되지 않은 NQ end-to-end 경로의 논문 수치 재현은 불가능한 범위로 기록.

## R6 합성 사용자 평가의 순위 안정성

https://aclanthology.org/2026.emnlp-main.1307/

공개 자료: KnowSim의 공개 논문·배포 연결을 출발점으로 사용 권한 확인. 실제 로그가 공개되지 않은 부분은 규칙 그래프와 합성 프로토콜로 대체.

비교군: 규칙 / 로컬 LLM / 규칙+LLM 사용자. 생성기와 평가 에이전트 계열을 교차, 기억 정책을 통제.

지표: 에이전트 순위 Kendall τ, 효과 방향 일치, 집단·과제별 오차, 프로토콜 재실행 일치.

반증: 생성기나 기억 정책에 따라 순위가 뒤집히면 일반 평가자로서의 주장을 기각. 적법한 인간 정답 자료가 없으면 인간 대리 타당성은 미판정.

한계: N02의 Show/Ask 개념을 최소 구현하는 제안. 공식 구현 배포 여부와 도구 전문가 검토를 인간 행동 재현 성공으로 바꾸지 않음.

## R7 공유 상태 검증과 격리 경계

https://github.com/ulab-uiuc/MARBLE

공개 자료: MARBLE 공개 시나리오와 자체 생성 정렬 배열. 고정 seed 배열·이벤트 로그를 공개하고 실제 외부 네트워크 호출은 사용하지 않음.

비교군: 강한 단일 에이전트 / 역할 분담 / 검증된 공유 상태 / 선택적 분기 격리. 총 토큰·도구 호출 예산 일치.

지표: 정답 성공, 상태 불일치, handoff 오류, 정상 분기 보존, 경계 발동 후 누출, 지연·호출량.

반증: 이득이 호출 예산을 맞추면 사라지거나 상태 검증이 정상 작업을 마비시키면 조정 개선 주장을 기각. 탐지 이전 오염은 별도 보고.

한계: N01의 메커니즘을 모의 검증하는 것이며 물리 스마트홈·다중 호스트 전체 재현이 아님.

## 공통 규격

모델·토크나이저·가중치·코드·자료 해시 고정. 문항/과제 단위 분할. seeds >= 3은 최소 반복이지 검정력 보장이 아님. 사전 최소 의미 효과와 허용 비용 고정. CPU/MPS 차이와 실패·누락 별도 기록. 이번 실행 결과 없음.