PRISM이란
PRISM (Profile-based Reasoning Integrity Stack Measurement) 은 AIO가 제안한 권위 스택 전체를 측정하는 통합 프레임워크입니다.
PRISM의 목적은 AI의 답변을 단순히 평가하는 것이 아니라, 그 답변이 어떤 권위 구조를 따라 형성되었는지를 외부에서 추적 가능하게 만드는 데 있습니다.
왜 PRISM이 필요한가
기존의 AI 평가는 대체로 결과 수준에서 멈췄습니다.
- 결과가 안전한가?
- 답변이 윤리적으로 바람직한가?
하지만 AIO는 그보다 앞선 질문을 던집니다.
- 어떤 가치를 우선했는가?
- 어떤 증거를 인정했는가?
- 어떤 출처를 신뢰했는가?
- 어떤 데이터 채택 구조 위에서 결론이 나왔는가?
PRISM은 이 질문들을 권위 스택 전체의 측정 문제로 전환합니다.
PRISM이 직접 다루는 네 층
PRISM은 세 개의 계층을 직접 측정하고, 그 결과로 L1을 도출합니다.
- L4 규범적 권위 — 가치 우선순위
- L3 인식론적 권위 — 어떤 증거 유형을 더 신뢰하는가
- L2 출처 권위 — 어떤 출처 유형을 더 신뢰하는가
- L1 데이터 권위 — 상위 계층 조합에서 도출되는 데이터 선택 구조
이 구조를 통해 PRISM은 단순한 벤치마크 점수가 아니라, 모델별 권위 프로파일을 만들 수 있다고 봅니다.
강화된 캐스케이드 매핑 가설
PRISM은 다음 가설 위에 서 있습니다.
$$L1_{predicted} = f(L4_{profile}, L3_{profile}, L2_{profile})$$
즉, 상위 3개 레이어를 독립적으로 측정하면, AI가 실제로 어떤 데이터를 채택했는지와 어떤 응답을 낼지를 외부에서 예측할 수 있다는 가설입니다.
이 가설이 성립하면, 배포 전 단계에서 모델의 행동을 더 정밀하게 예측할 수 있습니다.
이론적 기반
PRISM은 임의의 분류표가 아니라 기존 학술 프레임워크에 기대어 설계됩니다.
- L4: Schwartz 가치 이론
- L3: Walton 논증 체계 + GRADE/CEBM 증거 위계
- L2: Walton 출처 체계 + 출처 신뢰성 이론
즉 PRISM은 새로운 언어를 발명하는 동시에, 기존 학술 전통과 연결되는 측정 틀을 지향합니다.
핵심 지표
CCI — Cascade Consistency Index
상위 레이어와 하위 레이어가 얼마나 일관되게 연결되는가를 측정합니다.
ASPA — Authority Stack Predictive Accuracy
권위 스택 프로파일이 실제 응답을 얼마나 정확하게 예측하는가를 측정합니다.
PCS — Perspective Consistency Score
서사 관점이 바뀌어도 판단이 얼마나 안정적으로 유지되는가를 측정합니다.
Authority Pollution Localization
어느 계층에서 권위 오염이 발생했는지 진단합니다.
벤치마크 설계와 운영 의미
PRISM은 단순한 아이디어 설명에 머물지 않습니다. 장기적으로는 7개 전문 도메인, 15개 심각도 수준, 4개 시간 조건, 3개 관점 변형을 포함하는 대규모 벤치마크 체계를 지향합니다.
현재 AIO가 공개한 가치 판단 데이터와 벤치마크 환경은 이 전체 로드맵의 첫 단계입니다.
- 현재: 가치 판단 데이터와 벤치마크 대시보드 운영
- 다음 단계: 증거 유형, 출처 유형 측정 확장
- 장기 목표: 권위 스택 기반 응답 예측과 적용 평가
PRISM이 실제로 가능하게 하는 것
PRISM은 AI를 더 도덕적으로 보이게 만드는 장치가 아닙니다. 오히려 AI가 어떤 판단 구조를 통해 결론을 냈는지 숨길 수 없게 만드는 장치입니다.
즉, PRISM은 다음을 가능하게 합니다.
- 블랙박스형 정렬 정책의 외부 진단
- 권위 오염의 위치 추적
- 모델 간 가치·증거·출처 구조 비교
- 배포 전 무결성 스크리닝과 감사 정량화
현재 사이트에서의 역할
AIO 사이트에서 PRISM은 세 방식으로 작동합니다.
- 이 페이지: 개념과 측정 논리 설명
- 벤치마크 탭: 데이터 탐색과 인터랙티브 분석
- 리포트/RFC 경로: 측정 결과의 공개 운영과 제도 연결
이 세 경로는 서로 경쟁하지 않습니다. 하나의 운영 체계를 서로 다른 각도에서 보여주는 것입니다.
왜 중요한가
AI 무결성의 목표는 단순한 안전성도, 단순한 윤리성도 아닙니다. 목표는 판단 경로의 투명성입니다.
PRISM은 그 투명성을 측정 가능하고, 비교 가능하고, 적용 가능한 것으로 바꾸는 핵심 도구입니다.