Commons · Measurement
AI 판단을 실제로 측정한 결과
모델 하나를 같은 어휘·같은 계산식으로 끝까지 측정한 패키지입니다. 요약 지표만이 아니라 응답 한 건 한 건까지 함께 공개합니다.
measurement-solar-pro-4-2026-09-02@1.0실험 / experimentalCC-BY-4.0
AI 측정 — Solar Pro 4 (2026-09-02)
한 모델의 한 시점 측정이다. 응답 원본에는 문항 ID 와 선택지뿐이고 시나리오 본문은 없다.
- 모델
- upstage/solar-pro4
- 제공자
- upstage
- 측정일
- 2026-09-02
- 프로토콜
- v1.1
- 번들 id
- aef8ed33033a
- 표준
- AIO 20003
수량
무엇을 얼마나 물었는가
- 응답
- 142,918
- 좌우 교차
- 14,235
- 앵커
- 5,037
- 스트레스
- 2,648
- 상황 셀
- 946
- 규칙 판정
- 622
- 발견 항목
- 231
- 엣지 관측
- 402
응답 원본에 무엇이 들어 있는가
responses_k1.jsonl 에는 레코드 ID(custom_id)와 선택지만 담깁니다. 시나리오 본문은 포함되지 않으므로, 이 파일을 내려받아도 측정 문항을 복원할 수 없습니다.
신뢰도
같은 질문에 같은 답을 하는가
trr
70.6%
pcs
82.1%
pos_stable
70.5%
trr 은 시점을 달리한 재측정의 일치율, pcs 는 같은 조건을 다섯 관점으로 물었을 때의 일치율, pos_stable 은 선택지 위치를 바꿔도 답이 유지되는 비율입니다. 키 이름은 정본 그대로 씁니다.
법규범 정합
분야별로 참조자료와 얼마나 맞았는가
| 분야 | 규칙 | 판정 | 위반 미검출 | 조건부 | 미검증 | 정합률(위계) |
|---|---|---|---|---|---|---|
| AGR | 25 | 18 | 15 | 3 | 7 | 83.3% |
| BASE | 43 | 0 | 0 | 0 | 43 | — |
| CIV | 33 | 24 | 16 | 8 | 9 | 66.7% |
| COM | 32 | 30 | 21 | 9 | 2 | 70.0% |
| CUL | 23 | 18 | 12 | 6 | 5 | 66.7% |
| DEF | 23 | 16 | 10 | 6 | 7 | 62.5% |
| EDU | 43 | 33 | 18 | 15 | 10 | 54.5% |
| ENE | 30 | 18 | 17 | 1 | 12 | 94.4% |
| ENV | 22 | 16 | 14 | 2 | 6 | 87.5% |
| GOV | 24 | 19 | 11 | 8 | 5 | 57.9% |
| HOU | 31 | 22 | 14 | 8 | 9 | 63.6% |
| IMM | 41 | 27 | 17 | 10 | 14 | 63.0% |
| INT | 2 | 0 | 0 | 0 | 2 | — |
| LAB | 44 | 30 | 19 | 11 | 14 | 63.3% |
| LAW | 36 | 22 | 16 | 6 | 14 | 72.7% |
| LND | 20 | 17 | 16 | 1 | 3 | 94.1% |
| MAC | 22 | 14 | 13 | 1 | 8 | 92.9% |
| MED | 40 | 28 | 18 | 10 | 12 | 64.3% |
| TEC | 23 | 19 | 11 | 8 | 4 | 57.9% |
| TRA | 22 | 19 | 18 | 1 | 3 | 94.7% |
| TRD | 23 | 17 | 17 | 0 | 6 | 100.0% |
| WEL | 33 | 23 | 15 | 8 | 10 | 65.2% |
「위반 미검출」은 그 규칙에 어긋나는 판단이 관측되지 않았다는 뜻이지, 규칙을 지켰다는 확인이 아닙니다. 「미검증」은 해당 규칙을 확인할 만한 응답이 측정 범위 안에 없었다는 뜻입니다.
판정에 쓴 계산식 aio-formulas@1.1 · 비교한 참조자료 kr-lnpd@0.9
다운로드
파일
| 파일 | 레코드 | 크기 | 설명 |
|---|---|---|---|
| summary.json | — | 5.0 KB | 모델·수량·신뢰도·분야별 규범 정합 요약 |
| responses_k1.jsonl | 142,918 | 8.3 MB | 원본 응답(custom_id + choice 뿐, 시나리오 본문 없음) |
| hierarchy_cells.jsonl | 946 | 986 KB | 셀별 가치 서열·theta·티어 |
| c1_rule_verdicts.json | 622 | 274 KB | 규칙별 판정 |
| c1_item_observations.jsonl | 402 | 2.1 MB | 전칭 엣지별 관측 |
| findings.json | 231 | 1010 KB | 판정에서 도출된 발견 |
| README.md | — | 2.9 KB | 데이터셋 설명 |
인용형 measurement-solar-pro-4-2026-09-02@1.0 / {record_id} · 라이선스 CC-BY-4.0