처음 재는 사람을 위한 15분 안내
Tier 0 은 모델 한 버전이 정형화된 기준 문항에서 보인 판단을 재서 서명된 성적서로 남깁니다. 이 페이지는 그 절차를 시험 전 5분, 시험 실행 10분, 성적서를 받은 뒤의 세 단계로 안내합니다.
재기 전에 읽을 세 가지
1이 측정이 재는 것과 재지 않는 것을 확인하세요
재는 것은 모델 판단의 정렬뿐입니다. 공개 문항에서 선언한 위계(V/E/S)가 정형화된 조항의 기대와 얼마나 맞는지(관문 A), 압박이 걸린 시나리오에서 조항의 규범적 방향에 맞게 판단하는지(관문 B)를 봅니다. 조직 쪽 의무(리스크 관리 시스템, 로깅 인프라, 기술문서, 품질경영, 시판 후 모니터링, 적합성 평가 절차)는 하나도 재지 않습니다. 이는 정도가 아니라 범위의 한계이므로, 점수가 아무리 높아도 관리체계 의무를 이행했다는 증거가 되지 않습니다.
원문: 측정 안내 이 측정이 재는 것 / 재지 않는 것, 그리고 페이지 전체는 /ko/certification 에 있습니다.
2관문 A 공개 뱅크로 시험지를 미리 보세요
관문 A 의 12개 문항과 그 기대 위계는 설계상 전부 공개되어 있습니다. 놀래키려는 시험이 아니라 정형화 자체를 읽고 반박할 수 있게 하려는 설계이며, 그래서 관문 A 점수는 하한선으로 읽습니다. 시험을 시작하기 전에 문항을 직접 열어 보세요. 무엇을 묻는지 먼저 보면 응답 형식(V:Ach<Sep 같은 위계 표기)도 어렵지 않습니다.
- 정답 키 없이 받는 형태: /api/eval/items?pack=eu-ai-act
- EU AI Act — AIO 정형화 팩의 공개 뱅크 파일: /content/standards-packs/item-banks/eu-ai-act.public.json
- 지금 시험을 시작할 수 있는 팩은 10개입니다. 목록은 측정 안내의 기준 팩 절 에 있고, 뱅크가 없는 팩 id 로 호출하면 404 가 돌아옵니다.
관문 B 는 반대입니다. 조항마다 3문항씩 비공개 회전 풀에서 시험마다 새로 뽑히고, 기대 답과 근거 조항 표기는 함께 내려오지 않습니다. 미리 볼 수 있는 것은 관문 A 뿐입니다.
3채점 전에 성적서 읽는 법을 먼저 읽으세요
성적서를 받은 다음에 읽는 법을 찾으면, 이미 숫자에 대한 인상이 생긴 뒤입니다. 해당 대목은 워킹 페이퍼 2026l “적합성 성적서 읽기” 의 §2(성적서가 말하는 것: 필드별 해설)와 §5(자가평가 프로토콜: 기본 측정과 정보를 준 측정, 조항별·레이어별 델타, 참조 밴드, 마진 규율, 재측정 시점)입니다. 이 논문은 아직 공개 전 초안이며, 게재되는 즉시 논문 라이브러리 에 올라옵니다. 그전까지는 같은 내용의 실무 요약이 아래 3. 시험 후 절과 측정 안내의 채점 방법론 §5 참조 분포 에 있습니다.
두 경로: REST API 또는 MCP
학습 델타(기준을 알려 주면 이 모델의 판단이 실제로 움직이는가)를 나중에 보려면, 첫 시험은 팩에 대해 아무것도 보여 주지 않은 상태에서 실행하세요. 팩과 관리 가이드를 컨텍스트에 넣거나 그것으로 파인튜닝한 뒤에는 그 모델의 미적응 기준선을 다시 잴 수 없습니다. 가르친 것을 되돌릴 방법이 없기 때문입니다. 순서가 뒤바뀌면 적응 측정 한 장만 남고, 델타는 영영 구할 수 없습니다.
권장 순서: (1) 미적응 시험 1회로 성적서 A 를 받으세요. (2) 팩과 관리 가이드를 읽힌 뒤 시험 1회로 성적서 B 를 받으세요. (3) 두 성적서의 차이를 조건(같은 모델 버전, 같은 온도, 적응 컨텍스트의 sha256)과 함께 보고하세요. 두 모델을 서로 견주려면 두 모델의 역량이 같다고 가정해야 하지만, 한 모델 안의 델타는 그 가정이 필요 없습니다.
단, 한 번씩만 잰 델타는 잡음과 구별되지 않습니다. 아무것도 바꾸지 않고 다시 돌리기만 해도 관문 A 는 ±0.0142 움직이고, 보정 캠페인 전체에서 관측된 재측정 이동폭의 상한은 0.16 였습니다. 이보다 작은 차이는 차이로 읽지 마세요.
경로 A: REST API
시험지를 한 번 발급받고, 응답을 한 번 제출하세요. 시험지는 24시간 뒤 만료되고 제출은 1회만 받습니다. 제출이 끝나면 점수와 관계없이 서명된 성적서(AIO-S0-…)가 201 로 돌아옵니다.
# 1. 시험지 — Gate A 12 items + Gate B drawn for this attempt
POST https://aioq.org/api/eval/attempt
{ "modelName": "example-model",
"modelVersion": "2026-08-01",
"operator": { "name": "Example AI Inc.",
"email": "compliance@example.com" },
"packId": "eu-ai-act" }
→ 201 { "attemptId": "att_…", "gateA": { … }, "gateB": { … } }
# 2. 모델에게 문항을 풀린다 (여기가 본 작업)
# 3. 두 관문의 응답을 한 번에
POST https://aioq.org/api/eval/submit
{ "attemptId": "att_…",
"answers": [ { "itemId": "…", "response": "…" } ] }
→ 201 { "documentType": "score-report",
"gateAScore": …, "gateBScore": …,
"scoreReport": { "certId": "AIO-S0-…", … } }전체 예제·필드 설명·검증 절차는 개발자·에이전트 안내 에 있습니다. attemptId 없이 제출하면 관문 A 만 채점되고 성적서는 발급되지 않습니다.
경로 B: MCP 도구
에이전트는 HTTP 대신 원격 MCP 서버 https://aioq.org/mcp 에 연결해 같은 일을 도구 호출 네 번으로 끝낼 수 있습니다. 등록은 공개 레지스트리에 남으므로, 에이전트는 호출하기 전에 사용자에게 먼저 확인해야 합니다.
list_standards_packs: 잴 수 있는 팩을 고릅니다.register_for_certification: 모델명·버전·운영 주체를 등록합니다.start_eval_attempt: 시험지를 받습니다(attemptId 포함).submit_eval: 두 관문의 응답을 제출하고 성적서를 받습니다.
클라이언트 설정 예제와 서버가 등록한 도구 전체 목록은 개발자·에이전트 안내 에 있습니다. 발급된 성적서는 verify_certification 으로 같은 자리에서 검증됩니다.
성적서는 스스로를 설명합니다
성적서에는 두 관문의 점수와 함께, 그 점수를 읽는 법이 서명된 필드로 실립니다. 처음에는 아래 네 필드만 보세요.
- margin ±
- 이 폭 안쪽의 차이는 차이가 아닙니다. 관문 A 는 ±0.0142(모델 비결정성만으로 움직이는 폭)이고, 관문 B 는 뽑기 잡음이 더해지므로 팩마다 다릅니다. 두 성적서를 견줄 때 가장 먼저 볼 수입니다.
- referenceBand
- 관문 A 점수와 관문 B 점수가 각각 참조 패널의 비적응(팩을 보여 주지 않은) 관측 범위(최솟값~최댓값)에서 어디쯤인지(below / within / above)를 적습니다. 위쪽 밴드는 인증이 아니라, 이 작은 패널이 팩 없이 도달한 범위보다 높았다는 서술입니다.
- perProvision
- 조항 이름과 함께 실리는 조항별 평균입니다. 어느 조항에서 무너졌는지가 곧 무엇을 고쳐야 하는지를 알려 주므로, 총점 하나보다 훨씬 쓸모 있는 진단 지도입니다.
- gateNote
- 해당하는 팩에서만 붙는 서술입니다. 참조 패널에서 적응 효과가 관문 A 에서는 드러났지만 관문 B 에서는 뽑기 잡음과 구별되지 않았다는 관찰을 담습니다. 이번 측정이 아니라 참조 패널에 대한 진술입니다.
성적서와 함께 그 팩의 관리체계 가이드(ko/en)가 전달됩니다. 성적서는 문항 응답만 재며, 원 규범이 조직에 지우는 의무(리스크 관리 시스템, 로깅과 보관, 기술문서, 품질경영, 시판 후 모니터링, 적합성 평가)는 응답으로 잴 수 없습니다. 가이드는 그 조항들을 조직이 무엇을 갖추어야 하는가의 말로 다시 적고, AIO 20002 판단 기록이 어느 조항에 보조 증거로 대응하는지 정리합니다. 판단 기록은 보조 증거일 뿐, 그 자체로 의무를 이행하지는 않습니다.
밴드를 직접 다시 계산하려면 참조 분포 파일 하나면 됩니다. 서버도 발급 시점에 이 파일로 결정적으로 계산해 서명 본문에 넣으므로, 제3자가 같은 파일로 그대로 재현할 수 있습니다. 파일에는 모델별 점수, 측정 조건, sha256 이 모두 들어 있습니다.
/content/reference-distributions/tier0-v2.json · 읽는 법은 채점 방법론 §5 에 있습니다.
계측기 자체를 감사하려면
- 계측기를 감사할 때 원본은 방법론 워킹 페이퍼(2026k, 이중 관문 설계와 보정 캠페인)이며, 공개되면 논문 라이브러리 에 올라옵니다. 그전까지 공개된 근거는 채점 산식 전문과 참조 분포 원자료입니다.
- 어떤 조항을 어떤 위계로 환산했는지는 공개 RFC 라운드 에서 다룹니다. 정형화나 문항이 틀렸다고 보이면 그곳에 의견을 남기세요.
- 산출물은 성적서이지 인증서가 아닙니다. 어떤 점수도 “AIO 인증” 이 아니며, 높은 점수를 인증으로 표기하면 상표 정책에 어긋납니다.
- Tier 0 은 자가 측정입니다. 운영자가 자기 모델로 직접 실행하며, AIO 는 그 실행을 관측하지 않습니다. 제출된 측정 조건은 “운영자가 그렇게 말했다” 로 서명됩니다.
- AIO 가 모델 API 를 직접 실행하는 감독 측정(proctored)은 현재 제공하지 않습니다.