REGULAMENTO DO BENCHMARK Cego MULTIDOMÍNIO MULTILÍNGUE

**Documento:** REG-BC-2026-001 · **Versão:** 1.0 · **Data de emissão:** 11/11/2026 **Organização responsável:** Comitê de Avaliação (a "Organização") **Aplicação:** `harness/run.py` (regras operacionais em `SISTEMA.md`, passo a passo em `RUNBOOK.md`)

CAPÍTULO I — DISPOSIÇÕES GERAIS

**Art. 1º — Objeto.** Este regulamento disciplina a avaliação comparativa, às cegas, de sistemas de inteligência artificial generativa ("IAs", "Sistemas" ou "Participantes") em sete domínios profissionais e três idiomas, por meio de banco de 700 itens e de correção rubrica auditável.

**Art. 2º — Finalidade.** Produzir (a) classificação comparativa de capacidade, (b) diagnóstico por domínio e por idioma, (c) evidência de adequação a uso profissional, e (d) série histórica reprodutível entre rodadas. O resultado **não** constitui certificação, selo de qualidade ou recomendação de contratação.

**Art. 3º — Princípios.** Cegueira (dupla), simetria de informação, aleatoriedade controlada, reprodutibilidade, auditabilidade, minimização de dados pessoais, não interferência nos Participantes e divulgação de conflitos de interesse.

**Art. 4º — Definições.**

• Item: unidade de avaliação (pergunta), com identificador, domínio, idioma, tipo, dificuldade, enunciado e gabarito/rubrica.
• Rodada: execução completa do banco por todos os Participantes num mesmo intervalo de tempo.
• Prova: subconjunto de 90% dos itens, mantido em sigilo até o início da rodada.
• Calibração: subconjunto de 10% dos itens, divulgado previamente para ajuste de juízes e detecção de itens defeituosos.
• Juiz: sistema de IA que pontua respostas abertas contra a rubrica, sem conhecer o autor.
• Adjudicador: juiz senior que resolve divergências de pontuação acima do limite do art. 24º.
• Canário: sequência única e não pública inserida em item para detectar contaminação do banco.
• Pontuação de processo: métricas de latência, custo, taxa de recusa e conformidade de formato.

CAPÍTULO II — DOS PARTICIPANTES

**Art. 5º — Elenco.** Compõe a rodada os 15 Participantes do Anexo A (`participantes/ias.csv`), com modelos, executivos, afinidade de idioma e data de referência. O banco de reserva (16 a 20 do Anexo A) substitui desistentes por ordem de classificação da rodada anterior.

**Art. 6º — Reverificação.** Antes de cada rodada, a Organização deve reverificar os campos `executivos` e `modelos_referencia` de cada Participante, registrando data e fonte no `participantes/ias.md`. Divergência não revertida em 5 dias úteis implica uso do campo marcado `verificar` e nota de rodapé no relatório.

**Art. 7º — Conflito de interesse.** É vedado a um Participante atuar como juiz de si mesmo, de entidade do mesmo grupo econômico ou de sistema operado pela Organização. A configuração de juízes é pública em `harness/config.json` e auditável. Participante com conflito declarado pode ser avaliado, mas nunca julgar.

**Art. 8º — Condições de prova.** Todos os Participantes são submetidos a condições idênticas: mesmo enunciado, mesma temperatura (padrão 0,2), mesmo `max_tokens` (padrão 2.048), mesmo timeout (120 s), mesma instrução de sistema, mesma ordem de apresentação e nenhum acesso a ferramentas externas, salvo disposição expressa em rodada específica.

**Art. 9º — Versão do modelo.** Deve ser registrado o identificador exato do modelo e o `build`/`snapshot` reportado pelo provedor. Modelos com pesos abertos devem ter o `checksum` do artefato arquivado. Mudança de versão no meio da rodada invalida os resultados do Participante e obriga repetição integral.

CAPÍTULO III — DO BANCO DE ITENS

**Art. 10 — Composição.** O banco tem 700 itens assim distribuídos:

**Art. 11 — Dificuldade.** Cada item recebe grau de 1 (factual) a 5 (especialista sênior, combinatório e sujeito a armadilha). A distribuição efetiva do banco v1.0 é: **3% grau 1, 41% grau 2, 47% grau 3, 7% grau 4 e 2% grau 5**. Cada domínio deve conter itens em pelo menos três graus distintos e no mínimo 5% dos seus itens em grau 4 ou superior. A distribuição é registrada em `banco/_manifest.json`.

**Art. 12 — Tipos.**

• mcq: múltipla escolha de 4 alternativas, correção automática por gabarito (2 pontos).
• calc: resposta numérica com tolerância declarada, correção automática (3 pontos).
• aberto: resposta discursiva corrigida por rubrica de 3 a 5 critérios (5 pontos).

**Art. 13 — Pesos.** O peso do item é fixo por tipo (2/3/5). A pontuação final de um Participante é a soma dos pontos obtidos, normalizada para 0–100 por domínio e no global. O peso máximo global da rodada é 2.030 pontos.

**Art. 14 — Idiomas.** Cada item é formulado no idioma de aplicação e exige resposta no mesmo idioma. É proibido apresentar tradução auxiliar. A paridade de dificuldade entre idiomas é verificada no teste de calibração (art. 22).

**Art. 15 — Sigilo e canários.** Os itens da prova permanecem em repositório de acesso restrito até o início da rodada. Cada item da prova contém canário único. Divulgação do canário ou do banco antes da rodada é falta grave (art. 30).

**Art. 16 — Qualidade do item.** Nenhum item é aceito sem: gabarito verificável ou rubrica operacionalizável, justificativa técnica para mcq/calc, ausência de ambiguidade e referência normativa ou metodológica quando aplicável. Itens com taxa de acerto do juiz-adjudicador inferior a 20% ou superior a 95% no teste de calibração são revistos ou descartados.

**Art. 17 — Atualização.** O banco é versionado (`banco/_manifest.json`). Alteração de item exige novo identificador; é vedado editar item já aplicado em rodada publicada.

CAPÍTULO IV — DO PROTOCOLO CIEGO

**Art. 18 — Cegueira do avaliado.** O Participante não é informado de que a interação integra avaliação comparativa, nem do domínio, do idioma de origem do banco, do número de itens nem dos concorrentes.

**Art. 19 — Cegueira do juiz.** As respostas são anonimizadas antes da correção: recebem identificador opaco (`SISTEMA-XX`), têm removidos metadados, marcas de estilo, autoidentificação, nomes de produtos e informações de provedor, e são apresentadas em ordem aleatória reproduzível por semente.

**Art. 20 — Simetria.** Todos os Participantes recebem exatamente o mesmo tratamento de contexto. É vedado fornecer a um Participante dica, formato de resposta preferencial ou exemplo que não tenha sido dado aos demais.

**Art. 21 — Aleatoriedade controlada.** A ordem dos itens é embaralhada por semente pública. A semente e o `hash` do banco utilizado são registrados no relatório para permitir reexecução idêntica.

CAPÍTULO V — DA CORREÇÃO

**Art. 22 — Teste de calibração.** Antes da rodada, os itens de calibração são aplicados a 3 juízes e a 2 revisores humanos. Serve para: (a) fixar ancoragem da rubrica, (b) medir concordância interjuiz, (c) detectar itens defeituosos e (d) verificar paridade de dificuldade entre idiomas.

**Art. 23 — Correção objetiva.** Itens mcq e calc são corrigidos por comparação determinística com o gabarito, sem intervenção de juiz. Respostas fora do formato exigido recebem zero no item, mas não penalizam outros itens.

**Art. 24 — Júri de itens abertos.** Cada resposta aberta recebe três pontuações independentes (escala 0–5 por critério, média aritmética) de juízes distintos. Divergência máxima entre juízes superior a 1,5 ponto aciona o Adjudicador, cuja nota substitui a média.

**Art. 25 — Ancoragem da rubrica.** Cada critério da rubrica tem âncora de nível 0, 3 e 5 redigida em exemplo. A pontuação é obrigatoriamente ancorada; é vedado pontuar por impressão geral. A rubrica é publicada com o item.

**Art. 26 — Auditoria humana.** Amostra aleatória de 10% dos itens abertos, no mínimo 3 itens por domínio e idioma, é pontuada por revisor humano sem acesso à nota dos juízes. Divergência humana-média superior a 1,0 ponto invalida o item na rodada.

**Art. 27 — Recusa legítima.** Resposta que declina por política de segurança do Participante é registrada como `recusa` e pontuada 0 no item, sem penalidade adicional. A taxa de recusa é relatada separadamente e não é somada à nota de capacidade.

CAPÍTULO VI — DA PONTUAÇÃO E CLASSIFICAÇÃO

**Art. 28 — Pontuação bruta e normalizada.** Pontuação normalizada = (pontos obtidos ÷ pontos possíveis do recorte) × 100, calculada no global, por domínio e por idioma.

**Art. 29 — Classificação.** A classificação principal usa a média das três execuções de pontuação por domínio, com desempate nesta ordem: (1) nota global, (2) nota nos itens de grau 4–5, (3) nota em idioma não nativo do Participante, (4) menor variância entre juízes, (5) menor custo por ponto.

**Art. 30 — Incerteza.** Todo resultado é publicado com intervalo de confiança de 95% por bootstrap (1.000 reamostragens) e com número de itens. Diferença inferior à metade da amplitude dos intervalos sobrepostos é declarada "empate técnico".

**Art. 31 — Comparação pareada.** A classificação é complementada por matriz de confronto direto (Bradley-Terry/Elo) calculada sobre os itens em que ambos os sistemas pontuaram, com força inicial 1.500 e K=16, apenas para leitura de robustez.

**Art. 32 — Processo.** Latência (p50/p95), custo por 1.000 itens e taxa de conformidade de formato são publicados em colunas próprias e **não** alteram a nota de capacidade.

CAPÍTULO VII — INTEGRIDADE E ANTICONTAMINAÇÃO

**Art. 33 — Canários.** O relatório deve informar quantos itens tiveram o canário reproduzido de forma suspeita. Reprodução integral de canário em resposta é indício de contaminação e obriga reaplicação do item com variante.

**Art. 34 — Detecção de similaridade.** É calculada a sobreposição de n-gramas (n=8) entre enunciado e resposta. Valor acima de 0,6 em item aberto é sinalizado para revisão humana.

**Art. 35 — Proibição de tuning direcionado.** Participante não pode ser submetido a treinamento direcionado ao banco da rodada entre a divulgação do teste de calibração e o fim da rodada. A Organização não fornece o banco da prova a nenhum Participante.

**Art. 36 — Guarda de evidências.** Respostas brutas, `hashes`, registros de chamada e pontuações são arquivados por 24 meses em `resultados//`.

CAPÍTULO VIII — ÉTICA, DADOS E SEGURANÇA

**Art. 37 — Minimização.** Itens não contêm dados pessoais reais. Personagens são fictícios. Quando houver dado sensível, é usado sintético e declarado.

**Art. 38 — Conteúdo sensível.** Itens das áreas médica, jurídica e compliance são redigidos em registro técnico-professional, sem orientação individualizada a pessoa natural, sem prescrição de tratamento a paciente identificável e sem incentivo a ilícito.

**Art. 39 — Marco legal.** O tratamento observa a LGPD (Lei 13.709/2018), o GDPR e a PIPL (Lei de Proteção de Dados Pessoais da China, 2021), conforme a sede do operador. Respostas contendo dado pessoal são descartadas antes do arquivamento.

**Art. 40 — Uso indevido.** O banco não pode ser usado para treinar, destilar ou ajustar modelo sem autorização escrita da Organização.

CAPÍTULO IX — DIVULGAÇÃO E CONTESTAÇÕES

**Art. 41 — Relatório.** Ao fim da rodada é publicado relatório com: metodologia, elenco e versões, pontuações e intervalos, matriz pareada, métricas de processo, taxa de recusa, itens descartados, auditoria humana e limitações conhecidas.

**Art. 42 — Transparência parcial.** O relatório divulga os itens da calibração. Os itens da prova são divulgados 90 dias após a rodada, para permitir reaplicação e verificação.

**Art. 43 — Contestação.** Qualquer Participante ou revisor pode contestar item em até 10 dias da divulgação, com justificativa técnica. A Organização responde em 10 dias; item anulado é removido do cálculo de todos os Participantes.

**Art. 44 — Revisão.** Este regulamento é revisto a cada 6 meses ou a cada 3 rodadas.

CAPÍTULO X — DISPOSIÇÕES FINAIS

**Art. 45 — Interpretação.** Dúvida sobre aplicação é resolvida pelo Comitê de Avaliação e registrada em ata anexa à rodada.

**Art. 46 — Vigência.** Este regulamento vigora a partir de 11/11/2026.

ANEXO A — Elenco resumido

Detalhes, executivos e fontes: `participantes/ias.md`.