# Benchmark Cego Multidomínio Multilíngue

Avaliação comparativa, **às cegas**, de 15 sistemas de inteligência artificial em
**7 domínios profissionais** e **3 idiomas** (pt-BR, inglês, mandarim), com banco de
**700 itens**, júri de três juízes, adjudicação, intervalo de confiança e matriz de
confronto.

| | |
|---|---|
| **Regulamento** | [`REGULAMENTO.md`](REGULAMENTO.md) — 46 artigos, aplicável a toda rodada |
| **Sistema de avaliação** | [`SISTEMA.md`](SISTEMA.md) — arquitetura, cegueira dupla, júri, estatística |
| **Executar hoje** | [`RUNBOOK.md`](RUNBOOK.md) — passo a passo (mock em 1 comando, ao vivo com chaves) |
| **Elenco** | [`participantes/ias.md`](participantes/ias.md) · [`participantes/ias.csv`](participantes/ias.csv) |
| **Banco** | [`banco/*.jsonl`](banco/) — 700 itens + [`banco/_manifest.json`](banco/_manifest.json) |
| **Harness** | [`harness/`](harness/) — Python 3.10+, **somente biblioteca padrão** |
| **Testes** | [`tests/`](tests/) — 19 testes (banco, cegueira, estatística) |

## Composição do banco

| Domínio | Itens | pt-BR | en | zh | mcq | aberto | cálculo | Pontos |
|---|---|---|---|---|---|---|---|---|
| Jurídica | 100 | 34 | 33 | 33 | 60 | 25 | 15 | 290 |
| Médica | 100 | 34 | 33 | 33 | 60 | 25 | 15 | 290 |
| Proptech | 100 | 34 | 33 | 33 | 60 | 25 | 15 | 290 |
| Compliance | 100 | 34 | 33 | 33 | 60 | 25 | 15 | 290 |
| Bank | 100 | 34 | 33 | 33 | 60 | 25 | 15 | 290 |
| Energia | 100 | 34 | 33 | 33 | 60 | 25 | 15 | 290 |
| Negócios | 100 | 34 | 33 | 33 | 60 | 25 | 15 | 290 |
| **Total** | **700** | **238** | **231** | **231** | **420** | **175** | **105** | **2.030** |

- **Tipos:** `mcq` (4 alternativas, 2 pts, correção automática) · `calc` (numérico com
  tolerância, 3 pts, correção automática) · `aberto` (rubrica de 3 a 5 critérios, 5 pts, júri).
- **Dificuldade:** 3% grau 1 · 41% grau 2 · 47% grau 3 · 7% grau 4 · 2% grau 5.
- **Idiomas:** o item é formulado e respondido no mesmo idioma; sem tradução auxiliar.
- **Jurisdições:** pt-BR = direito brasileiro; en = common law / EUA / GDPR-AI Act;
  zh = direito chinês. Itens médicos seguem diretrizes internacionais e locais.

## Execução em 3 comandos

```bash
cd /home/matheus/benchmark-cego
make validate   # valida o banco (700 itens, schema, duplicatas, balanceamento)
make test       # 19 testes unitários
make demo       # rodada completa em modo mock, sem chaves de API
```

Saída de `make demo`: `resultados/demo/leaderboard.md`, `resultados.csv`, `itens.csv`, `resumo.json`.

Para rodar **ao vivo** (chaves de API em variáveis de ambiente):

```bash
export OPENAI_API_KEY=...        # e as demais, conforme harness/config.json
make live
```

Detalhes, custos e escalonamento: [`RUNBOOK.md`](RUNBOOK.md).

## Como a cegueira funciona

1. **Do avaliado:** prompt de aplicação neutro e idêntico para todos; não menciona
   benchmark, domínio, concorrentes nem número de itens.
2. **Do juiz:** as respostas são anonimizadas (`SISTEMA-01..15`, atribuídos por semente),
   com remoção de autoidentificação, nomes de produto e metadados; apresentadas em
   ordem aleatória reproduzível.
3. **Do resultado:** o mapa `SISTEMA-XX → participante` só é materializado no relatório.

## Avisos importantes

- O **leaderboard de `resultados/demo/` é simulado**: o modo mock usa perfis de qualidade
  determinísticos para exercitar o pipeline. Ele **não** mede capacidade real de nenhum
  sistema. Só `make live` produz evidência.
- **Executivos e modelos** foram verificados em 11/11/2026 (fontes em
  `participantes/ias.md`). A liderança desse setor muda rápido: reverificar por rodada
  (art. 6º do regulamento).
- Itens sensíveis (médica, jurídica, compliance) são de registro técnico-professional e
  não constituem orientação individualizada.