mangaba-ai/brier-v2

Brier v2 — o mais preciso em texto confiável

Aplicações indicadas:

Decisões tipadas em português: dado um texto (state) e perguntas (choice, score ou noul), devolve a resposta de cada pergunta com probabilidades calibradas e confiança. Adaptador LoRA sobre Qwen3-4B-Instruct-2507 (4 bits).

conjunto	Brier v2	Jev (referência)
sintético	77,5%	79,5%
ASSIN2	72,8%	78,2%
B2W	65,4% (melhor calibração, signif.)	66,8%
tweetSentBR	72,0%	67,6%

Como usar

pip install "brier[mac] @ git+https://github.com/Mangaba-ai/brier"   # Mac Apple Silicon (MLX)
pip install "brier @ git+https://github.com/Mangaba-ai/brier"        # Windows / Linux (PyTorch)

from brier import Brier
b = Brier("v2")
b.decide("A entrega atrasou duas semanas e ninguém respondeu.",
         {"sentimento": {"type": "choice", "instructions": "Sentimento do cliente",
                          "criteria": {"pos": "positivo", "neu": "neutro", "neg": "negativo"}}})

Arquivos: adaptadores.safetensors (LoRA rank 16, 20 camadas, escala 20, formato MLX), config.json (treino), calibracao.json (limiar do conjunto conformal APS). O pacote baixa a base mlx-community/Qwen3-4B-Instruct-2507-4bit e, fora do Mac, dequantiza e funde o LoRA em PyTorch. Latência num MacBook Air M5 (MLX): ~0,3 s num pedido curto; ~1,3 s de mediana nos pedidos de teste.

Licença

Estes adaptadores, como publicados aqui, seguem a Apache-2.0 (a mesma do Qwen3, a base). O pacote brier que os carrega tem licença proprietária da Mangaba AI a partir da versão 5.0.0: o uso do pacote depende de autorização (LICENSE). Licenciamento: https://mangaba.ia.br · Site: https://brier.mangaba.ia.br

Método

Máscara de atenção em blocos (cada pergunta vê o texto e a si mesma; todas numa passada) e leitura por logits dos rótulos das opções (até 26 opções por choice). Treino por entropia cruzada contra alvo suave (maioria de 4 votos de LLMs). Detalhes, dados sintéticos e scripts de avaliação: https://github.com/Mangaba-ai/brier

Limites

Acerto medido em 4 conjuntos em português (n=250–1000); referência de desempenho: TypeSafe Jev, um modelo fechado. Nenhuma versão do Brier vence o Jev pelo critério fixado antes (IC95 favorável em acerto e escore de Brier em ≥2 de 3 conjuntos humanos). Textos longos (>2.000 tokens) perdem acerto.