Pass@k e Pass^k

Duas leituras de sucesso repetido que respondem a riscos opostos. Pass@k mede se pelo menos uma entre k tentativas resolve o caso, sendo comum em geração de código e busca por candidatos. Pass^k, notação menos padronizada, exige que todas as k execuções passem e expõe confiabilidade sob repetição. Um sistema pode ter Pass@k alto enquanto permanece inconsistente.

Sob tentativas independentes com probabilidade p constante, as aproximações são 1 - (1 - p)^k para Pass@k e p^k para Pass^k. Execuções reais compartilham prompt, modelo, dados e falhas, portanto essa independência precisa ser testada. A primeira métrica serve a cenários em que basta encontrar uma solução; a segunda revela se a operação pode ser repetida sem depender de sorte.