Throughput

Quantidade de unidades concluídas por intervalo de tempo sob uma carga declarada. Em sistemas de IA, a unidade pode ser requests por segundo, tokens gerados por segundo ou tarefas agênticas concluídas por hora. O valor só é comparável quando informa concorrência, tamanho das entradas e saídas, hardware, política de batching e taxa de erro.

Throughput mede capacidade do sistema, enquanto latência mede o tempo percebido por uma unidade. Aumentar concorrência pode elevar throughput até o ponto de saturação e, ao mesmo tempo, piorar p95, filas, timeouts e custo. Testes úteis mostram a curva de carga, backpressure e limites de qualidade, em vez de publicar apenas o maior número observado.