O que é a latência p99?

It's o limite superior das latências experimentadas por 99% dos fluxos (por exemplo, fluxos TCP, pedidos HTTP, RPCs, ...). Em outras palavras, 99% dos fluxos estão experimentando menos que a latência p99 (aka 99th-percentile).

Por que é usado?
Na maioria das aplicações, queremos minimizar as latências de cauda, que correspondem à pior experiência do utilizador. Agora, dado que temos aproximadamente 1% de ruído em nossas medições (como congestionamentos de rede, interrupções, degradações de serviço), a latência p99 é um bom representante do pior caso. E, quase sempre, o nosso objectivo é reduzir a latência p99.

Deixe que lhe dê um exemplo. Digamos que você tem uma aplicação web que seus dados são armazenados em um banco de dados persistente e também são parcialmente armazenados em cache na memória. Se você responder 90% dos pedidos do cache, mas 10% do DB persistente, a latência p99 é determinada pela latência do DB's. Nesta fase, você precisa trabalhar no design e estratégia de cache do seu BD para melhorar o p99, caso contrário você'receberá muitas reclamações dos seus clientes (usuários finais ou outros desenvolvedores da sua equipe).