"pgbench не бенчмарк" или почему не нужно использовать pgbench для анализа производительности СУБД

В ходе работ по подготовке эпюры производительности СУБД в очередной раз была получена иллюстрация проблем использования среднего арифметического при расчете производительности СУБД .

Первые же результаты , показали несогласованность pgbench (TPS) - с реальными показателями производительности СУБД

Значение tps получено тривиально, из результата теста : лог | grep tps

Среднее время отклика СУБД

Время отклика вычисляется , также, стандартно: SUM(total_exec_time) / SUM(calls) За период из представления pg_stat_statements.

1) Если ориентироваться на результаты pgbench, то , при росте количества подключений c 60 до 70 - tps вырос с 12870,870996 до 13294,489494 (+3%)

2) Если ориентироваться на среднее время отклика СУБД , то, при аналогичном росте количества подключений c 60 до 70 - среднее время отклика увеличилось на 100%

Производительность СУБД растет с ростом нагрузки или нет ?

Очередная иллюстрация на тему - ни TPS , ни время отклика - по отдельности не являются метриками производительности СУБД, потому, что не позволяют предсказать и описать реальную картину и получить объективные данные о реальной производительности СУБД .