§ PostgreSQL monitoring via Zabbix

Настройка мониторинга PostgreSQL в Zabbix или Постгрес под наблюдением.

В PostgreSQL есть ряд системных таблицы в которых хранится статистика работы кластера БД. Выполняя обычные SQL запросы в эти таблицы можно получать разнообразные данные о базах, таблицах, индексах. 
ATTENTION: Эта статья, скрипты и конфиги устарели. Новая статья здесь.
ATTENTION: Эта статья, скрипты и конфиги устарели. Новая статья здесь.
Мониторинг будет строиться на основе bash-скриптов, которые играют роль оберток для SQL-запросов. В конфигурации агента будут определены ряд ключей с помощью которых сервер мониторинга будет опрашивать агента и получать необходимую информацию. Учитывая что статистические таблицы содержат информацию разного характера, поэтому скриптов будет несколько. В интернетах можно найти похожий вариант скриптов написанный на питоне, однако для его работы нужно ставить пару пакетов. Для bash-скриптов же, не нужно поддерживать избыточные зависимости, и если сравнивать с аналогом на питоне, то там нет некоторых возможностей, например возможность мониторинга потоковой репликации и детальной потабличной статистики вроде  blk_read/heap_read, seq_read/idx_scan и т.п. 

Дополнительно стоит отметить, что для сбора статистических данных необходимо включить следующие параметры в postgresql.conf:

• track_activities - включает мониторинг выполнения команд всеми серверными процессами;
• track_counts - включает сбор статистики по таблицам и индексам;
• track_functions - включает сбор информации по пользовательским функциям;
• track_io_counts - включает мониторинг блочного ввода-вывода (параметр появился в 9.2, включение может дать оверхед использования ресурсов, мониторинг с помощью информации предоставлямой параметром, здесь не рассматривается).

Статья будет строиться следующим образом: сначала будет описан процесс настройки, затем будет приведено описание всех ключей и затем в конце ссылки на скрипты и шаблон.
Итак, поехали:
Берем скрипты в репозитории на гитхабе или создаем их вручную и устанавливаем в каталог /var/lib/zabbix/scripts/ 
# git clone https://github.com/lesovsky/zabbix-extensions/
# cp -a zabbix-extensions/files/postgresql/scripts/ /usr/libexec/zabbix-extensions/scripts/
# cp zabbix-extensions/files/postgresql/postgresql.conf /etc/zabbix/zabbix_agentd.d/
# chown zabbix: /usr/libexec/zabbix-extensions/scripts/pgsql.*
# chmod 750 /usr/libexec/zabbix-extensions/scripts/pgsql.*

Скрипты запускаются из под аккаунта zabbix и для подключения к PostgreSQL необходимо наличие файла с реквизитами .pgpass. Пропишите туда роль которая будет использоваться для подключения к PostgreSQL. В скриптах используется механизм который берет реквизиты из файла .pgpass. Тем не менее в ключах можно явно указать базу, тогда при выполнении скриптов, запросы будут брать данные относительно неё.
# echo 'localhost:5432:app_db:app_role:app_pass' > ~zabbix/.pgpass

Как видно ключи, для получения данных, используют скрипты и передают туда аргументы, в качестве аргументов как правило выступают имена таблиц, индексов, специальные параметры. Теперь нужно подгрузить этот файл в основную конфигурацию zabbix. В последних версиях появился специальный каталог откуда подгружаются все размещенные там конфиги, поэтому можно положить его туда и перезапустить агента.
# echo 'Include=/etc/zabbix/postgresql.conf' >> /etc/zabbix/zabbix_agentd.conf
# /etc/init.d/zabbix-agentd restart

Теперь все готово для мониторинга, осталось скачать шаблон и загрузить его в веб интерфейс и назначить на целевой хост. Скачать шаблон можно также из репозитория
Описание скриптов и ключей.
pgsql.ping.sh - отклик от БД.

• pgsql.ping - время отклика от PostgreSQL. В psql посылается простой "SELECT 1".

pgsql.uptime.sh

• pgsql.uptime - время работы PostgreSQL c момента запуска. 

pgsql.connections.sh - информация о соединениях.

• pgsql.connections[idle_in_transaction] - количество соединений в состоянии простаиваемых транзакций;
• pgsql.connections[idle] - количество проставиваемых соединений;
• pgsql.connections[total] - общее количество соединений;
• pgsql.connections[running] - количество активных соединений;
• pgsql.connections[waiting] - количество ожидающих соединений (много = плохо).

pgsql.transactions.sh - информация о транзакциях (доступно до версии 9.2).

• pgsql.transactions[idle] - самая долгая транзакция в состоянии 'idle'; (наличие таковых с большим временем = нежелательно);
• pgsql.transactions[running] - самая долгая выполняющаяся транзакция;
• pgsql.transactions[waiting] - самая долгая транзакция в состоянии ожидания (наличие таковых с большим временем = крайне нежелательно).

pgsql.db.size.sh

• pgsql.db.size[имя_базы] - вычисляет размер указанной базы.

pgsql.dbstat.sh - общая статистика по базе вцелом, аргумент с именем базы является опциональным:

• pgsql.dbstat[blks_hit,имя_базы] - количество страниц прочитанных из кэша;
• pgsql.dbstat[blks_read,имя_базы] - количество страницы прочитанных с диска;
• pgsql.dbstat[commits,имя_базы] - количество коммитов транзакций;
• pgsql.dbstat[rollbacks,имя_базы] - количество откатов транзакций;
• pgsql.dbstat[tup_deleted,имя_базы] - количество удаленных строк;
• pgsql.dbstat[tup_inserted,имя_базы] - количество вставленных строк;
• pgsql.dbstat[tup_fetched,имя_базы] - количество запрошенных строк;
• pgsql.dbstat[tup_updated,имя_базы] - количество обновленных строк;
• pgsql.dbstat[tup_returned,имя_базы] - количество строк отданных клиенту.

pgsql.relation.size.sh - размер отдельного индекса или таблицы без индексов, аргумент с именем базы является опциональным:

• pgsql.relation.size[таблица/индекс,имя_базы] - получить размер индекса или размет таблицы без индексов.

pgsql.indexes.size.sh - размер всех индексов для указанной таблицы, аргумент с именем базы является опциональным:

• pgsql.indexes.size[таблица,имя_базы] - получить размер всех индексов для указанной таблицы.

pgsql.relation.stat.sh - детальная статистика по таблицам, аргумент с именем базы является опциональным:

• pgsql.relation.stat[таблица,heapread,имя_базы] - количество блоков таблицы прочитанных с диска (много = плохо);
• pgsql.relation.stat[таблица,heaphits,имя_базы] - количество страниц таблицы прочитанных из кэша (много = хорошо);
• pgsql.relation.stat[таблица,idxread,имя_базы] - количество блоков индекса прочитанных с диска (много = плохо);
• pgsql.relation.stat[таблица,idxhits,имя_базы] - количество страниц индекса прочитанных из кэша (много = хорошо);
• pgsql.relation.stat[таблица,toastread,имя_базы] - количество блоков TOAST-таблицы прочитанных с диска;
• pgsql.relation.stat[таблица,toasthits,имя_базы] - количество страниц TOAST-таблицы прочитанных из кэша;
• pgsql.relation.stat[таблица,seqscan,имя_базы] - количество выполненых последовательных сканирований таблицы (чем меньше, тем лучше);
• pgsql.relation.stat[таблица,seqread,имя_базы] - количество последовательных чтений из таблицы;
• pgsql.relation.stat[таблица,idxscan,имя_базы] - количество проходов по индексу (чем больше тем лучше);
• pgsql.relation.stat[таблица,idxfetch,имя_базы] - количество строк отданных в результате прохода по индексу;
• pgsql.relation.stat[таблица,inserted,имя_базы] - количество вставленных в таблицу строк;
• pgsql.relation.stat[таблица,updated,имя_базы] - количество обновленных строк в таблице;
• pgsql.relation.stat[таблица,deleted,имя_базы] - количество удаленных из таблицы строк;
• pgsql.relation.stat[таблица,hotupdated,имя_базы] - количество HOT строк в таблице;
• pgsql.relation.stat[таблица,live,имя_базы] - количество живых строк в таблице;
• pgsql.relation.stat[таблица,dead,имя_базы] - количество строк помеченных для удаления (место занятое строкой освободится после вакуумации).

pgsql.buffercache.sh - статистика использования буферов. Тут используются тяжелые запросы и использование этой части мониторинга дает нагрузку на БД.

• pgsql.buffercache[clear] - количество чистых буферов;
• pgsql.buffercache[dirty] - количество буферов помеченных для очистки bgwriter'ом;
• pgsql.buffercache[used] - количество используемых буферов;
• pgsql.buffercache[total] - общее количество буферов.

pgsql.autovacuum.freeze.sh

• pgsql.autovacuum.freeze - мониторинг состояния Transaction ID Wraparound (подробней здесь http://www.postgresql.org/docs/9.0/interactive/routine-vacuuming.html).

pgsql.wal.write.sh - сбор информации об интенсивности записи WAL-журналов (только для мастера). Тут стоит сказать, если в графике наблюдаются пики, следует увеличить значение checkpoint_segments:

• pgsql.wal.write - получить текущую позицию записи WAL журнала.

pgsql.streaming.lag.sh - получение состояния потоковой репликации (только для слейва):

• pgsql.streaming.lag[master] - получение лага репликации (чем меньше тем лучше, в идеале ноль).

Собственно, все. Также в шаблоне есть несколько параметров по мониторингу места, количества архивов и т.п. Эти параметры используют встроенные в zabbix ключи.

Скачать скрипты.
Скачать шаблон.

На главную "Virtualizing Linux"