PostgreSQL query planning time and statistics target.

Влияние размера статистики на время планирования запроса в PostgreSQL.

Планировщик - подсистема которая планирует выполнение пришедшего запроса и выбирает оптимальный план который в конечном счете будет использоваться для выполнения запроса. Планировщик в свой работе использует т.н. статистику - специальная информация о данных что хранятся в колонках. Эта статистика периодически собирается с помощью фонового процесса autoanalyze, либо может быть обновлена немедленно с помощью ручного вызова ANALYZE. 

Network problem emulation with Iptables and Iproute2

Network problem emulation with Iptables and Iproute2

Однажды мне понадобилось в Zabbix сделать мониторинг потери пакетов между мастером и репликами (репликация плохо себя чувствует если канал не очень хороший). Для этого, в Zabbix есть встроенный параметр icmppingloss, на удаленный хост отправляется серия ICMP пакетов и результат фиксируется в системе мониторинга. И вот параметр добавлен, триггер настроен. Казалось бы задача выполена, однако как говорится "Доверяй, но проверяй". Осталось проверить что триггер сработает когда потери действительно будут. Итак, как сэмулировать потерю пакетов? Об этом, да и не только, пойдет речь под катом.

Мониторинг PostgreSQL в Zabbix.

Мониторинг PostgreSQL в Zabbix.

PostgreSQL это современная, динамично развивающаяся СУБД с очень большим набором возможностей которые позволяют решать самый широкий спектр задач. Использование PostgreSQL как правило относится к очень критичному сегменту ИТ инфраструктуры который связан с обработкой и хранением данных. Учитывая особое место СУБД в инфраструктуре и степень критичности возложенных на нее задач, возникает вопрос мониторинга и надлежащего контроля за работой СУБД. В этом плане PostgreSQL обладает широкими внутренними средствами сбора и хранения статистики. Собираемая статистика позволяет получить довольно подробную картину о том что происходит под капотом в процессе функционирования СУБД. Эта статистика хранится в специальных системных таблицах-представлениях и постоянно обновляется. Выполняя обычные SQL запросы в эти таблицы можно получать разнообразные данные о базах, таблицах, индексах и других подсистемах СУБД. Ниже я описываю способ и средства для мониторинга PostgreSQL в системе мониторинга Zabbix. Мне нравится эта система мониторинга поскольку предоставляет широкие возможности для реализации самого кастомного мониторинга самых разных систем и процессов.

PostgreSQL 9.4 and Huge Pages

PostgreSQL 9.4 with Huge Pages.

В PostgreSQL начиная с версии 9.4 появилась поддержка больших страниц. Это очень хорошая новость, с большими страницами я познакомился когда работал с виртуализацией. Коротко о чем же речь. В ОС Linux работа с памятью основывается на обращении к страницам размер которых равен 4kB (на самом деле зависит от платформы, проверить можно через getconf PAGE_SIZE), так вот когда объем памяти переваливает за несколько дестков, а то и сотни гигабайт управлять ею становится сложнее, увеличиваются накладные расходы на адресацию памяти и поддержание страничных таблиц. Для облегчения жизни и были придуманы большие страницы, размер которых может быть 2MB а то и 1GB. За счет использования больших страниц можно получить ощутимый прирост скорости работы и уменьшение отзывчивости в приложениях которые активно работают с памятью. Как я уже отметил, впервые я столкнулся с большими страницами при работе с виртуализацией, в частности с KVM. Проведенные в свое время тесты показали что прирост производительности виртуальных машин составил от 7 до 10% (измерялось все это дело синтетическими тестами различных сервисов внутри виртуальных машин). Теперь это появилось в PostgreSQL.

CentOS 7 Release Candidate now available.

CentOS 7 Release Candidate now available.

На днях в списке рассылки появилось сообщение что следом за RHEL7 вышел релиз-кандидат CentOS 7. Мне очень нравится RHEL-based операционнки поэтому я решил скачать образ и запустить виртуалку, дабы осмотреться что там и как. Ниже мини-инструкция с сылками.
скачиваем netinstall iso и устанавливаем с него систему. В качестве источника пакетов указываем это. После установки устанавливаем основной репозиторий, странно но настроенных репозиториев нету.
# vi /etc/yum.repos.d/centos.repo
[centos]
name=Base Packages for Enterprise Linux 7 - $basearch
baseurl=http://buildlogs.centos.org/centos/7/os/x86_64-latest
failovermethod=priority
enabled=1
gpgcheck=0

Ставим репозиторий EPEL.
# yum install http://dl.fedoraproject.org/pub/epel/beta/7/x86_64/epel-release-7-0.2.noarch.rpm

Вот и все, теперь можно делать что душе вздумается)))

PostgreSQL BDR Introduction.

Введение в PostgreSQL BDR.

PostgreSQL это не только стабильная и надежная СУБД но и плюс ко всем это динамично развивающийся продукт, в котором от релиза к релизу появляются самые разные прорывные вещи. Одной из таких технологий является потоковая репликация которая позволяет очень легко и дешево масштабировать базу данных на чтение. В статье речь пойдет о новой технологии BDR (Bi-Directional Replication).

10 ways to do PostgreSQL backup.

10 способов сделать резерную копию в PostgreSQL.

Я отношусь к тем людям которые делают резервное копирование. За время работы с PostgreSQL мне довелось часто настраивать резервное копирование, при этом условия и требования были самые разные. Однако при этом набор инструментов за редким исключением оставался неизменным. В этой статье поделюсь своим опытом в деле как можно брать резервные копии PostgreSQL.