Introduction into PostgreSQL pg_stat_activity.

Введение в pg_stat_activity.

уровень материала: intermediate.

СУБД PostgreSQL имеет очень сильные встроенные средства позволяющие отслеживать текущее состояние базы данных. Одно из таких средств это pg_stat_activity. Это системное представление которое позволяет наблюдать за происходящими в базе процессами в реальном времени. Это представление можно сравнить с системной командой top, если вы подозреваете или четко уверены что ваша база не в порядке, то это одно из первых мест откуда следует начать расследование. Ниже я приведу полезные примеры как можно использовать это представление для выявления ненормальной активности. Для работы нам понадобится любой postgresql клиент, например psql. 

Deep dive into PostgreSQL internal statistics.

Слайды доклада на Highload++ 2015.

СУБД PostgreSQL - это огромный механизм, который состоит из множества подсистем, чья работа определяет производительность PostgreSQL. В процессе эксплуатации обеспечивается сбор статистики и информации о работе компонентов, что позволяет оценить эффективность PostgreSQL и принять меры для повышения производительности. Однако, этой информации очень много и представлена она в достаточно упрощенном виде. Обработка этой информации и ее интерпретация порой совсем нетривиальная задача, а зоопарк инструментов и утилит запросто поставит в тупик даже продвинутого DBA.

В докладе речь пойдет о подсистеме сбора статистики, о том какая информация доступна для оценки эффективности PostgreSQL, как её получить, не прибегая к зоопарку инструментов. Как интерпретировать и использовать полученную информацию, как найти узкие места, устранить их и повысить производительность PostgreSQL.

Deep dive into PostgreSQL statistics. from Алексей Лесовский

PostgreSQL hot standby feedback. How it works.

Время от времени приходится сталкиваться с вопросом "У нас отваливаются запросы на реплике, мы включили hot_standby_feedback, но запросы на реплике все равно периодически отваливаются. Почему?" После прочтения документации, может сложится впечателение что фидбек решает проблемы отмены запросов и если его включить то конфликты пропадут. Однако это не совсем так. В этой статье мы разберемся что такое фидбек, как он работает и какие проблемы призван решать.

English version available in our company's blog.

pgCenter - top-like statistics viewer for PostgreSQL.

СУБД PostgreSQL в процессе эксплутации накапливает очень богатую статистику которая включает в себя информацию об использовании таблиц, индексов, функций и других объектов баз данных. Но это не все, информационные таблицы (представления) содержат информацию о текущей акивности, выполняемых операциях, запросах и их состояние, время выполнения и многое другое. Однако большая часть статистики представлена в виде постоянно обновляющихся счетчиков и нет возможности просматривать изменение статистики в интервале времени.

3 reasons to use PgBouncer.

3 причины использовать PgBouncer.

Для тех кто не знает, PgBouncer это легковесный пулер соединений для PostgreSQL. И ниже 3 причины почему его стоит использовать.
- Экономия ресурсов сервера и уменьшение latency на запросах.
- Поддержка online перезапуска без потери клиентских соединений.
- Приостановка клиентских соединения для тихого перезапуска PostgreSQL.

PostgreSQL cluster upgrade.

PostgreSQL streaming replication cluster major version upgrade with pg_upgrade and rsync on CentOS 7 Linux.

Обновление мажорной версии PostgreSQL как правило довольно нудное, так как нужно соблюсти массу условий. Особенно доставляет то что pg_upgrade не умеет обновлять stand-by сервера. Однако это возможно сделать через rsync. Ниже видео процесса обновления c 9.3 до 9.4.

P.S. Вобще обновление через pg_upgrade это почти всегда приключение, поэтому не ленитесь читать документацию по pg_upgrade для версии на которую вы будете переезжать.

pgbConsole - admin console for PgBouncer.

pgbConsole - top-like PgBouncer admin console.

Если вы занимаетесь адмнистрированием PostgreSQL то наверняка знакомы с PgBouncer - легковесным пулером соединений для PostgreSQL. PgBouncer очень часто используется в конфигурациях с большим числом подключений к базе данных. И его использование как правило всегда оправдано. PgBouncer позволяет уменьшить использование ресурсов за счет уменьшения числа подключений к базе данных.

PostgreSQL Troubleshooting On-Line.

PostgreSQL Meetup on RITFest 2015 at Moscow, Russia.

Сегодня прошел первый день фестиваля РИТ, на котором был митап посвященный СУБД PostgreSQL. На митапе мы с коллегой Ilya Kosmodemyansky показали процесс поиска и устранения проблем в PostgreSQL. В качестве примера были взяты два наиболее распространенных случая:
1) Кривой релиз - после выкладки кода обнаруживается что производительность резко упала.
2) Рост нагрузки - ситуация когда с ростом посещаемости и увеличением числа подключений к базе следует использовать пуллинг соединений (pgbouncer).
Отдельное спасибо нашим друзьям из OKmeter за качественный и удобный мониторинг.
Презентация на память:

Linux Performance Observability Tools. Sysstat.

Продолжаем обзор инструментов для наблюдения за производительностью. Сегодня я бы хотел рассказать о таком наборе утилит как sysstat. Это очень интересный пакет. Прежде всего он интересен тем что позволяет вести историю производительности. Это актуально если у вас небольшое количество хостов и вы не хотите развертывать отдельную систему мониторинга. Кроме того sysstat предоставляет несколько утилит для online наблюдения за системой. 

PostgreSQL и WARNING: pgstat wait timeout.

pgstat wait timeout

Сегодня я бы хотел рассказать о такой ошибке как "pgstat wait timeout". Довольно малоинформативное сообщение, не так ли?

Если вы увидели эту ошибку в логах PostgreSQL, значит у вас перестал работать сбор статистики. А между тем статистика играет очень важную роль в работе PostgreSQL. Статистика используется планировщиком запросов для составления планов запросов и выбора оптимального плана для запроса. Если у вас сбилась статистика, планировщик может начать строить неверные планы. Неправильные планы запросов приводят к плохой производительности.

Давайте попробуем разобраться почему это происходит.

Linux Performance Observability Tools. Top.

Linux Performance Observability Tools. Top.

Есть такая картинка Linux Performance Observability Tools. На первый взгляд она может показаться непонятной, поэтому давайте разберемся что здесь изображено. На этой картинке в очень упрощенном виде отражена структура ОС Linux, а каждый компонент структуры подписан инструментом который позволяет отслеживать работу этого компонента. Эти инструменты очень полезны в случае когда сервер "тормозит" и нужно определить какой из компонентов вызывает тормоза. Cистемный администратор или инженер должен уметь пользоваться большинством из тех инструментов что отражены на картинке. Как вы видите, инструментов очень много, какие-то могут быть вам знакомы, а какие-то - нет. Некоторые из этих инструментов довольно просты в обращении, а какие-то наоборот требуют высокой квалификации и дополнительных знаний. В последующем цикле статей я постараюсь рассмотреть наиболее популярные и интересные утилиты и рассказать о том как читать информацию которую они предоставляют и как использовать её в дальнейшем. 

English version available here.

И еще один блог.

И снова здравствуйте!

Небольшая новость. После долгого перерыва я вновь решил писать в блог, делиться опытом, рассказывать всякие истории профессионального плана, иногда буду постить howto-ролики с ютуба. Однако это не все. Теперь дополнительно я буду автором еще одного блога. Встречайте, блог нашей компани PostgreSQL Consulting. Статьи там будут преимущественно на английском языке. Да, да завоевываем новые рынки))). Поэтому добро пожаловать. 

Здесь же я по-прежнему будут выкладывать статьи на роодном русском языке! Так что не спешите удалять меня из своих RSS лент;) До скорых встреч.