С наступающим!

С наступающими праздниками!

Вот и заканчивается 2013-й год, в котором было много ярких и интересных собыйтий. Впереди же маячат новогодние выходные и в связи с этим блог уходит на каникулы. Учитывая специфику Russian New Year Holidays, берегите себя ;) Всем добра, увидимся в январе!

§ NFS storage setup for oVirt.

oVirt NFS storage.

Самым простым и легконастраиваемым хранилищем для oVirt, на мой взгляд, является NFS. Этот тип хранилища с файловым доступ обладает такими положительными свойствами как легкость установки и простота обслуживания. Ну и конечно же низкая стоимость... если это конечно не NFS на выделенной системе хранения;) Безусловно, одним из самых больших минусов NFS, является производительность. Однако если вам не требуются большие скорости и низкие задержки, то NFS будет хорошим выбором.

В этой статье будет описан процесс установки NFS хранилища в CentOS/RHEL и его подготовка к использованию в oVirt. Как говорится "нельзя так просто взять NFS ..."

§ oVirt and FreeIPA

Настройка внешнего сервера аутентификации в oVirt.

В oVirt после установки,по умолчанию доступен только один аутентификационный домен - internal. В этом домене есть всего одна учетная запись.  Для того чтобы воспользоваться все мощью в плане управления доступом нужен сервер каталогов. oVirt поддерживает работу с IPA и ActiveDirectory. В этой статье будет описан процесс установки IPA сервиса и его подключение к oVirt. Если коротко, то IPA это средство идентификации и аутентификации для Linux/UNIX. Если заглянуть внутрь, то это набор из 389 Directory Server, MIT Kerberos, NTP, DNS, Dogtag.

§ iSCSI storage for oVirt

iSCSI storage on CentOS for oVirt.

В oVirt доступна поддержка хранилищ по протоколу iSCSI - недорогому решению для построения SAN. В этой статье будет описано как настроить iSCSI хранилище на CentOS. Процедура это довольно простая и несложная. 

§ Dnsmasq setup for oVirt.

Dnsmasq setup for oVirt.

Для установки oVirt и дальнейшего управления, необходимо наличие DNS сервера который должен осуществлять управление как минимум одной зоной. Однако если DNS сервера у вас нет, что мало вероятно, можно поднять простой Dnsmasq и сделать все с помощью него. Статья описывает как запустить и настроить DNS сервер основанный на Dnsmasq и сконфигурировать его для дальнейшей работы с oVirt. Установка будет выполнять в Gentoo Linux, но пакет Dnsmasq является распространенным и доступен в большинстве дистрибутивов.

§ oVirt 3.3 Setup.

oVirt 3.3 Setup.

Год назад я уже писал про установку oVirt, время идет и старая статья, мягко говоря, устарела. Поэтому сейчас будет обновленная версия.
Что такое oVirt? oVirt это платформа виртуализации которая обеспечивает централизованное управление виртуальной инфраструктурой. За прошедший год продукт стал кщк более качественным, появилось много  новых функций и возможностей. С каждым релизом продукт становится все интересней и интересней.
Итак в этой статье пошаговый процесс установки oVirt и настройка инфраструктуры. Многие вещи просто опущены, поскольку если описывать каждую опцию и ее влияние, то получится объем небольшой книги ;)

§ Отпуск.

Отпуск.

Друзья, ухожу в отпуск. На время отсутствия, статьи в блог будет выкладывать искусственный интеллект. Это будут статьи про oVirt, поэтому кому интересен сей продукт захаживайте в блог, читайте, если есть вопросы задавайте... отвечу как вернусь. 

Ну и пара слов об отпуске. Каждый год, мы с друзьями в декабре едем в Шерегеш. Полтора суток в поезде, Jameson замешанный с чаем, катающиеся по полу бутылки с утра, ну и конечно же, то ради чего мы едем. Снег, много снега, очень много снега!!!

Всем добра и до скорых встреч!

§ PostgreSQL foreign data wrapper.

Postgres_FDW: Foreign data wrapper for remote PostgreSQL databases.

В PostgreSQL 9.3 появился отличный модуль postgres_fdw. Этот модуль используется для обеспечения доступа к данным которые находятся в других базах данных. Функциональность модуля очень похожа на ту что предоставляет модуль dblink, однако postgres_fdw обеспечивает более прозрачный и стандартный способ доступа к удаленным таблицам. Кроме того в большинстве случаев, postgres_fdw обеспечивает большую производительность.
В этой статье будет показано как в одной базе настроить доступ к другой базе под выделенным пользователем.

§ KVM: Nested Virtualization

KVM Nested Virtualization: we need to go deeper

Всем известно что такое виртуализация, берем физическую машину и на ней запускаем еще с десяток виртуальных, независимых машин. почти ;) Казалось бы все прекрасно и замечательно, можно взять сервер и развернуть там свой маленький мир. Однако как это часто бывает в экспериментах связанных с виртуализацией, нужен не один сервер, а несколько. Вот к примеру чтобы протестировать живую миграцию уже необходимо как минимум два узла. Что делать? 

§ OpenSSH-6.x and AuthorizedKeysCommand.

OpenSSH-6.x and AuthorizedKeysCommand 

Относительно недавно в OpenSSH появилась поддержка внешних агентов выполняющих проверку информации о пользователе. Это очень удобно, потому что можно написать свой агент который будет удовлетворять всем необходимым требования. Это очень гибкое и удобное решение. Зачем это было нужно в моем случае:

• Пользователи и их ключи хранятся в LDAP каталоге. 
• Проверка ключей осуществляется через использование OpenSSH c LPK патчами. Однако мне до конца непонятно будущее проекта и неизвестно будут ли майнтэйнеры OpenSSH в Gentoo Linux поддерживать интеграцию этих патчей.
• появления AuthorizedKeysCommand в openssh-6.2 ознаменовало что можно отказаться от LPK и сделать свой инструмент который будет проверять пользовательскую информацию в LDAP (ключи, принадлежность группам и все все все).
• Появилась возможность проверки пользователей во вложенных группах на стороне LDAP каталога. Теперь нет необходимости перечислять все пользователей в каждой группе. Можно завести одну группу и затем подключать ее в другие группы всего одной записью.
• В LPK была возможность давать доступ к серверу при условии что пользователь является участником определенной группы в LDAP. Это мне нужно было сохранить.

Вот такие требования заставили отказаться от LPK в пользу написания своего агента.

§ Barman: PostgreSQL Backup and Recovery Manager.

Barman: PostgreSQL Backup and Recovery. It's simple. Really!

Сегодня я расскажу об еще одном замечательном инструменте для PostgreSQL. Речь пойдет о Barman (PgBarman) - это инструмент для резервного копирования для баз данных PostgreSQL и для восстановления из резервных копий. Кто-то может быть скажет, зачем есть же pg_dump/pg_restore. И будет прав, pg_dump тоже делает резервные копии, а pg_restore выполняет восстановление. Но pg_dump и pg_restore не предоставляют возможности disaster recovery. В подтверждение простой пример: мы сделали pg_dump'ом резервную копию в 9:00, в 15:00 сервер залило водой. В таком случае мы сможем восстановиться на состояние 9:00 и потеряем данные в течение 6 часов работы базы, что может быть совершенно неприемлемо.
Barman же используя встроенные возможности PostgreSQL предоставляет нам возможности избежать такого развития событий. Итак пара слов о Barman:

• позволяет собирать резервные копии с нескольких серверов в одно место;
• предоставляет каталог в котором хранятся резервные копии и архивы WAL;
• позволяет выполнять удаленное восстановление из резервных копий;
• поддерживает политики хранения резервных копий на основе избыточности (redundancy) или окна восстановления (recovery window).

§ Yandex.Tank: Load testing utility for UNIX systems.

Yandex.Tank - броня крепка и танки наши быстры.

Тестирование это не совсем обычная тема для моего блога. Однако нагрузочное тестирование мне всегда было интересно.  Посему небольшой пост-популяризации о Yandex.Tank, расписывать много не буду. Всего три ссылки:
Страница проекта
Документация
Gentoo Ebuilds для Yandex.Tank и Phantom

Прежде всего, это инструмент для нагрузочного тестирования HTTP сервисов, однако есть модули которые реализуют нагрузку на SQL базы данных. Чем же привлекателен этот инструмент?

• Консольный инструмент, не требует наличия DE;
• Гибкое управление нагрузкой, она может быть постоянной, расти линейно или ступенчато;
• Возможность автоматического снятия метрик нагрузки с тестируемого хоста;
• Наличие встроенного web-интерфейса в котором можно наблюдать процесс тестирования;
• Использование нескольких IP адресов для преодоления ограничений в 65536 портов;
• Авто-стоп при достижении определенного числа ошибок;
• Возможность использовать JMeter и AB в качестве генераторов нагрузки.

На мой взгляд это очень интересный и удобный в использовании инструмент.

§ Repmgr: Flexible PostgreSQL Streaming Replication Management

Repmgr: streaming replication, so easy, so simple.

Repmgr это инструмент с помощью которой можно сильно облегчить процесс развертывания и управления потоковой репликацией в PostgreSQL. Repmgr предназначен как для DBA, так и для системных администраторов которые работают с PostgreSQL. Repmgr позволяет выполнять следующие задачи:

• быстрое развертывание stand-by сервера;
• выполнение ручного switch-over на резервный stand-by сервер;
• переключение stand-by серверов на нового мастера в случае switch-over;
• мониторинг состояния потоковой репликации на stand-by узлах;
• предоставление единой точки управления кластером.

С помощью Repmgr можно запускать новые реплики, либо объединить все реплики в одной точке управления из которой можно вести мониторинг состояния потоковой репликации и при необходимости выполнить switch-over и переключение других stand-by серверов на другой master-сервер. Repmgr поддерживает все версии PostgreSQL начиная с 9.0.

§ QEMU WatchDog.

qemu watchdog.

Бывает такое, что сервер завис... да бывает. И не отвечает. Если причина зависания кроется в возросшей нагрузке, есть шанс что нагрузка упадет и вы сможете попасть на сервер. Но бывает и так что сервер приходится перезагружать. Можно делать это вручную, а можно настроить чтобы перезагрузка выполнялась средствами WatchDog

§ Getting Started with oVirt 3.3

Getting Started with oVirt 3.3

Всем доброго времени суток ;) Помните у Земфиры был альбом, назывался "14 недель тишины". Вот и я тоже долго молчал, и причины для этого были. Всё это время, ну или почти всё, я писал книгу. Getting Started with oVirt 3.3. Это практическое руководство по настройке и конфигурации oVirt.  Выпускается издательством PACKT Publishing.

Book Details
Language : English
Paperback : 118 pages [ 235mm x 191mm ]
Release Date : November 2013
ISBN : 1783280077
ISBN 13 : 9781783280070
Author(s) : Alexey Lesovsky
Topics and Technologies : All Books, Virtualization and Cloud, Open Source

§ LVM: too many metadata areas for pvresize

LVM: too many metadata areas for pvresize.

Еще один случай из будней администратора. Увеличив размер блочного устройства виртуальной машины обнаружил что при увеличении размера внутри машины, LVM отказывается расширять PV, выбрасывая сообщение "too many metadata areas for pvresize".
Это сообщение говорит о том что pvresize не знает что делать с метаданными в конце устройства. Ниже описывается вариант как расширить PV том, однако такой способ предполагает остановку и деактивацию VG. Также предупреждаю что есть риск порчи или потери данных. Действуйте на свой страх и риск.

LDAP: Invalid credentials (49) on slave

Сломанная аутентификация на Openldap SyncRepl slave.

Настраивая OpenLDAP столкнулся с такой проблемой: создал аккаунт в каталоге, задал пароль, попытался пройти аутентификацию в master сервере - попытка прошла успешно. Попытался аутентифицироваться на slave сервере - неудача. 
Вываливается ошибка ldap_bind: Invalid credentials (49)
Первым делом проверил репликацию - contextCSN совпадают, репликация работает. ACL списки на master и slave одинаковые, конфигурация slapd тоже одинаковая за исключением секции syncrepl. Долгие поиски привели к странному решению: нужно сделать дамп на master и восстановить его на slave:
master # /etc/init.d/slapd stop
master # slapcat -l backup.ldif
master # /etc/init.d/slapd start
slave # scp root@master:/root/backup.ldif ./
slave # /etc/init.d/slapd stop
slave # rm -rf /var/lib/openldap/thislinux.org/*
slave # cp /var/lib/openldap-data/DB_CONFIG.example /var/lib/openldap-data/thislinux.org/DB_CONFIG
slave # slapadd -l ./backup.ldif
.#################### 100.00% eta   none elapsed            none fast!         
Closing DB...

chown ldap:ldap /var/lib/openldap-data/thislinux.org/ -R

slave # /etc/init.d/slapd start

После чего снова проверяю репликацию - все хорошо. Проверяю аутентификацию на slave - работает. Вроде все починилось, но осадок остался...

На главную "Virtualizing Linux"

§ LVM-based sandbox.

Еще одна причина почему я люблю LVM.

Еще один лирический пост, в котором я снова рассказываю о том что мне нравится и почему. На этот раз речь пойдет об LVM (Logical Volume Manager). Если вкратце, то это менеджер управления логическими дисками который позволяет абстрагироваться от уровня физических накопителей и оперировать разделами на логическом, более гибком уровне, то это инструмент позволяющий гибко управлять дисковыми разделами. Гибкость заключается в том что LVM позволяет объединять целые диски в логические группы и внутри этих групп создавать дисковые разделы. Управлять этими разделами очень удобно, можно на лету менять размеры тома, распределять том на несколько физических дисков, делать зеркалирование, создавать снимки и многое другое. Снимки, или так называемые снапшоты, о них я и расскажу сегодня.

§ Linux kernel modules.

Add kernel functionality without reboot.

Как известно ядро Linux состоит из множества подсистем которые реализуют самую разную функциональность. Эти подсистемы в свою очередь являются набором компонентов. Также известно что эти компоненты могут быть как непосредственной частью, так и могут находиться в виде подгружаемых модулей. Время от времени возникает вопрос, а что лучше? Большое монолитное ядро или же маленькое ядро с большим количеством модулей. Доводы в пользу того и другого варианта приводятся разные, однако у модульного варианта есть одно неоспоримое преимущество. 

§ Moxi: Memcache/Membase proxy.

Moxi: is a proxy for memcached traffic

Продолжаем разговор про прокси для memcached. На этот раз речь пойдет про Moxi. Это прокси для Memcached/Couchbase (ранее Membase).  Здесь следует сказать что, в первую очередь moxi предназначен для совместного использования с Couchbase. Но тем не менее его можно использовать и в качестве прокси для memcache-клиентов.

§ Twemproxy: Memcached/Redis proxy.

Twemproxy (Nutcracker) - Memcached/Redis proxy.

Давно ничего не писал, времени совсем нет... - Держись студент, сессия!!! Сказал черт размахивая ведром гвоздей. Ходят слухи что смена деятельности только полезна. Но отбросим лирику и перейдем к делу...

Совсем недавно озадачился вопросом, а как масштабируется memcached? А никак)))  Но что делать если одного сервера недостаточно. Сходу подумалось о repcached, но там репликация, да и больше чем на 2 узла не разгонишься. Поиски привели к трем инструментам: memagent, moxi и twemproxy. Все эти инструменты представляют собой прокси с более-менее разным набором функций и качеств. Потестировав все три, остановился на twemproxy. О нем и пойдет речь.

PERF_EVENTS vulnerability defend

Локальное решение проблемы c PERF_EVENTS

недавно нашумевшая уязвимость CVE-2013-2094 связанная с PERF_EVENTS лечится установкой sysctl переменных kernel.perf_event_paranoid и kernel.perf_event_max_sample_rate

# sysctl -w kernel.perf_event_paranoid=2 
# sysctl -w kernel.perf_event_max_sample_rate=-1

§ PostgreSQL backup and recovery.

PostgreSQL: резервное копирование с минимальным временем восстановления

Предположим что у нас есть кластер postgresql работающий в режиме потоковой репликации. Есть master-сервер и горячий hot-standby готовый в любой момент стать полноценным мастером. Таким образом у нас реализована отказоустойчивая связка, в которой в случае выхода из строя мастера, горячий hot-stnadby заменить погибшего товарища. При плохом развитии событий, нам остается только создать trigger-файл и переключить наши приложения на работу с новым мастером. И стало все хорошо.

Известно что природа потоковой репликации устроена так, что изменения прошедшие в мастере, должны оказаться на подчиненном узле как можно быстрее. Выходит что, подчиненный узел представляет собой (почти полную) копию мастера. Это очень хорошо в случае немедленного восстановления на момент предшествующий сбою.  Однако, возможны ситуации когда вполне легитимные изменения были сделаны на стороне приложения и попали как на мастер, так и на подчиненный сервер. Например, были удалены/изменены данные в части таблиц или же таблицы были вовсе удалены. С точки зрения базы данных ничего фатального не произошло, а с точки зрения бизнеса - произошла катастрофа. В таком случае провозглашение горячего hot-standby в мастера, процедура явно бесполезная... 

§ EnhanceIO: How-to setup.

EnhanceIO Howto.

Продолжение истории о EnchanceIO. На этот раз только практика и совсем чуть-чуть теории.

§ EnhanceIO: Need for speed? No problem!

EnhanceIO - больше кэшей хороших и разных

Я уже неоднократно писал про инструменты кэширования данных с помощью SSD накопителей и вот пришел черед EnhanceIO, на мой взгляд, это самый лучший представитель из семейства программных SSD кэшей.

Pagespeed: for Nginx now.

Pagespeed: теперь и для Nginx.

Google представили модуль ngx_pagespeed для Nginx, предназначенный для автоматической оптимизации сайта с целью увеличения отзывчивости и пропускной способности при отдаче контента. Стоит отметить, что этот модуль был доступен только для Apache, но ситуация исправляется. Модуль имеет статус бета-версии, однако это не помешало некоторым крупным компаниям начать использовать его у себя.

§ OpenLDAP: Simple replication.

Простой вариант настройки репликации в OpenLDAP.

OpenLDAP поддерживает разнообразные варианты топологий репликации. В связи с этим, в репликации существует два типа роли: поставщик (provider) и потребитель (consumer). Поставщик реплицирует обновления каталога потребителям, а потребители получают реплицируемые обновления от поставщиков. В отличие от жёстко определённых отношений master/slave, роли поставщика/потребителя довольно расплывчаты: реплицируемые обновления, полученные потребителем, могут быть далее распространены от этого потребителя на другие серверы, таким образом потребитель может также выступать одновременно и в качестве поставщика. Кроме того, потребителю не обязательно быть реальным сервером LDAP; это может быть и LDAP-клиент.

В статье описывается простейший пример настройки репликации между двумя серверами OpenLDAP через syncrepl.

§ SSH, PublicKeys and Sudo under OpenLDAP

Настройка авторизации в LDAP для SSH и Sudo.

Статья описывает процесс настройки системы в которой:

• аккаунты и группы хранятся в LDAP;
• публичные SSH ключи хранятся в LDAP;
• SSH выполняет аутентификацию и авторизацию в LDAP;
• информация о sudoers хранится в LDAP;
• sudo выполняет авторизацию в LDAP;

Настройка выполняется в Gentoo Linux, хотя тоже самое можно проделать в любом другом дистрибутиве при наличии соответствующих пакетов.

§ OpenLDAP: Quick start.

OpenLDAP: Введение.

В ходе работы над одной из задач мне пришлось столкнуться с OpenLDAP. До этого момента я не сталкивался с LDAP вообще. В ходе чтения документации и освоения утилит OpenLDAP, появился небольшой список команд. А из этого списка появилась и статья, в которой вкратце описывается что такое LDAP и как начать с ним работать.

§ CacheCade: Hardware SSD Cache.

CacheCade - Аппаратная реализация кэширования на SSD.

Как известно, показатели производительности SSD дисков в плане random read/write существенно опережают показатели SATA/SAS дисков, но с другой стороны SATA/SAS диски имеют преимущество на операциях последовательного чтения и записи. И здесь в голову приходит мысль, что было бы круто совместить положительные стороны этих устройств в единое целое. Инженерная мысль не стоит на месте и реализация этой мысли пошла по двум направлениям: по программной и аппаратной.

§ pgcompactor - обработка раздувшихся таблиц и баз данных в PostgreSQL.

pgcompactor

Статья является перепостом с хабра т.к. собственно я и есть автор. 

Думаю многим известна особенность PostgreSQL, которая приводит к эффекту раздувания таблиц, или table bloat. Известно что она проявляет себя в случаях интенсивного обновления данных, как при частых UPDATE так и при INSERT/DELETE операциях. В результате такого раздувания снижается производительность. Собственно вопрос, как сжать таблицу в постгрес? Ниже ответ, а заодно и рассмотрим почему это происходит и как с этим можно бороться.

§ Postgres-XC: Data distribution.

Postgres-XC: Размещение данных.

Postgres-XC это мульти-мастер кластер c возможностью read/write масштабирования на основе PostgreSQL (постгрес!). Третья часть в которой будет рассмотрено хранение данных в кластере Postgres-XC. Как известно из предыдущих статей, таблица может храниться в реплицированном или в распределенном виде. Если брать во внимание распределенные таблицы, то для этого случая хранения, можно выбрать определенную стратегию распределения (Round-Robin, Hash, Modulo). Для распределения по Hash и Modulo за основу берется определенная колонка таблицы. Это все хорошо, но что если появится необходимость переопределить тип хранения данных? В этом случае Postgres-XC предоставляет возможность переопределить тип хранения в процессе работы кластера без остановки работы.

§ Postgres-XC: Cluster setup.

Postgres-XC: настройка кластера.

Статья описывает практическую часть работы с Postgres-XC, в частности приводится пример сборки кластера который включает в себя:

• развертывание двух менеджеров транзакций (main и standby);
• развертывание координатора;
• развертывание двух узлов с данными.

No friends in a powder day!

Каникулы! Ура!!!

Настала весна, зима сдает свои позиции и пора закрывать снежный сезон. На этой ноте, блог в лице своей редакции, совета директоров, отдела исследований и авторского коллектива ;))) уходит в отпуск на неделю.
На время отсутствия, статьи будет публиковать искусственный интеллект, поэтому скучно не будет.
Ведите себя хорошо, читайте блог, подписывайтесь на новости, задавайте вопросы! До встречи через неделю!
А это вам место проведения отпуска :)

§ Postgres-XC: Кластеризованый постгрес

Postgres-XC - read/write-scalable multi-master symmetric cluster based on PostgreSQL.

Postgres-XC представляет собой PostgreSQL  кластер, внутри которого обеспечивается возможность горизонтального масштабирования, сохраняя при этом синхронную симметричность размещения данных и прозрачность доступа к данным для приложений. Кластер представляет собой набор тесно связанных компонентов базы данных которые могут быть установлены как на один сервер так и на несколько серверов. 

§ RHEL Updates monitoring via Yum-Plugin-Security and Zabbix.

Yum-Plugin-Security + Zabbix: Настройка мониторинга доступных обновлений в RHEL 6.

В пакетном менеджер RHEL есть плагин, позволяющий получать информацию о доступных обновлениях - yum-plugin-security. С помощью этого плагина и утилиты входящей в состав системы мониторинга Zabbix мы можем собирать информацию о доступных обновлениях на серверах.  На стороне сервера с помощью планировщика cron мы будем с определенной периодичностью запускать скрипт собирающий информацию о пакетах, после сбора необходимой информации, с помощью zabbix_sender будем отправлять информацию на сервер мониторинга.

§ Redis: dump remote database.

Redis: dump database remotely.
Буквально полчаса назад обновлял Redis и просматривая Release-Notes обнаружил хорошую, можно даже сказать прекрасную вещь, в версии 2.6.9 появилась возможность сделать дамп удаленной базы на локальную машину используя redis-cli.


* [IMPROVED] redis-cli is now able to transfer an RDB file from a remote server to a local file using the --rdb <filename> command line option.

Обновив я решил проверить, как это работает. Зашел на один из хостов где был обновлен redis и запросил дамп с другого узла.
# redis-cli -h bz-cache-t -p 6379 --rdb bz-cache-t.local.rdb

на удаленной машине в логе, тут же появились сообщения о том что есть SLAVE подключение:

[18219] 26 Feb 20:40:22.566 * Slave ask for synchronization
[18219] 26 Feb 20:40:22.567 * Starting BGSAVE for SYNC
[18219] 26 Feb 20:40:22.568 * Background saving started by pid 20630
[20630] 26 Feb 20:40:26.235 * DB saved on disk
[20630] 26 Feb 20:40:26.236 * RDB: 48 MB of memory used by copy-on-write
[18219] 26 Feb 20:40:26.243 * Background saving terminated with success
[18219] 26 Feb 20:40:26.570 * Synchronization with slave succeeded

А в локальной директории появился дамп базы. Шикардос))) Теперь есть возможность удаленного бэкапа данных Redis.

§ pgBadger: No! I'm not a fouine, I'm a badger!

PgBadger - анализатор логов PostgreSQL

pgBadger это анализатор логов PostgreSQL. Это небольшой perl скрипт призванный заменить собой такой инструмент как pgFouine который уже долгое время не развивается. pgBadger написан на чистом perl и для построения графиков использует javascript библиотеку, поэтому для их корректного отображения не придется устанавливать дополнительных модулей или пакетов. Лишь для работы с логами в CVS формате необходимо установить Text::CVS_XS модуль.  

§ CGROUPS: Block IO throttling.

Рабочий пример ограничения блочного ввода-вывода посредством CGROUPS.

Время от времени, в работе возникает необходимость запустить процедуру в ходе выполнения которой возникает существенная нагрузка на дисковую подсистему. Примеры могут быть разными, копирование раздела, обработка большого количества файлов, синхронизация каталогов и т.д. Особенно плохо когда система и так уже достаточно нагружена. Становится необходимым снизить влияние возникшей нагрузки на основные задачи выполняемые сервером, т.к. возникшая нагрузка будет мешать работе основной задачи. Как вариант, можно использовать ionice, запустить задачу с пониженным приоритетом. Но есть другой, более гибкий и интересный вариант - использовать CGROUPS.

§ Btrfs: Basic training.

BTRFS. Курс молодого бойца.

Статья по сути является заметкой в которой описаны базовые операции по работе с файловой системой Btrfs. Статья помогает быстро ознакомиться с основными возможностями файловой системы:

• создание файловой системы на нескольких устройствах;
• добавление/удаление устройств на лету;
• создание RAID конфигураций;
• онлайн-дефрагментация;
• сжатие данных;
• создание отдельных томов внутри файловой системы;
• использование снимков. 

Для работы нам понадобится виртуальная машина с четырьмя блочными устройствами. Это могут быть как обычные физические разделы, так и LVM тома размещенные на одном физическом устройстве.

§ Proxmox VE: DRBD shared storage.

Proxmox VE: Shared storage with DRBD.

В статье описывается способ организации общего дискового хранилища между двумя серверами Proxmox VE. Общее хранилище будет построено на базе DRBD. В итоге у нас будет два сервера между которыми будет возможна online миграция виртуальных машин.  

§ Proxmox VE: Remove the cluster.

Proxmox VE: Remove cluster properly.

Если собранном Proxmox кластере возникает необходимость изменить конфигурацию (имя узла кластера или сетевые настройки) можно удалить кластер и пересоздать его. 

§ Proxmox VE: Build the cluster. So simple.

Proxmox VE: сборка кластера. Это действительно просто.

Сборка кластера в Proxmox задача достаточно простая и при наличии оборудования можно собрать его за считанные минуты.

§ Proxmox VE. Custom LVM layout.

Переопределение разметки LVM перед установкой Proxmox VE.

Как известно процесс установки Proxmox VE доведен до автоматизма и участие администратора сведено к минимуму и некоторые моменты попросту невозможно повлиять. Одним из таких моментов является процесс разбиения дисков. По умолчанию установщик Proxmox VE создает LVM хранилище на котором размещает тома для хранения системы, подкачки и самих данных. Причем созданные тома полностью заполняют все пространство физических томов что не всегда удобно.