geom_mirror_load="YES"
geom_gate_load="YES"

Перезагружаем системы или загружаем модули руками, если то позволяет текущий securelevel:

kldload geom_mirror kldload geom_gate

Предположим, что обе машины имеют два сетевых интерфейса:
fxp0 - для взаимодействия с внешним миром (мастер узел имеет IP 172.16.100.1, а slave - 172.16.100.2).
fxp1 - для зеркалирования дисков между узлами (master - 192.168.100.1, slave - 192.168.100.2).
На fxp0 мастера также поднят через алиас 172.16.100.12, который будет использоваться
для предоставления публичных сервисов и в случа краха мастера будет перехвачен на slave узле.

Для переключения на slave в случае сбоя будем использовать freevrrpd, установленный
из порта /usr/ports/net/freevrrpd

Пример конфигурации freevrrpd:
Мастер узел:

[VRID] serverid = 1 interface = fxp0 priority = 255 # повышенный приоритет для master addr = 172.16.100.12/32 #рабочий IP, обрабатывающий запросы внешнего мира. password = anyoneulike masterscript = /usr/local/bin/become_master backupscript = /usr/local/bin/become_standby

Резервный узел, который перехватит инициативу в случае краха мастера:

[VRID] serverid = 1 interface = fxp0 priority = 240 # пониженный приоритет, поднимать сервер только в случае краха мастера addr = 172.16.100.12/32 # какой IP поднимать в случае краха мастера password = anyoneulike masterscript = /usr/local/bin/become_master backupscript = /usr/local/bin/become_standby

Экспорт дисковых разделов.

На мастер узле прописываем параметры экспортируемого со slave диска в /etc/gg.exports:

192.168.0.2 RW /dev/da0s1d

А на slave-е параметры диска на мастр-узле (в случае краха мастера, slave возмет на себя роль мастера):

192.168.0.1 RW /dev/da0s1d

На запасной машине запускаем процесс ggated (только на slave, не на мастере !).

ggated -v

Демон будет запущен в режиме отладки.
После того как все заработает нужно прописать запуск ggated в стартовый скрипт слейва.

Импортирование удаленного блочного устройства на мастер-узле осуществляется командой:

ggatec create 192.168.100.2 /dev/da0s1d

которая вернет имя нового устройства, как правило это будет ggate0
В дальнейшем на мастере нужно осуществлять дисковые операции с /dev/ggate0
Запускаем ggatec только на мастере !

При сбое мастера freevrrpd скрипт become_master завершит выполнение ggated на slave узле и выполнит ggatec,
а после восстановления старого мастера поднимет на нем ggated через скрипт become_standby

Настройка заркалирования.

На мастер-узле создаем RAID-1 из локального и удаленного дисков:

gmirror label -v -n -b prefer gm0 /dev/ggate0 gmirror insert -p 100 gm0 /dev/ad0s1e

Алгоритм балансировки "prefer" важен для минимизации нагрузки на вторичный диск,
все операции чтения будут производится с локального диска, которому выставлен более высокий приоритет 100.

Перестраиваем массив:

gmirror rebuild rm0 ggate0

Для включения опции автосинхронизации слайсов выполняем:

gmirror configure -a gm0

После завершения синхронизации массива в логе увидим:

GEOM_MIRROR: Device gm0: rebuilding provider ggate0 finished. GEOM_MIRROR: Device gm0: provider ggate0 activated.

Далее /dev/gm0 можно отформатировать стандартным образом через newfs и примонтировать на мастер сервере.

Переключение на резевный (slave) сервер в случае краха основного сервера.

Проведем эксперимент - отключим линк у мастер-сервера, симулировав его крах.
Ниже описана логика работы скрипта become_master

На slave завершим ggated процесс. Зеркало должно автоматически заработать на запасном узле:

GEOM_MIRROR: Device gm0 created (id=2381431211). GEOM_MIRROR: Device gm0: provider ad0s1e detected. GEOM_MIRROR: Force device gm0 start due to timeout. GEOM_MIRROR: Device gm0: provider ad0s1e activated. GEOM_MIRROR: Device gm0: provider mirror/gm0 launched.

Далее выполним fsck на случай нарушения целостности ФС и примонтируем раздел:

fsck -t ufs /dev/mirror/gm0 mount /dev/mirror/gm0 /mnt

После того как раздел заработал на slave-сервере, попытаемся восстановить работу мастера,
который должен после краза занять роль запасной машины.

После включения мастер-узла, займемся восстановления его статуса первичного узла.

На местере останавливаем работу зеркала gmirror для перевода его в подчиненный режим.

gmirror stop gm0

Запускаем ggated для приема репликаций от бывшего слейва, теперь ставшего основным сервером

ggated -v

Подключаем локальный диск /dev/da0s1e в зеркало в качестве неприоритетного раздела.
Для этого выполняем автоконфигурацию:

gmirror configure -n gm0

Оформляем экспорт локального диска /dev/da0s1e:

ggatec create 192.168.100.2 /dev/da0s1e

И ставим экспортируемому диску наименьший приоритет.

gmirror insert -p 0 gm0 /dev/ggate

Включаем автоконфигурацию зеркала:

gmirror cinfigure -a gm0

Перестраиваем зеркало:

gmirror rebuild gm0 ggate0

После завершения перестроения в логе наблюдаем:

GEOM_MIRROR: Device gm0: rebuilding provider ggate0 finished. GEOM_MIRROR: Device gm0: provider ggate0 activated.

Удаляем раздел /dev/ad0s1d из зеркала и вновь добавляем его с повышенным приоритетом,
для восстановления функций основного сервера:

gmirror remove gm0 /dev/ad0s1d gmirror insert -p 100 gm0 /dev/ad0s1d

Ситуация краха запасного сервера, при работающей мастере.

После восстановления работы слейва, на мастер хосте временно отключаем импорт диска:

ggatec destroy -f -u 0

логе

GEOM_GATE: Device ggate0 destroyed. GEOM_MIRROR: Device gm0: provider ggate0 disconnected.

На слейв узле останавливаем зеркалирование:

gmirror stop gm0

Запускаем на слейве экспорт ggated

ggated -v

На мастер узле подключаем удаленный диск:

ggatec create 192.168.100.2 /dev/da0s1e

На мастере автоматически должен быть обнаружен подключенный внешний диск:

GEOM_MIRROR: Device gm0: provider ggate0 detected. GEOM_MIRROR: Device gm0: provider ggate0 activated.

Запускаем перестроение raid и ждем его завершения:

gmirror rebuild gm0 ggate0

Замечания по поводу сохранения целостности данных:

- нельзя экспортировать через ggated физические разделы, если они уже добавлены в зеркало;
- не нужно предпринимать попытки создания мастер-мастер репликации, это невозможно;
- нельзя монтировать экспортируемый раздел на активном слейв сервере. Монтирование экспортируемого раздела слейва возможно только на мастер-узле;
- После сбоя необходимо выполнить fsck для зеркала;
- Обязательно ведение резервного копирования зеркала.