Оптимизация хоста для CMS [2009] - Apache - Сеть - Каталог статей

В последнее время на старый и не очень быстрый ПК (Celeron 800 RAM 256) мною было навешано с десяток сайтов и некоторые были из серии тяжелых CMS. И так нам дано FreeBSD 7.1 и ~10 сайтов. Необходимо немного настроить систему для улучшения отклика веб сервера и скорости выдачи запросов.

Узкие места

Немного лирики. Изначально нужно изучить и понять пациента. Я не буду много расписывать, но вкратце упомяну следующие важные моменты.

Необходимо посмотреть утилиту top и выявить некоторые узкие места, связанные с загруженностью процессора и объеме используемой оперативной памяти. Если ЦП загружен на 100% и\или оперативной памяти не хватает, то выясните что потребляет все ресурсы и попытайтесь исправить положение. Это может быть и сам веб сервер и СУБД и тп.

Так же проверьте дисковую подсистему (Разбивка HDD корректировка Swap и диагностика дисковой системы.) инструментом типа vmstat. И если вы видите, что дисковая активность неадекватна при наличие достаточного объема оперативной памяти и не загруженного ЦП значит у вас проблема ввода-ввывода. Это может быть неверно сконфигурированная БД, фоновое выполнение сценариев, неподходящее использование RAID для приложения с частыми операциями чтения\записи и т.п.

Убедитесь в эффективности свопа и tmp. Возможно, его не хватает и\или находится на медленном диске и тп. Решений два это увеличении и\или перенос свопа, а второе это использованиеtmpfs

Удостоверьтесь что линия связи не перегружена. Решений два увеличьте канал связи и\или сжимайте передаваемые данные. (существует интересный продукт YSlow и YSlow-Doc это плагин для Firefox интегрирующийся в плагин фокса Firebug. Вкратце YSlow сможет помочь в поисках причины, почему странички на сайте не грузятся так быстро, как хотелось бы, когда ЦП, память, дисковая подсистема не уперлись в потолок)

Оптимизация PHP

PHP - язык программирования, созданный для генерирования HTML-страниц на веб сервере и работы с базами данных. В настоящее время поддерживается подавляющим большинством хостинг-провайдеров. Входит в LAMP\BAMP — «стандартный» набор для создания веб-сайтов (Linux\FreeBSD, Apache, MySQL, PHP (Python или Perl)).

В общем, вы его используете даже если не знаете это =) Выполнение PHP кода - большая часть обслуживание запроса и нам необходимо его ускорить. Существенное увеличение производительности можно получить кэшированием кодов операций PHP после компиляции. При каждом запросе PHP анализирует и компилирует весь код в промежуточную форму для каждого запроса. Кэширование позволяет избавится от многократного анализа и компиляции и использовать предварительно скомпилированный код.
Распространенные продукты кэширования кодов операций:

eAccelerator

Zend Performance Suite (пропреитарный продукт)

Alternative PHP Cache (имеется web интерфейс)

XCache

Я остановился на eAccelerator, и мы начнем его установку.

cd /usr/ports/ ; make search name=eaccelerator
Port: eaccelerator-0.9.5.3
Path: /usr/ports/www/eaccelerator
Info: An opcode cache for PHP with encoder and loader
Maint: ale@FreeBSD.org
B-deps: autoconf-2.62 autoconf-wrapper-20071109 libiconv-1.11_1 
libxml2-2.7.3 m4-1.4.12,1 perl-5.8.9_2 php5-5.2.9 php5-session-5.2.9 pkg-config-0.23_1
R-deps: libiconv-1.11_1 libxml2-2.7.3 php5-5.2.9 php5-session-5.2.9 pkg-config-0.23_1
WWW: http://eaccelerator.net/
cd /usr/ports/www/eaccelerator ;make install clean

В конце eAccelerator выдал свои пожелания и предложения:

*****************************************************************************

You have installed the eaccelerator package.

Edit /usr/local/etc/php.ini and add:

zend_extension="/usr/local/lib/php/20060613/eaccelerator.so"

Then create the cache directory:

mkdir /tmp/eaccelerator
chown www /tmp/eaccelerator
chmod 0700 /tmp/eaccelerator

*****************************************************************************

Создадим директорию tmp акселератору.

mkdir /tmp/eaccelerator ;chown www /tmp/eaccelerator ;
chmod 0700 /tmp/eaccelerator

Прописываем запуск модуля в основной php.ini, но если у вас FastCGI, то у каждого хоста\юзверя будет свой файл и необходимо добавлять эту строчку в нужный php.ini.

echo "zend_extension="/usr/local/lib/php/20060613/eaccelerator.so"" >>
/usr/local/etc/php.ini

Если вы хотите всем и сразу внедрить eAccelerator, то правильней будет добавлять здесь.

echo "zend_extension="/usr/local/lib/php/20060613/eaccelerator.so"" >> /usr/local/etc/php/extensions.ini

Но ввиду того что у меня есть 2-3 проекта которым акселератор был не нужен да и память жаль и я не добавил в extensions.ini.

README eAccelerator можно прочитать здесь.

cat /usr/local/share/doc/eaccelerator/README |more

Меня, например не устраивало расположение eaccelerator.cache_dir и я его поменял и тп.

# Для установки как модуля Zend: zend_extension="/usr/lib/php4/eaccelerator.so" eaccelerator.shm_size="16" eaccelerator.cache_dir="/tmp/eaccelerator" eaccelerator.enable="1" eaccelerator.optimizer="1" eaccelerator.check_mtime="1" eaccelerator.debug="0" eaccelerator.filter="" eaccelerator.shm_max="0" eaccelerator.shm_ttl="0" eaccelerator.shm_prune_period="0" eaccelerator.shm_only="0" eaccelerator.compress="1" eaccelerator.compress_level="9" # Если вы используете нити безопасной сборки PHP то вы должны
# использовать "zend_extension_ts" вместо "zend_extension". # Для установки как модуля PHP: extension="eaccelerator.so" eaccelerator.shm_size="16" eaccelerator.cache_dir="/tmp/eaccelerator" eaccelerator.enable="1" eaccelerator.optimizer="1" eaccelerator.check_mtime="1" eaccelerator.debug="0" eaccelerator.filter="" eaccelerator.shm_max="0" eaccelerator.shm_ttl="0" eaccelerator.shm_prune_period="0" eaccelerator.shm_only="0" eaccelerator.compress="1" eaccelerator.compress_level="9"

И так разберемся с переменными:

eaccelerator.shm_size Объем общей памяти (в мегабайтах), который будет использовать,
eAccelerator. "0" назначается ОС по умолчанию. Значение по умолчанию "0". eaccelerator.cache_dir Каталог, который используется для дискового кэша. Здесь eAccelerator
хранит скомпилированный код, данные сессии, содержание и записей
пользователей. Те же данные могут храниться в общей памяти (для более быстрого доступа). Значение по умолчанию "/tmp/eaccelerator". eaccelerator.enable Включение или выключение eAccelerator. Включение "1" и чтобы
отключить "0" . Значение по умолчанию "1". eaccelerator.optimizer Включение или выключение внутреннего оптимизатора, которых может
ускорить выполнение кода. Необходимо включить "1" и для того чтобы отключить "0".
Значение по умолчанию "1". eaccelerator.debug Включение или выключение журнала отладки. Должно быть "1" для
включения или "0" чтобы отключить. По умолчанию значение "0" eaccelerator.check_mtime Включение или выключение проверки изменения файлов PHP. Должно
быть "1" для включения или "0" чтобы отключить. Вы должны выставить
значение на "1", если потребуется проверить перекомпиляцию
PHP файлов после изменения. Значение по умолчанию "1". eaccelerator.filter Определите, какие файлы PHP должна быть кэшированы. Вы можете
указать типы шаблонов (например, "*.php *.phtml"), которое указывают
направлять это в кэш или нет. Если шаблон начинается со символа "!" то это означает игнорировать
файлы которые сопоставляются по следующему шаблону. Значение
по умолчанию "", что означает, все PHP скрипты будут кэшироваться. eaccelerator.shm_max Отключает, размещения больших значений в общую память
"eaccelerator_put ()" функции. Он указывает на большой допустимый
размер в байтах (10240, 10K, 1М). "0" отключает лимит. Значение по умолчанию "0". eaccelerator.shm_ttl Когда eAccelerator не может получить в общей памяти место для нового
сценария она удаляет все скрипты, которые не обращались к ней
последние "shm_ttl" секунд из общей памяти. Значение по
умолчанию "0", что означает - не удалять никакие файлы из общей памяти. eaccelerator.shm_prune_period Когда eAccelerator не может получить общей памяти для нового скрипта
он должен удалить старый скрипт, если предыдущие попытки были сделаны
более чем "shm_prune_period" секунд назад. Значение по умолчанию
"0", что означает - не не удалять файлы из общей памяти. eaccelerator.shm_only Включение или выключение кэширование скомпилированных скриптов на
диске. Это никак не влияет на данные сессии или содержание кэша.
Значение по умолчанию "0", что означает - использовать диск и общую
память для кэширования. eaccelerator.compress Включение или выключение сжатия кэшированного контента. Значение по
умолчанию "1", что включает сжатие. eaccelerator.compress_level Уровень сжатия, использованный для содержимого кэша. Значение по
умолчанию "9", что является максимальным значением. eaccelerator.name_space Эта строка для всех ключей. Она позволяет двум приложениям, которые используют одни и те же ключевые имена запускаться на том же хосте,
установив это в htaccess либо в основном конфигурационном файле
веб-сервера. eaccelerator.keys eaccelerator.sessions eaccelerator.content Определите, какие ключи, данные сеанса и содержимого будут кэшироваться.
Возможны следущие значения: "shm_and_disk" - кэш данных в общей памяти и на диске (значение по
умолчанию) "shm" - данные кэша в общей памяти или на диске в общей памяти и при
большом заполнением данными применяется "eaccelerator.shm_max" "shm_only" - данные в кэше в общей памяти "disk_only" - данные в кэше в диске "none" - не кэшировать данные eaccelerator.allowed_admin_path Путь для скриптов, которым разрешено получать информацию и управление
администратора.

После включения eAcceleratorа вы уже можете почувствовать разницу =)

Memcached
Часто система показывает падение производительности MYSQL, например, когда данные должны быть перемещены на более медленное устройство, например HDD и\или получены с него. Можно обойти эту ситуацию для данных, которых сохранять не нужно (например, данные о сеансе)? Можно и использовать Memcached

Port: pecl-memcached-0.1.4
Path: /usr/ports/databases/pecl-memcached
Info: PHP extension for interfacing with memcached via libmemcached library
Maint: gslin@gslin.org
B-deps: autoconf-2.62 autoconf-wrapper-20071109 libiconv-1.11_1 libmemcached-0.27
libxml2-2.7.3 m4-1.4.12,1 pcre-7.8 pear-1.7.2 perl-5.8.9_2 php5-5.2.9 
php5-pcre-5.2.9 php5-session-5.2.9 php5-xml-5.2.9 pkg-config-0.23_1
R-deps: libiconv-1.11_1 libmemcached-0.27 libxml2-2.7.3 pcre-7.8 pear-1.7.2 
php5-5.2.9 php5-pcre-5.2.9 php5-session-5.2.9 php5-xml-5.2.9 pkg-config-0.23_1
WWW: http://pecl.php.net/package/memcached

Не работает с CGI версией php5 и ему нужен CLI, а это убивает желание жить =)
This port requires the CLI version of PHP, but you have already
installed a PHP port without CLI.

Из-за этого мне не получится ее поюзать =) Если вкратце, то memcached сохраняет данные в RAM и обслуживает данные с максимальной возможной скоростью недоступной HDD отсюда следует прирост производительности.

Оптимизация Apache

Теперь Apache...

RAM - ну что можно сказать в первых отключите в Apache те модули, которые вами не используются.

MaxClients - RAM не резиновый и надо экономить для этого будем корректировать MaxClients. Воспользуемся утилитой top чтобы понять сколько в среднем используется памяти для каждого запроса у меня составило примерно 15 Mb на процесс вычислим значение, к примеру, у меня 1 Gb Ram.
1024 Ram / 15 Ram на процесс = 70 (68,266) MaxClients
Вот это значение 70 мы и выставляем в MaxClients.

MaxRequestsPerChild - если RAM на сервере мало, а CPU быстрый то можно сделать так. При использования памяти процессами веб сервер имеет тенденцию увеличится до уровня самой требовательной к памяти страницы, которую обслуживает этот дочерний процесс, память можно вернуть установим низкое значение MaxRequestsPerChild к примеру 300-400 (в зависимости от ситуации) Работа Apache несколько замедлится тк ему придется генерировать новые дочерние процессы, однако последние будут использовать меньше оперативной памяти. И в итоге мы сможем обслужить больше запросов при меньшем объеме памяти. Значение 0 - означает, что дочерние процессы никогда не завершаются.

mod_expires -Этот модуль Apache позволяет посылать HTTP-заголовки Expires, кэшируя все статические файлы в пользовательском браузере, например в течение 2х недель либо до появления новых версий файлов. Касаемо файлов изображений, CSS, JavaScript и тп. В выводе меньший трафик и освобождение полосы пропускания.

# cat /usr/local/etc/apache2/httpd.conf |grep expires
LoadModule expires_module libexec/apache2/mod_expires.so

И в .htaccess вашего CMS включите следующее.

# Requires mod_expires to be enabled. <IfModule mod_expires.c> # Разрешить истечение срока. ExpiresActive On # Кешировать все файлы сроком на 2 недели после доступа(A). ExpiresDefault A1209600 # Не кешировать динамически генерируемые страницы. ExpiresByType text/html A1 </IfModule>

.htaccess - так же можно перенести директивы из .htaccess в httpd.conf. Поиск, чтение и разбор файлов .htaccess происходит при каждом запросе. С другой стороны httpd.conf читается один раз при запуске Apache. Вам будет необходимо перенести содержимое .htaccess в httpd.conf и запретить поиск файлов .htaccess в пределах корневого каталога сервера, установив AllowOverride в None

<Directory /> AllowOverride None ... </Directory>

Это запретит Apache при каждом запросе проходить по дереву каталога в поисках .htaccess для его выполнения. В результате меньше работы и быстрее выполняется запрос.

FastCGI - Очень рекомендую использовать FastCGI в виду конечной скорости обработки. Не буду изобретать велосипед см Apache2 + php5 + mod_fastcgi
Процитирую wiki:
Интерфейс FastCGI — клиент-серверный протокол взаимодействия вебсервера и приложения, дальнейшее развитие технологии CGI. По сравнению с CGI является более производительным и безопасным.
FastCGI ликвидирует множество ограничений CGI-программ. Проблема CGI-программ в том, что они должны быть перезапущены веб-сервером при каждом запросе, что приводит к понижению производительности.

Nginx - Так же на фронт можно установить и Nginx - про частичную установку его можно прочитать тут Веб сервер на много коннектов и высокую нагрузку (nginx+php-fpm+mysql)

Оптимизация MYSQL

Дошли и до муси. В MYSQL есть возможность кэширования часто встречающихся запросов в оперативной памяти, и при поступлении конкретного запроса в MYSQL она возвратит его непосредственно из кеша. Однако в MYSQL по умолчанию эта функция отключена. И нам необходимо править конфигурационный файл MYSQL my.cnf Мы для примера добавим кэш размером в 64МБ. И на будущее с этим кэшом необходимо экспериментировать, чтобы добиться максимальной эффективности. Слишком маленький кэш приведет к тому, что кэшируемые запросы очень часто будут недействительными, а чересчур большой повлечет за собой относительно длительный поиск в кэше. Память будет неэффективно использоваться которая, могла бы пригодится другим службам.

[mysqld]
# Включам кэш запросов равным 64МБ
query_cache_size=64M
# Для индификации ресурсоемких запросов включаем следующее. Это

# приведет к регистрации всех запросов, для которых требуется больше

# 5 секунд (порог можете менять)
long_query_time = 5
log-slow-queries = /var/log/mysql/slow.log

Создаем лог меделенных запросов.

touch /var/log/mysql/slow.log chown mysql:mysql /var/log/mysql/slow.log

Перезапустим mysql-server

/usr/local/etc/rc.d/mysql-server restart

Как видим мы включили кэш (query_cache_type ON) и установили размер его равным 64МБ (query_cache_size 67108864)

Изменение типа таблиц с MyISAM на InnoDB
MYSQL использует два варианта типа таблиц MyISAM и InnoDB. По умолчанию MYSQL использует MyISAM.
MyISAM использует блокировку на уровне таблиц, а InnoDB на уровне строк. Блокировка очень важна для сохранении целостности базы данных она препятствует одновременному обновлению одних и тех же данных двумя разными процессами БД. Посмотрим, является ли причина плохой производительности блокировка таблиц. Для этого посмотрим кол-во конфликтных блокировок в MySQL это Table_locks_immediate и Table_locks_waited

mysql> show status like 'Table%';
+-----------------------+-------+
| Variable_name | Value |
+-----------------------+-------+
| Table_locks_immediate | 29958 |
| Table_locks_waited | 0 |
+-----------------------+-------+
2 rows in set (0.00 sec)

Table_locks_immediate - количество случаев, когда блокировка таблицы была получена немедленно.
Table_locks_waited - когда получение блокировка таблиц сопровождалось ожиданием. Если это значение велико, то у вас проблемы =)
Если у вас CMS, например Drupal то можно некоторые таблицы преобоазовать в InnoDB, например cache, watchdog, session, acceslog делается это так.

mysql> alter table cache type='InnoDB';

(Для настройки производительности MYSQL можно загрузить сценарий MySQL Performance Tuning Primer Script) который позволяет корректировать переменные сервера MySQL.

Настройка TMP (TMPFS)

TMPFS - использование RAM в качестве tmp, что само собой разумеется, быстрей и эффективней чем, он бы располагался на HDD. TMPFS появился только в [url=http://www.freebsd.org/releases/7.0R/relnotes.htmlFreeBSD 7.0-RELEASE [/url], так что меня не спрашивать, почему у меня на 6.х она не работает =) Пробежимся по настройке.
Для включения в ядро добавьте:

options TMPFS

Если не хотите встраивать в ядро можете добавить модуль в loader.conf:

tmpfs_load="YES"

Переменные

gid - root группа(group) id. uid - root пользователь(user) id. mode - разрешений в восьмеричной форме. inodes - максимальное количество индексных дескрипторов. size - максимальный размер (в байтах) для файловой системы.

Вручную можно примонтировать так:

mount -t tmpfs -o size=1024M tmpfs /tmp

Незабудем в fstab закомментить старый слайс tmp и добавить новый.

#/dev/mirror/gm0s1f /tmp ufs rw 2 2 tmpfs /tmp tmpfs rw 0 0

Перезагрузитесь и tmpfs вас порадует. =)

Заключение

В свете вышесказанного и при применении даже некоторой части рекомендованного здесь вы увидите как ваш веб сервер "оживет". Ну, если этого не произошло или вы не добились значительных результатов, то видимо вам пришло время закупать более мощное железо. На сим откланиваюсь нижайшее вам кисточкой вечно ваш Raven2000 =)

	Документация по ОС FreeBSD	Суббота, 27.04.2024, 15:54
		Главная Регистрация Вход