Мини-заметки – выпуск 2 [2010] - Установка и настройка - Каталог статей

	Документация по ОС FreeBSD	Понедельник, 20.05.2024, 05:05
		Главная Регистрация Вход

Приветствую Вас Гость | RSS

Меню сайта

Категории каталога

Мои статьи [0]

Установка и настройка [281]

X Window [25]

Man pages [30]

Ports & Packages [26]

cvs [18]

Multimedia [20]

Нововсти в мире Unix [0]

RFC [4]

RFC (Request for Comments, Запрос на комментарии) - серия документов, публикуемая сообществом исследователей и разработчиков, руководствующихся практическими интересами, в которой описывается набор протоколов и обобщается опыт функционирования Интернет.

Безопасность [52]

Работа с железом [58]

Книги по FreeBSD [17]

Сеть [505]

Программирование [40]

FireWall [58]

Темы экзамена BSDA [14]

Официальные темы экзамена BSDA, включая подробноые описания и советы по обучению.

Главная » Статьи » Установка и настройка

Мини-заметки – выпуск 2 [2010]

В эфире второй выпуск мини-заметок. В него вошли девять «недопостов», связанных с юниксами, сайтостроением, информационной безопасностью и написанием скриптов. Кажется, предыдущий выпуск вызвал у читателей исключительно положительные эмоции. Надеюсь, этот окажется не хуже.

1. Безвозвратное удаление файлов в UNIX

Не секрет, что при удалении файла с диска его содержимое на самом деле никуда не исчезает. Оно продолжает хранится где-то на диске. Другой вопрос, что мы точно не знаем, где именно. Если у нас был файл, и мы случайно его удалили, для его восстановления нужно просканировать весь диск. Если после удаления файла прошло мало времени и его содержимое не было затерто другими файлами, с большой вероятностью его удастся полностью восстановить.

На этом принципе основана работа множества программ для восстановления данных, таких, как Easy Recovery. Однако они не гарантируют 100% восстановления данных. Поэтому в мире UNIX такие программы не получили широкого распространения – здесь принято регулярно делать резервные копии. Тогда данные можно будет восстановить и в случае случайного удаления, и пожара, и землетрясения.

Иногда встает обратная задача – как удалить файл таким образом, чтобы его нельзя было восстановить? Например, если мы хотим избавится от письма с секретной информацией. Очевидное решение – сначала полностью переписать его, а только затем удалить. Однако даже в этом случае есть шанс восстановить файл по остаточным данным на жестком диске, поэтому перезапись производится многократно.

В UNIX есть специальная программа для безвозвратного удаления файлов под названием wipe. Во FreeBSD ее можно установить из портов – /usr/ports/security/wipe/. Ее основные аргументы:

-p(1-32) - число проходов
-x[1-32] - максимальное значение случайного числа проходов

Аргумент -x3 означает «присвоить x случайное значение от 1-го до 3-х». Общее число проходов вычисляется, как x * p. Примеры:

# три раза переписать файл и затем удалить его
wipe -p3 file1.txt
# затереть файл от 1 до 4 раз, затем удалить
wipe -p1 -x4 file2.txt
# безвозвратно удалить каталог и его содержимое
# (один проход перезаписи)
wipe -r /dir/

Теперь представим, что нам нужно полностью очистить целую флешку. Самый простой способ – полностью заполнить ее нулями:

dd if=/dev/zero of=/dev/da1 bs=1M

Более надежный способ – многократно затереть все данные на флешке:

for n in 1 2 3; do echo "pass $n"; dd if=/dev/urandom of=/dev/da1 bs=1M; done;

После этого нужно создать новую файловую систему. Сначала говорим

fdisk -I /dev/da1

Утилита должна вывести что-то вроде:

******* Working on device /dev/da1 *******
fdisk: invalid fdisk partition table found
fdisk: Geom not found: "da1"

После этого в /dev должен появится da1s1

newfs_msdos /dev/da1s1

Монтируем, проверяем.

Сколько раз нужно перезаписывать данные? Судя по существующим стандартам, трех раз вполне достаточно. Если данные не шибко секретные, можно ограничится и одним разом.

2. Прикручиваем к блогу OpenSearch

OpenSearch – этой такой API для поиска по сайту. Вот как это выглядит:

В блогах на WordPress ОпенСёрч добавляется так. Сначала в корне сайта создается файл osd.xml следующего содержания:

<ShortName>Записки программиста</ShortName>

<LongName>Записки программиста</LongName>

<Description>Поиск в блоге “Записки программиста”</Description>

<Image height="16" width="16" type="image/vnd.microsoft.icon">http://eax.me/favicon.ico</Image>

</OpenSearchDescription>

Надеюсь, что на что нужно заменить, понятно без объяснений? Затем прописываем в header.php нашей темы между <head> и </head> следующую строчку:

Готово! В отличии от всяких плагинов, здесь мы не палим свой e-mail. Кроме того, описанным способом OpenSearch можно прикрутить к сайту на любой CMS.

3. Прикручиваем к доменному имени OpenID

Чтобы использовать доменное имя в качестве OpenID, совсем не обязательно иметь собственный OpenID сервер. Это возможно благодаря так называемому «делегированию OpenID». Допустим, мы зарегистрированы в Blogger и у нас есть сайт example.ru. Последний мы хотим использовать в качестве OpenID. Редактируем шаблон сайта, добавляя между <head> и </head> следующее:

Или, если вы предпочитаете LiveJournal:

Разумеется, «afiskon» нужно заменить на свой ник. Теперь идем на какой-нибудь progg.ru и пытаемся войти под OpenID «example.ru». Если мы нигде не ошиблись, все должно работать.

4. Размножение статей на Perl

Тут, если позволите, без комментариев.

#!/usr/bin/perl
use strict;
# text-morph.pl | (c) Alexandr A Alexeev 2010 | http://eax.me/
# можно напихать лишних пробелов, а затем вырезать их s/\s+/ /g
my $text = "{Hi|{Hello|Good day}}, {world|people}!";
for(1..10) {
  print text_morph($text)."\n";
}
sub text_morph {
  my $text = $_[0];
  my $save = "";
  while($save ne $text) {
   $save = $text;
   $text =~ s/\{([^\{\}]+)\}/text_select($1)/eg;
  }
  return $text;
}
sub text_select {
  my @text = split /\|/, $_[0];
  return $text[rand(@text)];
}

5. Полезные SQL-запросы к БД форума на punBB

Как я познакомился с этим движком, можете прочитать в этом посте. Ниже приведены несколько запросов для определения различных характеристик форума на punBB.

Зачем это нужно? Допустим, отношение (постов на форуме)/(участников на форуме) упало в два раза за пол года. Это говорит о падении «лояльности» посетителей – люди регистрируются, пишут десяток постов, затем навсегда уходят. Форум загибается и с этим нужно что-то делать. Очень интересная серия статей в тему публиковалась на rxpblog.com – часть 1 и часть 2.

Определить количество новых постов за месяц:

SELECT year(from_unixtime(posted)) AS y,
month(from_unixtime(posted)) AS m,
count(id)
FROM punbb_posts
GROUP BY y, m
ORDER BY y, m;

Топиков создается в месяц:

SELECT year(from_unixtime(posted)) AS y,
month(from_unixtime(posted)) AS m,
count(id)
FROM punbb_topics
GROUP BY y, m
ORDER BY y, m;

Регистраций в месяц:

SELECT year(from_unixtime(registered)) AS y,
month(from_unixtime(registered)) AS m,
count(id)
FROM punbb_users
WHERE year(from_unixtime(registered)) > 1970
GROUP BY y, m
ORDER BY y, m;

Число активных участников (создали не менее 30 постов за месяц):

SELECT y, m, count(DISTINCT username) AS c
FROM (
  SELECT year(from_unixtime(posted)) AS y,
month(from_unixtime(posted)) AS m,
username,
count(p.id) AS cnt
  FROM punbb_posts AS p
  LEFT JOIN flock_users AS u
  ON p.poster_id = u.id
  GROUP BY y, m, username
) AS t
WHERE cnt >= 30
GROUP BY y, m

Пересчитать количество постов у каждого пользователя:

UPDATE punbb_users AS u SET num_posts = (
SELECT count(*) FROM punbb_posts WHERE poster_id = u.id
)

Во всех запросах «punbb_» нужно заменить на используемый вами префикс в именах таблиц.

6. Установка Perl-модулей без прав суперпользователя

Создаем каталог ~/perl-modules/ – здесь будут хранится установленные модули. Ставить будем с помощью утилиты cpan. Во время первого запуска утилита задаст нам ряд вопросов. На все следует ответить по умолчанию, кроме следующих:

…

Always commit changes to config variables to disk? [no] yes

…

Please enter the URL of your CPAN mirror http://cpan.tomsk.ru/

…

Parameters for the ‘perl Makefile.PL’ command? [INSTALLDIRS=site] PREFIX=~/perl-modules/

…

В ~/.bashrc дописываем:

export PERL5LIB=/home/afiskon/perl-modules/share/perl/5.10.1

Перезаходим, ставим модули, проверяем их работу.

7. Удаляем не-mp3 файлы

Избавляемся от всяких .jpg, .m3u и прочего мусора в нашей аудио коллекции:

find './Infected Mushroom - Discography/' -type f | \
grep -v \\.mp3\$ | perl -e 'chomp $_ and unlink $_ while(<>);'

По аналогии можно делать много других полезных вещей.

8. Качаем порты FreeBSD по HTTP вместо FTP

Этот примем пригодится тем, кому по каким-то причинам не нравится использовать протокол FTP. Я лично против него ничего не имею, но из-за каких-то хитрых настроек фаервола моего ISP с ним постоянно возникают проблемы. При использовании протокола HTTP таких проблем нет, потому в моем /etc/make.conf написано следующее:

# замена утилите fetch
FETCH_CMD=/usr/local/bin/wget -t 3 -c
# не указываем флаг -S, wget понимает его не так, как fetch
DISABLE_SIZE=yes
# отдаем предпочтение протоколу HTTP
MASTER_SORT_REGEX=^http
# откуда льем исходники
MASTER_SITE_BACKUP?= \
http://ftp3.ru.freebsd.org/pub/FreeBSD/ports/distfiles/${DIST_SUBDIR}/ \
http://ftp4.ru.freebsd.org/pub/FreeBSD/ports/distfiles/${DIST_SUBDIR}/ \
http://ftp5.ru.freebsd.org/pub/FreeBSD/ports/distfiles/${DIST_SUBDIR}/ \
http://ftp6.ru.freebsd.org/pub/FreeBSD/ports/distfiles/${DIST_SUBDIR}/ \
http://ftp2.ru.freebsd.org/pub/FreeBSD/ports/distfiles/${DIST_SUBDIR}/ \
http://ftp1.ru.freebsd.org/pub/FreeBSD/ports/distfiles/${DIST_SUBDIR}/

MASTER_SITE_OVERRIDE?= ${MASTER_SITE_BACKUP}

Если вы используете пакеджи, пропишите в /root/.cshrc

setenv PACKAGEROOT http://ftp3.ru.freebsd.org

Все готово. Теперь все исходники и пакеджи будут скачиваться с российских http-серверов утилитой wget.

9. Полезные утилиты

Здесь я хотел бы рассказать о нескольких полезных программах, которые можно найти в портах FreeBSD.

Утилита eject (/usr/ports/sysutils/eject) предназначается для открытия дисковода:

eject /dev/acd0

Программа tree (/usr/ports/sysutils/tree) рекурсивно обходит каталог и выводит его содержимое в виде дерева. Ограничить глубину рекурсии можно с помощью колюча -L.

tree -L 3 ~/С помощью shuffle (/usr/ports/misc/shuffle) можно перемешивать строки текстового файла. Казалось бы, кому это нужно? Однако в моих скриптах такая необходимость возникает довольно часто.

# проигрываем mp3 файлы в случайном порядке
find ~/mp3 | shuffle -f - | mpg123 -@ -

Лучше использовать утилиту rl (/usr/ports/textproc/rl), потому что shuffle есть только под *bsd. В Linux утилита shuffle тоже есть, но предназначена для других целей. Пользоваться rl просто – cat file | rl | head.

</update>

Утилита enconv (/usr/ports/converters/enca) предназначена для перекодирования файлов из одной кодировки в другую. В отличии от iconv, здесь исходная кодировка определяется автоматически. Если нам известно, с каким языком мы работаем, с помощью ключа -L его можно сообщить программе.

wget -q 'http://example.ru/' -O - | enconv -L none -x utf8 > out.html

И еще одна полезная тулза – dialog. Правда она не из портов, а идет в комплекте с системой. Предназначена для создания псевдо-графических диалогов. Команда

dialog --yesno "delete all files?" 7 60

покажет пользователю следующее:

Если пользователь выберет «Yes», программа завершится с кодом 0, иначе – с кодом 1. Такую утилиту очень удобно использовать в скриптах.

Update: Чуть не забыл про pwgen (/usr/ports/sysutils/pwgen) – консольный генератор легко запоминаемых паролей. Или трудно запоминаемых – смотря как запускать. Или не паролей, а временных имен файлов – смотря как использовать. В общем, штука полезная.

Выпуск 1

Источник: http://eax.me/mini-notes-issue-2/

Категория: Установка и настройка | Добавил: oleg (18.12.2010) | Автор: Александр