Документация по ОС FreeBSD Вторник, 07.05.2024, 17:22
Приветствую Вас Гость | RSS
Меню сайта

Категории каталога
Мои статьи [0]
Установка и настройка [281]
X Window [25]
Man pages [30]
Ports & Packages [26]
cvs [18]
Multimedia [20]
Нововсти в мире Unix [0]
RFC [4]
RFC (Request for Comments, Запрос на комментарии) - серия документов, публикуемая сообществом исследователей и разработчиков, руководствующихся практическими интересами, в которой описывается набор протоколов и обобщается опыт функционирования Интернет.
Безопасность [52]
Работа с железом [58]
Книги по FreeBSD [17]
Сеть [505]
Программирование [40]
FireWall [58]
Темы экзамена BSDA [14]
Официальные темы экзамена BSDA, включая подробноые описания и советы по обучению.

Главная » Статьи » Ports & Packages

Быстрое обновление и восстановление портов [2009]
Еще одна статья про обновление портов, может пригодиться!

Содержание:

  Введение.
1. Скачивание и установка дерева портов.
2. Обновление и исправление базы данных портов.
3. Редактирование /etc/make.conf (оптимизация, etc).
4. Простое обновление.
5. Полезные опции portupgrade.
6. Проверенные скрипты тщательного обновления (автоматическое обновление).
7. Исправление некоторых проблем.

Введение

если нужно обновить (и(или)восстановить) порты, может быть запутанная ситуация (например, если не обновлять год), portupgrade очень часто с первого раза не исправляет ошибки

OS: FreeBSD 7.0, FreeBSD 7.1, FreeBSD 8.0  

1. Скачивание и установка дерева портов.

для начало перейти в:
cd /usr

скачаем архив дерева портов, это будет быстрее чем обновлять через cvsup, ищем ближайщый ftp провайдера/города/страны

качаем:
wget 'ftp://ftp2.ua.freebsd.org/pub/FreeBSD/ports/ports/ports.tar.gz'

перед скачиваем нужно обратить внимание чтобы архив был создан не позже чем 1-2 дня назад (желательно), некоторые ftp редко синхронизируются!
rm -rf /usr/ports

можно не большой скрипт который быстрее разархивирует, каждый файл при этом форкает (fork) системой:

(кто знает вариант лучше - пускай напишет)
#!/usr/bin/perl

open (OPEN, "tar -tf ports.tar.gz |");

while (my $p = <OPEN>) {
system("tar -xvzf ports.tar.gz $p > /dev/null &");
}

close OPEN;

(если perl не стоит, то скорее всего он будет из мира, по-моему путь #!/usr/local/bin/perl )

2. Обновление и исправление базы данных портов.

бэкап базы пакетов:
cp /var/log/dpkgdb.db /home/dpkgdb.db

можно заархивировать каталоги /etc/ /usr/local/etc программа может затереть конфиг (осторожно с символическими ссылками чтобы не удалить случайно важную информацию)

pkgdb -aF 

-a all, -F исправлять не спрашивая, считается безопасный метод
если база сбита, то на крайняк можно pkgdb -fu

3. Редактирование /etc/make.conf (оптимизация, etc).

ee /etc/make.conf
WITCH=BATCH=yes # не выдавать окно в котором спрашивать 
# с чем компилировать

BATCH=yes

# параллельная сборка портов, появилась с FreeBSD 7.2 лучше не включать
#
# MAKE_JOBS_SAFE=yes
# MAKE_JOBS_NUMBER=8
# FORCE_MAKE_JOBS=yes
# DISABLE_MAKE_JOBS=yes
# MAKE_JOBS_UNSAFE=yes

# FORCE_MAKE_JOBS=
#MAKE_JOBS_NUMBER!= let $$(sysctl -n kern.smp.cpus) \* 4
#
#.for port in \
# emacs-devel cross-binutils libgpg-error perl5.8 libthai \
# libiconv m17n-lib nasm tightvnc db47 subversion* \
# ghostscript8 pth cdrtools* w3m* xmp libslang2 ezm3 dcget libxml2 \
# vim gperf ffcall ORBit2 py-gtk2 xkeyboard-config ruby18 clisp \
# jdk16 p7zip zsh libsndfile openjdk6 gettext stumpwm
#
#. if ${.CURDIR:M*/${port}}
# MAKE_JOBS_UNSAFE=
#. endif
#.endfor
#

# оптимизация (кто какую считает лучше - отпишитесь в коментах)
CPUTYPE=pentium4 # архитектура
CFLAGS+=-g # отладка по-моиму
CFLAGS=-O2 -pipe -ffast-math -funit-at-a-time -fpeel-loops
-ftracer -funswitch-loops -mmmx -msse -msse2 -march=pentium4
-mtune=pentium4
COPTFLAGS=-O2 -pipe -ffast-math -funit-at-a-time -fpeel-loops
-ftracer -funswitch-loops -mmmx -msse -msse2 -march=pentium4
-mtune=pentium4
CXXFLAGS+=-fconserve-space
NO_PROFILE=true
LOCALIZED_LANG=ru

# зеркало (указать свои)

MASTER_SITE_OVERRIDE?= \
ftp://ftp5.ua.FreeBSD.org/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp7.ua.FreeBSD.org/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.ua.FreeBSD.org/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.gentoo.org.ua/distfiles/${DIST_SUBDIR}/ \
ftp://ftp2.ua.FreeBSD.org/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp6.ua.FreeBSD.org/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp8.ua.FreeBSD.org/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.linux.kiev.ua/pub/Linux/Gentoo/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.lucky.net/pub/FreeBSD/ports/distfiles/${DIST_SUBDIR} \
ftp://ftp3.ua.freebsd.org/pub/FreeBSD/ports/distfiles/${DIST_SUBDIR}/ \
ftp://ftp4.ua.freebsd.org/pub/FreeBSD/ports/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.ntu-kpi.kiev.ua/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.univ.kiev.ua/pub/FreeBSD/distfiles/${DIST_SUBDIR}/ \
ftp://ftp.univ.kiev.ua/pub/OS/FreeBSD/distfile/${DIST_SUBDIR} \

4. Простое обновление.

если portupgrade не стоит, то поставить:
(потянет ruby)
cd /usr/ports/sysutils/portupgrade && make && make install && make clean

в headbook'е написано:
portupgrade -a

но это можно не сработать, если стоит очень много программ старых или запутанных, рекомендуют:
portupgrade -arR

чтобы пройтись вдоль всех зависимостей

5. Полезные опции portupgrade.

полезные опции в portupgrade:
-W не чистить порт перед обновлением ;
-w не чистить порт после обновления;  
-F для того что скачать все исходники сразу, если проблемы с интернетом: portupgrade -aFrR
опции -f устанавливает дальше все зависимости, если даже где-то ошибка, то пытается продолжить дальше...;
-l /var/log/pport.log - записывает последнюю ошибку;
-L %s::%s создает файл в текущем каталоге, в котором записывает весь вывод установленных портов.

2 полезные команды make:
1) cd /usr/ports/deve/icu && make run-depends-list покажет зависимости данного порта,
2) make all-depends-list - все зависимости и зависимости тех портов которые зависят от порта

есть один важный недостаток, бывает версия порта называется не совсем корректно, например cairo-1.8.6_1,1 и portupgrade может всегда писать что порт устаревший

6. Проверенные скрипты тщательного обновления.

portupgrade -arR часто тоже может выдаст ошибку!!
есть вариант написать скрипт, который обновит те порты который устаревшие в месте с зависимостями:
#!/usr/bin/perl

$nn = 0;
while (1) {
$nn++;
open( OPERN, "portversion |" );
@all = <OPERN>;
if ( $nn > 6 ) {
print "while 6 exit";
exit;
}
foreach (@all) {
my ( $pp, $st ) = split( / /, $_, 2 );
if ( $st =~ '<' ) {
print "UPDATE: $pp\n";
system("portupgrade -f $pp");
} else {
print "ok UPDATE";
exit;
}
}
}

при этом может быть очень часто что что-то пропустит из-за подзависимоти каких-то скорее всего, цикл идет в 2 этапов if ( !$nn > 2 )

если порты запутанные, можно написать чтобы обновляло и новую версия как не корректную if ( $st =~ '<' || $st =~ '>') {

Важное примечание: при обновлении Desktop лучше сначала попробовать portupgrade -aRr, так как опция -R (portupgrade -Rf $all[0] для скрипта ниже) (ее lissyara рекламировал) будет устанавливать все зависимости по новому, если нужно обновить, к примеру, 4 программы evince/firefox3/xfce4, то они потянут около 20-60 зависимостей каждая (не считал), и одно и тоже portupgrade будет собирать (но имейте ввиду что эта опция -R надежная), более "мягче" есть вариант в данном случае поставить portupgrade -rf ports_old, при этом будут собираться только "ближайшие" зависимости, самый жесткий вариант portupgrade -Rrf ports_old скорее всего лучше использовать в редких случаях, например, если не хочет компилироваться /devel/icu, так же можно просто -f.

перед кажой установленной программой желательно пересмотреть еще раз список устаревших портов, чтобы не компилировать одно и тоже лишный раз, так как с опциями -R или -r многое уже может быть обновленно, portversion быстро смотрит какие версии установлены...

вот маленький скрипт для этого + еще реализовал запись в лог файл, чтобы было видно какой порт обновляется и сколько время прошло:
#!/usr/bin/perl

$nn = 0;
while (1) {
$nn++;
open( OPERN, "portversion |" );
my @all2 = <OPERN>;
close OPERN;
my @all;
for ( $i = 0 ; $i < @all2 ; $i++ ) {
my ( $pp, $st ) = split( / /, $all2[$i], 2 );
if ( $st =~ '<' ) {
push @all, $pp; # $all[$i] = $pp;
}
}
exit if ( !$all[0] || $nn > 2 );
while (1) {
last if !$all[0];
print "$all[0]\n";
logsave( get_time(), $all[0] );
system("portupgrade -rf $all[0]");
logsave( get_time(), $all[0] );
shift @all;
my @all = old(@all);
}
}

sub old {
my @all = @_;
open( OPEN2, "portversion |" );
my @all_all = <OPEN2>;
close OPEN2;
my @old;
my @no_old;
foreach my $p (@all_all) {
my ( $pname, $status ) = split( / /, $p, 2 );
if ( $status =~ '<' ) {
push @old, $pname;
}
else {
push @no_old, $pname;
}
}

my %seen;
@seen{@all} = ();
delete @seen{@no_old};
return keys %seen;
}

sub get_time {
my ( $sec, $min, $hour, $mday, $mon, $year, $wday, $yday, $isdst)=
localtime(time);
$mon++;
$year += 1900;
if ( $mday < 10 ) { $mday = "0$mday"; }
if ( $mon < 10 ) { $mon = "0$mon"; }
if ( $min < 10 ) { $min = "0$min"; }
my $date = "$mday $mon $year";
my $time = "$hour:$min:$sec";
my $cur_all_day = $mday + $mon * 30 + $year * 365;
my $radate = "$year-$mon-$mday $hour:$min:$sec";
return $radate;
}

sub logsave {
my ( $time, $ports ) = @_;
my $logfile;
$logfile = "\n time: $time \n ports: $ports \n\n";
system("touch /var/log/portupgrade.log");
open( DB2, "/var/log/portupgrade.log" ) ||
die "Cannot open file: $!";
my @base = <DB2>;
close(DB2);
open( DB, ">/var/log/portupgrade.log" ) ||
die "Cannot open file : $!";
print DB @base;
print DB $logfile;
close(DB);
}

использовал эти два.

дальше я написал простейший скрипт для автоматического обновления, который обновит дерево портов и порты через cron, отправит на email какие порты он обновил, и какие были устаревшие, можно поставить раз в неделю в cron

нужно заменить email адрес на тот который будет отсылаться Вам, и проверить работоспособность ftp с которого архив порта скачать
#!/usr/bin/perl

system("rm -rf /usr/ports.tar.gz");
system(
"cd /usr && wget
ftp
://ftp2.ua.freebsd.org/pub/FreeBSD/ports/ports/ports.tar.gz");
system("rm -rf /usr/ports");
open( OPEN, "tar -tf /usr/ports.tar.gz |" );
while ( my $p = <OPEN> ) {
system("tar -xvzf /usr/ports.tar.gz /usr/$p > /dev/null &");
}
close OPEN;
my $db = '/home/pkgdb.db' . time;
system("cp /var/db/pkg/pkgdb.db $db");
system("pkgdb -aF");
my $etc = '/home/etc' . time;
my $etc_local = '/home/etc_local' . time;
system("tar -cf $etc /etc");
system("tar -cf $etc_local /usr/local/etc");
open( OLD, "portversion -F|" );
my @all_old = <OLD>;
close OLD;
foreach (@all_old) {
my ( $pname, $status ) = split( / /, $_, 2 );
push @old, $pname if ( $status =~ '<' );
}
$nn = 0;
while (1) {
$nn++;
open( OPERN, "portversion |" );
my @all2 = <OPERN>;
my @all;
for ( $i = 0 ; $i < @all2 ; $i++ ) {
my ( $pp, $st ) = split( / /, $all2[$i], 2 );
if ( $st =~ '<' ) {
push @all, $pp; # $all[$i] = $pp;
}
}

exit if ( !$all[0] || $nn > 2 );
while (1) {
last if !$all[0];
print "$all[0]\n";
system("portupgrade -Rf $all[0]");
shift @all;
my @all = old(@all);
}
}

sub old {
my @all = @_;
open( OPEN2, "portversion |" );
my @all_all = <OPEN2>;
my @old;
my @no_old;
foreach my $p (@all_all) {
my ( $pname, $status ) = split( / /, $p, 2 );
if ( $status =~ '<' ) {
push @old, $pname;
}
else {
push @no_old, $pname;
}
}
my %seen;
@seen{@all} = ();
delete @seen{@no_old};
return keys %seen;
}

open( NEW, "portversion -F|" );
my @all_new = <NEW>;
close NEW;

foreach (@all_new) {
my ( $pname, $status ) = split( / /, $_, 2 );
push @new, $pname if ( $status =~ '<' );
}

open( SENDMAIL, "|/usr/local/sbin/sendmail -t" )
or die "sendmail not ready";
print SENDMAIL "From: FreeBSD <di\@th.org.ua\n";
print SENDMAIL "To: Admin <rtyug\@ukr.net>\n";
print SENDMAIL "Reply-To: FreeBSD <th\@ukr.net>\n";
print SENDMAIL "Subject: UPDATE from portupgrade\n\n";
print SENDMAIL "list old\n\n"; #
print SENDMAIL "@old\n\n";
print SENDMAIL "list new\n\n";
print SENDMAIL "@new\n\n";
print SENDMAIL "#################\n";
print SENDMAIL "list ALL old\n\n"; #
print SENDMAIL "@all_old\n\n";
print SENDMAIL "list ALL new\n\n";
print SENDMAIL "@all_new\n\n";
close(SENDMAIL) or warn "sendmail didn`t close nicely";

пример как можно написать что-то подобное portupgrade:
#!/usr/bin/perl

open( OPEN2, "portversion -o |" );
@all_all = <OPEN2>;
my @all;

foreach (@all_all) {
my ( $pname, $status ) = split( / /, $_, 2 );
$pname = '/usr/ports/' . $pname;
$pname =~ s/^\s+//;
$pname =~ s/\s+$//;
push @all, $pname;
}

my $port;
my @old;
my @no_old;

foreach my $p (@all_all) {
my ( $pname, $status ) = split( / /, $p, 2 );
if ( $status =~ '>' || $status =~ '<' ) {
$pname = '/usr/ports/' . $pname;
$pname =~ s/^\s+//;
$pname =~ s/\s+$//;
push @old, $pname;
}
else {
$pname = '/usr/ports/' . $pname;
$pname =~ s/^\s+//;
$pname =~ s/\s+$//;
push @no_old, $pname;
}
}

@to_port = `cd $old[0] && make all-depends-list`;
foreach (@to_port) {
$_ =~ s/^\s+//;
$_ =~ s/\s+$//;
}

my %seen;
@seen{@to_port} = ();
delete @seen{@no_old};
@dep2 = keys %seen;

print "@dep2\n";

7. Исправление некоторых проблем.

если обновилось php, то нужно обновить его библиотеки:
pkg_info | grep '^php5*' | awk '{print $1}' | xargs portupgrade -f 
|| pkgdb -fFu && portsclean -CLPP

для perl часто тоже может понадобиться:
pkg_info | grep '^p5-*' | awk '{print $1}' | xargs portupgrade -f 
|| pkgdb -fFu && portsclean -CLPP

Java (jdk*) прийдеться руками ставить

очистить порты и каталог distfile:
portsclean -CDD



Источник: http://www.lissyara.su/?id=1957
Категория: Ports & Packages | Добавил: oleg (10.07.2009) | Автор: ProFTP
Просмотров: 1384 | Рейтинг: 0.0/0 |
Всего комментариев: 0
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]
Форма входа

Beastie

Друзья сайта

Статистика

Онлайн всего: 1
Гостей: 1
Пользователей: 0
links

Copyright MyCorp © 2024