Адреса для установки Linux по сети в Citrix XenServer

Debian: ftp://ftp.ua.debian.org/debian/ 

Честно взял это из Пластилиновыго журнала. Интересный блог!

nfdump & nfsen

В последней версии моей любимой Vyatta (6.0) появилась возможность собирать netflow.
И ради интереса решил испробовать как это всё будет.
В Vyatta все просто:

flow-accounting {

interface eth0

interface eth1

interface eth2

netflow {

server 192.168.ччч.ччч {

port 9997

}

timeout {

expiry-interval 600

max-active-life 172800

Последнии три строки можно не писать.
Сервачок мой для опытов на котором развёрнут Zabbix (192.168.ччч.ччч),был улучшен связкой nfdump с nfsen. Первое без второго работает, но второе без первого нет.
nfdump - это коллектор netflow, прекрасно работает сам но только операции все через командную строку надо выполнять. Но раз есть такая штука как nfsen решил их слепить.
nfsen - проще описать как GUI к nfdump с возможностью запуска последнего из своего *.conf файла. На просторах Internet'а очень много ресурсов где описано как это делать, но к моему сожалению ни один до конца мне не помог.
С nfdump нет проблем он ставиться из репозитария.

sudo apt-get install nfdump

Так как на серваке у меня стоит Zabbix, то apache мне савить не надо но на всякий пож:

sudo apt-get install apache2 libapache2-mod-php5 php5-common libmailtools-perl rrdtool librrds-perl

Дальше качаем сам nfsen:

cd /home/xxx/distr/

wget http://sourceforge.net/projects/nfsen/files/stable/nfsen-1.3.3/nfsen-1.3.3.tar.gz/download

gzip -dc nfsen-1.3.2.tar.gz | tar -xf -

cd nfsen-1.3.3

Создаем папку возможно в более привычном месте:

sudo mkdir /etc/nfsen/

Копируем туда conf файл и редактируем:

cp etc/nfsen-dist.conf /etc/nfsen/nfsen.conf 

sudo vi /etc/nfsen.conf

Там правим примерно вот что:

# NfSen default layout:
# Any scripts, modules or profiles are installed by default under $BASEDIR.
# However, you may change any of these settings to fit your requested layout.

#
# Required for default layout
$BASEDIR = "/usr/local/nfsen";

#
# Where to install the NfSen binaries
$BINDIR="${BASEDIR}/bin";

#
# Where to install the NfSen Perl modules
$LIBEXECDIR="${BASEDIR}/libexec";

#
# Where to install the config files
$CONFDIR="/etc/nfsen/";

#
# NfSen html pages directory:
# All php scripts will be installed here.
# URL: Entry point for nfsen: http:///nfsen/nfsen.php
$HTMLDIR    = "/var/www/nfsen/";

#
# Where to install the docs
$DOCDIR="${HTMLDIR}/doc";

#
# Var space for NfSen
$VARDIR="/var/local/nfsen";

# directory for all pid files
# $PIDDIR="$VARDIR/run";
#
# Filter directory
# FILTERDIR="${VARDIR}/filters";
#

# FORMATDIR for custom printing formats
# FORMATDIR="${VARDIR}/fmt";
#

#
# The Profiles stat directory, where all profile information
# RRD DBs and png pictures of the profile are stored
$PROFILESTATDIR="${VARDIR}/profiles-stat";

#
# The Profiles directory, where all netflow data is stored
$PROFILEDATADIR="/var/local/nfdump";

#
# Where go all the backend plugins
$BACKEND_PLUGINDIR="${BASEDIR}/plugins";

#
# Where go all the frontend plugins
$FRONTEND_PLUGINDIR="${HTMLDIR}/plugins";

#
# nfdump tools path
$PREFIX  = "/usr/bin";

#
# nfsend communication socket
# $COMMSOCKET = "$PIDDIR/nfsen.comm";

# BASEDIR unrelated vars:
#
# Run nfcapd as this user
# This may be a different or the same uid than your web server.
# Note: This user must be in group $WWWGROUP, otherwise nfcapd
#       is not able to write data files!
$USER    = "www-data";

# user and group of the web server process
# All netflow processing will be done with this user
$WWWUSER  = "www-data";
$WWWGROUP = "www-data";

# Receive buffer size for nfcapd - see man page nfcapd(1)
$BUFFLEN = 200000;

# list of extensions for each collector. See argument -T
# for nfcapd(1) for more detailes.
# defaults to empty -> compatible to nfdump-1.5.8
# $EXTENSIONS = '';
# Example:
# $EXTENSIONS = 'all';
# $EXTENSIONS = '+3,+4';
#
# Directory sub hierarchy layout:
# Possible layouts:
#
# 0 default     no hierachy levels - flat layout - compatible with pre NfSen versions
# 1 %Y/%m/%d    year/month/day
# 2 %Y/%m/%d/%H year/month/day/hour
# 3 %Y/%W/%u    year/week_of_year/day_of_week
# 4 %Y/%W/%u/%H year/week_of_year/day_of_week/hour
# 5 %Y/%j       year/day-of-year
# 6 %Y/%j/%H    year/day-of-year/hour
# 7 %Y-%m-%d    year-month-day
# 8 %Y-%m-%d/%H year-month-day/hour
$SUBDIRLAYOUT = 7;

# Compress flows while collecting 0 or 1
$ZIPcollected    = 1;

# Compress flows in profiles 0 or 1
$ZIPprofiles     = 1;

# number of nfprofile processes to spawn during the profiling phase
# depends on how busy your system is and how many CPUs you have
# on very busy systems increase it to a higher value
$PROFILERS = 3;

# if the PROFILEDATADIR is filled up to this percentage, a warning message will be printed.
# set to 0 to disable the test
$DISKLIMIT = 98;

# number of nfprofile processes to spawn during the profiling phase
$PROFILERS = 6;

# Netflow sources
# Define an ident string, port and colour per netflow source
#
# Required parameters:
#    ident   identifies this netflow source. e.g. the router name,
#            Upstream provider name etc.
#    port    nfcapd listens on this port for netflow data for this source
#                        set port to '0' if you do not want a collector to be started
#    col     colour in nfsen graphs for this source
#
# Optional parameters
#    type    Collector type needed for this source. Can be 'netflow' or 'sflow'. Default is netflow
#        optarg  Optional args to the collector at startup
#
# Syntax:
#         'ident' => { 'port' => '', 'col' => '', 'type' => '' }
# Ident strings must be 1 to 19 characters long only, containing characters [a-zA-Z0-9_].

%sources = (
          'vyatta-vpn'   => { 'port' => '9995', 'col' => '#ff0000', 'type' => 'netflow' },
          'vyatta'  => { 'port' => '9997', 'col' => '#0000ff', 'type' => 'netflow' },
);

#
# Low water mark: When expiring files, delete files until
# size = $low_water % of max_size
# typically 90
$low_water = 90;

#
# syslog facility for periodic jobs
# nfsen uses level 'debug', 'info', 'warning' and 'err'
# Note: nfsen is very chatty for level 'debug' and 'info'
# For normal operation, you may set the logging level in syslog.conf
# to warning or error unless you want to debug NfSen
$syslog_facility = 'local3';

#
# SYSLOG mess
# Log socket type: Most *NIX such as LINUX and *BSD are fine with 'unix'
# which is the default. You need to change that to 'stream' or 'inet' for
# some Solaris version 8/9, AIX and others ..
# You may set it to undef to prevent calling Sys::Syslog::setlogsock at all
# ( works for Solaris 10 and newer Sys::Syslog module
#
# If not defined at all, 'unix' is assumed unless for Solaris, which defaults to 'stream'
# $LogSocket = 'unix';

#
# Plugins
# Plugins extend NfSen for the purpose of:
# Periodic data processing, alerting-condition and alerting-action
# For data processing a plugin may run for any profile or for a specific profile only.
#     Syntax: [ 'profile list', 'module' ]
#            profile list:  ',' separated list of profiles ( 'profilegroup/profilename' ),
#                           or '*' for any profile, '!' for no profile
#            module:        Perl Module name, equal to plugin name
# The profile list '!' make sense for plugins, which only provide alerting functions
#
# The module follows the standard Perl module conventions, with at least one
# function: Init(). See demoplugin.pm for a simple template.
#
# A file with the same name in the FRONTEND_PLUGINDIR and .php extension is automatically
# recongized as frontend plugin.
#
# Plugins are installed under
# $BACKEND_PLUGINDIR and $FRONTEND_PLUGINDIR

@plugins = (
    # profile    # module
    # [ '*',     'demoplugin' ],
);

%PluginConf = (
        # For plugin demoplugin
        demoplugin => {
                # scalar
                param2 => 42,
                # hash
                param1 => { 'key' => 'value' },
        },
        # for plugin otherplugin
        otherplugin => [
                # array
                'mary had a little lamb'
        ],
);

#
# Alert module: email alerting:
# Use this from address
$MAIL_FROM   = 'your@from.example.net';

# Use this SMTP server
$SMTP_SERVER = 'localhost';

# Use this email body:
# You may have multiple lines of text.
# Var substitution:
# @alert@               replaced by alert name
# @timeslot@    replaced by timeslot alert triggered
$MAIL_BODY       = q{
Alert '@alert@' triggered at timeslot @timeslot@
};

######################################################
#
# For the NfSen simulator include the section below.
#
######################################################
#
# Nfsen Simulator
# The simulator requires, that you have already installed
# and configured NfSen. The simulation is based on already
# pre-colleted data, which you may get from another live
# NfSen system.
#
# Steps to setup the NfSen simulator:
# 1. Configure the sources of the live profile with the
#    same names of the NfSen system, you take netflow data
#    for the simulation. Set the port for each netflow source
#    to 0 to prevent a collector to be started.
#    Install NfSen with this config in a seperate directory
# 2. Copy the pre-collected data into the appropriate
#    netflow directory of the live profile.
# 3. Configure the simulator using the parameters below
#    Enable Simulation mode => $SIMmode = 1
#    Configure the time window of the pre-collected data.
#      tstart    => Start of time window. yyyymmddhhmm
#      tbegin    => Optional parameter. Start of simulation
#                   profile exists already between tstart - tbegin
#      tend      => End of time window. yyyymmddhhmm
#      cycletime => simulation time in seconds of a 5min slot
#    Setting cycletime = 0 processes the cycles as fast as
#    possible. Please note, if you test plugings, your
#    cycletime needs to be at least the time required to
#    process all plugins.
# 4. Start nfsen: ../nfsen start
#    Simulation starts
#
# The simulator runs from tstart to tend and stops when tend
# is reached. You may stop the simulation at any given time
# using ./nfsen stop. To continue the simulation start NfSen
# again: ./nfsen start. You may reset the simulator at any
# given time using ./nfsen abort-reset. This stops the sumulation
# and rolls back to tstart. All profiles/alerts are deleted,
# so you may start from scratch again.
#
# Configure simulator parameters
#
# $SIMmode = 1;
# %sim = (
#    'tstart'     => '200707100000',    # Simulation data available from July 10th 2007 00:00
#    'tbegin'     => '200707110000',    # Simulation begins at July 11th 2007 00:00
#    'tend'       => '200707112355',    # Simulation ends at July 11th 2007 23:55
#    'cycletime'  => '30',                              # 30s per 5min slot
# );

А формат папок nfsen с сайта для тех кому важно что-где лежит:

До этого момента во всех блогах одно и тоже (ну или примерно одно и тоже)
дальше интереснее.

У меня начались сразу проблемы ))

RRDtool у меня был 1.4, с которым nfsen 1.3.3 не работает. Идём
libexec/NfSenRRD.pm и правим строку

( $rrd_version >= 1.2 && $rrd_version < 1.3 ) 

на

( $rrd_version >= 1.2 && $rrd_version < 1.5 ) 

Все вроди как OK далаем:

sudo ./install.pl /etc/nfsen/nfsen.conf 

ан нет, не все гладко.

Далее из переписки следовало, что надо заменить в install.pl все

make_path  

на

mkpath

и закомментировать строку:

CopyRecursive::dircopy("doc", "$NfConf::INSTPREFIX$NfConf::DOCDIR");

далаем:

sudo ./install.pl /etc/nfsen/nfsen.conf

cd /usr/local/nfsen/bin

sudo ./nfsen start

Все должно пройти нормально, идём на

http://ваш.сервер.com/nfsen/nfsen.php

А дальше у кого как...
У кого все в порядке, а у кого нет, потому что у некоторых стоит php5.2, а у некоторых
5.3. Для последних к коим я отношусь так же надо поколдовать дальше.
В папке web лица - /var/www/nfsen есть файлик nfsenutil.php.
В нём меняем

split 

на

preg_split

и в скобках вместо

' '

'/ /'

Тоже самое в rrdgraph.php там же.
И теперь все должно получиться. Смотрим и радуемся.

Здесь можно посмотреть nfsen во всей красе!

http://nfsen.its.monash.edu/nfsen/nfsen.php

Debian package manager

Так как моя "виртуальная ферма" в основном состоит из Debian виртуалок, то думаю для себя и для других данная инфа будет интерсна.
Данная инфа была взята с форума linuxforum.ru, за что всем тамошним участникам большое спасибо.
Использование менеджеров пакетов Debian:
Q: Какие инструменты используются в Debian для управления пакетами?
A: на самом "нижнем" уровне работает dpkg, Над ним располагаются основные оболочки, такие как apt-tools, dselect, рекомендованный ныне aptitude и графические, например synaptic.

Q: Как обновить список пакетов?
A: apt-get update или aptitude update пройдет по всему списку указанному у Вас в /etc/apt/sources.list и обновит списки пакетов по всем репозиториям.

Q: Списки я обновил, как теперь сами пакеты обновить?
A: apt-get upgrade - менее "интеллектуальный" вариант, обновляющий пакеты которые есть в системе
apt-get dist-upgrade более "интеллектуальный" вариант, который следит за тем, не сменили ли пакеты имя и пытающийся обновлять более важные пакеты даже ценой удаления менее важных.
aptitude upgrade - самый продвинутый из вариантов, который может, при необходимости, предложить несколько вариантов по разрешению проблем с зависимостями.

Q: А я не хочу все обновлять, как мне обновить только один пакет?
A: Точно так же как и установка пакета: apt-get install <пакет> или aptitude install <пакет>

Q: Как удалить пакет?
A: apt-get remove <пакет> или aptitude remove <пакет>

Q: А после удаления точно ничего от пакета не останется?
A: Для того, чтобы точно не осталось лучше пользоваться apt-get remove --purge <пакет> или aptitude purge <пакет>

Q: Как мне узнать как называется пакет для какой-то цели?
A: Попробуйте поиск по ключевым словам при помощи apt-cache search <слова>

Q: Хочу посмотреть информацию об установленном пакете.
A: apt-cache show <пакет> или dpkg --status <пакет>

Q: Мне принесли компакты дистрибутива, которых у меня не было, как мне их добавить?
А: apt-cdrom add должно помочь. Вставляете поочередно диски и для каждого выполняете apt-cdrom add -d=/точка/монтирования/. apt-cdrom просматривает индексные файлы на компактах, после чего производит автоматическое добавление оных в /etc/apt/sources.list как репозиториев.

Q: Мне кажется, что меня взломали и что-то сделали с <пакетом>
A: apt-get install --reinstall вернет пакет к изначальному состоянию, то есть такому какой он был на свежеустановленной системе.

Q: Очень хочется создать локальное зеркало, в какую сторону смотреть?
A: apt-move скорее всего решит полностью вашу проблему, для него достаточно указать где лежит архив файлов и куда выложить ваше зеркало.

Q: А подробнее про apt-move можно?
А: Можно:
apt-move update - переносит из /var/cache/apt/archives пакеты в директорию локального зеркала (указывается в /etc/apt-move.conf - LOCALDIR= )
По сути apt-move update является выполнением apt-move get, apt-move move, apt-move delete, apt-move packages.
apt-move get - формирует мастер-файл (не знаю как это перевести правильно на русский)
apt-move move - переносит пакеты из кэша apt в локальное зеркало
apt-move delete - удаляет устаревшие пакеты
apt-move packages - создает Packages.gz и Sources.gz дерева локального зеркала

Q: Как получить полный список установленных у меня пакетов?
А: dpkg --get-selections | grep -v "deinstall"

Q: У меня пакеты все уже удалени из кэша, а друг тоже хочет весь свежак, который у меня устанговлен...
A: Простой скрипт, выполненный в пустом каталоге соберет в нем пакеты, которые установлены в системе:

Код

dpkg --get-selections | grep -v "deinstall" | awk '{print $1}' | xargs dpkg-repack

Q: Есть подозрение, что из-за моих экспериментов в системе много мусора...
A: Попробуйте пакет debfoster, он при первом запуске спросит у вас о необходимости пакетов и удалит все лишнее.

Q: Где по умолчанию лежат пакеты, которые мне скачал apt-get?
A: в /var/cache/apt/archives

Q: Как мне поставить один *.deb пакет в систему?
A: При условии того, что удовлетворены все зависимости, dpkg -i <пакет> приведет к желаемому результату.

Q: В текущей папке у меня лежит .deb-пакет. Как мне посмотреть краткую информацию о нем?
A: dpkg -I <пакет>.deb

Q: Как заставит apt работать через proxy сервер?
A: Либо установив переменную окружения при помощи export "http://login:password@xxx.xxx.x.xx:yyyy", либо прописав в файл /etc/apt/apt.conf строку
Acquire::http::Proxy "http://xxx.xxx.xx:yyyy"; где xxx.xxx.xx - имя вашего прокси, yyyy - порт

Q: Я хочу определить в каком пакете необходимый мне файл (libodbc.so)
А: apt-file утилита поиска по содержимому пакетов.
apt-file update - получает файл Contents-.gz, следует учесть, что исходя из того, что проект Debian довольно большой, то и файл получится соответствующий.
apt-file search <файл> - поиск пакета с указанным файлом
Пример:
apt-file search libodbc.so
unixodbc: usr/lib/libodbc.so.1
unixodbc: usr/lib/libodbc.so.1.0.0
unixodbc-dev: usr/lib/libodbc.so

Q: А как просмотреть полный список содержимого пакета?
А: apt-file list <пакет> - отображает содержимое указанного пакета

Q: Я больше не собираюсь использовать apt-file, а Contents-.gz занимает место на диске
А: apt-file purge удалить все Contents-.gz
По поводу дополнительных опций - man apt-file

Q: Как мне найти неиспользуемые (осиротевшие) пакеты
А: deborphan без указания ключа осуществляет поиск в разделе библиотек, с указанием ключа "-a" поиск ведется во всех разделах. Имеется и интерфейс к deborphan - orphaner, поставляются в одном пакете.

Q: Есть локальный репозиторий из дистрибутивных дисков. Packages.gz сделал, а вот как сделать Contents-.gz для того, чтобы apt-file'ом можно было пользоваться
A: apt-ftparchive contents . | gzip > Contents-i386.gz, также с помощью apt-ftparchive можно создавать Sources.gz и Packages.gz
apt-ftparchive sources . | gzip > Sources.gz
apt-ftparchive packages .| gzip > Packages.gz

Q:Хочется создать дистрибутив некоторых выбранных пакетов и залить его на болванки. При этом хочется поместить на болванки и пакеты, не установленные в моей системе. Как это объяснить apt-move?
A: Вариант номер один - посмотреть в сторону jidgo, возможно, он вас устроит, вариант номер два - получить недостающие пакеты, но не устанавливать их в систему с помощью аpt-get install -d <пакеты>.

Q: У меня стоит мешанина из stable, testing, unstable и даже кое-что из experimental установил. Как мне сделать, чтобы все в таком виде и обновлялось?
A: Чтобы этого добиться, поместите следующую строку в /etc/apt/apt.conf:
APT::Default-Release "testing";
Затем, при установке пакетов из, например, нестабильного дистрибутива, просто
используйте ключ -t:
# apt-get -t unstable install имя_пакета
помимо этого рекомендуем прочитать man apt-preferences

Q: При установке пакета xxx с помощью apt (или aptitude) получаю список зависимостей и список "предлагаемых пакетов". Устанавливаются только зависимости и нужный мне пакет. Что такое "предлагаемые пакеты", и что с ними делать?
A:Предлагаемые пакеты - это пакеты, без которых устанавливаемая программа будет работать, но не будет реализовывать весь свой функционал. Обычно такие "предлагаемые пакеты" позволяют добавить в программу то или иное действие или поддержку тех или иных форматов и/или протоколов.
apt (или aptitude) знает, что пользователь может захотеть иметь этот функционал и сообщает ему, что он может ещё установить для его (функционала) получения.
Если Вы используете aptitude и хотите устанавливать "предлагаемые пакеты" автоматически, как и обязательные зависимости, Вы можете вызывать aptitude с ключём "--with-recommends".