Login Logout

Howto nfdump

nfdump est un outil pour gérer des données Netflow. On l’associe en général à nfcapd un démon chargé de collecter les Netflow et parfois à NfSen qui permet une utilisation via une interface web.

Installation

# apt install nfdump

$ nfdump -V
nfdump: Version: 1.6.15

nfcapd pour collecter les flows

Il faut au préalable avoir configuré l’export des flows sur vos routeurs.

On peut ainsi lancer le démon nfcapd en configurant via /etc/default/nfdump :

nfcapd_start=yes

Par défaut, il écoute en UDP/9995 et stocke les données Netflow dans /var/cache/nfdump

On peut bien sûr configurer d’autres options, exemple d’une façon de le lancer :

$ nfcapd -w -D -p 9996 -u foo -g www-data -B 200000 -S 1 -P /var/run/nfcapd-p9996.pid -z -I routeur -l /srv/nfdump/routeur

nfdump pour analyser les flows

On peut utilise nfdump en ligne de commande :

$ nfdump -M /var/cache/dump [-R file1:file2] [FILTRE] [options]

Options utiles pour lister les flows :

  • -c N : limite à N flows
  • -b : agrège les flows aller/retour (bi-directional)
  • -A <LISTE> : agrège les flows, exemples : -A proto,srcip,dstip, -A proto,srcip,dstport
  • -t <intervalle> : limite à un intervalle précis, exemple -t 2011/03/26.22:35:10-2011/03/26.22:36:03
  • -o line6 : afficher les adresses IPv6 entièrement (au lieu d’une forme tronquée telle que 2001:db8..000::58)
  • -n 10 : limiter le résultat au top 10, mettre à 0 pour avoir tous les résultats

Options utiles pour trier les flows :

  • -s ip/flows -n 10 : top 10 des adresses IP qui sont concernés par le + de flows
  • -s ip/packets -n 10 : top 10 des adresses IP qui sont concernés par le + de paquets
  • -s ip/bytes -n 10 : top 10 des adresses IP qui sont concernés par le + d’octets

Note : on peut remplacer ip par srcip,dstip,port,srcport,dstport…

Filtres tcpdump que l’on peut ajouter pour limiter les flows listés/triés :

  • 'proto tcp' : limite au protocole TCP
  • '[src|dst] host <IP>' : limite à une adresse IP
  • '[src|dst] net <net>' : limite à un sous-réseau
  • '[src|dst] port <port>' : limite à un port

Note : ces filtres se combinent avec AND, OR et des parenthèses pour les priorités

Quelques exemples utiles :

## Lister tous les flows
# nfdump -M /var/cache/nfdump -R .

## Lister tous les flows issus de plusieurs répertoires
# nfdump -M /srv/nfdump/routeur1:routeur2:routeur3 -R .

## Lister les flows d'une date à une autre
# nfdump -M /var/cache/nfdump -R 2017/02/21/nfcapd.201702211030:2017/03/10/nfcapd.201703101030
## Sur OpenBSD il semble qu'on ne puisse pas utiliser l'option -M dans cette commande
# nfdump -R /var/cache/nfdump/2017/02/21/nfcapd.201702211030:2017/03/10/nfcapd.201703101030

## Lister les flows concernant l'UDP et l'IP 8.8.8.8 avec agrégation bi-directionnel
# nfdump -M /var/cache/nfdump -R . 'proto udp and host 8.8.8.8' -b

## Lister les flows en agrégeant par proto,srcip,dstip,dstport :
# nfdump -M /var/cache/nfdump -R . -A proto,srcip,dstip,dstport

## top 10 des ports utilisés entre deux machines en fonction du nombre
## de flows
# nfdump -M /var/cache/nfdump -R . 'host 192.0.2.1 and host 192.0.2.2' -s port -n 10
## Sur OpenBSD il semble que l'ordre des arguments soit important
# nfdump -M /var/cache/nfdump -R . -s port -n 10 'host 192.0.2.1 and host 192.0.2.2'

## top 10 des IPs source avec le plus de trafic
# nfdump -M /var/cache/nfdump -R . -s srcip/bytes -n 10

## top 10 des IPs ayant générés le plus de flow vers TCP/80 d'une machine
# nfdump -M /var/cache/nfdump -R . 'proto tcp and dst host 192.0.2.1 and dst port 80' -s srcip/flows

NfSen

NfSen est un outil pour gérer les Netflow via une interface web, il permet notamment :

  • de lancer plusieurs nfcapd pour collecter les Netflow de plusieurs routeurs
  • de lancer la commande nfdump avec des options de manière « graphique »
  • d’avoir des graphes par flows/paquets/octets par seconde avec des filtres tcpdump
  • de créer des alertes en fonction de seuils / filtres tcpdump

Installation NfSen

On installe NfSen et nfdump à partir des sources :

# perl -MCPAN -e 'install Socket6'

# wget https://github.com/phaag/nfdump/archive/v1.6.23.tar.gz
# tar zxvf v1.6.23.tar.gz
# cd nfdump-1.6.23
# echo 'AC_CONFIG_MACRO_DIRS([m4])' >> configure.ac
# apt install libcurl4-gnutls-dev libboost-regex-dev libboost-filesystem-dev libboost-system-dev libbz2-1.0 libbz2-dev libbz2-ocaml libbz2-ocaml-dev byacc libtool m4 automake pkg-config flex librrd-dev make
# ./autogen.sh
# ./configure --enable-nfprofile --enable-nftrack --enable-influxdb
# make
# make install

# wget https://sourceforge.net/projects/nfsen/files/stable/nfsen-1.3.8/nfsen-1.3.8.tar.gz/download -O nfsen-1.3.8.tar.gz
# tar zxvf nfsen-1.3.8.tar.gz
# cd ./nfsen-1.3.8
# cp etc/nfsen-dist.conf /etc/nfsen.conf
# vim /etc/nfsen.conf
# mkdir -p /opt/nfsen/data/nfsen
# mkdir -p /opt/nfsen/www
# adduser nfsen
# adduser nfsen www-data
# chown -R nfsen:www-data /opt/nfsen
# chmod -R 750 /opt/nfsen
# apt install libmailtools-perl
# ldconfig
# ./install.pl /etc/nfsen.conf
# ln -s /opt/nfsen/data/nfsen/bin/nfsen /etc/init.d/nfsen
# /etc/init.d/nfsen start

On peut créer une unité systemd dans /etc/systemd/system/nfsen.service:

[Unit]
Description=NFSen
After=network.target

[Service]
ExecStart=/opt/nfsen/data/nfsen/bin/nfsen start
ExecReload=/bin/kill -HUP $MAINPID
KillMode=process

[Install]
WantedBy=multi-user.target

Puis on l’active :

# systemctl enable nfsen.service

Rétention des données

Par défaut, les données sont gardées sur une durée illimitée.

La rétention peut être configurée depuis l’interface web, dans l’onglet Stats. Plusieurs valeurs sont intéressantes ici :

  • Start : date des données les plus anciennes
  • End : date des données les plus récentes
  • Size : taille actuellement occupée
  • Max. Size : taillée souhaitée maximale
  • Expire : durée de rétention souhaitée en heures (sans unité, ou unité “h”, “hour”, “hours”) ou en jours (unités “d”, “day”, “days”)

Si “Max. Size” et “Expire” sont tous les deux définies, la première valeur atteinte fera expirer les données.

Export des données vers InfluxDB

Note : Nfdump doit avoir été compilé avec l’option --enable-influxdb.

Les statistiques du profile “live” peuvent être directement exportées vers InfluxDB. Il faut pour cela appliquer un patch fourni par le projet nfdump, puis fournir la variable $influxdb_url="http://mydbhost.local:8086/write?db=nfsen"; dans le fichier de configuration nfsen.conf, et redémarrer nfsen.

Pour exporter les statistiques des autres profiles, il suffit d’ajouter $NFPROFILEOPTS="-i http://mydbhost.local:8086/write?db=nfsen"; dans le fichier de configuration nfsen.conf, et redémarrer nfsen.

Un dashbord Grafana préconfiguré est fourni comme exemple.

FAQ

Les alertes ne fonctionnent plus, et aucun profil ne graphe sauf live

Ce problème peut arriver après un upgrade de l’OS. Il faut dans ce cas recompiler nfdump.

Les AS ne font pas partie des flows

Les AS sont populés dans les flows par les routeurs ayant une full table BGP. Si l’on réccupère des flows depuis une machine n’ayant pas de full table BGP, les AS ne seront pas renseignés :

Date first seen          Duration Proto                AS      Flows(%)     Packets(%)       Bytes(%)      pps      bps   bpp
2019-06-03 11:01:53.000 86883.000 any                   0    66706(100)    2.3 M(100)     1.9 G(100)       26   177729   847

Il existe pour cela le module Perl Net::NfDump qui permet de réécrire les fichiers créés par nfcapd en y ajoutant les informations d’AS :

# nfasnupd nfcapd.201906041110
Checking BGP database for new version.
Loading AS database.
Updating records.
Processed 66706 flows in 8 secs.

Nfdump ne fonctionne plus après upgrade

Un message d’erreur est obtenu lors du lancement d’une commande nfdump :

# nfdump -V
nfdump: error while loading shared libraries: "libnfdump-1.6.18.so": cannot open shared object file: No such file or directory

Il faut lancer ldconfig pour refaire le lien symbolique entre libnfdump.so et libnfdump-1.6.18.so :

# ldconfig
# nfdump -V
nfdump: Version: 1.6.18

NfSen ne démarre plus : RRD version ‘1.7002’ not yet supported!

On obtient l’erreur suivante lors du démarrage de NfSen, ou la même erreur avec un numéro de version différent :

Starting nfsendPANIC nfsend dies: RRD version '1.7002' not yet supported!

RRD version '1.7002' not yet supported!

Il faut éditer /opt/nfsen/data/nfsen/libexec/NfSenRRD.pm (adapter le chemin selon où est installé nfsen) en augmentant la version max supportée :

    if ( $rrd_version >= 1.2 && $rrd_version < 1.8 ) {