Login Logout

Howto Percona Toolkit

Le « Percona Toolkit » est un ensemble d’outils édités par la société Percona, pour faciliter la gestion courante des serveurs de la famille MySQL (Oracle MySQL, MariaDB, Percona Server), mais aussi MongoDB.

Installation

# apt install percona-toolkit

# dpkg -l percona-toolkit 
[…]
ii  percona-toolkit 3.2.1-1      all          Command-line tools for MySQL and system tasks

Utilisation

Il y a de nombreux outils disponibles. Voici ceux que nous utilisons plus ou moins souvent.

La plupart dispose d’un ensemble d’options communes pour configurer la manière de connecter au service…

pt-show-grants

Normalise et montre les permissions MySQL pour faciliter leur réplication, leur comparaison ou leur versionnement.

Page de man : https://docs.percona.com/percona-toolkit/pt-show-grants.html

Conseils :

  • Mettez cette commande dans votre routine de sauvegarde pour suivre l’évolution des permissions dans le temps.

pt-mysql-summary

Résumé Montre un résumé complet de l’état d’un service MySQL.

Page de man : https://docs.percona.com/percona-toolkit/pt-mysql-summary.html

Conseils :

  • Mettez cette commande dans votre routine de sauvegarde pour suivre les variations dans le temps.
  • Exécutez cette commande et garder la sortie avant de mettre à jour ou d’appliquer une nouvelle configuration, vous pourrez alors comparer avant/après.

pt-kill

Tue des connexions MySQL lorsqu’elles correspondent à des critères.

Page de man : https://docs.percona.com/percona-toolkit/pt-kill.html

Les critères peuvent être un type de requête, une durée d’exécution…

Il y a un mécanisme de filtrage assez avancé.

Il peut fonctionner de manière attachée ou bien sous forme de démon.

pt-stalk

Collecte des données forensic à propos de MySQL lorsqu’un problème survient

Page de man : https://docs.percona.com/percona-toolkit/pt-stalk.html

On lui indique un critère à surveiller (nombre de connexions actives, type de requêtes…) et lorsque le critère est satisfait il déclenche des actions à propos du système (état CPU, réseau…) et de MySQL (liste des connexions, état des variables…).

C’est très pratique pour collecter très réactivement des données lorsqu’un problème survient, avant que ces données ne soient plus disponibles (plantage, redémarrage auto…)

Il peut fonctionner de manière attachée ou bien sous forme de démon.

Exemple pour lister (une seule fois) les processus actifs lorsqu’il y en a plus que 100 :

# pt-stalk --no-stalk --function status --variable=Threads_connected --threshold=100 --dest=/var/lib/pt-stalk --verbose 3 --mysql-only --iterations=1

pt-table-checksum

Vérifie l’intégrité d’une réplication MySQL

Page de man : https://docs.percona.com/percona-toolkit/pt-table-checksum.html

L’outil vérifie l’intégrité de la réplication en effectuant des requêtes de checksum (crc32 par défaut) sur le primaire, puis les requêtes sont joués sur les réplicas permettant de trouver des différences.

La méthode la plus simple pour l’utiliser est d’autoriser le primaire à se connecter au réplica (authentification MySQL). Ainsi, il s’occupe lui-même de faire le nécessaire pour identifier les erreurs. Il suffira donc de lancer la commande sans argument pour qu’il identifie les incohérences. On pourra réaliser un cron avec l’argument -q qui ne fait remonter que les erreurs.

MAILTO=jdoe@example.com
42 9 * * 7 pt-table-checksum -q

Si on à l’erreur suivante :

CRC32 never needs BIT_XOR optimization at /usr/bin/pt-table-checksum line 6165.

Il faut jouer la commande avec l’option --function MD5, car le CRC32 n’est pas disponible dans MariaDB :

# pt-table-checksum --function MD5

Si sur le primaire, le format de binlogs n’est pas STATEMENT, le check va retourner un Warning, dû à des limitations de l’outil, il faut alors le lancer avec la commande --no-check-binlog-format :

# pt-table-checksum --no-check-binlog-format --function MD5

Si on veut afficher seulement les différences, on peut utiliser l’option --replicate-check-only exemple avec un pt-table-checksum sur une base en particulier :

# pt-table-checksum --replicate-check-only --databases foo

pt-table-sync

Rétabli la synchronisation entre des tables MySQL

Page de man : https://docs.percona.com/percona-toolkit/pt-table-sync.html

Si pt-table-checksum vous a remonté des incohérences, vous pouvez avec cet outil les corriger. Cela va identifier les différences et les corriger avec un REPLACE sur le primaire (qui sera donc répliqué sur le réplica), garantissant la cohérence des données.

Exemple :

# pt-table-sync --print --replicate percona.checksums localhost
# pt-table-sync --execute --replicate percona.checksums localhost

En cas de Can't make changes on the master because no unique index exists. On peut synchroniser directement les différences sur le slave depuis le master.

# pt-table-sync --execute --no-check-slave localhost slave

pt-query-digest

Analyse des requêtes SQL depuis des logs, listes de processus ou traces tcpdump.

Page de man : https://docs.percona.com/percona-toolkit/pt-query-digest.html

ATTENTION : Si le fichier de slow query est trop lourd, il n’est pas recommandé de l’analyser sur un serveur de production, car l’analyse peut nécessiter un cœur CPU à 100%, pendant quelques minutes.

Cet outil analyse le fichier mysql-slow.log et fait un rapport général des requêtes qui prennent le plus de temps, par temps de réponse, pourcentage d’exécution, nombres d’appels et le type de requête.

# pt-query-digest /var/log/mysql/mysql-slow.log

# Profile
# Rank Query ID           Response time  Calls R/Call  V/M   Item
# ==== ================== ============== ===== ======= ===== =============
#    1 0x67A347A2812914DF 830.5323 62.8%    41 20.2569 87.06 SELECT foo_bar
#    2 0xC5C7772FD65D8C64 141.2796 10.7%    35  4.0366  0.07 SELECT lignes commandes lignes
#    3 0x6DEF8BB001FA8845 139.9141 10.6%     7 19.9877  0.04 SELECT commandes commandes_remboursements vendeurs_factures_remises paiements livraisons commandes_statut commandes_groupes acheteurs codes_promos adresses pays adresses pays vendeurs adresses pays
#    4 0xC8A44AAD56105646  41.5405  3.1%    17  2.4436  0.02 SELECT produits_tendances vendeurs declinaisons texteproduits produits_tendances
#    5 0xFD38100E607E1331  26.7823  2.0%     2 13.3912  5.07 SELECT OUTFILE commandes_etiquettes
#    6 0xFD7F7A9702EE1C3C  21.4709  1.6%     6  3.5785  0.00 UPDATE commandes
#    7 0xE63D0402530F63BE   9.5435  0.7%     4  2.3859  0.00 UPDATE commandes
#    8 0x4EEE742BBDA4EE47   8.9621  0.7%     2  4.4810  0.02 SELECT OUTFILE vendeurtracking
#    9 0xB28EA31EC4438F2F   8.6173  0.7%     2  4.3087  0.02 SELECT OUTFILE lignes
#   10 0xFFAD96608E3F459B   6.7241  0.5%     2  3.3620  0.38 SELECT produits_tendances vendeurs declinaisons texteproduits produits_tendances

pt-heartbeat

Mesure la latence de réplication MySQL

Page de man : https://docs.percona.com/percona-toolkit/pt-heartbeat.html

Pour mesurer la latence de mabière plus réaliste que le classique “retard de réplication”, l’outil insère une valeur datée de l’heure actuelle (timestamp) sur le primaire et compare l’information avec celle trouvée dans le réplica.

# mysql -e "CREATE DATABASE percona;"
# mysql -e "GRANT ALL PRIVILEGES ON \`percona\`.* TO 'percona'@'%' IDENTIFIED BY 'password';"
# mysql -e "GRANT REPLICATION CLIENT ON *.* TO 'percona'@'%';"
# adduser --disabled-password percona
# vim /home/percona/.my.cnf

[client]
user = percona
password = password

# chmod 600 /home/percona/.my.cnf
# chown percona: /home/percona/.my.cnf
# pt-heartbeat --defaults-file /home/percona/.my.cnf --create-table --database percona --table heartbeat --update

Le lancer en démon :

# pt-heartbeat --defaults-file /home/percona/.my.cnf --create-table --database percona --table heartbeat --update --daemonize

Le mettre dans une unité systemd /etc/systemd/system/pt-heartbeat.service :

[Unit]
Description=Check slave lag.
After=network.target mysql.service

[Service]
User=percona
ExecStart=/usr/bin/pt-heartbeat --defaults-file /home/percona/.my.cnf --create-table --database percona --table heartbeat --update
Type=simple
Restart=always

[Install]
WantedBy=default.target

Consulter la latence sur le slave :

# pt-heartbeat -defaults-file /home/percona/.my.cnf --create-table --database percona --table heartbeat --check

On pourra ensuite surveiller en temps réel la latence ou écrire un cron de surveillance, voir un check Nagios.

# pt-heartbeat -defaults-file /home/percona/.my.cnf --create-table --database percona --table heartbeat --monitor