LINUX:Glusterfs - Clients
But
Maintenant que les serveurs sont configurés, on passe à l'utilisation de ses ressources par les clients.
Elle consiste à se connecter à une ressource disque ou volume fournie par le "pool" de serveurs GlusterFs. Il existe plusieurs possibilités.
Matériel et adressage IP
Pour nos exemples, nous nous baserons sur le matériel et son adressage IP présenté sous l'article Serveurs GlusterFs.
Pilote natif
Le logiciel GlusterFs fournit un pilote natif nommé "Fuse" qui permet à tous client de se connecter et d'utiliser un volume GlusterFs comme on monte une partition disque locale.
Installation
Sur nos machines clients, il faut installer les paquets suivants:
dnf install glusterfs glusterfs-fuse
Configurer le mur de feu ou FireWall
Pour pouvoir se connecter aux serveurs du cluster GlusterFs, il faudra ajouter des règles dans notre FireWall si nous faisons un filtrage en sortie.
Sur base de notre exemple, voici deux règles à ajouter à Iptables:
-A OUTPUT -p tcp -m tcp --dport 24007 -m iprange --dst-range 192.168.1.71-192.168.1.76 -j ACCEPT -A OUTPUT -p tcp -m tcp --dport 49152:60999 -m iprange --dst-range 192.168.1.71-192.168.1.76 -j ACCEPT
Création du point de montage
En premier, on crée un répertoire dédié à cette connexion. Par exemple on crée le répertoire "brique1":
mkdir /brique1
Montage et démontage manuel
Les manipulations sont semblables à celles pour monter une partition d'un disque local.
On utilise la commande "mount" qui sert au montage de disque:
mount -t glusterfs <un serveur du cluster Gluster>:/<nom de volume> <répertoire de montage>
Par exemple, on désire monter le volume "diskgfs1" à partir de la machine "sv1.home.dom" sur le répertoire créé juste avant:
mount -t glusterfs sv1.home.dom:/diskgfs1 /brique1
On utilise le type de montage "glusterfs".
Pour le démontage, la commande classique est utilisée:
umount /brique1
Connexions réseaux
Au niveau des connexions réseaux, la machine client établit une connexion avec la machine serveur du cluster de connexion, ici "sv1.home.dom". C'est le port TCP 24007 à l'écoute du service "glusterd" qui assure cette connexion. Cette machine serveur peut être n'importe quelle machine du cluster même si cette machine n'intervient pas dans le volume concerné, ici "diskgfs1".
Ensuite une connexion est établie avec chaque machine serveur du cluster qui est concernée par le volume. Sur chacune de ces machines serveurs, c'est le port TCP à l'écoute du service "glusterfsd" lié au volume qui assure ces connexions. Pour notre exemple, on retrouve les machines "sv1.home.dom" et "sv2.home.dom".
Montage automatique
On utilise le fichier "/etc/fstab" bien connu. La syntaxe va différer au niveau des options:
<un serveur du cluster Gluster>:/<nom de volume> <répertoire de montage> glusterfs defaults,_netdev 0 0
Par exemple, on désire monter le volume "diskgfs1" à partir de la machine "sv1.home.dom" sur le répertoire créé juste avant:
sv1.home.dom:/diskgfs1 /brique1 glusterfs defaults,_netdev 0 0
ou si on veut préciser le protocole TCP:
sv1.home.dom:/diskgfs1 /brique1 glusterfs defaults,_netdev,transport=tcp 0 0
Pour le monter, manuellement, on utilise la commande classique:
mount -a
Pour le démontage, la commande classique est utilisée:
umount /brique1
Notons que dans le répertoire "/var/log/glusterfs" un fichier journal "brique1.log" est créé.
La commande:
df -h
affiche une nouvelle ligne pour le premier cas:
sv1.home.dom:/diskgfs1 149G 3,6G 146G 3% /brique1
pour le second cas:
sv1.home.dom:/diskgfs1.tcp 149G 3,6G 146G 3% /brique1
Reboot et montage automatique
Mais lors d'un redémarrage de la machine client, le montage ne se fait pas dans mon cas. Je n'est pas trouvé de solution simple; je ne semble pas être le seul. Sur les machines serveurs, il existe un service nommé "glusterfssharedstorage.service" se trouvant dans le répertoire "/usr/lib/systemd/system" qui effectue cette tâche s'il est activé.
Service n°1
Le problème semble venir du côté du réseau qui n'est pas totalement prêt.
Normalement l'option "_netdev" force que le montage s'effectue plus tard au niveau du "target" "remote-fs" de Systemd. Celui-ci doit être activé au niveau du "target" "multi-user" de Systemd pour être effectif. Ce "target" démarre après l'activation du réseau.
systemctl enable remote-fs.target
En outre le service "NetworkManager-wait-online.service" doit être activé. Il sert à attendre que les couches réseaux soient totalement effectives avant de permettre le lancement de la suite des services notamment le "target" "remote-fs".
systemctl enable NetworkManager-wait-online.service
Ces deux points sont normalement activés lors de l'installation.
Mais malgré ces précautions, le montage des volumes Glusterfs ne se fait pas; il essaye mais n'y parvient pas.
Nous avons trouvé une solution en forçant un délais avant le démarrage du service "NetworkManager-wait-online.service".
Pour y arriver, nous créons le répertoire "NetworkManager-wait-online.service.d" dans le répertoire "/etc/systemd/system". Dans ce nouveau répertoire, nous créons le fichier "attente.conf" dont voici le contenu:
[Service] ExecStartPre=/usr/bin/sleep 30
Avec cet ajout, on attend 30 secondes avant de lancer le processus "nm-online". Ce délais est à adapter selon votre situation.
Service n°2
Voici une autre solution pour pallier ce problème. On peut créer un service simple que l'on nommera "glusterfsmount.service" et qu'on place dans le répertoire "/etc/systemd/system". Voici son contenu:
[Unit] Description=Montage de volumes GlusterFs After=network.target network-online.target [Service] Type=simple ExecStart=/bin/mount -a -t glusterfs Restart=on-failure RestartSec=10 [Install] WantedBy=multi-user.target
Il s'exécutera toutes les 10 secondes tant qu'il est en erreur.
On l'active et on le lance:
systemctl enable glusterfsmount.service systemctl start glusterfsmount.service
Il monte les volumes GlusterFs repris dans le fichier "/etc/fstab".
Dès que ce service est arrêté:
systemctl stop glusterfsmount.service
Tous ces disques distants sont démontés.
Il y a un problème. Dans le cas où pour au moins une de ces entrées dans le fichier "/etc/fstab" a un problème, aucun des volumes n'est monté. Ce problème peut être une erreur dans la ligne (nom de serveur ou de volume incorrect) ou le service Glusterd du serveur concerné n'est pas joignable.
Service n°3
Nous proposons une solution un peu plus complexe. Elle apporte plusieurs améliorations:
- Si une des connexions ne peut s'établir, les autres le seront.
- Si un des serveurs du cluster est inaccessible, il passera automatiquement à un autre des serveurs.
- Si nous utilisons plusieurs clusters différents, il est possible de le faire.
- Il reteste les connexions établies périodiquement et corrige le tir si nécessaire.
- Il est possible en cours de route de déconnecter un volume.
Cette approche est composée d'un script en Bash, d'un script en LUA et d'un service ou de l'utilisation du Cron.
Nous allons placer tous ces scripts dans le répertoire "/manager/glusterfs".
Installation
Pour utiliser le script en LUA, il faut installer l'interpréteur:
dnf install lua dnf install lus-socket
Nous avons déjà rencontré cet interpréteur dans l'article sur la Configuration des services Lsyncd.
Fichier de la liste des serveurs
Il nous faut un fichier texte qui reprend la liste des serveurs GlusterFs du cluster. Ce fichier se nomme "hosts.txt" et est placé dans le répertoire "/manager/glusterfs".
Voici son contenu selon notre configuration:
sv1.home.dom sv2.home.dom sv3.home.dom sv4.home.dom sv5.home.dom sv6.home.dom
Cet ordre se fait selon votre ordre de priorité. Si le client se situe sur une des machines du cluster, on peut ajouter l'entrée "localhost".
Script en LUA
Ce script est chargé de vérifier que le service Glusterd est bien actif sur les machines serveurs du cluster. Il utilise le fichier "hosts.txt" pour cette vérification et crée en retour un fichier "gluster.txt" qui contient la liste des serveurs accessibles. Ce script se nomme "gluster.lua" et est placé dans le répertoire "/manager/glusterfs". Il teste le port TCP 24007 du processus "glusterd".
Voici son contenu:
#!/bin/lua
socketbase = require("socket")
sockettcp = socketbase.tcp()
--sockettcp = assert(socketbase.tcp())
sockettcp:settimeout(1)
port = 24007
nomfichierhost="./hosts.txt"
fichierhost=io.open(nomfichierhost,"r")
machines = {}
i=0
for ligne in fichierhost:lines()
do
i=i+1
machines[i] = ligne
end
fichierhost:close()
nomfichier="./gluster.txt"
fichier=io.open(nomfichier,"w")
for ligne in fichierhost:lines()
do
i=i+1
machines[i] = ligne
end
fichierhost:close()
nomfichier="./gluster.txt"
fichier=io.open(nomfichier,"w")
for _, machine in ipairs( machines )
do
local SocketMariadb, errMariadb = sockettcp:connect(machine, port)
if SocketMariadb then
fichier:write(machine.."\n")
sockettcp:close()
end
end
fichier:close()
Fichier "fstab"
Il ne faut pas oublier le fichier "/manager.glusterfs/fstab":
sv1.home.dom:/diskgfs1 /brique1 glusterfs defaults,_netdev,transport=tcp 0 0 sv2.home.dom:/diskgfs2 /brique2 glusterfs defaults,_netdev,transport=tcp 0 0
Script en Bash
Le script Bash suivant va utiliser le script Lua décrit ci-dessus. On le nomme "checkgluster.boucle.bat". Il est placé dans le répertoire "/manager/glusterfs".
Voici son contenu:
#!/usr/bin/bash CHEMIN="/manager/glusterfs" cd $CHEMIN # on peut choisir de traiter les entrées du fichier /etc/fstab ou son propre fichier fstab # cas type "glusterfs" dans //manager/glusterfs/fstab FICHIER="$CHEMIN/fstab" # cas du type "glusterfs" dans /etc/fstab #FICHIER="/etc/fstab" # bouclage infini !!!! for (( ; ; )) do # affichage de la date DT=`/usr/bin/date` echo $DT > $CHEMIN/mnt.log # récupération des serveurs actifs du cluster /usr/bin/lua gluster.lua TAILLE=`/usr/bin/wc -c gluster.txt | /usr/bin/awk '{printf("%s",$1)}' ` # démontage du volume si le serveur distante est inactive while IFS= read -r glm do IFS=$' :\t' read -r -a arr <<< "$glm" if [ "${arr[3]}" == "glusterfs" ] then MACHINEM=`/usr/bin/mount | grep "${arr[2]}" | /usr/bin/awk -F ":" '{printf("%s",$1)}' ` if [ "$MACHINEM" != "" ] then MACHINE=`/usr/bin/grep $MACHINEM gluster.txt` if [ "$MACHINE" == "" ] then /usr/bin/umount ${arr[2]} echo "Démontage de ${arr[2]} - La machine ${arr[0]} est inactive" >> $CHEMIN/mnt.log fi fi fi done <<< "$(/usr/bin/sed '/^#/ d' < $FICHIER | /usr/bin/grep 'glusterfs')" # traitement s'il y a des serveurs actifs dans le cluster if [ "$TAILLE" != "0" ] then # démontage des volumes si la ligne commence par "##" while IFS= read -r glm do IFS=$' \t' read -r -a arr <<< "$glm" if [ "${arr[2]}" == "glusterfs" ] then if /usr/bin/mountpoint -q "${arr[1]}" then /usr/bin/umount ${arr[1]} echo "${arr[1]} démonté" >> $CHEMIN/mnt.log else echo "${arr[1]} est déjà démonté" >> $CHEMIN/mnt.log fi fi done <<< "$(/usr/bin/grep '^##' $FICHIER | grep 'glusterfs' | /usr/bin/sed 's/#//g')" # montage des volumes non montés while IFS= read -r glm do IFS=$' :\t' read -r -a arr <<< "$glm" if [ "${arr[3]}" == "glusterfs" ] then if /usr/bin/mountpoint -q "${arr[2]}" then echo "${arr[2]} est déjà monté" >> $CHEMIN/mnt.log else MACHINE=`/usr/bin/grep ${arr[0]} gluster.txt` if [ "$MACHINE" == "" ] then MACHINE=`/usr/bin/head -n 1 gluster.txt` fi /usr/bin/mount -t "${arr[3]}" -o "${arr[4]}" "$MACHINE:${arr[1]}" "${arr[2]}" echo "${arr[2]} est monté sur la machine $MACHINE" >> $CHEMIN/mnt.log fi fi done <<< "$(/usr/bin/sed '/^#/ d' < $FICHIER | /usr/bin/grep 'glusterfs')" # état des montages echo "=====================================================================" >> $CHEMIN/mnt.log /usr/bin/df -h >> $CHEMIN/mnt.log fi # pause de 60 secondes avant le passage suivant sleep 60 done
Ce script s'exécute indéfiniment afin de revalider régulièrement les montages. Si on élimine les lignes affichées en rouge, le traitement est unique.
On peut choisir de traiter les lignes du fichier "/etc/fstab" comme classiquement ou son propre fichier local "fstab" selon la ligne active en début de script. (partie affichée en vert) Cette seconde solution peut être utilisée si nous devons utiliser en même temps plusieurs clusters. Dans ce cas, on dédouble le répertoire "/manager/glusterfs", un pour chaque cluster.
Ensuite on aborde la boucle; un fichier journal "/manager/glusterfs/mnt.log" est créé à chaque passage. Le repérage des serveurs actifs du cluster s'effectue grâce au script LUA.
A ce stade, on va boucler sur chaque serveur et si un point de montage utilise un serveur inactif, il sera démonté car va engendre des gros problèmes sur le client.
Ensuite on démonte des volumes montés s'ils ont été mis en commentaire ("##") entretemps dans le fichier "fstab".
Enfin on monte les volumes non encore montés en adaptant le serveur si celui désiré n'est pas accessible.
Le traitement se clôture par un état des espaces disques montés ("df") et on attend une minute avant un nouveau traitement.
Ce script peut être mis en oeuvre de diverses façons.
Utilisation du Cron
Une première utilisation de se script peut être faire via le Cron.
Il faut utiliser dans ce cas la version du script Bash dont les lignes en rouge sont éliminées.
On ajoute alors dans le fichier "/etc/crontab" la ligne suivante:
# montage des disques GlusterFS */5 * * * * root /manager/glusterfs/checkgluster.boucle.bat > /manager/glusterfs/mnt1.log
Il va s'exécuter toutes les cinq minutes.
Service à traitement périodique
Une seconde utilisation va utiliser toutes les possibilités du script. La partie en rouge du script reste.
Voici le contenu de ce service que l'on nommera "glusterfsmonterboucle.service" et qu'on place dans le répertoire "/etc/systemd/system":
[Unit] Description=GlusterFs : Montage de volumes GlusterFs After=network.target network-online.target [Service] Type=simple ExecStart=/manager/glusterfs/checkgluster.boucle.bat [Install] WantedBy=multi-user.target
Il boucle sur lui-même.
On l'active et on le lance:
systemctl enable glusterfsmonterboucle.service systemctl start glusterfsmonterboucle.service
Il monte les volumes GlusterFs repris dans le fichier "/etc/fstab".
Dès que ce service est arrêté:
systemctl stop glusterfsmonterboucle.service
Tous ces disques distants sont démontés.