Le lundi matin, dans une PME de Vétraz-Monthoux, personne n'arrive à enregistrer un document. Le serveur répond, les sessions s'ouvrent, mais l'écriture échoue. Le disque système est plein depuis samedi après-midi. Il se remplissait pourtant régulièrement depuis six semaines, à un rythme parfaitement lisible: il aurait suffi que quelqu'un regarde la courbe pour prévoir la date. Personne ne regardait, parce qu'il n'y avait rien à regarder.
C'est à cela que sert la supervision. Elle ne rend pas votre infrastructure plus solide, elle vous donne l'information avant que l'utilisateur ne s'en aperçoive. Nous déployons généralement Zabbix, un outil de supervision qui interroge vos machines à intervalle régulier, conserve l'historique des mesures et déclenche une alerte quand une valeur franchit un seuil. Cet article ne décrit pas son installation. Il décrit ce que nous surveillons réellement chez un client, et à partir de quel seuil nous décidons de vous déranger. C'est le contenu de notre offre de supervision et support.
Un principe de départ: une alerte doit correspondre à un geste
La supervision mal réglée produit des centaines de messages par jour, que plus personne ne lit, et l'alerte utile se noie dans le reste. Nous appliquons donc une règle stricte: si une alerte n'appelle aucune action concrète, elle n'est pas une alerte, c'est une mesure que l'on consulte dans un graphique.
Cette règle en implique trois autres. Une alerte doit désigner sans ambiguïté la machine et le service concernés. Elle doit être associée à un niveau de gravité qui détermine qui est prévenu et à quelle heure. Et elle doit se refermer automatiquement quand la valeur revient à la normale, afin que vous sachiez si l'incident est en cours ou terminé.
Nous appliquons également une hystérésis, c'est-à-dire un écart entre le seuil de déclenchement et le seuil de retour au calme. Sans cela, une valeur qui oscille autour de la limite envoie une alerte toutes les cinq minutes. De la même façon, un service n'est déclaré indisponible qu'après plusieurs contrôles négatifs consécutifs, ce qui élimine les fausses alertes dues à une micro-coupure réseau.
Ce que nous surveillons sur un serveur, et à partir de quel seuil
Les mesures se répartissent en quatre familles, avec des seuils qui varient selon le rôle de la machine mais dont voici les ordres de grandeur que nous utilisons par défaut.
- L'espace disque. Nous posons un avertissement autour de 80 % d'occupation et une alerte prioritaire autour de 90 %, mais la mesure la plus utile est la tendance: Zabbix sait projeter la date de saturation à partir de la vitesse de remplissage observée. Une alerte du type "cette partition sera pleine dans sept jours" arrive à un moment où l'intervention est encore planifiable.
- La mémoire et le processeur. Un pic de charge ne signifie rien: une sauvegarde nocturne sature normalement les ressources. Nous alertons sur la durée, par exemple une charge élevée maintenue plus de quinze minutes en journée, ou une utilisation soutenue de la mémoire d'échange sur disque, qui indique que la machine manque réellement de mémoire vive et ralentit tout le monde.
- La disponibilité des services. Nous ne vérifions pas seulement que la machine répond au réseau, car un serveur peut répondre pendant que son application est arrêtée. Nous contrôlons le service lui-même: le partage de fichiers, la base de données, le service d'annuaire, le serveur web. L'alerte se déclenche après deux ou trois contrôles négatifs de suite.
- L'état du matériel. Un volume redondant passé en mode dégradé déclenche une alerte immédiate, même la nuit, parce qu'il ne reste plus de marge avant la perte de données. Nous surveillons également les indicateurs de santé des disques, la température du châssis, et l'onduleur: une bascule sur batterie qui dure plus de quelques minutes annonce un arrêt propre à préparer.
Les alertes qui évitent les incidents les plus coûteux
Certaines sondes n'ont rien de spectaculaire mais évitent des journées entières d'arrêt.
La surveillance des sauvegardes arrive en tête. Nous ne nous contentons pas de recevoir le message de fin de tâche, car une tâche qui ne s'exécute plus du tout n'envoie rien. Nous alertons sur l'absence de rapport au-delà du délai attendu, et nous vérifions la taille de la sauvegarde produite: une copie soudainement dix fois plus petite que la veille signale un périmètre qui a changé sans que personne le sache. Ce contrôle prolonge ce que nous expliquons dans vous faites des sauvegardes, cela ne suffit pas, et il ne remplace pas la restauration de test.
L'expiration des certificats vient ensuite. Un certificat qui expire un samedi rend un site ou une application interne inaccessible avec un message d'erreur alarmant pour vos clients. Nous alertons trente jours avant l'échéance, puis de nouveau à sept jours, comme nous le décrivons dans le cadenas qui expire.
La supervision applicative depuis l'extérieur complète le dispositif. Une sonde qui interroge votre site public et vérifie le code de réponse ainsi que le temps de chargement détecte des pannes qu'aucune mesure interne ne voit, par exemple une coupure de la ligne Internet du site ou une erreur de configuration du serveur mandataire.
Ce qui échappe à une sonde, et pourquoi nous le disons clairement
La supervision constate un symptôme, elle ne remplace pas les autres dispositifs. Elle vous prévient qu'un disque se remplit anormalement vite, mais elle ne vous dira pas qu'un rançongiciel est en train de chiffrer vos fichiers: cette détection relève d'un agent de sécurité sur les postes et les serveurs, sujet que nous traitons dans votre antivirus ne voit plus tout.
Elle ne détecte pas non plus ce qui n'est pas déclaré. Un boîtier de stockage installé dans le local onduleur et absent de l'inventaire ne remonte aucune mesure, situation courante que nous décrivons dans un NAS, un rôle. L'inventaire précède donc toujours la supervision.
Enfin, une alerte sans destinataire disponible ne sert à rien. Un message envoyé à 3 heures du matin vers une boîte consultée à 9 heures ne raccourcit pas la panne. C'est la raison pour laquelle nous associons systématiquement la supervision à une organisation de traitement, décrite dans ce que signifie un helpdesk 24/7 pour une PME.
Notre méthode pour poser une supervision utile en quelques semaines
Nous commençons par l'inventaire complet des équipements et par la liste des services que vos utilisateurs consomment réellement, y compris ceux qui tournent chez un hébergeur. Nous définissons ensuite avec vous la gravité de chaque cas: ce qui justifie une intervention nocturne, ce qui attend le lendemain matin, ce qui se traite dans la semaine. Cette conversation appartient à la direction, car elle traduit un coût d'arrêt.
Nous déployons les sondes progressivement, en commençant par les serveurs et les sauvegardes, puis nous passons deux à trois semaines à ajuster les seuils sur des mesures réelles. Cette phase d'apaisement est la plus importante: nous supprimons les alertes qui se déclenchent sans conséquence, nous déclarons les fenêtres de maintenance pour ne pas être prévenus d'un redémarrage planifié, et nous configurons les dépendances entre équipements afin qu'une coupure de lien réseau ne génère pas quarante messages pour un seul incident.
Nous branchons enfin les alertes sur le support qui connaît déjà votre parc, de sorte qu'une notification arrive chez quelqu'un capable d'agir sans redemander à quoi sert la machine. Nous vous remettons un relevé mensuel: incidents survenus, temps d'indisponibilité, tendances de remplissage des disques. Ce relevé sert aux arbitrages de renouvellement du matériel, sujet abordé dans le serveur de la PME.
Cette surveillance est incluse dans le contrat d'infogérance à partir de 120 HT / mois pour le périmètre cadré. Elle s'exerce à distance, ce qui permet de détecter et souvent de corriger sans déplacement, et nous nous rendons sur place dans le Bassin Genevois quand l'intervention concerne le matériel. En dehors d'un contrat, une intervention d'urgence se facture 230 HT / h, montant identique en euros et en francs, hors taxes.
Si votre seule alerte aujourd'hui est l'appel d'un salarié qui n'arrive plus à travailler, parlons des sondes à poser en premier. Nous commençons toujours par les disques, les sauvegardes et les services critiques, car ce sont eux qui provoquent les arrêts les plus longs et les plus évitables.