La fatigue d'alerte
Éditorial
Ajouter des règles de détection finit souvent par réduire la sécurité qu'elles devaient accroître, parce que chaque alerte inutile use l'attention qui aurait servi à la bonne. Une alerte n'est pas une information : c'est une demande d'action, et celles qui n'en déclenchent aucune doivent disparaître.
→ Lire l’explication complète de la marmotte
Le bip de trop
Section intitulée « Le bip de trop »Toute organisation qui se dote d’une détection finit par posséder un objet qu’elle n’avait pas commandé : un canal où arrivent des alertes que personne ne lit. Ce peut être une boîte aux lettres, un salon de messagerie, une file dans un outil de tickets, une application sur un téléphone dont on a coupé le son. Sa forme varie. Sa fonction est constante : recevoir, avec une ponctualité admirable, des messages destinés à personne.
On y trouve des disques remplis à quatre-vingt-cinq pour cent depuis deux ans, sans que le quatre-vingt-sixième ne soit jamais venu. Des certificats qui expirent dans trente jours, puis vingt-neuf, puis vingt-huit, et qui sont renouvelés automatiquement la veille par un mécanisme que l’alerte ignore. Des connexions « suspectes » qui sont celles du directeur en déplacement. Des analyses antivirales « terminées avec succès ». Des « événements de sécurité de sévérité moyenne » dont nul n’a jamais su ce qui les distinguait de ceux de sévérité faible, sinon la couleur.
Et quelque part dans ce flot, un jour, une alerte vraie. Rédigée dans le même format, arrivée par le même canal, affublée de la même sévérité moyenne. Elle sera traitée comme les autres, c’est-à-dire pas du tout. Le lendemain, quand on reconstituera l’incident, on la retrouvera, parfaitement horodatée, et quelqu’un prononcera la phrase rituelle : « l’alerte avait pourtant été levée ».
C’est vrai. Elle avait été levée, comme on lève son chapeau dans une rue déserte.
Cet éditorial examine ce phénomène, qu’on appelle la fatigue d’alerte, et soutient une thèse désagréable pour les éditeurs comme pour les équipes : au-delà d’un certain seuil, ajouter de la détection retire de la sécurité. Non parce que les règles seraient fausses, mais parce que l’attention humaine est une ressource finie, et que chaque alerte inutile la consomme au détriment de celle qui aurait compté.
Plus de détection, moins de sécurité
Section intitulée « Plus de détection, moins de sécurité »Le raisonnement ordinaire sur la détection est additif. Chaque règle couvre un scénario ; plus de règles couvrent plus de scénarios ; la couverture augmente ; la sécurité aussi. C’est l’argument de toutes les plaquettes, qui annoncent fièrement des milliers de règles prêtes à l’emploi comme d’autres annoncent des milliers de chaînes de télévision : le nombre tient lieu de programme.
Ce raisonnement oublie que la détection n’est pas un système automatique. C’est une chaîne dont le dernier maillon est un être humain, qui doit lire l’alerte, la comprendre, décider qu’elle mérite qu’on s’y arrête, et agir. Ce maillon a une capacité. Elle se mesure en alertes réellement examinées par jour, et elle est très inférieure à ce que produisent les outils quand on les laisse faire.
Tant que le volume reste sous cette capacité, le raisonnement additif tient : une règle de plus, c’est un scénario de plus qui sera vu. Au-delà, il s’inverse. Le lecteur ne peut plus tout examiner ; il trie, et il trie comme trient tous les êtres vivants débordés : par habitude, par source, par ressemblance avec ce qui s’est révélé anodin la veille. Une règle de plus n’ajoute alors rien à la couverture effective. Elle ajoute du volume, qui dilue toutes les autres, y compris les bonnes.
La couverture théorique d’une détection est la somme de ses règles. Sa couverture réelle est le produit de ses règles par la probabilité qu’une alerte soit lue. Et la seconde grandeur diminue quand la première augmente. On peut donc, en toute bonne foi, avec un budget croissant et des règles impeccables, construire une détection de moins en moins efficace. C’est même, si l’on en croit la pente naturelle des choses, le destin ordinaire des détections qui ne font l’objet d’aucune taille.
Il y a dans cette mécanique quelque chose de familier à quiconque a fréquenté une administration : le nombre de formulaires augmente la conformité jusqu’au point précis où il la rend impossible. Passé ce point, on continue de remplir, mais plus personne ne lit.
L’arithmétique du faux positif
Section intitulée « L’arithmétique du faux positif »Il faut ici un détour par le calcul, parce que la fatigue d’alerte n’est pas seulement une affaire de psychologie. Elle est d’abord une affaire de taux de base, et l’intuition humaine y est remarquablement mauvaise, ce qui fait la fortune des vendeurs de tests en tous genres.
Prenons un scénario entièrement hypothétique, avec des chiffres ronds choisis pour la lisibilité. Une infrastructure produit chaque jour dix mille événements examinés par une règle donnée. Parmi eux, en moyenne, un seul est réellement malveillant. La règle est excellente : elle détecte l’événement malveillant dans presque tous les cas, et ne se trompe sur un événement légitime qu’une fois sur cent.
Une fois sur cent, c’est peu. Sur dix mille événements légitimes, c’est une centaine de fausses alertes par jour. Face à elles, une vraie. Une alerte sur une centaine environ mérite l’attention, avec une règle que n’importe quel commercial présenterait comme « précise à 99 % », et il n’aurait pas menti. Il aurait simplement répondu à une autre question que celle qui vous intéresse.
C’est toute la différence entre deux grandeurs qu’on confond en permanence. La première est la probabilité que la règle se déclenche quand il se passe quelque chose de grave. La seconde est la probabilité qu’il se passe quelque chose de grave quand la règle se déclenche. La plaquette parle de la première. L’analyste, à trois heures du matin, vit dans la seconde. Et la seconde est écrasée par la rareté de l’événement recherché : plus ce que l’on cherche est rare, plus la plupart des alertes sont fausses, quelle que soit la qualité du détecteur.
On en tire deux conséquences, aussi peu réjouissantes l’une que l’autre.
La première est que les incidents graves sont rares, et que c’est une mauvaise nouvelle pour leur détection. Une compromission sérieuse n’arrive pas tous les jours, heureusement. Mais cela signifie que toute règle qui la cherche au milieu de l’activité normale produira, mécaniquement, une écrasante majorité de fausses alertes. L’amélioration de la règle déplace le problème ; elle ne le supprime pas.
La seconde est que l’analyste a raison d’ignorer. Si, pendant des mois, une alerte donnée s’est révélée fausse chaque fois qu’on l’a examinée, alors la conclusion rationnelle, au sens le plus strict, est qu’elle est probablement fausse la fois suivante. L’humain qui cesse de la regarder ne fait pas preuve de négligence. Il fait preuve d’apprentissage. C’est le système qui l’a entraîné à ignorer, avec une pédagogie que bien des écoles lui envieraient.
La désensibilisation n’est pas une faute morale
Section intitulée « La désensibilisation n’est pas une faute morale »Le terme de fatigue d’alarme vient, pour autant que je sache, des métiers où l’on veille entouré de moniteurs qui sonnent pour tout, et où l’on finit par ne plus entendre ceux qui sonnent pour quelque chose. Le phénomène y a été beaucoup étudié, et je ne m’aventurerai pas à en citer les chiffres, que je ne connais pas avec assez de précision. Le mécanisme, en revanche, est d’une simplicité biblique : un signal qui sonne souvent pour rien devient un bruit, et un bruit, le cerveau humain est très doué pour l’effacer. C’est même l’une des rares choses pour lesquelles il est très doué sans formation.
La fable du berger qui criait au loup est plus ancienne que l’informatique et plus exacte que la plupart des livres blancs. On la raconte aux enfants pour leur apprendre à ne pas mentir. On devrait la raconter aux équipes de détection pour leur apprendre autre chose : les villageois n’ont commis aucune faute en cessant d’accourir. Ils ont ajusté leur comportement à la fiabilité du signal. La faute était celle du berger, et, dans la version informatique, le berger est une règle mal réglée que personne n’ose désactiver.
Cette lecture a une conséquence pratique qu’on néglige : il est inutile de réclamer plus de vigilance. Rappeler aux équipes qu’« aucune alerte ne doit être ignorée », diffuser une note, organiser une sensibilisation : tout cela revient à demander aux villageois de courir plus vite. Ils courront, une semaine. Puis la réalité statistique reprendra ses droits, parce qu’elle est plus têtue qu’une note de service. La vigilance n’est pas une vertu qu’on décrète ; c’est un état qu’on préserve, en ne la dépensant pas pour rien.
Il faut ajouter une variante plus insidieuse. La désensibilisation ne se contente pas de faire ignorer les alertes. Elle produit des procédures d’ignorance. On crée une règle de messagerie qui range automatiquement les alertes dans un dossier. On acquitte en masse chaque matin. On rédige un script qui ferme les tickets d’une certaine catégorie. Ces gestes sont rationnels, individuellement. Collectivement, ils constituent un dispositif de suppression parallèle, non documenté, qui supprime aussi les vraies alertes, et dont personne ne répond puisque personne ne l’a décidé.
Autrement dit, les équipes finissent par faire elles-mêmes, en cachette et sans méthode, le tri qu’on aurait dû faire au grand jour et avec méthode. Le tri a lieu dans tous les cas. La seule question est de savoir s’il est fait par quelqu’un qui sait ce qu’il supprime.
L’alerte qui ne demande rien
Section intitulée « L’alerte qui ne demande rien »Parmi les alertes qui encombrent les canaux, les fausses ne sont pas les plus nombreuses. Les plus nombreuses sont vraies et inutiles. Elles décrivent correctement un fait, et ce fait n’appelle aucune action.
On peut en dresser une petite typologie, non exhaustive, à la manière des naturalistes d’autrefois qui classaient les insectes nuisibles.
L’alerte informative. « Une sauvegarde s’est terminée avec succès. » « Un utilisateur a changé son mot de passe. » « Le service a redémarré. » Ce sont des faits, et ils ont leur place dans un journal. Ils n’ont pas leur place dans un canal d’alerte, qui est par définition un canal d’interruption. Une alerte qui dit que tout va bien est une interruption qui ne sert qu’à prouver qu’on a été interrompu.
L’alerte sur un symptôme sans conséquence. Un processeur à quatre-vingt-dix pour cent pendant une minute, un disque qui se remplit selon une pente parfaitement prévisible, une latence qui monte pendant la sauvegarde nocturne. Le fait est réel ; l’utilisateur ne s’en aperçoit pas ; le lendemain matin, tout est rentré dans l’ordre. On a réveillé quelqu’un pour lui annoncer un problème qui se résoudrait sans lui.
L’alerte en double. Une panne réseau fait tomber une liaison, et avec elle les vingt services qui passent par cette liaison, et donc vingt alertes, plus celle de la liaison, plus celles des sondes qui ne joignent plus rien. Le lecteur reçoit vingt-deux messages pour un seul problème, et doit comprendre seul qu’ils sont la même chose. Il y parvient d’ailleurs très bien, au prix de l’attention qu’il n’accordera pas au vingt-troisième, qui n’avait rien à voir.
L’alerte sans destinataire. Elle signale un problème réel sur un système dont plus personne n’est responsable. Elle arrive dans un canal commun, où chacun suppose que quelqu’un d’autre s’en occupe. C’est l’effet bien connu du témoin, transposé dans une messagerie : plus il y a de lecteurs, moins il y a de lecteur.
L’alerte « pour info ». C’est la plus sincère, puisqu’elle avoue dans son nom qu’elle n’attend rien. On l’a créée « pour garder un œil », selon l’expression consacrée, ce qui suppose qu’on dispose d’yeux en nombre illimité.
Aucune de ces catégories n’est fausse. Toutes sont nuisibles. Et c’est ce qui rend la fatigue d’alerte difficile à combattre : on ne peut pas reprocher à une règle de dire la vérité. On peut seulement lui reprocher de la dire à quelqu’un qui n’en a que faire.
Une alerte est une demande d’action
Section intitulée « Une alerte est une demande d’action »Il faut donc une définition, et je propose la plus restrictive possible : une alerte est une demande d’action adressée à quelqu’un de précis, dans un délai précis. Ce qui ne satisfait pas cette définition n’est pas une alerte. C’est un événement, un indicateur, une statistique, une ligne de journal, un signal de contexte : autant de choses respectables, qui ont leur place ailleurs, et notamment dans les journaux qu’on relit quand on enquête.
Cette définition a l’avantage de se transformer immédiatement en test. Avant de créer une alerte, ou pour juger une alerte existante, on répond à quatre questions.
Que doit faire la personne qui la reçoit ? Pas « regarder », pas « surveiller », pas « analyser » : une action identifiable, même si c’est « vérifier auprès de l’utilisateur que la connexion est bien la sienne » ou « isoler la machine du réseau ». Si la réponse honnête est « rien, sauf si… », alors le « si » est la vraie condition de déclenchement, et c’est lui qu’il faut détecter.
Qui, exactement ? Une personne ou un rôle de permanence, pas un canal. Une alerte qui arrive « à l’équipe » n’arrive à personne, pour les raisons exposées plus haut.
En combien de temps ? Si l’action peut attendre le lendemain matin, ce n’est pas une alerte qui réveille, c’est un ticket. Confondre les deux, c’est apprendre aux gens que les réveils nocturnes sont négociables, et ils finiront par les négocier avec leur oreiller.
Que se passe-t-il si personne ne fait rien ? C’est la question la plus cruelle et la plus utile. Si la réponse est « rien de grave », l’alerte n’a pas de raison d’exister. Si la réponse est « une catastrophe », alors l’alerte mérite un traitement bien plus sérieux que celui qu’elle reçoit sans doute : une procédure écrite, un destinataire nommé, un test régulier.
Les pratiques d’exploitation qu’on regroupe sous le nom de SRE ont popularisé une règle voisine, selon laquelle toute sollicitation d’un humain doit être actionnable et exiger un jugement humain ; ce qui peut être résolu par un automate doit l’être par un automate. La formulation est bonne. Elle a le seul défaut de toutes les bonnes formulations, qui est d’être citée beaucoup plus souvent qu’appliquée.
Ce qu’une alerte doit contenir
Section intitulée « Ce qu’une alerte doit contenir »Une alerte conçue comme une demande d’action porte en elle ce qu’il faut pour agir. Au minimum : ce qui s’est passé, dans le vocabulaire de l’humain et non du capteur ; pourquoi c’est important, en une phrase ; ce qu’il faut faire, ou le lien vers la procédure qui le dit ; et comment savoir si c’est une fausse alerte, c’est-à-dire la vérification rapide qui permet de clore sans honte.
Ce dernier point est rarement prévu, et c’est une erreur. Une alerte dont la fausseté se vérifie en trente secondes est une alerte qui coûte trente secondes quand elle est fausse. Une alerte dont la fausseté demande une demi-heure d’enquête coûte une demi-heure chaque fois, et finit par ne plus être vérifiée du tout.
L’art de supprimer
Section intitulée « L’art de supprimer »Si la définition précédente est juste, la conséquence est brutale : une grande partie des alertes existantes doit disparaître. Pas être « réglée », pas être « abaissée en sévérité », pas être « redirigée vers un canal secondaire » (ce qui revient à construire un second cimetière à côté du premier) : disparaître en tant qu’alerte, quitte à subsister en tant que journal, métrique ou indicateur.
Et c’est là que tout se bloque, pour une raison qui n’a rien de technique.
Supprimer une alerte est un acte dont on répond ; en ajouter une n’engage à rien. Si l’on désactive une règle et qu’un incident survient ensuite dans son périmètre, quelqu’un demandera qui l’a désactivée, et ce quelqu’un aura un nom. Si l’on ajoute une règle qui noie tout le monde et qu’un incident passe inaperçu, personne ne demandera qui l’a ajoutée : on dira que l’alerte avait été levée. L’asymétrie de responsabilité est totale, et elle suffit à expliquer que les détections ne maigrissent jamais d’elles-mêmes. On n’a jamais vu un règlement intérieur raccourcir spontanément.
Il faut donc organiser la suppression, précisément pour la rendre défendable.
La revue périodique. À intervalle régulier, on examine chaque règle et l’on se demande ce qu’elle a produit sur la période : combien de déclenchements, combien d’actions, combien d’incidents réels. Une règle qui s’est déclenchée souvent sans jamais provoquer d’action est une candidate évidente à la suppression. Une règle qui ne s’est jamais déclenchée n’est pas forcément inutile (elle peut surveiller un événement rare et grave), mais elle mérite qu’on vérifie qu’elle fonctionne encore, parce qu’une règle muette et une règle cassée se ressemblent beaucoup.
La suppression documentée. On ne désactive pas en silence. On note la règle retirée, la raison, la date, la personne qui décide, et l’endroit où le signal reste disponible s’il l’est encore. Ce n’est pas de la bureaucratie ; c’est ce qui transforme un geste risqué en décision assumée. La différence entre un abandon et un choix tient dans une ligne écrite.
La période d’essai inversée. Toute nouvelle alerte entre en service avec une date de réexamen. Si, à cette date, elle n’a jamais déclenché d’action, elle est retirée, sauf décision explicite de la garder. On inverse ainsi la charge de la preuve : ce n’est plus à la suppression de se justifier, c’est au maintien.
La consolidation. Les vingt-deux alertes de la panne réseau deviennent une seule, qui dit « la liaison est tombée, voici les services concernés ». Cela demande de connaître les dépendances, ce qui est un travail, mais c’est un travail qu’on fait une fois au lieu de le faire à chaque panne, dans l’urgence, avec un téléphone qui vibre sans interruption.
Il y a enfin une suppression qu’on oublie toujours : celle des alertes que l’on peut remplacer par une réparation. Une alerte qui se déclenche chaque semaine pour le même disque plein n’appelle pas une meilleure alerte. Elle appelle une purge automatique, un disque plus grand, ou une réflexion sur ce qui le remplit. Une alerte récurrente est souvent un problème non résolu qui a trouvé le moyen de se faire payer une rente.
Mesurer le taux d’alertes utiles
Section intitulée « Mesurer le taux d’alertes utiles »On ne corrige pas ce qu’on ne mesure pas, dit la sagesse managériale, qui en profite généralement pour mesurer n’importe quoi. Ici, il existe pourtant une mesure simple, honnête, et presque jamais tenue : la part des alertes qui ont donné lieu à une action utile.
La définition demande un peu de rigueur. On compte, sur une période, toutes les alertes émises. On compte ensuite celles qui ont conduit à une action autre que l’acquittement : une vérification qui a révélé un vrai problème, une correction, une escalade, une ouverture d’incident. Le rapport entre les deux est le taux d’alertes utiles.
Pour le calculer, il suffit que chaque alerte soit close avec une étiquette, choisie parmi un petit nombre de valeurs : action utile, fausse alerte, vraie mais sans action nécessaire, doublon. Quatre valeurs suffisent ; au-delà, personne ne remplira le champ correctement, et l’on mesurera surtout la patience des équipes. L’étiquetage prend quelques secondes au moment de la clôture et devient impossible à reconstituer après coup, ce qui en fait un exemple de plus d’une information qu’il faut écrire au moment où elle existe.
Ce taux a plusieurs vertus.
Il est lisible par tout le monde. Dire qu’une détection produit beaucoup d’alertes ne dit rien. Dire que moins d’une alerte sur vingt a servi à quelque chose le trimestre dernier dit tout, sans vocabulaire technique.
Il est ventilable par règle. On découvre vite qu’une poignée de règles produit l’essentiel du bruit, et que leur suppression ou leur refonte améliore le taux global plus que n’importe quel projet d’outillage. C’est une loi d’une banalité confondante, qu’on retrouve dans à peu près tous les domaines où l’on se donne la peine de compter.
Il est difficile à truquer dans le mauvais sens. On peut l’améliorer en supprimant des alertes inutiles, ce qui est le but. On ne peut pas facilement l’améliorer en ajoutant des alertes, ce qui est exactement le réflexe qu’il s’agit de contrarier.
Il faut toutefois le compléter, parce qu’un indicateur seul est toujours une invitation à la triche. Un taux d’alertes utiles excellent obtenu en supprimant toutes les alertes est un triomphe statistique et une faillite opérationnelle. Il faut donc suivre, à côté, une mesure de ce qui a été manqué : les incidents découverts autrement que par une alerte, et la question de savoir si une alerte aurait pu ou dû les signaler. C’est une mesure plus rare, plus lente, plus douloureuse. C’est aussi la seule qui garde l’autre honnête.
Le meilleur argument contre
Section intitulée « Le meilleur argument contre »Je dois maintenant à la loyauté d’exposer la thèse adverse, qui est sérieuse et qui a pour elle une partie de l’expérience des métiers de la détection et de la réponse.
L’argument tient en une phrase : les attaques sérieuses ressemblent justement à du bruit. Un attaquant compétent ne déclenche pas d’alerte critique ; il produit une succession d’événements individuellement anodins, chacun de faible sévérité, chacun explicable. Une connexion à une heure un peu inhabituelle. Une commande d’administration légitime, lancée depuis une machine un peu inattendue. Un volume de données sortantes un peu supérieur à la moyenne. Supprimer les alertes « inutiles », c’est précisément supprimer ces signaux faibles, et donc rendre la détection aveugle à la seule catégorie d’adversaires qui compte vraiment. La chasse aux faux positifs serait ainsi, en pratique, une chasse aux vrais positifs discrets.
Il faut reconnaître que l’argument décrit une réalité. Les signaux faibles existent, ils sont précieux, et leur valeur tient souvent à leur combinaison plutôt qu’à chacun d’eux.
Mais il confond deux choses que cet éditorial a tenté de séparer : le signal et l’alerte. Un signal faible mérite d’être conservé, corrélé, enrichi ; il ne mérite pas d’interrompre un humain à lui seul. La réponse à la discrétion de l’adversaire n’est pas d’envoyer chaque indice à un analyste qui en reçoit mille par jour. C’est de laisser les indices s’accumuler dans un endroit où une règle de corrélation, ou un humain en séance de recherche délibérée, pourra les assembler. On garde le signal. On supprime l’interruption. La discipline qu’on appelle observabilité, décrite dans les pages sur l’architecture d’observation, repose précisément sur cette distinction.
L’argument contraire a une seconde version, plus prosaïque : la conformité. Certains cadres exigent qu’on surveille telle ou telle catégorie d’événements, et la manière la plus simple de le prouver est de produire une alerte. C’est vrai, et c’est regrettable. La réponse est la même : l’exigence porte le plus souvent sur la surveillance, pas sur l’interruption, et une surveillance peut être prouvée par un journal, une revue périodique ou un rapport sans qu’un téléphone vibre dans une poche à chaque occurrence. Quand ce n’est pas le cas, il faut au moins isoler ces alertes réglementaires dans un canal qui ne contamine pas les autres, et avoir l’honnêteté de ne pas les compter dans la détection.
Reste une objection que je ne sais pas réfuter entièrement : supprimer, c’est parier. Chaque règle retirée est une petite probabilité de manquer quelque chose. Je réponds que ne pas supprimer est aussi un pari, simplement moins visible : celui que l’analyste lira la bonne alerte au milieu des cent autres. Entre deux paris, je préfère celui qu’on peut écrire, dater et réviser.
Le cas de la personne seule
Section intitulée « Le cas de la personne seule »Tout ce qui précède se formule volontiers en termes d’équipes, d’analystes et de permanences. Il vaut, en plus aigu, pour la personne seule qui administre une petite infrastructure : un indépendant, une association, une famille un peu trop équipée.
Chez elle, le maillon humain n’a pas de remplaçant et pas de relève. Chaque alerte inutile est prélevée sur le même stock d’attention que tout le reste de sa vie. Et la fatigue s’y installe plus vite, parce qu’il n’y a personne pour dire « celle-là, on devrait la supprimer » : la seule personne qui pourrait le dire est celle qui est fatiguée.
Pour elle, la règle est encore plus restrictive : n’alerter que sur ce qui exige une action le jour même, et renvoyer tout le reste à un rapport périodique, lu à heure fixe, quand on a l’esprit libre. Une sauvegarde qui a échoué cette nuit est une alerte. Une sauvegarde qui a réussi est une ligne dans le rapport hebdomadaire, et encore. Un certificat qui expire dans trente jours est une ligne de rapport ; un certificat qui expire demain alors que le renouvellement automatique a échoué est une alerte. La supervision minimale d’une petite infrastructure tient en une poignée de conditions, et c’est une bonne nouvelle : une poignée, on peut la tester.
Il faut aussi, chez la personne seule, se méfier d’un piège particulier : le silence n’est pas une preuve de bonne santé. Un système d’alerte qui ne dit rien peut aller parfaitement bien ou être tombé en panne. Le seul remède est un signal de vie : un message attendu à intervalle régulier, dont l’absence, elle, déclenche l’alerte. C’est l’une des rares alertes « positives » qui méritent d’exister, précisément parce que c’est son absence qui demande une action. Le sujet de l’infrastructure tenue par une seule personne est assez vaste pour mériter son propre éditorial.
Ce que je ne sais pas
Section intitulée « Ce que je ne sais pas »Je ne sais pas où se situe le seuil. J’ai affirmé qu’au-delà d’un certain volume la détection se dégrade. Je ne sais pas le chiffrer, et je me méfie de quiconque prétend le faire en général : il dépend de la complexité des alertes, de la qualité des procédures, de l’état de fatigue des gens et de mille autres choses. Je sais seulement qu’il existe, et qu’on le franchit sans s’en apercevoir.
Je ne sais pas ce que vaudra le tri automatisé. Beaucoup d’outils proposent désormais qu’un modèle trie, résume ou priorise les alertes avant qu’un humain ne les voie. Si cela fonctionne, c’est un allègement réel. Mais c’est aussi un nouveau maillon, dont les erreurs seront discrètes et systématiques, et dont les biais ressembleront à ceux de l’analyste fatigué, sans la fatigue pour les excuser. Je n’ai pas assez de recul pour dire si l’on déplace le problème ou si on le résout.
Je ne sais pas mesurer correctement les manques. J’ai insisté sur la nécessité de suivre ce que la détection n’a pas vu. En pratique, on ne connaît que les incidents qu’on a fini par découvrir. Ceux qu’on n’a jamais découverts ne figurent dans aucune statistique, et ce sont peut-être les plus nombreux. Toute mesure de la détection est une mesure faite par la détection elle-même, ce qui n’est pas le meilleur gage d’impartialité.
Je ne sais pas comment résister durablement à la pente. La revue périodique, la suppression documentée, la période d’essai inversée : tout cela fonctionne tant que quelqu’un s’en occupe. Le jour où personne ne s’en occupe, le volume recommence à croître, parce que l’ajout reste gratuit et la suppression coûteuse. Je ne connais aucune organisation de la détection qui soit stable sans entretien. Je soupçonne qu’il n’en existe pas.
Ce qui reste
Section intitulée « Ce qui reste »Une alerte n’est pas une information. C’est une demande adressée à un humain, qui consomme la seule ressource qu’aucun budget ne permet d’acheter en quantité : son attention.
Trois choses me semblent acquises. Que la couverture réelle d’une détection dépend de la probabilité qu’une alerte soit lue, et que cette probabilité diminue avec le volume, de sorte qu’ajouter des règles peut retirer de la sécurité. Que la désensibilisation est un apprentissage et non une faute, et qu’on ne la combat pas par des rappels à la vigilance mais en cessant de la nourrir. Et que la suppression est l’acte central d’une détection saine, à condition d’être organisée, documentée et mesurée, parce que c’est le seul moyen de rendre défendable un geste que l’asymétrie des responsabilités rend sinon impossible.
Le reste découle de là : définir l’alerte comme une demande d’action, nommer son destinataire et son délai, écrire la procédure qui l’accompagne, étiqueter chaque clôture, suivre le taux d’alertes utiles et, à côté, ce qui a été manqué. Rien de cela ne s’achète. Tout cela se décide.
On mesure une détection au nombre d’alertes qu’elle émet comme on mesurerait un orateur au nombre de mots qu’il prononce. Les plus convaincants, on le sait, sont souvent ceux qui se taisent jusqu’au moment où ils ont quelque chose à dire.
🐝 Ce qui arrive si on s’en passe
Section intitulée « 🐝 Ce qui arrive si on s’en passe »Quand personne ne taille les alertes, la détection cesse de raccourcir le délai entre l’intrusion et la réaction, qui est pourtant sa seule raison d’être : une alerte vraie ouverte avec des heures ou des jours de retard laisse à l’attaquant le temps d’étendre son accès, et chaque heure perdue élargit le périmètre à nettoyer. L’enquête hérite ensuite d’un paradoxe coûteux : la chronologie était enregistrée, horodatée, disponible, mais noyée parmi des milliers de messages semblables qu’il faut désormais trier à la main. Quant aux obligations de surveillance, elles restent formellement remplies, ce qui rassure beaucoup les auditeurs et fort peu les victimes.
🦫 Explication de la marmotte 🍫
Section intitulée « 🦫 Explication de la marmotte 🍫 »Une organisation installe des règles de détection : des programmes qui surveillent l’activité de ses systèmes et envoient une alerte à un humain quand ils repèrent quelque chose de suspect. Chaque alerte doit être lue, comprise, puis traitée. Or une personne ne peut examiner qu’un nombre limité d’alertes par jour. Tant que le volume reste sous cette limite, chaque règle ajoutée améliore la surveillance. Au-delà, la personne doit trier et finit par ignorer les alertes qui se sont souvent révélées sans importance. Le calcul aggrave le problème : quand les vraies attaques sont très rares, même une règle qui ne se trompe qu’une fois sur cent produit surtout de fausses alertes, par exemple une centaine de fausses pour une vraie. Ignorer ces alertes devient alors un comportement logique, appris par l’expérience, et la vraie alerte passe inaperçue au milieu des autres. La solution proposée consiste à définir une alerte comme une demande d’action adressée à une personne précise, dans un délai précis. Ce qui n’appelle aucune action devient une ligne de journal ou un rapport. Il faut donc supprimer beaucoup d’alertes, de façon documentée, regrouper celles qui décrivent un même problème, revoir régulièrement chaque règle et mesurer la part des alertes qui ont servi, sans oublier de compter les incidents découverts autrement. Les indices faibles restent conservés pour être rapprochés entre eux. Pour une personne seule, un message régulier dont l’absence déclenche l’alerte vérifie que la surveillance fonctionne encore.
À lire aussi
- Réduire la fatigue d’alerte dans un SOCConcevoir la priorisation, la corrélation et le tiering d’un SOC pour réduire la fatigue d’alerte sans masquer les incidents réels.
Pages voisines
La citent
La fatigue d'alerte
Elle cite
- Lien dans les deux sens :Le journal que personne ne lit
- Lien dans les deux sens :Une infrastructure tenue par une seule personne
- Lien dans les deux sens :Menaces réseau, détection et réponse opérationnelle
- Gestion réseau, supervision et référentiels d’exploitation
- Observabilité en architecture cyber : logs, métriques, traces
- Pourquoi la dernière heure de garde échoue
- Pourquoi le ML échoue à détecter les menaces
- Quels indicateurs mesurer pour la sécurité
: les deux pages se citent l’une l’autre.