Alertes et astreinte

Les canaux

Push (application iOS native et Apple Watch) et e-mail sont disponibles dans toutes les formules. Les SMS personnels sont inclus à partir de Pulse, en opt-in par personne, vers un numéro vérifié, sans planning d’astreinte. Les plannings sont inclus à partir de Sentinel, et leur escalade va du push au SMS puis à l’appel, toujours vers des numéros vérifiés. Le tableau complet des canaux est sur alertes et intégrations.

Les SMS personnels et d’astreinte ainsi que les appels effectivement envoyés partagent les quotas mensuel et glissant sur 24 heures.

L’affichage en direct

Un incident ouvert pose un affichage vivant sur le téléphone qu’il a réveillé : sur l’écran verrouillé, dans la Dynamic Island, sur une Apple Watch dans le Smart Stack et sur le tableau de bord CarPlay. Posez le téléphone à plat sur son chargeur et l’affichage remplit l’écran, lisible d’un bout à l’autre de la pièce.

Il suit la situation et non l’instant où il est apparu : combien d’incidents sont ouverts, la gravité du pire d’entre eux, quel service et depuis combien de temps. Dès que quelqu’un prend un cas en charge, l’affichage cesse de le proposer sur tous les autres téléphones.

Avec exactement un incident ouvert, il porte Acquitter, et le cas se prend directement depuis l’écran verrouillé, sans déverrouiller. Avec plusieurs incidents ouverts, vous choisissez le cas dans l’application, pour que l’acquittement vise toujours l’incident voulu. Sur la montre et dans CarPlay, l’affichage vous tient informé, et vous acquittez dans l’application ou à la voix.

Apple met fin à un tel affichage quelques heures après son début. L’escalade fonctionne indépendamment de lui : l’affichage est la vue silencieuse à côté de l’alarme.

Acquitter à la voix

Qui est réveillé en pleine nuit a les écouteurs dans les oreilles et le téléphone quelque part dans la pièce. L’acquittement est le seul geste qui compte à cette minute-là, puisqu’il arrête la chaîne avant qu’elle ne réveille le collègue suivant. À la voix, il se fait sans retrouver un appareil ni le déverrouiller.

Dites « Acknowledge the incident in Perstat ». Si un seul cas est ouvert, il est pris en charge sans question. Si plusieurs le sont, Siri demande lequel et propose les noms des services, pour que le bon cas trouve son responsable. Si rien n’est ouvert, Siri le dit également.

Le résultat est annoncé, l’échec aussi. Qui dit « acquitter » la nuit, entend « pris en charge » et se retourne s’appuie sur ce mot. L’annonce suit la langue de l’application, en français donc, même si la phrase a été dite en anglais.

L’acquittement vocal fonctionne sur le téléphone verrouillé et compte donc précisément à la minute où il le faut. Quiconque a un accès physique à un téléphone d’astreinte peut ainsi arrêter une escalade en cours. Si votre politique l’exclut, désactivez Siri sur l’appareil verrouillé, sous Réglages, puis Face ID et code, puis Siri quand l’appareil est verrouillé.

Les phrases intégrées existent en anglais et en allemand. Dans l’app Raccourcis, donnez à l’action votre propre formule en français : c’est là que cela se règle.

La chaîne d’escalade

Un incident alerte d’abord la personne d’astreinte par push. Sans acquittement, la chaîne passe au SMS, puis à l’appel téléphonique, avec des délais d’étape réglés par planning d’astreinte. Les appels sont plafonnés à 2 par incident : une escalade doit réveiller un humain, pas vider une batterie.

La chaîne, c’est vous qui la définissez, sous Astreinte, section Chaîne d’escalade. Chaque étape a un moment (immédiatement ou après X minutes), ses destinataires et ses canaux. Ajoutez et retirez des étapes selon vos besoins. Sans modification, vous gardez la chaîne à deux étapes définie par les délais du planning.

Une étape atteint plusieurs destinataires en même temps. « Après 15 minutes les propriétaires et le chef d’équipe et le canal Slack » est une étape à trois cibles, pas trois étapes. Une cible est la personne d’astreinte, une personne précise, un rôle, les propriétaires et administrateurs, ou un point d’arrivée : n’importe quel connecteur configuré sous Intégrations (Slack, Microsoft Teams, Discord, Google Chat, PagerDuty, Opsgenie ou un webhook signé à vous).

Les canaux se règlent par destinataire. Une étape nomme les canaux par lesquels ses personnes sont jointes, et c’est le réglage dont presque toutes les chaînes se contentent. Si un destinataire doit être joint autrement, la carte de l’étape porte à côté de lui une petite commande comme l’étape : une fois changée, ce destinataire-là est alerté par la voie choisie, tandis que les autres du même échelon gardent le réglage de l’étape. « À la minute 15, appeler la personne d’astreinte et envoyer un push au second niveau » tient donc en une étape, et non en trois étapes à trois minutes artificielles. Un point d’arrivée a un seul chemin et ignore complètement les canaux, ceux de l’étape comme les siens.

La grille au-dessus des étapes montre les canaux qui partent réellement, et non la valeur par défaut de l’étape : si tous les destinataires d’un échelon la remplacent, l’échelon montre ce que ces destinataires reçoivent.

Comme une étape porte déjà plusieurs destinataires, chaque étape a sa propre minute. Perstat n’enregistre pas deux étapes à la même minute, puisqu’une seule des deux partirait.

Au-dessus des étapes, la chaîne est dessinée comme une grille : le déclencheur en haut, les étapes en dessous dans l’ordre du temps, et à côté de chaque étape son éventail de destinataires. Elle montre d’un coup d’œil ce qu’une liste ne montre pas : combien de personnes une seule étape réveille. Vous modifiez dans les cartes en dessous, et la grille sert de carte.

Un point d’arrivée désactivé ou dont la dernière remise a échoué est signalé directement à l’étape, avec le motif. Chaque échelon montre ainsi s’il atteint sa cible.

Un point d’arrivée qu’une étape a alerté reçoit aussi la levée d’alerte, même s’il n’est pas abonné à cet événement sous Intégrations. Cela compte surtout avec PagerDuty et Opsgenie : placer un point d’arrivée dans une étape y ouvre une alerte, et une alerte jamais fermée continue de sonner une fois l’incident terminé. Ce que la chaîne ouvre, la chaîne le referme.

Deux règles valent pour toute chaîne : un incident ouvert depuis longtemps atterrit sur l’étape la plus tardive due, au lieu de parcourir la chaîne depuis le début, et si personne n’est d’astreinte, la fin de la chaîne s’applique immédiatement. Une escalade n’attend jamais une minuterie qui n’atteint personne.

Vérification du numéro de téléphone

Chaque numéro est vérifié avant de recevoir la moindre alerte : un code à usage unique de 6 chiffres, valable 10 minutes, avec 60 secondes d’attente avant un nouvel envoi et 5 tentatives au maximum. Les alertes partent exclusivement vers des numéros vérifiés.

Ce que fait l’acquittement

Acquitter un incident, c’est le prendre en charge : l’escalade s’arrête, tous les autres appareils se taisent, et les rappels vont à la personne qui l’a pris plutôt qu’à toute l’équipe. L’acquittement s’inscrit avec son horodatage sur la chronologie de l’incident, comme chaque événement.

La mise en veille

La mise en veille est le geste plus discret et personnel. Elle rend un incident silencieux pendant 15 minutes et pour vous seul. Tous les autres continuent de l’entendre, l’escalade se poursuit, la prise en charge reste ouverte, et la chronologie n’enregistre aucune décision.

Mettez en veille quand vous savez déjà et que vous rejoignez votre poste, et acquittez quand c’est vous qui prenez l’incident en charge. Mettre en veille là où l’acquittement s’impose laisse l’équipe croire que l’incident n’a pas de responsable. Acquitter là où la veille suffit stoppe l’escalade pour tout le monde.

Comme une mise en veille concerne la personne qui la demande, elle ne requiert aucun rôle particulier : qui peut être réveillé par une alerte peut faire taire son propre téléphone.

Les alarmes dépendantes

Quand une panne en entraîne dix, vous voulez une alerte et non dix. Un monitor peut nommer les monitors dont il dépend, et tant que l’une de ces origines est prouvée en panne, ce monitor retient sa chaîne d’alerte au lieu d’ajouter au bruit.

Réglez-la sur le monitor qui déclencherait le réveil, pas sur l’origine. La règle se compose de 1 à 20 monitors d’origine et d’un délai compris entre une minute et 24 heures.

La règle retient la chaîne d’alerte, et tout le reste continue :

Retenu	La chaîne d’alerte : push, SMS, appel, les paliers d’escalade
Continue normalement	L’incident lui-même, son heure de début, l’indisponibilité, l’enregistrement SLA, la page de statut et ses abonnés

L’incident s’ouvre exactement comme il le ferait autrement. Votre page publique et ses abonnés restent cohérents, car la notification vers l’extérieur continue, et seul le réveil interne attend.

Trois propriétés gardent chaque alerte retenue sous contrôle :

• Bruyant au moindre doute. L’alerte n’est retenue que si la panne d’une origine est positivement établie. Aucune règle, une origine injoignable, une requête en échec ou une origine qui fonctionne ou reste simplement inconnue signifient toutes bruyant.
• Un délai qui existe toujours, compté depuis le début de l’incident et non depuis maintenant. Une fois écoulé, l’alerte part, quoi que fasse l’origine. Compter depuis le début empêche une origine instable d’allonger le silence indéfiniment.
• Visible tant que la retenue dure. Une alerte retenue apparaît dans la cloche, avec qui la retient et jusqu’à quand, et se distingue ainsi toujours d’une alerte perdue.

Un monitor qui se nomme lui-même comme origine alerte normalement, si bien qu’un service ne peut jamais étouffer sa propre alerte.

Les plannings d’astreinte

Des rotations avec étapes d’escalade, et un avertissement dès que le planning présente un trou et que personne n’est de service. L’astreinte, comme le pilotage des incidents, est incluse à partir de Sentinel. Le détail par formule est sur formules et limites.

Les alertes suivent une règle explicite

Une politique configurée décide si vous êtes réveillé, et chaque alerte remonte à une règle que vous pouvez lire. Pour les 11 types de sondes régionales, la politique confirme la panne entre régions, par défaut sur 2 régions. Les monitors agent et heartbeat suivent leurs propres règles de signal. La règle du quorum explique le mécanisme régional.

Pour aller plus loin

• Incidents et post-mortems : ce qui se passe une fois l’incident pris en charge.
• Webhook signé : raccorder votre propre outil d’incidents à la chaîne.