Article de fond: Nous avons pensé à tout

Il y a quelques années de cela, la société de Thomas décida de déplacer leur salle informatique dans un datacenter. Il visitèrent donc un tout nouveau bâtiment en cours de construction et, puisque leur société possédait beaucoup de clients, les hébergeurs leur déroulèrent le tapis rouge et se préparèrent à leur en mettre plein la vue.

Alors que nous visitions leur installation, les commerciaux en charge de vendre la place libre du datacenter nous montraient toutes les mesures de sécurité d'accès et de continuité d'activité qu'ils avaient intégrées au bâtiment dès sa phase de conception et croyez moi , c’était plutôt impressionnant. Chaque personne qui rentrait dans l'immeuble était photographiée, fichée et escortée. Dans le hall principal, une grande baie vitrée montrait la salle de contrôle avec d'énormes écrans affichant en temps réel l'activité réseau et électrique du datacenter. On voyait aussi l'équipe technique qui semblait rester immobile devant leurs postes, ignorant les écrans de contrôles, préférant à la place aller sur du .com. A vrai dire, la salle me rappelait les automates dans la salle d'attente de Disneyland pour "Mission to Mars", ils semblaient du moins tout aussi utile.

Pour accéder à l'étage réellement "datacenter" du bâtiment, il fallait avoir un niveau d'accès client adéquat. Ce processus impliquait la signature d'un formulaire garantissant que vous n'alliez pas prendre de photos ou divulguer des informations à des personnes extérieures, être pris en photo et signer une main courante, déposer ses empreintes digitales, accepter de se faire fouiller, etc... . A vrai dire, il n'y avait pas réellement de fouille au sens strict du terme. A la place, une par une, les personnes devaient entrer dans un sas de sécurité, où elles seraient scannées et pesées à travers une vitre. Tout cela sous la surveillance d'un garde armé. Bien sûr, aucun appareil plus gros qu'un ordinateur portable n'était autorisé dans le sas. Pour les serveurs, une "procédure spéciale ultra sécurisée" était utilisée avant de les accepter dans les rack et une autre était mise en place pour les ajouts matériels : ils avaient pensé à tout.

Une fois dans le datacenter, les commerciaux nous expliquèrent que les sols avait été relevé de 90cm et que chaque plaque composant le plancher avait un senseur détectant si elle avait été levée. En dessous, il y avait une batterie de capteurs de mouvement et de détecteurs d'eau. Je crois même me rappeler que les mots "rayon laser" ont été prononcés plusieurs fois. La couverture vidéo du datacenter était complète, la pièce entière était une cage de faraday rendant impossible les communications radio et cellulaires. En allant vers une partie encore en cours de construction, ils nous ont montré des cales conçues spécialement pour parer les tremblements de terre reliées par du kevlar à travers les murs, ainsi que les générateurs électriques tri redondé (avec trois réservoirs de sous sol) qui donnerait du courant pour chaque double source indépendante de chaque cabine du datacenter au cas où les deux sources de courant conventionnelles seraient en panne.

En regardant au dessus du sol du DataCenter, il y avait des lignes de cages métalliques configurables en taille pour s'adapter aux armoires hébergeant les racks de serveurs des clients. Chaque cage avait une porte ouvrable uniquement avec le badge adéquat. Pour encore plus nous épater, le commercial nous fit remarquer que l'espace entre les barreaux des cages était trop petit pour faire passer un connecteur RJ-45. "Comme vous pouvez le constater, nous avons pensé à tout".

Il y avait quelques armoires qui n'étaient pas entourées par des cages métalliques. Nous leur demandâmes donc comment la sécurité de ces cages était assurée. Après voir laisser paraître un sourire d'amusement, ils nous en ouvrirent une pour inspection. "Aucune dépense n'a été épargnée dans la conception de ces armoires personnalisées" expliqua t-il. "Nous avons pensé à tout, vous pouvez même mettre du 46U!". Oui il y avait deux lignes électriques en entrée, oui ils avaient une connexion fibre optique, non ce n'était pas possible d'accéder latéralement à une armoire via sa voisine et oui, il y avait un capteur qui indique à la sécurité qui a ouvert le rack. Il semblait en effet que les concepteurs de ce datacenter avaient pensé à tout et que la fiabilité de notre infrastructure pouvait être assurée. Plus aucun doute, notre qualité de service client serait au top dans ce datacenter !

Les décisionnaires impressionnés, le contrat fut vite signé et ainsi, nous avons commencé le déménagement des serveurs pendant l'accalmie du week end. Par où faire entrer tous les serveurs? Le gentil garde de sécurité nous a fait passer par une salle de chargement qui contourne bien sur la "procédure spéciale ultra sécurisée". Le garde nous a donc tenu la porte ouverte toute la journée pendant que nous transportions les serveurs et autres boîtes. A aucun moment on ne nous a contrôlé ou pesé. En fait, rien de tout ce dont le commercial était si excité de nous montrer n'a été appliqué. Au passage, à aucun moment nous n'avons utilisé notre badge avant d'arriver dans notre cage désignée. Comme le travail va plus vite sans badger, leur manque de sécurité ne nous a pas gêné sur le moment.

Le dimanche, nous avions terminé de migrer serveur par serveur, rack par rack, toutes les machines de nos clients. Nous avions accès au système de surveillance de notre armoire et nous envoyions des emails pour indiquer à nos clients le nouvel emplacement de leurs serveurs. La dernière fibre optique avait été posée, les commutateurs étaient câblés, les alimentations redondantes branchées : tout marchait correctement. Comme nous avions passé le week-end à travailler nous nous sommes autorisés une petite pause pour fêter la réussite de la migration. C'est à ce moment qu'un administrateur système rentra dans le datacenter en criant qu'un paquet de connections clientes étaient tombées. Pause terminée, il fallait trouver et réparer le problème le plus vite possible.

Tout s'était éteint: machines, réseau, etc... Nous avons isolé le problème dans une armoire électrique particulière. Comme l'installation était assez complexe, nous avons appelé les électriciens du site en renfort. Ils nous confirmèrent qu’aucun courant ne sortait de l'armoire, il nous fallait donc tracer l'origine du problème.

Après quelques heures de vaines investigations, il se faisait très tard. Les sites clients étaient toujours en panne et toutes les connections possibles de la rue jusqu'au rack avaient été vérifiées. Comme personne n'avait d'autres pistes, nous décidâmes finalement de déplacer les machines dans un rack qui était alimenté. Alors qu'un administrateur commençait à enlever un serveur en bas de l'armoire, il remarqua un détail intéressant : un petit interrupteur noir en position arrêt juste à coté du seuil de la porte de l'armoire, là où tout le monde prend appui pour monter les serveur en haut des racks. L'interrupteur était posé sur une bande de plastique et de métal connectés à deux fils qui partaient vers le coté de l'armoire où les serveurs sont branchés. L'administrateur trouva amusant le fait qu'il n'ait jamais remarqué la présence de cet interrupteur avant et décida d'aller vérifier sur le rack voisin pour voir si il possédait lui aussi un interrupteur noir.

Et il y en avait un, sauf que celui-là n'était pas noir... il luisait d'un rouge brillant.

L'armoire fut donc rallumée en activant l'interrupteur. Les administrateurs du datacenter utilisèrent comme solution temporaire une pièce de plastique et de l'adhésif pour être sûrs que le bouton rouge ne deviendrait plus jamais noir. A long terme nous souhaitions changer la position de l'interrupteur sur le coté de l'armoire, évitant ainsi une coupure accidentelle. Hélas, les ingénieurs du datacenter rencontraient plusieurs problèmes : il n'y avait pas assez de longueur de câble dans l'alimentation de l'armoire pour déplacer l’interrupteur sur le côté et les câbles actuels étaient soudés à la structure du rack. Au final, il fallait déplacer l'armoire et découper de la tôle pour pouvoir changer la place de ce petit interrupteur.

Pour autant que je sache, le morceau de plastique et la bande adhésive sont toujours en place, protégeant l'alimentation électrique "redondante" des machines à l'intérieur de ce datacenter ultra sécurisé conçu par des ingénieurs qui avaient presque "pensé à tout".