Les ordinateurs de l'HORREUR

[Kmeuh]

Ça me rappelle y'a quelques jours quand j'ai eu un proc Google Chrome à 2'500'00 K. Ahlala Chrome et sa gourmandise éternelle qui me fait toujours ouvrir le gestionnaire des tâches 10 fois par jour pour delete un peu de RAM pour que PC-kun ne surchauffe plus.

inb4 passe sous Firefox

[Nemo]

Passe sous Firefox. (rab du inb4)

[Kmeuh]

[Nefka]

Au boulot :

[s3phy]

Tout frais du week-end (cross-post "Topic des phrases cultes des incultes de l'informatique" sur HFR) : Récemment, le BDE de mon école sup' d'informatique a organisé une LAN party (comme on fait chaque année ). Jusqu'à l'année dernière, je m'occupais du réseau informatique de l'évènement (l'école nous confie l'accès internet 100 Mbit/s, mais on doit logger les connexions internet des participants à la LAN ) ; cette année, je ne suis plus à l'école, j'ai passé la main à qui veut bien s'en occuper. J'ai trouvé un étudiant de première année plein de bonne volonté, je lui ai expliqué un peu le topo, on utilise une machine avec pfSense pour faire un traffic shaping et écraser le HTTP/toutes les connexions en général, sauf un nombre de ports sortants sur lesquels on fout un max de priorité pour que les mecs qui jouent à League of Legends ne se retrouvent pas à 900 de ping parce que les antivirus et Windows font leurs mises à jour et que les autres participants à la LAN regardent des vidéos YouTube en HD ou des streams sur Twitch et que l'ensemble sature nos 100 Mbit/s (on est loin des LAN sans internet à base de pizza froide et de Quake 3 ). Quelques jours avant l'évènement, le mec est pas confiant du tout que ses règles de traffic shaping vont marcher (ça serait trop facile si l'école nous laissait faire des tests en conditions réelles avant l'évènement ), du coup il me contacte pour qu'on discute un peu de tout ça. Et là il me sort :
"Bon les profs ont commencé à me dire qu'il faut prévoir une solution au cas où ça marche pas. Ce que propose <un des profs> c'est qu'on mette un PC avec deux cartes réseau en bridge, et qu'on mette quelqu'un sur cet ordi avec Wireshark, et en regardant le trafic en temps réel on voit si y'as des mecs qui D/L et on peut leur dire d'arrêter."



(pour le tl;dr : un prof d'une école sup' d'informatique suggère très sérieusement qu'on regarde en live le trafic internet de 200 joueurs, qui représente pas loin de 100 Mbit/s et je sais pas combien de PPS mais beaucoup trop, à l'aide de nos petits yeux et de Wireshark, pour repérer les mecs qui téléchargent trop )

(C'est le même prof qui m'avait fait remarquer y'as quelques années que je devrais pas tout refuser en bloc quand il m'avait suggéré de faire du NAT en IPv6 )

[Itsukushimu]

Vous allez lancer Wireshark, le logiciel va imploser dans la seconde ou la capture de trames va débuter x'D

Sinon, pour le coup du NAT en IPv6 je suis sûr que le prof pense que c'est une forme de firewall ! (La bonne blague)

[s3phy]

Sinon, pour le coup du NAT en IPv6 je suis sûr que le prof pense que c'est une forme de firewall ! (La bonne blague)

Y'as probablement un peu ça :)
En fait c'était sur le principe. Il me disait que j'étais trop arrêté sur mes positions. Je lui rétorque que quand je suis sûr et certain d'une chose, effectivement, à moins de me prouver le contraire je maintiendrais ma position. Je sais plus comment, on s'est retrouvé dans la conversation à parler d'IPv6. Il me semble qu'il a parlé de faire du NAT en IPv6, ce à quoi j'ai répondu que c'était inutile vu la quantité d'adresses dispo. "Tiens, tu vois, tu n'accepte pas de point de vue externe.". Mais tu peux faire du NAT si ça te chante, c'est juste stupide et ça va à l'encontre du principe d'adresses globalement uniques qu'il est (à nouveau) possible d'avoir avec v6.

Bref.

[DarkSoul]

(pour le tl;dr : un prof d'une école sup' d'informatique suggère très sérieusement qu'on regarde en live le trafic internet de 200 joueurs, qui représente pas loin de 100 Mbit/s et je sais pas combien de PPS mais beaucoup trop, à l'aide de nos petits yeux et de Wireshark, pour repérer les mecs qui téléchargent trop )

Quand tu lis le contenu du projet de loi renseignement, ca n'a rien de choquant : c'est ni plus ni moins ca qu'ils proposent de faire xDD

[DarkSoul]

Vous allez lancer Wireshark, le logiciel va imploser dans la seconde ou la capture de trames va débuter x'D

Sinon, pour le coup du NAT en IPv6 je suis sûr que le prof pense que c'est une forme de firewall ! (La bonne blague)

Mon Dieu, si tu savais combien d'ingenieurs reseau pensent que le deplacement spatial d'adresses IP que fournit le NAT (i.e avoir tout dans un espace IP non routable de l'exterieur) est equivalent a un firewall...

[DarkSoul]

Il me semble qu'il a parlé de faire du NAT en IPv6, ce à quoi j'ai répondu que c'était inutile vu la quantité d'adresses dispo. "Tiens, tu vois, tu n'accepte pas de point de vue externe.".

Bref.

Mauvais prof qui ne sait pas tenir un debat, ca : tu as considere son "point de vue externe", et tu as contre ca par un argument ; tu aurais refuse son point de vue tu n'aurais pas repondu ca.

Souci, parfois tu rencontres cette race-la en entreprise et ca te bloque une mise en prod. J'ai eu un truc du genre sur une discussion lors d'un rebuild de RAID-1 a la banque, avec un disque en Predictive Failure.

-"Euh, il faudrait remplacer le disque, il va y passer sous tres peu la"
-"Non, ca tourne encore tres bien, et puis le rebuild il va ralentir le business"
-"Ben alors on peut le faire hors heures de prod ?"
-"Hors heures de prod ? Ya pas."
-"Comment ca ya pas ?"
-"Le systeme ne peut jamais etre down."
-"...Et pourquoi il est pas redonde ?"
-"Pourquoi tu utilises des mots compliques ?"
-"... Bon enfin de toute facon c'est pas la question, le RAID est sur un controleur materiel qui coute une blinde, JUSTEMENT pour maintenir le debit en lecture dans ces cas-la. Donc le rebuild ne devrait pas ralentir les jobs, et en plus de toute facon, meme avec un debit divise par deux, le serveur est bourre de RAM donc au PIRE ca ralentirait un peu, mais meme en pire cas ca finit dans des delais raisonnables"
-"Ouais alors ca c'est TON point de vue, pourquoi tu ecoutes pas un peu plus ce que les gens ont a dire ? Nous on pense que ce disque il tournera tres bien encore quelques annees comme ca, et que c'est dangereux de le changer, donc on fera rien, point."
-"... o_o"

La discussion a tourne court tres vite quand pendant ladite reunion qui a pris cinq heures (oui, CINQ putain d'heures a se tripoter la nouille a debattre de l'age du disque et de la vitesse du controleur RAID), le disque a rendu l'ame. La, on passe en RAID-1 degrade et avec un danger beaucoup plus immediat, et autant ils ont pas envie d'en foutre une, autant ils ont pas envie de subir les foudres des chefs pour un systeme de compta business mort.

Du coup, c'était plus facile de "réagir et réparer un truc cassé" que "être proactif et remplacer avant que ça pète".

[QCTX]

Je réactive le topic, parce qu'il le vaut bien.
Et ensuite parce que l'actualité du jour le demande : https://twitter.com/Itsukushimu/status/ ... 4965392384

Et en plus j'édite, pour la bonne cause.
En ce moment, au boulot, j'ai un jolis cas de "bâton merdeux". Vous savez, le genre de cas auquel personne ne veut trop toucher, parce qu'une fois qu'on en a sur les doigts...
Arrive donc sur mon bureau cette fiche d'installation pour une machine. Avec un premier avertissement "Attention, voici l'adresse IP de la carte ILO !" ce qui sous-entends que cette adresse n'est pas normalisée. Si elle ne l'est pas, c'est parce que cette machine n'est pas physiquement là où elle devrait être tout simplement. Quand on utilise un serveur, dans une grosse entreprise, on préfère que ce soit dans une salle particulière, du genre avec pas de poussière, un taux d'humidité précis, pas de gens inutiles qui s'approchent trop près (genre des managers) et c'est pour ça qu'on a créé les datacenter. Et là, la machine n'y est pas, dans le datacenter.
Pourquoi ?
Ah, oui, c'est là que ça devient intéressant et si vous n'aviez pas encore l'odeur du bâton sur les doigts, attendez la suite.
D'après le client, la machine utilise un programme qui nécessite d'être physiquement proche de la base de donnée. Base de donnée qui est donc installée sur une autre machine, toute proche. Autre machine qui est, elle aussi... dans les bureaux.
Non, j'exagère à peine, ce sont bien des salles de bureau, au sous-sol, qui ont été reconditionnées en salles serveur. Avec une clim, quelques switches et... et puis un petit contrôle d'accès à l'entrée et ça ira (pour rappel, dans certains datacenter, on préfère vous voir passer à poil).
Et qu'est-ce qu'elle foutes là ces machines ? Et bien... c'est compliqué. Je ne sais toujours pas si c'est uen volonté du client, une promesse non tenue, un manager qui voulait faire du zèle ou quelqu'un qui a décidé de nous faire chier, mais voilà, elles sont là. Ce qui signifient qu'elles utilisent un VLAN spécifique, que les switches doivent êtres codés avec et que les ouvertures de ports ne sont pas faites. Je vous laisse imaginer le bordel administratif avec des valeurs qui ne rentrent pas dans les cases prévues pour, les menus déroulant qui ne contiennent pas les bonnes options et les chefs qui jouent à la passe à 10 dès qu'on demande qui est responsable de ce merdier.

Le fin du fin reste ce coup de fil, un vendredi après-midi du chef de projet dépité (principalement parce qu'il a du reprendre le dossier du collègue parti en vacances) :
"- Bon, alors, j'ai compris un truc, en fait, si on tous ces problème d'ouvertures de ports réseaux, c'est parce que la machine elle a pas les bonnes adresses IP et elle est pas sur le bon VLAN, mais c'est bon, j'ai tout en main, on va s'en occuper. Je t’appelle tout à l'heure pour te donner les bonnes valeurs."
Cool, tout va s'arranger, je vais enfin pouvoir me débarrasser de cette machine, pensez-vous ? Que neni, voici le second coup de fil qui m'a bien fait hurler :
"- Alors heu, en fait non, je me suis planté, la machine elle bien la bonne adresse, j'avais confondu avec celle qui est en production. La machine de prod, elle ça va, elle est bien au datacenter, tu pourras l'installer plus tard, là, il faut vraiment qu'on termine la machine de qualif'.
- La QUOI ?
- La machine de qualification.
- La machine de qualification ? Tu veux dire, la machine qui sert à tester la moindre modification avant de la reporter sur la machine de production ? La machine de qualification qui sert à faire la recette, à savoir si tout ce qui est nécessaire au logiciel du client à bien été installé correctement, que tous les accès fonctionnent et que tout va bien, c'est cette FUCKING MACHINE LA QUI EST DANS LES BUREAUX ? Mais t'es au courant que le principe c'est que la machine de qualification doit reproduire exactement le même environnement que la machine de production ? Qu'il ne doit pas y avoir la moindre différence entre les deux ? Je... Mais qui a décide de cette organisation ? Un hôpital de fou ?
- T'inquiète, je sais que c'est débile, mais le client est au courant et...
- OK, OK, stop, je refuse d'en entendre plus. Tiens-mois au courant quand tu auras du nouveau."

Et sinon, ça va bien la vie chez vous ?

[Corsaire]

Retour vers le futur

J'adore mon boulot, vraiment,
mais j'ai souvent la sensation de revenir a l’époque des stéréotypes de messieurs avec le pantalon remonte au dessus du nombril, les lunettes cul de bouteilles et les chemises a carreaux lorsque je fais certaines taches...

Pourquoi donc ?
Parce que une grande partie de notre produit (les services vendus au clients) se basent sur un Groupware maison développe a l’époque ou internet n’était pas encore un service... une infra de BBS !


Cette infra tourne sur des AIX datant de l’époque ou votre serviteur était encore au lycée et une partie d'entre vous avaient encore du mal a faire rentrer le cube vert dans le trou rond...

De fait des opérations simples se transforment vite en une horrible séance d’archéologie documentaire (noooon, pas le classeur bleu !!) et d’enchainements de commandes a la syntaxe cromagnonesque ...

La logique se base sur un modèle hérité des BBS et des newsgroups, TOUT est organisé selon cette logique, par exemple les boites mails gérées dans cette infra se consultent par un outil manipulant le retour terminal en telnet ... oui oui telnet.


J’espère que les prochaines embauches nous permettront d'avoir de vrais outils modernes, c'est du moins une volonté que semblent afficher récemment nos chefs... rendez-vous dans quelques mois.

[DarkSoul]

Moment que je viens de raconter sur un channel IRC avec des copains qui résume globalement ma très longue journée de taf de 15H d'hier.

17:20 < DarkSoul> truc à savoir
17:20 < DarkSoul> qui m'a fait hurler à la mort hier
17:20 < DarkSoul> j'ai fait une journée de 15 heures à cause d'un DDoS
17:20 < DarkSoul> serveur DNS.
17:20 < DarkSoul> qui fait tourner unbound.
17:20 < DarkSoul> qui logge sur le disque local.
17:20 < DarkSoul> formatté en XFS pour raison historique (vieille machine upgradée X fois)
17:20 < DarkSoul> le DDoS a choke complètement le kernel par la carte réseau
17:20 < DarkSoul> XFS a freeze
17:20 < DarkSoul> il a fallu reboot le serveur
17:20 < DarkSoul> au reboot ?
17:21 < DarkSoul> crash à l'initramfs
17:21 < DarkSoul> XFS: Internal error XFS_WANT_CORRUPTED_GOTO
17:21 < DarkSoul> impossible de booter
17:21 < DarkSoul> donc je résume
17:21 < DarkSoul> LE MACHIN EST CAPABLE DE SE CORROMPRE LE FS DE FACON IRREMEDIABLE SUR UNE ECRITURE PAS FINIE
17:22 < mageekguy> ie FS de merde
17:22 < DarkSoul> du coup j'ai du réinstaller un serveur DNS en catastrophe
17:22 < DarkSoul> surtout que le DDoS a tué le load balancer
17:22 < DarkSoul> donc on a du le dégager
17:22 < DarkSoul> donc j'avais du bare metal sans redondance ni abstraction, down
17:23 < DarkSoul> et le pire ?
17:23 < mageekguy> uuuummm
17:23 < DarkSoul> applet java de MERDE pour la console
17:23 < mageekguy> tu as eu une journée intéressante
17:23 < mageekguy> LOL
17:23 < DarkSoul> sérieusement HP ils peuvent aller se faire SODOMISER AVEC UN PARC METRE
17:23 < DarkSoul> Windows XP Mode ne marche pas sur ma vBox => *BOOM*
17:23 < mageekguy> le truc que quand tu le vois se lancer alors que t'es dans la merde, t'as envie de tout balancer par la fenêtre, toi compris, avec une corde attachée à ton cou :D
17:23 < DarkSoul> et java 8 est trop récent pour faire tourner cet applet
17:23 < DarkSoul> bref
17:23 < DarkSoul> je squatte le poste windows physique d'un collègue pour faire la manip
17:23 < DarkSoul> je charge une ISO de Debian/jessie
17:24 < DarkSoul> par le virtual media applet
17:24 < DarkSoul> ça boote
17:24 < DarkSoul> au bout de 20 minutes
17:24 < DarkSoul> et là arrive la config réseau
17:24 < mageekguy> …
17:24 < DarkSoul> "carte Broadcom"
17:24 < DarkSoul> "il vous manque le firmware"
17:24 < DarkSoul> "veuillez insérer une clé USB ou une floppy avec le firmware"
17:24 < DarkSoul> résumons donc.
17:24 < DarkSoul> c'est une machine dans un datacenter
17:24 < DarkSoul> pas très éloigné
17:24 < mageekguy> arrivé là, je pense que tu as sérieusement envisagé de devenir boulanger
17:24 < DarkSoul> mais je peux pas me permettre de quitter mon poste
17:24 < DarkSoul> et on a personne à envoyer
17:25 < DarkSoul> parce que le DDoS nous a niqué pas mal de trucs (on a quelques soucis de dépendances malsaines genre les services business qui utilisent le cache DNS client)
17:25 < mageekguy> personne au DC ?
17:25 < mageekguy> sympa comme SPOF…
17:25 < DarkSoul> si, mais déjà pris pour décabler le load balancer
17:25 < DarkSoul> et préparer le nouveau load balancer
17:25 < DarkSoul> et donc là
17:25 < DarkSoul> tu sais ce qui m'a sauvé ?
17:25 < DarkSoul> parce que l'applet refuse de voir la clé USB que je viens de brancher avec les fichiers
17:25 < DarkSoul> mais
17:26 < DarkSoul> il pourrait si je redémarrais l'applet ... en coupant l'install et en foutant tout en l'air
17:26 < DarkSoul> sauf que
17:26 < DarkSoul> il avait un lecteur USB floppy
17:26 < DarkSoul> déjà branché
17:26 < DarkSoul> au moment où j'avais lancé
17:26 < DarkSoul> donc j'ai chargé un package debian et les fichiers de firmware
17:26 < DarkSoul> sur une putain de floppy
17:26 < DarkSoul> que j'ai exposée au serveur via la putain d'applet
17:26 < DarkSoul> et ça a MARCHE
17:26 < DarkSoul> mais j'ai perdu une heure à cause de cette cochonnerie
17:27 < mageekguy> fait toi faire un tee-shirt "One day, a floppy has saved my life!"
17:27 < DarkSoul> ah non
17:27 < mageekguy> ça aurait de la gueule
17:27 < DarkSoul> ça a été vrai très longtemps ça
17:27 < DarkSoul> il faudrait rajouter les années où ça a été vrai
17:27 < DarkSoul> 1989-2004, 2015
17:28 < DarkSoul> "YEARS A FLOPPY HAS SAVED MY LIFE"
17:28 < DarkSoul> bon ça se tweete ça :))
17:29 < mageekguy> :)
17:30 < mageekguy> ce qui est cool, c'est que les moins de 30 ans vont pas capter :)

Le tweet en question : https://twitter.com/DarkSoul4242/status ... 2844016640

Ces moments où lors d'une réparation de serveur, il y a une dépendance chiante qui te fait descendre une de plus et qu'au final tu descends tout l'arbre de Noël.

Mais ce fut un beau moment d'esprit de corps avec l'équipe et les chefs face à la merde, bref ça fait très plaisir que même face à l'adversité l'équipe reste unie et on garde une bonne ambiance.

En gros, c'est un peu comme ce moment dans Power Rangers où les mechas de la dernière saison se font poutrer par le nouveau gros méchant et qu'il faut partir en quête d'une nouvelle source de pouvoir. Et là c'est le mec du groupe qui a le pouvoir de merde qui sauve tout le monde.

Et qui plus est, la situation de crise n'est toujours pas résolue, il reste toujours quelques gros problèmes. On va devoir, pour parler en termes d'anime de mécha, mettre en production un prototype non validé à 100% parce que "on a pas le choix, c'est ça ou on est morts". Suivant les tropes, on va soit finir en SuperPrototype ou en FlawedPrototype.

[s3phy]

T'aurais pas pu te sauver avec une image floppy montée en virtual media ?

J'avais pu mettre à jour le BIOS d'une machine à travers un KVM-IP Spider comme ça.

Juste une histoire de dd if=/dev/zero of=monimagefloppy.img bs=1k count=1440
mkfs.msdos monimagefloppy.img
Monter l'image, copier dessus son bazar, démonter l'image, et la fournir au virtual media… chez Spider ça marche mais sur iLO j'ai pas testé.

Je compatis pour les versions de Java… toujours chez ce fameux hébergeur où j'étais en stage, j'avais Java 6 et 7 installés de manière pas très catholique, les KVM-IP marchaient avec l'un, l'interface graphique affreuse des Cisco ASA avec l'autre…

[Il Palazzo-sama]

On va devoir, pour parler en termes d'anime de mécha, mettre en production un prototype non validé à 100% parce que "on a pas le choix, c'est ça ou on est morts".

[edit] Au passage, petit instantané de mes révisions en vue de l’examen LPIC-1 101 :

ilpalazzo@wopr:~$ whatis cum
cum: nothing appropriate.

[DarkSoul]

On va devoir, pour parler en termes d'anime de mécha, mettre en production un prototype non validé à 100% parce que "on a pas le choix, c'est ça ou on est morts".

Je sais maintenant quoi offrir à mon chef pour Noël

[DarkSoul]

T'aurais pas pu te sauver avec une image floppy montée en virtual media ?

J'avais pu mettre à jour le BIOS d'une machine à travers un KVM-IP Spider comme ça.

Juste une histoire de dd if=/dev/zero of=monimagefloppy.img bs=1k count=1440
mkfs.msdos monimagefloppy.img
Monter l'image, copier dessus son bazar, démonter l'image, et la fournir au virtual media… chez Spider ça marche mais sur iLO j'ai pas testé.

Je compatis pour les versions de Java… toujours chez ce fameux hébergeur où j'étais en stage, j'avais Java 6 et 7 installés de manière pas très catholique, les KVM-IP marchaient avec l'un, l'interface graphique affreuse des Cisco ASA avec l'autre…

Je devais bosser depuis un poste Windows (pour la putain de JVM ou le putain de controle ActiveX), il avait DEJA un lecteur branche, et c'etait plus rapide de choper une disquette que de fabriquer une image sous Windows.

[DarkSoul]

Suite des maintenances de folie de la semaine apres ce foutu DDoS qui a pourri notre cluster DNS et qu'on a tout du refaire.

Avant-hier, on a rajoute 5 serveurs montes a partir de vieux matos pour avoir de la surface de repartition et "tant pis si ca pete". Installation, rajout au cluster, tout se mene rondement avec une coordination par IRC digne d'une operation militaire de nuit (planifiee a 4h du matin) et des meilleurs bridge bunnies.
Hier, on rajoute 4 serveurs tout neufs fraichement installes, pour pouvoir retirer les serveurs un peu anciens (Datant de 2005, hein, on a ete ressortir des vieux Blade et des vieux 1U Proliant DL38x G1 et G4). Encore une fois un magnifique travail de coordination.

Apres avoir fini le rajout de ces serveurs au cluster, et confirme par tous les cotes que ca repond, que ca repartit bien et que ca tourne, je vais pour ajouter le monitoring sur nos divers outils.
Et la il y a un outil qui met du temps a repondre.
Beaucoup de temps.
Pris de panique, je ping et je realise que la VM de cacti est down.
Je ping et je realise que son host ESXi est down.
Ainsi que son voisin dans le cluster !
AINSI QUE SA GATEWAY ! (qui ELLE, est physique).
MERDE, une coupure reseau ?! MAINTENANT ?



Je fonce donc sur le channel IRC ou on se coordonnait, et je vois que le chef parlait juste de decabler les prochains serveurs a reinstaller et de les recabler sur un autre switch. Mais pourtant l'impact est que le reseau de management/interconnexion a fini ... coupe en deux. Vous voyez un network split sur IRC ? Ben, la meme. Mais en beaucoup, BEAUCOUP PLUS CHIANT.

Il est 5h du matin. Le chef qui etait sur place au DC se met a devoir faire du whack-a-mole sur tous les switches pour savoir lequel merde. (Des vieux switches Buffalo qui ont peut-etre l'age de certains ici, notez bien) Moi, depuis mon poste a la maison et ne connaissant pas ce reseau historique, me retrouve parfaitement impuissant, a part pour faire le mapping de la fracture et dire "voila ce qu'il faudrait restaurer pour recuperer certains services critiques". Apres 1h30 de whack-a-mole je me suis ecroule sur mon clavier pour fermer les yeux.. et me suis reveille... a 11h. ET MERDE. Dieu merci les autres ont reussi a restaurer le reseau, et la cause... Ben c'est un switch Buffalo qui est ... parti en vacances. On ne sait pas encore "pourquoi", mais avec ca, il va y avoir une grosse acceleration de migration du vieux reseau au tout beau tout propre en construction.

[DarkSoul]

Semaine maudite : le coeur de business AIX vient de se prendre une fleche dans le genou, reboot impromptu avec memoire endommagee.

Et quand je dis "coeur", il faut comprendre : le serveur RADIUS qui repond "oui, non, merde" a *TOUTES* les demandes d'authentification pour se connecter /o\;

[ElKa]

C'est la première fois que je lis une histoire où Darksoul se mange un K.I.A, ça fait drôle.

[DarkSoul]

C'est la première fois que je lis une histoire où Darksoul se mange un K.I.A, ça fait drôle.

Ah, celle où j'ai fini aux urgences après trois nuits sans dormir pour la réparation de disques durs ça compte pas ? Ah, c'est pas "in action", j'imagine.
Non, mais sérieusement, je pouvais rien faire, j'étais chez moi, et même si j'étais au DC, c'était le rack legacy, j'étais encore plus utile en bridge bunny à mapper le réseau ;_;

[Corsaire]

17:24 < DarkSoul> mais je peux pas me permettre de quitter mon poste
17:24 < DarkSoul> et on a personne à envoyer
17:25 < DarkSoul> parce que le DDoS nous a niqué pas mal de trucs (on a quelques soucis de dépendances malsaines genre les services business qui utilisent le cache DNS client)
17:25 < mageekguy> personne au DC ?
17:25 < mageekguy> sympa comme SPOF…
17:25 < DarkSoul> si, mais déjà pris pour décabler le load balancer
17:25 < DarkSoul> et préparer le nouveau load balancer

Sérieux tu te fous de moi la ?

J’étais dispo pour ça et pas vraiment débordé, je te l'ai même dit en plus que si as besoin de bras y qu'a demander...

Now your argument is invalid !

[DarkSoul]

Petit moment fun du jour : devoir faire un pontage coronarien sur un reseau.

En gros :
- Soit un reseau historique (celui qui a pris un split il y a trois semaines), qui au depart servait au management, puis aux interfaces console des serveurs et divers equipements, puis a fini comme segment d'interconnexion et d'echange entre beaucoup de reseaux.
- Il est constitue de beaucoup de switches tres anciens, et 100Mbps. Qui sont en train de crever a petit feu.
- On a deja repere des choses bizarres du genre un nombre anormal de TCP retransmits.

Et la : le service informations clientele qui vient nous dire qu'un batch job lance depuis leur reseau, et atteignant un serveur sur un reseau de machines virtuelles en isolation (en passant bien sur par ledit VLAN historique), rame a mort. Du genre, job de 3h qui en prend 9.

Du coup on soupconne de la pourriture sur ce reseau, et je decide de monter un pontage coronarien pour bypass le reseau douteux.

Il faut savoir deja que ce service traite des informations confidentielles, donc il a un reseau avec un traitement particulier, et une enclave dans le datacenter ou tournent des Windows XP dans une zone tres restreinte qui n'a pas d'acces libre a internet sans passer par proxy/antivirus/whitelist. Leur reseau et ce reseau etaient relies de la facon suivante :
- Poste Win7 du service client -> Default gateway -> Internet
- Poste WinXP du service client -> Gateway speciale (qui piggyback sur la default pour en fait envoyer via un tunnel tout le traffic) -> Interconnexion -> Gateway distante (qui decapsule le tunnel) -> Reseau securise

Le pontage coronarien vise a faire sortir une connexion OpenVPN sur internet des deux cotes :
- Poste WinXP du service client -> Gateway speciale (qui OpenVPN) -> Plages IP office -> Plages IP datacenter -NAT-> Gateway distante (qui decapsule OpenVPN) -> Reseau securise

Ce moment ou ton reseau legacy est tellement pourri que ca va mieux en passant par internet en Gbps. JAPOOOOOOON /o/

[DarkSoul]

17:24 < DarkSoul> mais je peux pas me permettre de quitter mon poste
17:24 < DarkSoul> et on a personne à envoyer
17:25 < DarkSoul> parce que le DDoS nous a niqué pas mal de trucs (on a quelques soucis de dépendances malsaines genre les services business qui utilisent le cache DNS client)
17:25 < mageekguy> personne au DC ?
17:25 < mageekguy> sympa comme SPOF…
17:25 < DarkSoul> si, mais déjà pris pour décabler le load balancer
17:25 < DarkSoul> et préparer le nouveau load balancer

Sérieux tu te fous de moi la ?

J’étais dispo pour ça et pas vraiment débordé, je te l'ai même dit en plus que si as besoin de bras y qu'a demander...

Now your argument is invalid !

Euh, je suis plus sur de l'heure mais ca devait etre entre 20h-22h x_x
(Pour info l'heure sur le log IRC en question est sur mon client IRC français, donc rajoute +8H pour savoir quelle heure il était quand j'ai écrit ça ; tu voulais vraiment que je t'appelle à une heure pareille ?)

[s3phy]

- Soit un reseau historique (celui qui a pris un split il y a trois semaines), qui au depart servait au management,

puis aux interfaces console des serveurs et divers equipements,

puis a fini comme segment d'interconnexion et d'echange entre beaucoup de reseaux.

Va falloir foutre un coup de pied dans ça un jour et remplacer/upgrader l'ensemble ; je sens que ça va pas être joyeux D:

[DarkSoul]

C'est déjà en cours, et vraiment en cours \o/

[DarkSoul]

Petite goritude de l'époque de mon précédent boulot :

Un masochiste fini avait formaté un bloc de storage de 3TB en ext3fs, sur un serveur RedHat Advanced Server 4. En 32 bits.

Ceci est un problème pour la raison suivante, l'outil "fsck" qui sert à vérifier le disque a besoin d'engranger toute la liste d'inodes en mémoire AVANT de commencer à vérifier.

TOUTE la liste.

Et manifestement, ext3fs n'avait pas été conçu avec des dimensions pareilles en tête.

Et ext3fs exige une vérification tous les 180 jours par défaut. Ce qui veut dire, vous l'aurez compris, que pour le reboot annuel dudit serveur, vous vous retrouvez avec un très vilain cadeau : un reboot qui met des HEURES, avant de finir sur une ERREUR "Out of memory".

(A noter : ca ne posait pas un probleme si repandu que ca parce que la majorite des serveurs avec acces a autant de data, tournaient en 64 bits avec genre 8 a 12GB de RAM, et donc avec plus de 4GB d'espace memoire allouable a un process, ce qui suffisait genre "juste de chez juste". Le probleme se presentait sur les malheureuses machines tournant en 32bits pour "raison historico-applicative" et donc avec une limite a 4GB d'espace processus... Peu importe que le systeme avait assez de RAM au final ou pas)

Et quand on arrive dans cet état, malheureusement, le boot ne voudra pas finir tant qu'il n'aura pas fait son check de disque et retiré le flag. Et donc, dans les versions suivantes, fsck a été modifié pour ne pas essayer de tout stocker en mémoire, et pour s'aider du disque dans la mesure du possible, mais il m'avait été INTERDIT de mettre à jour le moindre composant sinon ça nous faisait perdre le support RedHat payé à millions.

S'ensuit la discussion suivante sur IRC avec Shik :
<DarkSoul> meeeerde, le fsck passe pas avec juste 4GB de RAM ! >_<
<Shikaze> bon... et tu peux pas ajouter de la RAM par le réseau ? :D
<DarkSoul> ...
<DarkSoul> eh, mais attends, c'est pas con ça !
<Shikaze> o_O;

Un instant plus tard, je montais un partage NFS, pour fabriquer un swapfile de 32G et le rajouter au système :'D

Une dizaine d'heures plus tard... C'était passé /O/

[Corsaire]

La course a l’échalote

Survient en cette fin 2015 un joli bulletin d'alerte de Juniper pour ses équipements, une sale backdoor du type NSA a été implantée depuis 3ans dans l'OS de leurs équipements sans que personne ne s'en rende compte...

Et bien sur on a de ca chez nous sinon, c'est pas drôle. Et ne riez pas vous Fortigate dans le fond, vous avez la même !

Bref, il faut mettre a jour... et la c'est le drame

Ça commence avec une config active/cold standby.
On commence bien sur par l’équipement en standby, le problème c'est le cold, ça veut dire machine allumée mais physiquement pas branchée, en cas de pépin on bascule le câblage dessus et comme on a une copie de la conf de l’équipement actif on voit pas la différence.
Sauf que du coup ça veut dire intervention physique pour tripoter la bête, il y a bien un port console mais c'est l’équivalent d'un clavier-écran, on ne passe pas d'image de firmware la dessus.

Pour corser le tout se rappeler que mon ordi, le point d’entrée de la console et l’équipement lui-même ne sont physiquement pas au même endroit.

Donc déjà récupérer le firmware a jour... Comment ça vous avez perdu le passe du compte sur le site web chef ?
Bon, cliquons sur "mot de passe perdu"... Comment ça "en raison d'un fort trafic nos services de gestion de comptes sont en maintenance ?"
Bon, on verra après la date ... Comment ça extension de la période de maintenance ?!

Bon chef ça va vraiment pas le faire la... Ah vous avez retrouvé les infos du compte ? Merci chef !

DOC, comment installer

Je récupère le bazar, emprunte un portable et part le relier a l’équipement, et la... rien
Pas de réseau, le lien physique pourtant bien la.
Chef, j'ai rien qui remonte la, voyez c'est bizarre... Pardon ? Port taggé sur le vlan ?

Explication, les infos de plusieurs vlans passent dans ce port physique et pour ne rien mélanger les paquets réseau sont marqués, et seul un équipement intelligent type switch niveau 2 peut faire le tri et utiliser le port.

Bon, solution de replis, l’équipement a des ports USB,

DOC, comment installer par USB

Une clé étant déjà branchée pour des sauvegardes periodiques de la conf, mettons ça sur une clé et branchons.
Rien
Voyons la doc... clé avec partition de 4GB max, la clé est une 8.

Chercher clé

Seconde clé, de 2GB, branchons.
Rien
Revoyons la doc, que dalle...
Et si deux clé en même temps ça passait pas ?
J’éjecte la clé de sauvegarde, met la clé d'update, ouf ça passe.

Lançons la procédure... comment ça "image incorrecte ?!"
Re-downloadons, contrôlons les CRC, remettons la clé, "image incorrecte"


Googlons cette merde...
"Si vous avez ce message le certificat de validation de l'image a expiré et doit être mis a jour sur l’équipement."
Vous pouviez pas mettre une indication, un lien, un avertissement, UN TRUC QUOI sur la page de dl des images firmware ??!!

Récupérons donc ce certificat.

DOC comment installer le certificat

installation du certificat > OK
installation du firmware > OK

Putain fini

Comment passer des heures sur un problème très con par l'exemple... Avec un nouveau déplacement a chaque échec et une nouvelle recherche de doc pour trouver une méthode équivalente a l'interface graphique en ligne de commande.

Comme dit un collègue "Heureusement que c’était pas une inter urgente sur l’équipement actif", tu l'as dit bouffi.