Refonte de l'infrastructure
"The Optin Machine"

Benjamin Dos Santos

• Je travaille chez Arthur Media Group depuis deux ans
• Développeur Web la première année
• Administrateur système depuis un an :
  • Déploiement / Administration / Supervision des infrastructures
  • Évolution de l'existant

Régies :

• P comme Performance
• Mails & Brands

Éditeur :

• Welcome Media

Collecte :

• The Optin Machine

• 30 collaborateurs, 7 langues, 12 pays
• 53 bases gérées : 23 M&B + 30 PCP
• 53M de profils
• 2400 campagnes envoyées par mois
• 112M++ de mails envoyés sur M&B par mois
• 20M++ de clics par mois
• Clients : Groupe Prisma Press, Groupe Webedia, Météo France, UGC ...

• Édition de sites web :
  • Programmi TV, Daily geek show, Programación-TV, Application du jour
• Édition de Newletters :
  • Météo France, Ventes Privées du jour, 20minutes, Le Figaro, NRJ, Marie Claire, Cosmopolitan ...
• 9M de profil
• Génération de Trafic Nielsen, Cliques, Lead

• Acquisition d'adresses emails : jeux concours, enquêtes, overlays ...
• Livraison des profils collectés
• 4 millions d'emails recrutés en 2010
• Plus d'1 milliard d'impressions
• 600 opérations par mois

Refonte de l'infrastructure de la société The Optin Machine :

• Base de Collecte
• Supports de Collecte
• Tracking
• Serveurs "statiques"

La Haute Disponibilité :

• SPOF (point unique de défaillance) au niveau de la collecte, tracking et bases de données

Tracking instable (nodejs) :

• Fuites de mémoire
• Crash du service
• Redémarrage de la machine

La base de données MySQL :

• Tables utilisant le moteur MyISAM :
  • Tables verrouillées en écriture
  • Délais d'attente expirés : perte d'informations
• Structure relationnelle "inadaptée" aux nouveaux supports de collecte
• Champs mal indexés / typés

Opérations sur la base de données :

• Mettre en oeuvre la réplication nécessite de verrouiller les tables du serveur maître en écriture : interruption du service
• 70 GO de données !
• Sauvegardes à chaud :
  • MySQL Dump : long à effectuer, lent à restaurer
  • Snapshot ? Nous n'utilisons pas LVM, RDS etc ...

• - Améliorer la disponibilité de l'infrastructure

• - Gestion des configurations

• - "Orchestration" des serveurs

Bases de données NoSQL orientées document :

• MongoDB
• CouchDB

• Abandon de Nodejs : instable
• Fichiers journaux / bases de données clef-valeur distribuées :
  
  • Redis
  • Memcached

• Lighttpd / Nginx
• Synchronisation avec Rsync / Stockage réseau

• Nginx : serveur HTTP haute performance
• Stockage NAS haute disponibilité : NFS
• Répartition de charge : weighted round robin

• Nginx : serveur web en frontal
• PHP : validation et enregistrement des données
• REST : les applications utilisent HTTP pour communiquer avec CouchDB

• Nginx : serveur web en frontal
• PHP + Redis : enregistrement des affichages et cliques
• REST : agrégation des statistiques de chaque serveur

• Puppet : modules dédiés à la configuration des serveurs selon leur rôle :

  • Bases de données
  • Serveurs statiques
  • Serveurs de tracking
  • Serveurs d'applications
  
  
• Git + Github : gestion de versions, déploiements

      # Databases servers
      node '/^db\d+\.optin-machine\.fr$/' {
        include couchdb
      }

      # Tracking servers
      node '/^tracking\d+\.optin-machine\.fr$/' {
        include tom_tracking
      }

      # Statics servers
      node '/^static\d+\.optin-machine\.fr$/' {
        include tom_static
      }
      

Exemple de tâches Fabric :

• Déploiement des applications et modules Puppet depuis Github
• Configuration des machines avec Puppet
• Mise à jour des serveurs, redémarrage des services ...

• Charge cpu, disque, RAM, interfaces réseaux, requêtes HTTP/s ...
• Agrégation des graphiques des machines du même "pool"

• Serveurs dédiés OVH
• Stockage NAS HA

• Instabilités CouchDB
• Formation sur le tas à des nouvelles technologies : nosql etc ...
• Délai de réalisation

• Industrialisation de l'administration système et des déploiements
• Administration système centralisée
• Haute disponibilité

Le cloud publique :

• Agilité et élasticité instantanée
• Economique : facturation à l'usage