wOueb by Romain DECKER / Another IT Guy Blog

Facebook est une vraie machine de guerre : on a pu voir récemment que c’était le site le plus visité au monde, et tout ça seulement après quelques années. Contrairement à d’autres « supergrands » (Google, Microsoft, Apple, Youtube, etc.) un certain nombre d’informations filtrent lors de conférences, et dans des documents officiels.

Je rappelle que pour écrire ces 2 articles, j’ai simplement visionné des vidéos de conférences pour compiler les informations. Vu la masse de détails obtenus, j’ai publié deux articles :

• le précédent, présentant les chiffres clés sur l’infrastructure de Facebook,
• celui-ci : comment Facebook gère quotidiennement son (immense) infrastructure ?

En extrapolant plusieurs données (graphiques d’évolution, chiffres passés, etc.) on estime entre 60 000 et 100 000 le nombre de serveurs de Facebook .

Facebook : évolution du nombre de serveurs

Cependant, ce chiffre ne tient pas compte de deux nouveaux datacenters actuellement en cours construction (Oregon et Caroline du Nord).

Facebook a depuis longtemps atteint une masse critique qui nécessite de voir sa copie en terme d’administration quotidienne.

Un des ingénieurs de Facebook a bien illustré le problème lors d’une conférence :

With Facebook users spending a collective 8 billion minutes on the site each day, serving 1.2 million photos each second, and managing more than 25 terabytes of data per day in logging data, we’re forced to think about servers and datacenters differently.

Nb : les chiffres sont de 2009, les actuels sont présents dans mon article précédent.

(suite…)

Facebook est une vraie machine de guerre : on a pu voir récemment que c’était le site le plus visité au monde, et tout ça seulement après quelques années. Contrairement à d’autres « supergrands » (Google, Microsoft, Apple, Youtube, etc.) un certain nombre d’informations filtrent lors de conférences, et dans des documents officiels.

J’ai visionné plusieurs heures de vidéos de conférences (long mais super intéressant) et ait compilé les informations. Vu la masse de détails obtenus, j’ai décidé de publier deux articles :

• celui-ci, présentant les chiffres clés sur l’infrastructure de Facebook,
• un second (à venir) : comment Facebook gère quotidiennement son (immense) infrastructure ?

En extrapolant

• certains graphiques d’évolution,
• des chiffres passés,
• des indications fournies pendant des conférences,

on estime entre 60 000 et 100 000 le nombre de serveurs de Facebook . Cependant, ce chiffre ne tient pas compte de deux nouveaux datacenters actuellement en cours construction (Oregon et Caroline du Nord).

Facebook : évolution du nombre de serveurs

Mais qu’est-ce qui peut bien tourner sur cette infrastructure ?

Données générales :

• 500 millions d’utilisateurs actifs (un utilisateur actif est un utilisateur qui se connecte au moins une fois par mois),
• 50% des utilisateurs se connectent au moins une fois par jour, soit 250 millions de personnes tout de même,
• 690 milliards de pages vues par mois,
• 6 milliards de contenus partagés par semaine (statuts, photos, liens, vidéos),
• 3 milliards de photos uploadées par mois, pour plus d’un pétaoctet de stockage uniquement destiné aux photos (chaque photo existe en 4 tailles),
• un dernier chiffre, le plus parlant peut-être : 16 milliards de minutes sont passées par jour sur Facebook. Ça représente 11 millions de jours ou encore plus de 30 000 années qui sont passées par jour sur le réseau social, c’est juste énorme !

Données techniques :

• plus de 300 To (téraoctets) de données en cache en RAM avec Memcached,
• 25 To (téraoctets) de log par jour,
• un ingénieur Facebook pour 1,1 millions d’utilisateurs. A titre de comparaison, Google emploi un ingénieur pour 190 000 utilisateurs,
• un opérateur Facebook pour 2,3 millions d’utilisateurs.

Quelques chiffres intéressants sur MySQL :

• 13 millions de requêtes par seconde en pic,
• 38 Go/s de trafic MySQL en pic,
• temps de réponse moyen en lecture : 4 ms,
• temps de réponse moyen en écriture : 5 ms,
• 450 millions de lignes lues par seconde en pic,
• 3,5 millions de lignes modifiées par seconde en pic,
• 5,2 millions d’I/O (disques) InnoDB par seconde.

Qui a d’autres chiffres intéressants et récents à partager ?

Dans le prochain article sur le sujet, je traiterai de la gestion quotidienne d’une infrastructure de cette taille.

Sources :

• A Day in the Life of Facebook Operations,
• Facebook on Bandwidth,
• MySQL Tech Talk.

Décidement, c’est l’année des grands changements pour mon blog !

J’ai profité de quelques heures de libre hier soir pour migrer ce blog sur un serveur dédié : il quitte donc son hébergement mutualisé OVH qu’il occupe depuis 5 ans ! ^^

Niveau serveur, pas grand chose à dire :

• Hardware : un processeur à 2,4Ghz (Intel E5530), 1 Go de Ram, une baie de disques FC partagée avec d’autres machines virtuelles,
• Software : CentOS 5.5, Apache 2.2, PHP 5.2.

Au niveau des améliorations :

• APC, un système de cache PHP (que j’utilise depuis longtemps et qui est relativement simple à installer),
• Memcached : un système de cache d’objets (que j’ai toujours voulu mettre en place),
• Varnish : un reverse proxy dont Gonzague m’avait parlé il y a quelques mois. J’étais curieux de le tester, et j’ai pu le configurer pour Worpdress grâce à l’article de Nicolargo.

Voici un schéma détaillant un peu l’imbrication de tous ces éléments entre eux :

Note : j’ai conçu ce schéma sur l’idée du schéma d’optimisation de Nicolargo.

Après quelques tests de performances, woueb.net est 75% plus rapide qu’avant !