Le département de distorsion des statistiques

Coucou,

Dans un épisode du dessin animé Dilbert, le patron demande à Dilbert de tester un médicament contre le « syndrome du box chronique » sur des rats. Finalement le test sera effectué sur un et un seul rat, le budget alloué (zéro dollar) n'ayant pas permis d'en trouver un autre que celui qui traîne toujours chez Dilbert. Seulement voilà, un test effectué sur un rat, ça ne valide pas encore une étude scientifique. Que faire donc de ces chiffres si difficilement obtenus ?

Les porter au département de distorsion des statistiques, bien sûr. Département de l'entreprise dont l'unique employé explique à Dilbert qu'il peut manipuler les chiffres (le chiffre) fourni pour prouver que l'immortalité est possible. Pour ce qui est du « syndrome du box chronique » (une sorte de dépression qui touche les gens travaillant dans des box dans les entreprises, qui se sentent mal de toute façon mais on a décidé que c'était une maladie, ça permet de vendre un remède), tout le monde sait qu'il existe : on en a parlé à la télé, il y a un livre (dont on a parlé à la télé), et maintenant l'étude de Dilbert, même pas besoin de déformer !

Mais pourquoi est-ce que je vous parle de ça ? Et pourquoi maintenant ? Parce que le département de distorsion des statistiques, il existe pour de vrai, et un peu partout.

Quelques petits exemples glanés de-ci de-là (comme je parle bien moi quand je veux !) :

• En cours de visualisation, lors de la toute première séance d'exercices, on nous a demandé de commenter le graphique suivant :
  
  À première vue, la carte graphique représentée par les traits bleus est trois voire quatre fois mieux que celle en rose, je pense que vous êtes d'accord ?
  
  Mouais. Quand on regarde d'un peu plus près, on voit que l'échelle commence à 0,8 et non pas à 0, et que l'on passe de 1 à 1,6 ou 1,8... Loin des trois fois plus rapide ou trois fois mieux. Pas besoin de trafiquer les chiffres, ils sont parfaitement exacts enfin je pense. Mais on les présente d'une façon qui fait que quand on regarde un peu rapidement, paf on a une impression un peu déformée de la réalité. Ou très déformée.

• Lundi dernier, Steve Jobs (encore lui !) annonçait que « le meilleur navigateur du monde » allait être, non, était déjà, disponible pour Windows. Safari, le navigateur d'Apple évidemment (qui est moins bon que Firerfox, bien sûr, mais Steve Jobs n'allait quand même pas évaluer un produit Apple à sa juste valeur, et puis quoi encore). Mais Steve Jobs ne faisait pas que dire qu'il était content et que tout était génial, non, il donnait aussi des chiffres. Obtenus avec un standard de test répandu et connu et que tout le monde peut reproduire et tout. Des chiffres qui montrent que Safari est vraiment le plus rapide de tous les navigateurs. Ah bon. On retrouve mêmes ces chiffres sur le site d'Apple. Ils donnent ça :
  
  
  
  Ah oui oui Safari est vraiment le plus rapide pour cette « HTML Performance » qu'on ne sait pas trop ce que c'est, mais quand même, quelle rapidité ! Sauf que... Sauf que quand vous allez utiliser votre navigateur, dans la vraie vie de l'internaute de tous les jours, vous ne verrez pas ces différences. Safari n'est pas plus rapide, en général, pour un utilisateur. Pourquoi ? Parce que le test est effectué dans des conditions très particulières et teste quelque chose de très particulier (pour ce test-là : le temps écoulé pour afficher totalement un certain nombre de pages Web simples). Mais quand vous naviguez sur le Web, peu importe que la page soit affichée totalement, si la partie qui vous intéresse est déjà visible. Peu importe qu'une page simple soit affichée vite, si celle que vous consultez à trois bandeaux en Flash, deux vidéos, quatre Javascripts etc. Et je ne parle même pas du fait que Safari pour Windows, dans la version actuellement disponible, est tout à fait inutilisable. Et d'ailleurs c'est drôle : 'il passe le test Acid2, mais il n'arrive pas à afficher correctement les résultats d'une recherche Google. Comme quoi, un test, ça ne veut pas dire grand chose.
• Dernier exemple de statistiques à qui on fait dire un peu tout ce qu'on veut ? Mais les sondages auxquels on a eu droit pendant toutes les campagnes électorales, bien sûr. Pendant les campagnes, et même après... Vous vous souvenez du sondage iTélé-Le Figaro-Machin (dont les Guignols n'arrêtaient pas de se moquer) qui nous expliquait que «65 % des Français ne sont pas choqués par les vacances de N. Sarkozy. » Voilà du sondage intéressant, important, bien fait et bien analysé. Parce que bon entre nous, on comprend bien que si on demande à des gens « est-ce que ça vous choque ? » il y ait pas mal de monde qui réponde « bah non, choquer le mot est trop fort... disons que c'est curieux quand même » et voilà paf une personne qui n'est pas choquée. On nous explique aussi que 65 % des gens pas choqués, c'est génial c'est une énoooorme majorité personne n'est choqué... Alors que ça fait 35 % de personnes choquées par les vacances (les vacances !) de leur président, ce qui est quand même un résultat assez surprenant. Et puis on en viendrait presque à ne plus se demander pourquoi donc on fait des sondages pareils, alors que franchement ils ne servent à rien... Ou alors juste à ne pas parler d'autre chose ?

Tout ça pour dire que les statistiques, on peut leur faire dire ce qu'on veut, et on en trouve des preuves un peu trop souvent à mon goût. Tout ça pour dire aussi que Dilbert c'est très drôle et rarement stupide.

À bon entendeur, salut !