Pourquoi est-il impossible de faire de bons sondages sur la population des rôlistes (ou des GNistes) ?

En tant que chroniqueur de jeux pour Radio Rôliste, je crois être quelqu’un de globalement plutôt enthousiaste. En tant que statisticien je porte par contre un jugement beaucoup plus négatif envers un pan bien spécifique de notre loisir : la multiplication des sondages cherchant à produire une connaissance quantitative sur la population des rôlistes (ou des GNistes).
J’ai déjà eu l’occasion de râler dans ma barbe sur ces sondages lors de quelques-unes de nos émissions mais il m’a semblé que ma position méritait un développement qu’il me sera plus simple de faire par écrit.

“Il est impossible de produire un sondage fiable sur la population rôliste ou GNiste”.
J’ai conscience que cette position, qui sera je pense partagée par la grande majorité des statisticiens ayant déjà travaillé sur des méthodes de sondage, pourra être perçue comme une provocation. Parce que je la formule à un moment où nous voyons se multiplier les enquêtes en ligne cherchant à mieux connaître la population rôliste, parce qu’elle met dans le même panier des sondages dont on pourrait penser que certains permettraient de produire de meilleurs résultats que les autres et parce qu’il s’agit aussi de dire qu’il n’existera probablement jamais de sondage convaincant sur notre communauté.

Un cas concret : le sondage du Thiase

Je vais chercher à justifier mon affirmation déprimante à partir d’un exemple concret, le sondage du Thiase qui en est actuellement à sa troisième édition et qui – à l’heure où je commence à écrire ces lignes – a déjà obtenu plus de 5 000 répondants. J’ai quelques bonnes raisons de le choisir comme exemple.

Première raison : Il s’agit assurément du sondage français le plus connu et produisant le plus grand échantillon. Même un sondage de grande taille ne peut pas produire de données satisfaisantes sur l’ensemble de la population rôliste.
Deuxième raison : La plupart des critiques à son sujet portent sur la rédaction de son questionnaire, qui n’est certes pas parfait mais que je trouve plutôt bien fait. Le soin et la compétence apportés dans la rédaction du questionnaire ne peuvent pas compenser les faiblesses de ce type d’enquêtes.
Troisième raison : L’ambition du sondage est a priori modeste puisqu’il s’agit d’une réaliser une description basique de la population rôliste (pourcentage de femmes, âge moyen, situations professionnelles, quelques variables simples sur la pratique et les achats rôlistes). Les enquêtes cherchant à creuser une problématique spécifique (consommation d’alcool, confrontation des joueurs à des situations d’agression, sexisme…) sont confrontées à des difficultés supplémentaires.

La méthode de l’enquête consiste à diffuser sur le site du Thiase, sur les forums et sur les réseaux sociaux (en visant bien-sûr les groupes de discussions et les comptes liés au JdR) un appel aux volontaires rôlistes qui sont invités à cliquer sur un lien menant à un questionnaire Google Forms leur permettant de répondre au sondage. La communication autour du sondage met l’accent sur l’importance de diffuser le sondage le plus largement pour obtenir le plus grand échantillon possible.

Le truc impossible avant le questionnaire

Sans être considérable, le chiffre de 5 000 répondants est a priori confortable et il est tentant de faire de ce facteur le seul indicateur de précision de l’enquête. Malheureusement multiplier les réponses n’est pas suffisant si l’on ne se donne pas les moyens de contrôler la structure de l’échantillon et donc de sélectionner les répondants. En fonctionnant sur une logique de volontariat (tous les rôlistes qui tombent sur un message annonçant le sondage sont invités à y répondre) ce sondage ne sélectionne pas les membres de l’échantillon et il y a fort à parier que certaines catégories de rôlistes sont surreprésentées. Deux exemples :

Exemple 1 : Les rôlistes passant le plus de temps sur des forums rôlistes auront plus de chances de tomber sur le sondage du Thiase, et donc d’y répondre. Or la fréquentation des sites rôlistes est sans doute liée à certains types de pratiques ludiques (les rôlistes les plus fréquemment meneurs de jeu et ceux qui s’intéressent le plus à l’actualité seront sans doute plus présents) et à des profils professionnels ou démographiques particuliers (les cadres et les étudiants sont les plus gros consommateurs d’internet, les femmes se connectent moins que les hommes).
Exemple 2 : La définition du “rôliste” n’étant pas précisée on peut penser que ceux qui jouent le moins ou qui n’achètent pas de livres de jeu vont hésiter avant de répondre. De façon générale les individus tendent à répondre plus facilement à des enquêtes quand ils se sentent concernés.

Ces surreprésentations génèrent ce qu’on appelle des “biais”, des erreurs de sondage qui ne sont pas liées à la taille de l’échantillon et qui persisteraient même si on augmentait considérablement le nombre de répondants. Pire : il n’est pas possible d’identifier l’ensemble des biais et d’évaluer leur ampleur (et donc de les corriger). Même mes exemples reposent sur des suppositions et on pourrait parfois les renverser (peut-être que l’augmentation des discussions autour du féminisme dans le milieu rôliste incitera les joueuses à répondre en masse et qu’au final l’enquête surestimera leur proportion parmi les rôlistes). Bref on ne sait pas si l’échantillon est bien constitué et on ne pourra jamais le savoir. On pourrait comparer ce sondage à un jet de Perception très difficile que le MJ effectuerait derrière son paravent : impossible pour les joueurs de savoir s’ils doivent apporter du crédit aux descriptions qui vont suivre !

Le sondage du Thiase ne sélectionne donc pas ses répondants ce qui ne lui permet pas de produire des données exploitables. Il ne s’agit en réalité pas là d’un défaut spécifique à ce sondage mais d’une limite inhérente à tous les sondages portant sur l’ensemble des rôlistes. Pour prendre en compte ce problème il faudrait, avant même le lancement du sondage, avoir une idée de la structure de la population rôliste…le serpent se mord donc la queue (1) ! Un préalable indispensable avant de mener une enquête avec un échantillon de rôlistes serait de mener une enquête auprès de l’ensemble de la population française (ou d’un autre territoire) et, en son sein, de chercher à repérer la sous-population des joueurs de JdR et ses caractéristiques socio-démographique. Autant dire que le dispositif devrait être d’une tout autre ampleur.

Que faire pour mieux connaître les rôlistes/les GNistes ?

Je l’annonçais dès le titre mais la conclusion de mon article est malheureusement décevante : les sondages actuellement diffusés sur la population rôliste ne permettent pas d’obtenir des informations sur la population rôliste plus fiables que nos représentations intuitives. Je n’apporterai pas de solution à cette impossibilité technique dont j’espère être parvenu à expliquer les causes (n’hésitez pas à me demander des clarifications et des précisions si nécessaire) mais cela ne doit pas décourager les tentatives de mieux connaître nos communautés. Alors que faire ?

Première piste d’analyse : S’intéresser à des sous-populations mieux connues
Cette idée m’a été suggérée par Morora du blog Suck My Dice. Il n’est pas certes pas possible de connaître la composition de la population de tous les rôlistes mais on peut abandonner cette ambition totalisante et étudier la population rôliste via ses différentes facettes. En se rapprochant de grosses associations locales on peut envisager de connaître l’évolution de la composition des rôlistes associatifs d’une ville ou d’une région. Il est peut-être possible de se rapprocher des organisateurs de conventions pour savoir qui les fréquente, des boutiques (notamment en ligne) pour connaître le profil des acheteurs (2)….En 2015 le Thiase proposait une analyse des crowdfundings dont on peut critiquer les conclusions mais qui reposait sur des données précises et vérifiables. 

Deuxième piste d’analyse : Mener ou se rattacher à une enquête plus coûteuse
Le lecteur attentif aura remarqué que je ne conclus pas à l’impossibilité totale d’une réalisation d’un sondage sur la population des rôlistes. Il suffirait après tout de poser une question sur la pratique du JdR dans une enquête portant sur l’ensemble de la population française pour avoir une idée de la population rôliste.
Sans connaître les tarifs des instituts de sondage je doute qu’il existe aujourd’hui en France des rôlistes susceptibles de dépenser un tel budget pour lancer une telle enquête. D’autant plus que la population rôliste est particulièrement difficile à saisir car elle est restreinte et que les résultats d’un sondage perdent en précision quand on s’intéresse à des populations rares (3).
Notons aussi que les acteurs du monde du JdR ont sans doute laissé passer une occasion qui ne se reproduira plus avant longtemps de se greffer à un grand sondage sur les pratiques culturelles des français. La dernière édition de l’enquête sur les pratiques culturelles des français menée par le Ministère de la Culture et par Ipsos avait lieu fin 2017/début 2018. A ma connaissance aucune question n’était posée sur la pratique du JdR ou du GN…  

Troisième piste d’analyse : Le qualitatif
Je sors de mon domaine de compétence et les lecteurs formés à l’entretien qualitatif auront peut-être des choses à y redire mais il me semble que, pour approfondir des problématiques spécifiques, le recueil des témoignages est la méthode la plus efficace. Par exemple, et même si le projet n’a aucune prétention scientifique, on peut avoir le sentiment que sur la question du parcours des joueuses au sein des milieux rôlisto-GNistes le site Et pourtant, elles jouent ! permet plus facilement de saisir les dynamiques sociales à l’oeuvre.

Cette dernière piste peut sembler paradoxale dans un article consacré aux statistiques mais elle me semble relever d’une prise de conscience salutaire : ce n’est pas parce qu’on ne peut pas produire de chiffres fiables sur un phénomène qu’il n’existe pas et qu’il n’est pas possible de l’objectiver. L’importance que nous accordons aux sondages, alors même qu’ils nous renvoient des descriptions très déformées de la population rôliste, est symptomatique de la confiance exagérée que nous plaçons dans des chiffres qui ne sont pas intrinsèquement plus « scientifiques » que les analyses qualitatives (4). Il est important de reconnaître qu’aujourd’hui nos meilleures connaissances sur la population rôlisto-GNistes viennent de nos discussions avec ses différents acteurs et actrices et à la confrontation de témoignages…et que ce n’est pas prêt de changer !

(1) Pour être rigoureux on peut ajouter qu’il est parfois possible d’évaluer la qualité d’un échantillon et de corriger sa structure via des méthodes dites de “redressement” consistant à agir après l’obtention des résultats pour comparer la structure de l’échantillon avec celle de la population d’intérêt. La mise en oeuvre de cette méthode se heurte cependant au même problème que la procédure de sélection : elle nécessite de connaître la structure de la population des rôlistes.
(2) Je n’ai pas creusé le sujet mais peut-être que certaines de ces idées posent des problèmes légaux liés à la transmission et à la conservation de données privées.
(3) Je ne détaille pas mais le fait de ne pas vraiment avoir d’ordre de grandeur a priori du nombre de rôlistes en France rend de plus difficile de budgéter une telle enquête. Pas facile de savoir quelle serait la taille minimale d’un échantillon de français à mobiliser pour y repérer les caractéristiques de la population des joueurs de JdR.
(4) Avant de poster cet article j’ai rapidement discuté de ce dernier point avec une sociologue bien plus calée que moi sur le sujet des méthodes qualitatives. Elle fait la différence entre les témoignages, spontanés et n’entrant pas dans le cadre d’une enquête obéissant à une méthodologie rigoureuse, et les entretiens qui s’inscrivent dans un protocole scientifique (incluant à la fois un choix des entretiens réalisés et de la façon de les mener). Elle cite aussi la démarche d’observation participante notamment utilisée par Axelle Cazeneuve dont nous avons déjà parlé du blog dans l’épisode #79. Défendre l’idée que toutes les méthodes quantitatives ne se valent pas, et qu’elles ne sont pas systématiquement meilleure que les méthodes qualitatives, ne revient pas à dire que toutes les analyses qualitatives sont de qualité mais qu’elles peuvent s’inscrire dans une démarche scientifique.