Tests de validation

Où nous en sommes

Des comparaisons ont été menées en interne pendant la mise au point de la méthode. Aucune n'est encore publiée sous une forme qui permette à un lecteur extérieur de juger par lui-même. Nous les publierons ici au fur et à mesure, avec les questions, les cibles et les écarts constatés.

Tant que cette page est vide de résultats, considérez la proximité entre panel synthétique et personnes réelles comme une hypothèse de travail, pas comme un fait établi. C'est aussi pour cette raison que chaque rapport se termine sur ce qui devrait encore être vérifié auprès de personnes réelles.

Ce qu'une comparaison mesure, et ce qu'elle ne mesure pas

Ce que nous regardons : l'ordre des options est-il le même ? L'écart entre la première et la deuxième option va-t-il dans le même sens ? Les objections citées se recoupent-elles ? Les segments qui divergent sont-ils les mêmes ?

Ce que nous ne regardons pas : la coïncidence des pourcentages. Un panel synthétique ne produit pas une mesure de population. Comparer les chiffres à la décimale donnerait une illusion de mesure, et cette illusion est exactement ce que Panalyst refuse.

Le protocole de comparaison

1. Une seule question, une seule cible, les mêmes options des deux côtés.
2. Le même questionnaire, le même ordre de critères, la même possibilité de répondre « aucune de ces options ».
3. D'un côté, un travail auprès de personnes réelles. De l'autre, un Quick Test standard, sans réglage particulier pour l'occasion.
4. Cinq réplications du côté synthétique, pour montrer la dispersion et non un tirage.
5. Publication des deux classements côte à côte, des écarts, et des cas où le panel synthétique s'est trompé.

Ce que nous publierons, y compris quand cela nous dessert

Une comparaison n'a d'intérêt que si les désaccords sont publiés avec les accords. Nous publierons donc aussi les questions sur lesquelles le panel synthétique a donné un classement différent, et ce que nous en avons conclu sur ses limites.

Si vous voulez discuter du protocole ou proposer une question à comparer, écrivez-nous à panalyst@nanocorp.app. La réponse vient d'une personne.