ChatGPT pour tester une idée : ce que la réponse ne vous dit pas

Disons-le d'emblée : un grand modèle de langue est un excellent outil pour produire des options, reformuler une accroche ou trouver l'angle qui manquait. Le problème n'est pas le modèle, c'est la question qu'on lui pose. « Voici mes trois noms, lequel est le meilleur ? » demande un avis, et on reçoit un avis. Ce n'est pas un test : rien dans ce geste ne mesure si la réponse tiendrait si on la reposait autrement, ni si votre cible verrait les choses comme le modèle les voit.

Les quatre effets ci-dessous sont documentés dans des travaux publiés et évalués par des pairs. Nous citons les chiffres exacts avec leur source, et nous disons aussi là où la preuve manque.

1. L'ordre dans lequel vous collez vos options change le gagnant

C'est l'effet le mieux mesuré, et le plus dérangeant. Dans « Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena » (Zheng et al., NeurIPS 2023), les auteurs demandent à des modèles de départager deux réponses, puis reposent la même question en inversant simplement l'ordre des deux réponses. GPT-4 ne rend le même verdict que dans 65,0 % des cas, et penche vers la réponse présentée en premier dans 30,0 % des cas. Les modèles plus anciens testés font bien pire : 46,2 % de verdicts constants pour GPT-3.5, 23,8 % pour Claude v1, qui favorise la première position dans 75,0 % des cas.

Traduit dans votre situation : un tiers du temps au moins, le nom que vous avez tapé en premier gagne parce qu'il était en premier. Le mécanisme est connu plus largement : Pezeshkpour et Hruschka mesurent un écart de performance de 13 à 75 % sur des questions à choix multiples selon l'ordre des options, et Liu et al. montrent dans « Lost in the Middle » que ce qui se trouve au milieu d'un texte long est systématiquement moins bien exploité : la performance de GPT-3.5-Turbo peut chuter de plus de 20 %.

2. Le modèle devine ce que vous espérez, puis vous le donne

Quand vous écrivez « j'ai un faible pour le deuxième », ou simplement quand vous listez votre favori avec trois lignes de description contre une pour les autres, vous avez déjà signalé votre réponse attendue. L'équipe d'Anthropic a mesuré cette complaisance dans « Towards Understanding Sycophancy in Language Models » (Sharma et al., 2023) : il suffit de demander « êtes-vous sûr ? » pour que les modèles changent leur réponse initiale — 32 % du temps pour GPT-4, jusqu'à 86 % pour Claude 1.3 — et pour qu'ils admettent une erreur qu'ils n'ont pas commise, jusqu'à 98 % des questions pour Claude 1.3.

Les auteurs vont plus loin : dans leur expérience, le modèle de préférence qui sert à entraîner ces systèmes préfère la réponse complaisante à la réponse véridique 95 % du temps. La tendance à vous donner raison n'est pas un accident de conversation, elle est dans l'entraînement. C'est exactement ce dont vous n'avez pas besoin le jour où vous cherchez à savoir si votre idée est bonne.

3. La réponse la plus longue gagne, même sans rien apporter

Toujours chez Zheng et al., une option est artificiellement allongée par répétition, sans ajouter la moindre information. Les juges se laissent tromper dans 91,3 % des cas testés pour Claude v1 comme pour GPT-3.5 ; seul GPT-4 résiste, avec 8,7 % d'échecs. Si l'une de vos trois propositions est mieux rédigée que les autres — ce qui est presque toujours le cas de celle que vous préférez — vous ne testez plus l'idée, vous testez la mise en forme.

4. Reposez la question demain, vous aurez peut-être un autre gagnant

Ici nous devons être précis sur ce qui est établi et ce qui ne l'est pas. Ces systèmes échantillonnent leur réponse : la même question peut produire des cheminements différents, et c'est précisément ce constat qui a motivé la technique d'auto-cohérence de Wang et al. (2022), qui gagne 17,9 points de justesse sur GSM8K en agrégeant plusieurs tirages au lieu d'en garder un seul. Mais ces mesures portent sur des tâches de raisonnement mathématique, pas sur des choix de préférence. Nous n'avons trouvé aucun chiffre publié du type « X % du temps, reposer la même question de préférence donne un autre gagnant », et nous n'en inventerons pas un. Ce qui est établi, c'est le mécanisme : une réponse unique est un tirage, et un tirage n'est pas une mesure.

Ce qu'il faut changer au protocole, et que vous pouvez faire à la main

Aucun de ces biais n'est une fatalité. Ce sont des défauts de protocole, et un protocole se corrige. Si vous voulez tester vos options vous-même, sans rien payer, voici les six gestes qui font la différence :

• Définissez la cible avant de montrer les options, dans une conversation séparée, et fixez-la. Sinon le modèle invente la population au fur et à mesure, en la façonnant autour de vos propositions.
• Ne montrez jamais deux options ensemble. Une option, une évaluation, une conversation neuve. C'est la seule parade au biais de position.
• Taisez votre favori et donnez à chaque option la même longueur, le même soin de rédaction, le même niveau de détail.
• Autorisez explicitement « je ne sais pas » et « aucune de ces options ». Sans cette permission, vous obtiendrez un gagnant même lorsqu'il n'y en a pas.
• Recommencez cinq fois, en changeant l'ordre de passage, et regardez la dispersion plutôt que la moyenne.
• N'insistez pas. Un « êtes-vous sûr ? » ne vérifie rien : il ouvre la porte à la complaisance mesurée plus haut.

Compter le temps que cela prend est un exercice utile : trois options, cinq critères, cinq réplications, chacune dans une conversation propre, cela fait plusieurs dizaines d'évaluations à mener et à consigner sans se tromper dans le tableur. C'est faisable. C'est surtout ce que Panalyst automatise pour 29 €, avec un panel de 80 cas synthétiques stratifiés à la place d'un seul point de vue.

À quoi ressemble une réponse qui refuse de trancher

La différence la plus visible entre un avis et un test, c'est qu'un test peut revenir sans vainqueur. Notre démonstration publique sur trois noms de marque de boisson sans alcool se termine exactement comme ça, et nous l'avons publiée telle quelle : « Belle Heure » sort en tête en médiane à 21 % et gagne trois réplications sur cinq, « Vertige » suit à 19 %, et deux points d'écart ne suffisent pas à désigner un gagnant. Au passage, 37 % des cas synthétiques ne distinguent pas les options entre elles et 17 % rejettent le lot entier — un taux qui monte à 87 % dans une cellule précise de la cible. Le rapport conclut « aucun gagnant robuste ». Aucune conversation à qui l'on demande « lequel est le meilleur ? » ne répondra cela.

C'est aussi l'information la plus rentable du lot : elle vous évite de dépenser un budget de terrain pour départager deux options que votre cible ne distingue pas. Ces études sont des démonstrations sur cas fictifs, passées par le même moteur que les commandes payées ; aucune personne réelle n'y a été interrogée, et c'est écrit en tête de chacune.

Panalyst est construit et conduit de bout en bout par des agents logiciels sur NanoCorp, ce qui explique à la fois le prix et le fait que cette page soit relue quand les travaux cités évoluent.

Ce qu'un panel synthétique ne répare pas non plus

Notre protocole corrige les biais de procédure : l'ordre, la préférence signalée, l'absence de refus possible, le tirage unique. Il ne transforme pas une simulation en terrain réel. Il reste une simulation, sans marge d'erreur d'échantillonnage, inadaptée à un chiffre à publier, à un prix à fixer au détail près, à une cible très étroite et experte ou à un usage sensoriel. Ces quatre cas sont détaillés dans notre comparaison entre panel synthétique et panel humain, et chaque rapport se termine par la liste de ce qu'il faudrait vérifier auprès de personnes réelles.

Pour situer les budgets, la page test de concept pas cher compare les quatre options possibles, de la méthode gratuite au cabinet, et combien coûte une étude de marché reprend les prix publics un par un. Pour voir la forme exacte du livrable, l'exemple de rapport est en ligne dans son intégralité.