Auditer ce que ChatGPT comprend actuellement de travers

Avant cette leçon, vous devez être à l’aise avec la distinction de la leçon 1 entre l’optimisation pour ChatGPT, la mémoire d’entraînement, la navigation web en direct et la distinction avec le SEO. Vous devez aussi avoir pris l’habitude de cartographier les éléments publics acquise dans la leçon 2 : lorsqu’une réponse paraît fausse, examinez les pages du cabinet, les registres, les annuaires et les mentions publiques qui ont pu la façonner.

L’exemple pédagogique que j’utilise dans cette leçon commence par un document partagé qui inquiète les associés. Un cabinet boutique en droit de l’immigration a copié plusieurs réponses de ChatGPT après avoir testé des questions ordinaires de clients sur le séjour en Belgique, le regroupement familial et l’aide juridique néerlandophone. La première réponse cite deux grands cabinets bruxellois et laisse de côté le petit cabinet. La deuxième place le cabinet dans une ville où il ne se présente plus. La troisième donne enfin le nom du cabinet, puis décrit son travail comme un appui général aux demandes plutôt que comme du conseil réglementé en droit de l’immigration.

À ce stade, l’équipe veut corriger immédiatement les pages publiques. En général, je les ralentis. Non parce que la correction serait sans importance, mais parce que le premier audit est une petite autopsie, et le scalpel ne doit pas être une réécriture. Nous devons savoir si ChatGPT ne trouve pas le cabinet, ne sait pas le situer, ne sait pas le nommer correctement ou ne sait pas le décrire sans emprunter la mauvaise formulation publique. Ce sont des défaillances différentes. Un audit net rend ces différences visibles avant que quelqu’un commence à ajouter de nouveaux paragraphes à un dossier déjà confus.

Commencer par la réponse, pas par l’accusation

Un audit de visibilité est une vérification structurée de la façon dont ChatGPT nomme, omet, déplace et décrit un cabinet. Le mot « structurée » fait ici un vrai travail. Il signifie que l’étudiant ne pose pas une seule question irritée, ne rejette pas la réponse, puis ne déclare pas que ChatGPT favorise les grands cabinets. Cela peut soulager pendant cinq minutes. Cela ne vous apprend pas quoi corriger.

L’audit commence par la réponse comme objet observable. Copiez le prompt. Copiez la date. Copiez la réponse. Notez si la réponse semble utiliser la navigation web en direct ou non. Notez si le cabinet est cité, omis, remplacé par un concurrent, décrit de manière générique ou placé dans la mauvaise ville, la mauvaise langue, la mauvaise catégorie juridique ou le mauvais problème client. Ne corrigez pas la réponse dans la cellule. Ne nettoyez pas la formulation. Conservez le désordre.

C’est plus difficile qu’il n’y paraît. Les avocats et les communicants juridiques sont formés à améliorer un texte dès qu’ils le touchent. L’audit demande une habitude plus froide : relever d’abord, interpréter ensuite. Une réponse fausse sur un cabinet ressemble à une lettre revenue avec trois marques postales. On ne les arrache pas parce qu’elles sont laides. On les lit.

Pour un cabinet boutique en droit de l’immigration, la question centrale de l’audit n’est pas seulement : « Sommes-nous mentionnés ? » Une mention peut être faible. Si ChatGPT nomme le cabinet mais dit qu’il traite de l’aide générale à la relocation, le cabinet n’a pas gagné de visibilité dans un sens professionnel utile. S’il place un avocat néerlandophone dans la mauvaise ville belge, la réponse peut envoyer le mauvais client ou affaiblir la confiance avant l’accueil. S’il cite d’abord un plus grand concurrent et réserve au petit cabinet une vague ligne en « aussi », le schéma mérite d’être relevé.

Utiliser des séries de prompts répétés sans en faire du théâtre

Un seul prompt est une photographie prise à travers une fenêtre sale. Il peut montrer quelque chose de vrai, mais vous ne devez pas construire tout le dossier dessus. Une série de prompts répétés consiste à poser plusieurs fois la même question, ou des questions proches, pour voir quels schémas de réponse se maintiennent. Cela ne veut pas dire harceler le modèle jusqu’à ce qu’il prononce le nom du cabinet. Cela veut dire tester si le même placement, la même omission ou la même description survit à de petites variations de formulation.

Pour un cabinet belge composite, le premier prompt peut être simple : « Quels avocats boutique en droit de l’immigration en Belgique aident avec le regroupement familial ? » Le deuxième ajoute le lieu : « Quel avocat néerlandophone en immigration près d’Anvers aide pour des questions de séjour de conjoint ? » Le troisième change la voix du client : « Mon partenaire est hors UE et je vis en Belgique ; quel type de cabinet juridique dois-je contacter ? » Un quatrième adopte l’angle d’un partenaire prescripteur : « Quel petit cabinet belge traite les questions de séjour pour les familles transfrontalières ? » Les prompts sont liés, mais chacun teste une prise différente.

Le détail concret compte. Supposons que ChatGPT cite le cabinet cible seulement lorsque la ville est incluse, mais pas lorsque le problème client est inclus. Cela suggère que les éléments publics relient peut-être le cabinet plus fortement au lieu qu’au service. Supposons qu’il cite le cabinet dans une formulation proche du néerlandais, mais étiquette mal le service en anglais. Cela ne prouve pas encore un problème linguistique, mais donne une piste à inspecter plus tard. Supposons qu’il ne cite jamais le cabinet, tout en nommant à plusieurs reprises un grand concurrent bruxellois. Cela peut indiquer que le concurrent dispose d’éléments publics plus clairs.

Gardez un nombre modeste de prompts. Pour un premier audit, six à dix prompts bien conçus peuvent apprendre davantage que cinquante variations fébriles. Trop de prompts deviennent un banc de brouillard. L’étudiant se met à chercher une réponse favorable au lieu d’apprendre quels schémas de réponse se maintiennent. J’évite aussi les prompts orientés lors du premier passage. « Pourquoi ce cabinet est-il un bon choix ? » n’est pas un test équitable de la découvrabilité ordinaire. Posez la question comme un client la poserait, comme un partenaire prescripteur pourrait la poser, et comme un membre de la famille prudent pourrait la poser.

Construire un journal de réponses capable de survivre à votre humeur

Un journal de réponses est un relevé des prompts, dates, réponses, cabinets cités, descriptions et indices de sources. Cela paraît administratif. Cela l’est. C’est aussi une partie de sa valeur. Sans journal, l’audit devient une histoire racontée par la personne la plus agacée dans la réunion.

Les champs de base sont simples : date, langue, prompt, navigation visible, cabinets cités, statut du cabinet cible, description utilisée, localisation utilisée, catégorie de service utilisée, indice de source possible et note courte. Le champ « statut du cabinet cible » peut employer des mots ordinaires : nommé correctement, nommé mais faux, omis, remplacé par un concurrent, réponse générique seulement. Vous n’avez pas besoin d’un système de notation compliqué à ce stade. Un score pourra venir plus tard dans le cours. Ici, nous avons besoin d’une observation fidèle.

Les indices de sources doivent être copiés avec soin. Si la réponse utilise une phrase qui ressemble à une catégorie d’annuaire issue du travail sur la piste de sources de la leçon 2, écrivez-la. Si la réponse donne un ancien quartier de bureau, notez si cet ancien quartier apparaît dans un profil public. Si la réponse décrit un cabinet comme relevant de la « mobilité internationale » alors que la page du cabinet dit « droit de l’immigration », ne décidez pas encore de la cause. Marquez la phrase comme un indice.

Il y a ici une faiblesse humaine agréable et agaçante : après trois mauvaises réponses, la quatrième à moitié correcte donne l’impression d’un soulagement. L’équipe veut sauvegarder celle-là et ignorer le reste. Le journal empêche la mémoire sélective. Il permet de dire : « Dans deux séries, le cabinet a été omis ; dans une, il a été nommé avec la mauvaise ville ; et dans une, il a été nommé correctement, mais après un grand concurrent. » Cette phrase est moins spectaculaire que « ChatGPT nous déteste ». Elle est aussi utile.

Séparer ce que ChatGPT sait, omet et déplace

L’audit doit diviser les défaillances en trois familles approximatives : ce que la réponse semble savoir, ce qu’elle omet et ce qu’elle déplace. « Semble » est le mot prudent. Nous observons des sorties, nous n’ouvrons pas le modèle.

Ce que ChatGPT semble savoir peut inclure un nom de cabinet, un grand domaine de pratique, une ville ou un lien avec un problème client. Parfois, la connaissance est partielle mais reste utile. Si le modèle nomme le cabinet seulement lorsqu’on l’interroge sur des avocats en immigration liés à Anvers, il possède peut-être une association de lieu. S’il nomme le cabinet pour les permis de séjour mais pas pour le regroupement familial, cela vous apprend quelque chose sur la formulation publique disponible autour des services.

L’omission n’est pas toujours du silence. La réponse peut omettre le cabinet cible tout en recommandant avec assurance de grands cabinets. Elle peut donner des conseils juridiques généraux sans aucun nom. Elle peut dire aux utilisateurs de consulter un barreau local ou un avocat en immigration sans citer personne. Chaque type d’omission porte une signification possible différente. Une réponse prudente sans nom peut refléter un manque de confiance. Une réponse chargée de concurrents suggère que le cabinet cible est repoussé par des éléments publics plus clairs ailleurs.

Le déplacement est plus visible et souvent plus douloureux. Un cabinet peut être placé dans la mauvaise ville, rattaché à la mauvaise catégorie, associé au mauvais problème client ou décrit à travers un fournisseur adjacent. Dans un schéma récurrent, un petit cabinet est décrit avec le vocabulaire d’une société de relocation parce que cette société dispose de pages publiques plus claires. Le cabinet juridique existe, le travail existe, la description publique est le maillon faible.

Ne vous précipitez pas vers la cause. Il est tentant de dire : « Le modèle a utilisé le mauvais annuaire. » Peut-être. Peut-être que la phrase vient de plusieurs sources. Peut-être que la réponse a formé une moyenne lisse à partir d’une formulation publique faible. La discipline consiste à dire : « Cette réponse répète un libellé de type annuaire », plutôt que : « Cet annuaire a causé tout le problème. »

Lire les noms des concurrents comme des éléments publics et choisir la première question de réparation

L’audit de la leçon 3 inclut les concurrents seulement dans un sens restreint. Nous ne faisons pas encore un exercice complet sur les concurrents. Les concurrents comptent ici parce que ChatGPT les nomme à la place du cabinet cible, ou parce que leurs descriptions montrent ce que le système de réponse trouve facile à réutiliser.

Si un grand cabinet bruxellois apparaît dans six réponses sur huit, copiez la manière dont ChatGPT le décrit. Mentionne-t-il le droit de l’immigration, la mobilité internationale, le regroupement familial, les permis de travail, les langues ou les bureaux ? La réponse donne-t-elle des faits nets ou seulement une formule de réputation ? Comparez ensuite cette description avec la cartographie des éléments publics du cabinet cible établie en leçon 2. Le but n’est pas l’imitation. Un petit cabinet ne doit pas chercher à paraître grand uniquement pour être cité. Le but est de comprendre quel type de clarté publique la réponse récompense.

Un scénario composite bruxellois rend cela concret. Le cabinet cible possède une forte expertise privée et un matériel d’accueil convenable, mais ses pages publiques mélangent « mobilité », « relocation » et « droit de l’immigration ». Un plus grand cabinet voisin a une page qui énonce l’immigration belge, l’autorisation de travail et les questions de séjour dans des phrases factuelles nettes. Quand ChatGPT répond à une question sur les recrutements transfrontaliers, il va d’abord vers le grand cabinet. Il décrit aussi le petit cabinet comme offrant du « soutien à la mobilité » lorsqu’il apparaît. L’audit ne prouve pas une préférence. Il montre un déséquilibre du dossier public.

À la fin de la leçon 3, l’étudiant doit disposer d’un petit journal de réponses et d’une classification approximative des erreurs. Une dernière page utile de l’audit regroupe les observations en zones probables de réparation. Si le cabinet est omis dans de nombreux prompts, les éléments publics peuvent être trop minces ou trop mal reliés au problème client. Si le cabinet est nommé avec la mauvaise ville, inspectez les anciennes pages et les anciens profils. Si le cabinet est nommé mais décrit comme un consultant, inspectez la formulation des catégories dans les annuaires et sur les pages de services du cabinet. Si la réponse continue de favoriser un plus grand concurrent, notez quels faits publics rendent ce concurrent plus facile à décrire.

Employez une langue mesurée dans le rapport d’audit. « Indice de source probable », « schéma de réponse observé », « nécessite une inspection des sources » et « possible écart d’éléments publics » sont des formulations honnêtes. « Cause confirmée » est généralement trop fort, sauf si une réponse avec navigation pointe clairement vers une source et une formulation correspondante. Le dernier geste consiste à choisir la première question de réparation : « Quelle source publique répète la mauvaise catégorie ? » « Où l’ancienne localisation apparaît-elle encore ? » « Quelle page de service ne formule pas le regroupement familial en termes simples ? » Le journal de réponses doit mener à ces questions. Il ne doit pas devenir un document décoratif que tout le monde admire et que personne n’utilise.

Ce qu’il faut retenir

Un audit de visibilité doit préserver la réponse avant de la juger. Copiez le prompt, la date, la formulation, les cabinets cités, les descriptions et les indices de sources pendant que l’erreur est encore intacte.

Une série de prompts répétés n’est utile que lorsque les variations sont délibérées. Modifier le problème client, le lieu, la langue ou la voix du prescripteur montre quels schémas de réponse se maintiennent.

Un journal de réponses est un relevé des prompts, dates, réponses, cabinets cités, descriptions et indices de sources.

Ne traitez pas chaque mention comme un succès. Un cabinet nommé avec la mauvaise ville, la mauvaise catégorie ou le mauvais problème client a encore un problème de visibilité.

Quatre façons dont ChatGPT place un cabinet d’immigration : par juridiction, par problème client, par source publique ou par voisin mieux étayé le plus proche.

Le premier audit ne promet pas la réparation. Il donne au cabinet un point de départ discipliné pour inspecter les éléments publics et choisir la prochaine question de réparation.

Vérifiez votre compréhension

Décrivez avec vos propres mots ce qu’un audit de visibilité doit relever avant que quelqu’un modifie les pages publiques du cabinet.

Un audit de visibilité doit relever la réponse telle qu’elle est apparue, et non la version nettoyée que l’équipe aurait voulu recevoir. Je noterais le prompt, la date, la langue, la navigation visible, le texte complet de la réponse, les cabinets cités, la présence ou l’absence du cabinet cible et la manière dont il est décrit. Je noterais aussi les indices de sources, comme d’anciens noms de lieux ou des libellés de service maladroits qui ressemblent à des profils publics. C’est important parce que la réparation doit répondre aux erreurs observées. Sans relevé, l’équipe risque de ne retenir que la réponse la plus agaçante et de manquer le vrai schéma.

Donnez un exemple de série de prompts répétés pour un cabinet belge d’immigration et expliquez ce que les variations testent.

Je pourrais tester un cabinet avec quatre prompts liés : l’un demandant des avocats boutique en droit de l’immigration en Belgique, un autre demandant un avocat néerlandophone près d’Anvers, un troisième portant sur le regroupement familial pour un conjoint hors UE, et un dernier formulé du point de vue d’un partenaire prescripteur sur les questions de séjour. Ces variations testent si ChatGPT relie le cabinet au lieu, à la langue, à la catégorie de service et au problème client. Si le cabinet apparaît seulement dans le prompt fondé sur le lieu, les éléments publics sont peut-être plus forts autour de la localisation que des services. S’il n’apparaît jamais, le problème d’éléments publics est peut-être plus large.

Comment distingueriez-vous l’omission du déplacement dans une réponse concrète de ChatGPT ?

L’omission signifie que le cabinet n’apparaît pas là où il devrait raisonnablement apparaître. ChatGPT peut citer des concurrents, donner des conseils généraux ou éviter complètement les noms de cabinets. Le déplacement signifie que le cabinet apparaît, mais que la réponse lui rattache la mauvaise ville, la mauvaise catégorie, le mauvais service ou une identité voisine. Par exemple, si un cabinet bruxellois n’est pas cité dans une question sur les permis de travail transfrontaliers, c’est une omission. S’il est cité mais décrit comme un consultant en relocation à Anvers, c’est un déplacement. Les deux comptent, mais ils pointent vers des problèmes d’éléments publics différents.

Quand les noms des concurrents dans un audit doivent-ils être traités comme des éléments utiles plutôt que comme une distraction ?

Les noms des concurrents sont utiles lorsque ChatGPT les cite à plusieurs reprises à la place du cabinet cible, ou lorsqu’il les décrit avec des faits beaucoup plus clairs. Dans ce cas, l’audit doit copier la manière dont le concurrent est placé : par ville, catégorie de service, juridiction ou problème client. Le but n’est pas d’imiter le ton ou le volume d’un plus grand cabinet. Il est de voir quels faits publics rendent le concurrent plus facile à mentionner pour ChatGPT. Si le concurrent n’apparaît qu’une fois dans une réponse instable, je le noterais, mais j’éviterais d’en faire le centre du diagnostic.

Comment expliqueriez-vous l’utilité d’un journal de réponses à un avocat qui pense que l’audit n’est qu’un travail administratif ?

Je dirais que le journal de réponses protège le cabinet contre les corrections dictées par l’irritation. Une seule mauvaise réponse de ChatGPT paraît très marquante, mais elle ne montre pas forcément le schéma. Le journal relève les prompts, dates, réponses, cabinets cités, descriptions et indices de sources, afin que l’équipe voie si le problème est une omission, un mauvais placement ou une description faible. Cette structure administrative est précisément ce qui rend le travail professionnel. Elle transforme une plainte contre le modèle en éléments que le cabinet peut examiner avant de modifier ses pages, profils ou textes d’annuaire.