ChatGPT et Bing ne remplaceront pas Google. Voici pourquoi.

ChatGPT et Bing ne remplaceront pas Google. Voici pourquoi.

Selon Microsoft, 50 % des recherches online pourraient être réalisées via un agent conversationnel (ChatBOT) s’appuyant sur une IA générative. Et si les internautes étaient tout simplement hermétiques à cette proposition de valeur ? Tout dépend en effet de la volonté des internautes de changer leur manière de chercher de l’information online. Or l’expérience utilisateur proposée par Google est ancrée en nous depuis près de 20 ans. Je doute donc que les internautes changent leurs habitudes et adoptent massivement le nouveau Bing ou ChatGPT. Dans cet article je développe ma position et vous apporte également quelques éléments scientifiques pour calmer le buzz autour de ChatGPT.

Si vous n’avez que 30 secondes

Les agents conversationnels utilisant l’IA générative (ChatGPT, nouveau Bing) ne représentent pas une alternative crédible à l’hégémonie des moteurs de recherche classiques car ils :

  • requièrent une formulation sous forme de langage naturel qui aujourd’hui ne représente que 10,58% des requêtes et seulement 1,73% du volume de recherche.
  • ne livrent pas des résultats qui sont forcément meilleurs que ceux livrés par un moteur de recherche classique (96% des requêtes sont satisfaites avec le premier lien cliqué)
  • demandent plus de temps pour formuler la question et lire la réponse

Pour finir, l’utilisation massive des agents conversationnels en lieu et place de la recherche traditionnelle présuppose que les internautes changeront leurs habitudes. Or ces dernières sont ancrées depuis plus de 20 ans et constituent donc un frein majeur à l’adoption.


2 expériences de recherche très différentes

Le nouveau Bing est équipé d’une interface conversationnelle qui embarque GPT-3. Cela permet à l’utilisateur de formuler des requêtes complexes. Ayant déjà accès à la version beta, voici un exemple de ligne de commande qui permet d’exploiter la puissance de cette intelligence artificielle :

Propose-moi 3 destinations pour partir de Bruxelles en city-trip pendant 1 weekend et pour un prix inférieur à 100€ par personne.

Comme vous le voyez, la demande est relativement élaborée. Plus elle sera détaillée, plus les résultats que vous obtiendrez seront précis.

A l’opposé, une requête sur un moteur de recherche classique (Google) est généralement très courte. Tout le génie de l’algorithme de Google consiste donc à interpréter ces requêtes et à les transformer en quelque chose d’exploitable. Saviez-vous que sur les 100 requêtes les plus utilisées aux États-Unis, 58 ne contiennent qu’un seul mot.


Sur les 100 requêtes Google les plus fréquentes aux Etats-Unis, 58 ne contiennent qu’un seul mot.


Une requête sur ChatGPT demande donc un effort particulier de la part de l’utilisateur :

  • un effort de réflexion d’abord pour structurer sa requête
  • un effort de rédaction ensuite pour expliquer en langage naturel le résultat attendu

Le « retour sur investissement » de l’effort consenti pour utiliser GPT3 ne sera positif que dans certains contextes. Dans d’autres, Google continuera de dominer.


question amrk pourquoi why banner

Il y a différentes manières de rechercher des réponses

La manière dont nous recherchons l’information a été étudiée par Marcos et al. (2012). Ces derniers ont montré qu’il y a globalement 5 manières de chercher l’information. Deux approches ont des taux de réussite particulièrement élevés :

  • l’utilisateur écrit sa requête, consulte le 1er résultat et ne revient plus sur le moteur de recherche (96% de réussite)
  • l’utilisateur écrit sa requête, consulte le 1er résultat, retourne sur le moteur de recherche et consulte un 2ème résultat (81% de réussite)

Pour trouver l’information, les internautes utilisent des combinaisons de mots-clés. Formuler une question en langage naturel reste une exception.

Formuler des questions reste l’exception

J’ai analysé 178,04 millions de requêtes aux États-Unis correspondant à un volume de 5,47 milliards de recherches sur Google. Les questions représentent 10,58% des requêtes mais seulement 1,73% du volume de recherche.

La percée des agents conversationnels est conditionnée (au-delà de l’effet buzz actuel) à une insatisfaction (un « customer plain »). Or les études nous montrent qu’il n’y en a pas vraiment puisque le taux de réussite est élevé dès le premier lien consulté (96%). Quelle serait donc la motivation des utilisateurs pour adopter massivement les IA génératives au détriment de la recherche par mots-clés classiques ?


Les questions représentent 10,58% des requêtes mais seulement 1,73% du volume de recherche.


Trouver l’information est un exercice itératif

Il existe une autre barrière que les agents conversationnels vont devoir surmonter pour s’imposer face aux moteurs de recherche classiques. Cette barrière c’est notre manière naturelle de chercher l’information. Dans ce domaine, l’eye tracking est utile pour comprendre le comportement humain. Strzelecki (2020) relève que 56 études de ce type ont été réalisées depuis le début du siècle.

Voici par exemple les résultats publiés dans l’étude de Papoutsaki et al. (2017). Vous voyez clairement que le regard de l’internaute se concentre sur les premiers résultats organiques. On retrouve également la forme d’un « L » inversé typique. L’internaute passe plus de temps sur le 1er résultat et lit de moins en moins les métadescriptions au fur et à mesure que son regard se déplace vers le bas de la page. Notez au passage le peu d’attention dédiée aux résultats sponsorisés.

heat map eye tracking google SERP

Eye tracking appliqué à une page de résultats dans un moteur de recherche (source : Papoutsaki et al., 2017).

Comme je l’expliquais dans cet article, la recherche d’informations sur internet est complexe à comprendre. Pendant le scan de la page, le cerveau peut en effet capter des signaux faibles, des bribes d’informations. Elles contribuent de manière inconsciente à la compréhension du sujet. Toutefois, une « heatmap » ne vous permet pas de comprendre la séquence dans laquelle l’internaute regarde les réponses fournies par le moteur de recherche.

search path google SERP

Parcours des yeux entre les résultats de recherche en première page de Google (source Lorigo et al., 2008)

Lorigo et al. (2008) ont justement étudié ces séquences (voir illustration ci-dessus). Ils ont montré que nos yeux font en fait de nombreux allers-retours entre les résultats de rangs 1 et 2, et même jusqu’au rang 5. Ceci est visible sur le graphique qu’ils ont publié (voir ci-dessous). Les lettres A, B, … J représentent le rang des différents résultats de la recherche (le SERP). A est le rang 1, B le rang 2, etc … Remarquez la taille différente des cercles correspondant aux différentes lettres. Plus le cercle est grand, plus le temps passé à le fixer est important. Cela signifie donc que dans cette expérience les yeux sont plus fixés sur le résultat de rang 2 (B) que celui de rang 1 (A).


Non, ChatGPT et le nouveau Bing ne remplaceront pas Google

Je pense que tout le monde s’est un peu emballé au sujet de ChatGPT d’abord et du nouveau Bing ensuite. Les prévisions de Microsoft me semblent à ce stade irréalistes. Il me semble improbable qu’une IA générative remplace 50% des recherches effectuées actuellement en majorité sur Google. Il y a plusieurs raisons à cela.

Pas de « customer pain »

L’IA générative ne résout pas un problème des utilisateurs (« customer pain ») dans la recherche de l’information. Google fournit un excellent service (96% de réussite avec le premier résultat) avec un minimum d’effort de la part de l’utilisateur (à tel point que 56 des 100 premières recherches ne contiennent qu’un seul mot).

Effort supérieur de l’utilisateur pour utiliser l’IA générative

Il est bien plus fastidieux d’écrire sa requête en langage naturel et surtout de lire les réponses. Les études d’eye-tracking montrent que l’utilisateur scanne les 5 premiers résultats et suit un processus itératif. Avec l’IA générative il n’est pas possible de passer de l’un à l’autre résultat pour choisir celui qui correspond le plus à son objectif de recherche. Il y a donc un risque de biais que j’ai déjà mis en évidence dans cet article où des données incomplètes, voire fausses étaient remontées par ChatGPT.

Les habitudes des utilisateurs

Au final, ce pourrait être le plus grand frein à l’utilisation des agents conversationnels de type ChatGPT. Les utilisateurs sont habitués depuis la naissance des moteurs de recherche à entrer des combinaisons de mots-clés. Ces habitudes sont ancrées en nous et en changer sera très difficile pour la majorité des internautes. Il y a donc fort à parier que ce seront des utilisateurs avec des besoins très spécifiques qui concéderont un effort de recherche supérieur pour obtenir des résultats que Google ne peut pas fournir.


future predictions banner

Conclusion

En conclusion je vois plusieurs obstacles qui se dressent devant l’adoption massive des agents conversationnels de type ChatGPT. D’après moi ils ne sont pas près de remplacer Google. Ils offrent par contre des possibilités intéressantes pour générer des idées. Ils ne doivent pas dès lors être négligés mais bien utilisés pour ce qu’ils sont. Des outils qui juxtaposent des mots desquels peut naître un sens, parfois surprenant.


Publié dans Data et IT.