L’IA n’est pas le raccourci que bien des gens imaginent

Le marketing de l’IA fonctionne parce qu’il séduit les utilisateurs avec la promesse d’obtenir tous les avantages sans avoir à accomplir le travail exigeant qu’implique une véritable gestion des données organisationnelles.

Je suis sceptique à l’égard de l’IA.

Je demeure sceptique face aux grands modèles de langage (GML), la forme d’IA la plus en vogue actuellement, ainsi qu’à leurs applications destinées au grand public, comme ChatGPT et Claude. Cela ne signifie pas que je les considère inutiles ou sans intérêt. En tant qu’analyste et développeur logiciel d’expérience, je trouve même qu’ils ont quelque chose de quasi magique dans leur façon d’exploiter d’immenses volumes de données d’entraînement, combinés à des méthodes statistiques avancées et à des espaces probabilistes complexes, pour générer des textes plausibles.

Mon scepticisme vient plutôt du fait que les GML semblent bien performer dans de nombreuses tâches en produisant des résultats qui paraissent crédibles et officiels. Pourtant, ils peuvent s’avérer inefficaces, voire risqués, lorsqu’ils sont appliqués à des secteurs qui exigent une expertise réelle et une responsabilité professionnelle, comme l’ingénierie, le droit, la comptabilité et l’aménagement urbain.

Dans un monde idéal, les données seraient organisées et faciles à interpréter, ce qui permettrait de repérer rapidement des tendances et d’en tirer des connaissances utiles.

Les êtres humains sont naturellement prédisposés à chercher du sens dans le langage et à réagir à ce qu’ils entendent ou lisent en fonction du ton et des expressions employés. Les GML excellent justement dans la production de simulations langagières qui reproduisent fidèlement l’« impression » que laisse un discours ou un texte réels. C’est là le piège. Je vois régulièrement des collègues et des clients s’y laisser prendre en pensant : « Enfin, l’IA va nous permettre de comprendre toute l’information que nous avons accumulée! »

Examinons cette idée de plus près. D’abord, la plupart des organisations savent, au moins intuitivement, que leurs pratiques de gestion de l’information laissent à désirer. À quelques exceptions notables près, notamment dans les secteurs bancaire, logistique et technologique, la gestion des données, la vérifiabilité et l’automatisation ne constituent pas des compétences fondamentales. Depuis des années, elles accumulent rapports, feuilles de calcul, images et autres documents dans une multitude de formats, dispersés à travers leurs réseaux. Le résultat ressemble souvent à un vaste océan de données non structurées. On y trouve aussi, dans bien des cas, quelques îlots de données structurées liés à la comptabilité, à la gestion de la clientèle ou à d’autres processus d’affaires essentiels.

Les pratiques de gestion des données de la plupart des organisations sont déficientes, ce qui rend difficile la distinction entre les données fiables et celles qui le sont moins.

Le piège consiste à croire que toutes ces données non structurées peuvent être transformées comme par magie en information utile simplement en les soumettant à un GML, puis en laissant quiconque lui poser des questions pour obtenir des réponses qui semblent officielles. Ce piège est amplifié par l’idée que les îlots de données structurées peuvent eux aussi être intégrés à un GML, créant ainsi une solution universelle capable d’interroger la mémoire organisationnelle et d’en tirer des conclusions fiables sur l’avenir. C’est d’ailleurs ainsi que les GML sont souvent présentés aux entreprises. Le marketing de ces technologies est efficace parce qu’il vend le rêve d’obtenir toutes ces capacités sans avoir à fournir les efforts considérables nécessaires pour structurer adéquatement les données existantes. Cette promesse séduit particulièrement les membres de la haute direction, qui sont généralement évalués sur l’efficacité opérationnelle et la maîtrise des coûts, plutôt que sur leur expertise dans les activités et les résultats quotidiens de l’organisation.

À titre d’exemple, supposons qu’Acme Inc. décide de se lancer et d’intégrer l’ensemble de ses données organisationnelles dans un système d’IA. Mettons de côté les enjeux de sécurité associés à cette démarche, qui mériteraient à eux seuls un article complet. Soyons même généreux et supposons, à tort, que le GML ne produira jamais d’hallucinations. Ignorons également, pour le moment, l’incertitude liée à la facturation fondée sur les jetons.

Que possède alors Acme et à quoi cela lui sert-il réellement? Honnêtement, à pas grand-chose.

Oui, l’ensemble du personnel peut maintenant utiliser le langage naturel pour obtenir des réponses sur une multitude de sujets à partir des données de l’organisation. Les réponses reproduisent même probablement les tournures de phrase, le vocabulaire et le style propres à l’entreprise. Mais elles ne sont pas fiables. Dans cet exemple, nous avons volontairement écarté le problème des hallucinations. Alors pourquoi les réponses demeurent-elles peu fiables? Parce qu’elles ne font pas autorité.

Qu’est-ce qui confère de l’autorité à une information? C’est le fait qu’elle provienne d’une personne qui possède les connaissances et l’expérience nécessaires pour évaluer les risques et les possibilités liés à une situation donnée, puis élaborer une solution susceptible de réussir. Les organisations performantes parviennent à intégrer les pratiques de ces spécialistes dans leurs systèmes et leurs processus, ce qui permet à des personnes moins expérimentées d’accomplir une partie du travail. C’est également ainsi que l’on passe du statut de novice à celui d’expert : en apprenant des personnes qui nous ont précédés et, idéalement, en finissant par les surpasser.

Pourquoi un GML ayant accès à toutes les données d’une organisation ne peut-il pas faire autorité? Parce qu’une entreprise conserve à la fois de bons et de mauvais exemples de presque tout. Le contrat A a généré d’excellents profits, tandis que le contrat B a entraîné des pertes importantes. Du point de vue du GML, ces deux contrats constituent des exemples également valides. Pourtant, Beth, la directrice de l’exploitation, sait exactement pourquoi l’un a été un succès et l’autre un échec. Beth est une experte. Le GML, lui, n’est qu’un perroquet stochastique.

Et il ne s’agit là que d’un exemple évident. Il existe d’innombrables autres façons pour un GML d’échouer au test de l’autorité : appliquer le mauvais territoire de compétence à une question fiscale ou juridique, interpréter incorrectement des règles conditionnelles dans une politique, ou encore s’appuyer sur le travail d’une personne dont l’emploi a été terminé en raison de son faible rendement. Lorsqu’on donne à un GML un accès généralisé à toutes les données d’une organisation et qu’on tient compte, en plus, des hallucinations éventuelles et des coûts liés à l’utilisation des jetons, on n’obtient pas une source faisant autorité. On obtient plutôt quelque chose qui ressemble à une personne débutante peu qualifiée, parfois malhonnête, et ayant de la difficulté à gérer son compte de frais.

Les résultats produits par l’IA peuvent ressembler au travail d’une personne débutante peu qualifiée, parfois malhonnête, et ayant de la difficulté à gérer son compte de frais.

Si une organisation souhaite réellement tirer parti de données complexes, un GML ne suffit pas à lui seul. Le travail exigeant d’organisation et de classification des données demeure essentiel. Il faut distinguer les bons contrats des mauvais, organiser l’information selon les territoires de compétence ou d’autres critères pertinents et isoler les données ou contenus de qualité douteuse. 

Oui, je demeure sceptique à l’égard des GML, mais pas parce qu’ils sont inutiles. Je le suis parce qu’ils servent souvent à vendre un mirage séduisant : celui d’une intelligence sans limites alimentée par un mélange indistinct de données. Le principe du « déchets en entrée, déchets en sortie » reste tout aussi valable aujourd’hui. Les experts et les personnes faisant autorité dans leur domaine demeurent indispensables. La gestion rigoureuse de l’information, l’acquisition de connaissances spécialisées et le cheminement qui mène à l’expertise ne disparaîtront pas. Mieux vaut prêter attention aux personnes qui incarnent discrètement ces qualités qu’à celles qui promettent un raccourci vers une expertise de façade. Lorsque vous disposez de données bien organisées et de personnes compétentes pour les interpréter, les possibilités sont nombreuses. Notamment les GML.

Vous souhaitez poursuivre la discussion sur les GML, les données officielles et les perroquets stochastiques? Communiquez avec Erin sur LinkedIn.

Ce billet a été écrit en anglais par Erin Morrow et peut être consulté ici.