Vendredi, le co-fondateur de Koko, Rob Morris, a annoncé à Twitter, que son entreprise a mené une expérience pour fournir des conseils de santé mentale écrits par IA à 4 XNUMX personnes sans notification préalable, rapporte The Verge. Les critiques ont qualifié l'expérience de profondément contraire à l'éthique parce que Koko n'a pas obtenu le consentement éclairé des personnes qui ont demandé conseil. Koko est une plateforme de santé mentale à but non lucratif qui met en relation des adolescents et des adultes ayant besoin de soins de santé mentale avec des bénévoles via des applications de messagerie telles que Telegram et Discorde.
Sur Discord, les utilisateurs se connectent au serveur Koko Cares et envoient des messages directs au bot Koko, qui pose une série de questions à choix multiples (par exemple, "Quelle est la pensée la plus sombre que vous ayez à ce sujet ?"). Il partage ensuite de manière anonyme la préoccupation de la personne, enregistrée sous la forme de quelques phrases de texte, avec quelqu'un d'autre sur le serveur, qui peut répondre de manière anonyme avec son propre message court.
https://twitter.com/RobertRMorris/status/1611450197707464706?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1611450197707464706%7Ctwgr%5Ea36b67a72ef02f3601dfae160441f1250a68dc2a%7Ctwcon%5Es1_c10&ref_url=https%3A%2F%2Farstechnica.com%2Finformation-technology%2F2023%2F01%2Fcontoversy-erupts-over-non-consensual-ai-mental-health-experiment%2F
Dans une expérience d'intelligence artificielle (IA) impliquant environ 30 3 messages, a déclaré Morris, les volontaires aidant les autres avaient la possibilité d'utiliser une réponse générée automatiquement par le grand modèle de langage GPT-3 d'OpenAI au lieu de l'écrire de manière indépendante (GPT-XNUMX est la technologie derrière le chatbot ChatGPT récemment populaire). Dans son tweet, Morris note que les gens ont fait l'éloge des réponses générées par l'IA jusqu'à ce qu'ils apprennent qu'elles ont été écrites par l'IA, suggérant un manque clé de consentement éclairé dans au moins une phase de l'expérience :
"Les messages composés par l'IA (et contrôlés par des humains) ont été notés nettement plus élevés que ceux écrits par les humains eux-mêmes. Temps de réponse réduit de 50% à moins d'une minute. Et pourtant… nous avons retiré cette fonctionnalité de notre plateforme assez rapidement. Pourquoi? Une fois que les gens ont découvert que les messages étaient générés par la machine, cela a cessé de fonctionner. La sympathie simulée semble étrange, vide."
Dans l'introduction du serveur, les administrateurs écrivent : « Koko vous met en relation avec de vraies personnes qui vous comprennent vraiment. Pas des thérapeutes, pas des conseillers, juste des gens comme vous." Peu de temps après que Morris a publié le message, il a reçu de nombreuses réponses critiquant l'expérience comme contraire à l'éthique, citant des inquiétudes concernant l'absence de consentement éclairé et se demandant si l'expérience avait été approuvée par l'Institutional Review Board (IRB). Aux États-Unis, il est illégal de mener des recherches sur des sujets humains sans un consentement éclairé juridiquement valable, à moins que l'IRB ne détermine que le consentement peut être annulé.
Dans un tweet en réponse, Morris a déclaré que l'expérience était "exemptée" des exigences de consentement éclairé car il n'avait pas l'intention de publier les résultats, déclenchant une parade d'indignation.
L'idée d'utiliser l'IA en tant que thérapeute est loin d'être nouvelle, mais ce qui différencie l'expérience de Koko des approches thérapeutiques typiques de l'IA, c'est que les patients ont tendance à savoir qu'ils ne parlent pas à une personne vivante. Dans le cas de Koko, la plate-forme impliquait une approche hybride où un intermédiaire humain pouvait examiner un message avant de l'envoyer, au lieu d'un simple format de chat. Cependant, sans consentement éclairé, les critiques affirment que Koko a violé les règles éthiques conçues pour protéger les personnes vulnérables contre les pratiques de recherche nuisibles ou cruelles.
En tant qu'ancien membre et président de la CISR, vous avez mené des recherches sur des sujets humains sur une population vulnérable sans l'approbation ou l'exemption de la CISR (VOUS ne décidez pas). Peut-être le MGH IRB process est si lent parce qu'il traite des choses comme ça. Conseils non sollicités : avocat debout
– Daniel Shoskes (@dshoskes) 7 janvier 2023
Lundi, Morris a publié un message répondant à la controverse et expliquant le parcours de Koko vers le GPT-3 et l'IA en général : « Je reçois des critiques, des préoccupations et des questions sur ce travail avec empathie et ouverture. Nous nous engageons à faire en sorte que toute utilisation de l'IA soit sensible, avec un profond souci de confidentialité, de transparence et d'atténuation des risques. Notre conseil consultatif clinique se réunit pour discuter des lignes directrices pour les travaux futurs, y compris l'approbation de l'IRB.
Vous pouvez aider l'Ukraine à lutter contre les envahisseurs russes. La meilleure façon de le faire est de faire don de fonds aux forces armées ukrainiennes par le biais de Sauver la vie ou via la page officielle NBU.
Lisez aussi: