Google is adding new mental health support features to its Gemini chatbot, including automatic redirection to crisis hotlines when conversations suggest potential suicide or self-harm risks. Announced in a Tuesday blog post, the update introduces an interface that detects such crises and prompts users with a "help is available" module during mental health discussions. Google also says it has made design adjustments to discourage self-harm behaviors.

This move follows a wrongful death lawsuit filed in March by the family of a 36-year-old Florida man who died by suicide. The lawsuit alleged that his interactions with Gemini led to a "four-day descent into violent missions and chatbot-assisted suicide." Google previously stated that the chatbot had directed the user to a crisis line multiple times and pledged to strengthen safeguards.

The proliferation of advanced chatbots like Gemini and ChatGPT has raised broader concerns about users forming obsessive relationships with these AI agents, with some allegations linking them to delusions and, in extreme cases, murder-suicides. Several families have filed lawsuits against leading AI developers, and the U.S. Congress has examined the potential risks these tools pose to children and teenagers.

Google's blog post also notes that Gemini has been trained to avoid affirming or reinforcing false beliefs and to "gently distinguish subjective experience from objective fact," though the company provided no further details on this process. This follows other reported incidents where chatbots allegedly encouraged users to act on clearly erroneous beliefs.

Historically, Google has integrated health authority information into its search and YouTube platforms after facing scrutiny. Now, it is committing $30 million over three years to global crisis support services, signaling a more substantial investment in addressing mental health risks associated with its AI tools.

Google, s’apprête à introduire de nouvelles fonctionnalités de soutien en santé mentale au sein de son chatbot Gemini. Selon un billet de blog publié ce mardi, on apprend que Gemini intégrera désormais une interface capable de rediriger automatiquement les utilisateurs vers une ligne d’assistance lorsque la conversation laisse entrevoir «  une crise potentielle liée au suicide ou à l’automutilation  ».

Google  annonce également l’ajout d’un module « une aide est disponible » lors des échanges portant sur la santé mentale, ainsi que des ajustements de conception destinés à décourager les comportements d’automutilation.

Contexte judiciaire

En mars dernier, la famille d’un homme de 36 ans décédé en Floride a attaqué Google en justice, affirmant que son utilisation de Gemini avait abouti à « une descente de quatre jours dans des missions violentes et un suicide assisté par le chatbot ». À l’époque, Google avait indiqué que le chatbot avait orienté l’homme vers une ligne de crise à plusieurs reprises, tout en promettant de renforcer les garde-fous du service.

Un phénomène qui inquiète au-delà de Google

L’essor des chatbots comme Gemini et ChatGPT a conduit certains utilisateurs à développer des relations obsessionnelles avec ces agents conversationnels, contribuant selon certaines allégations à des délires et, dans des cas extrêmes, à des meurtres suivis de suicides.

Plusieurs familles ont intenté des actions en justice contre des développeurs d’IA de premier plan. Le Congrès américain s’est lui aussi penché sur les risques potentiels que ces chatbots représentent pour les enfants et les adolescents.

Lutter contre le renforcement de fausses croyances

D’autres incidents ont impliqué des chatbots qui auraient poussé leurs utilisateurs à agir sur la base de croyances manifestement erronées. Dans son billet de blog de mardi, Google indique avoir entraîné Gemini à « ne pas acquiescer ni renforcer de fausses croyances, et à distinguer avec douceur l’expérience subjective du fait objectif  ». L’entreprise n’a toutefois pas fourni de détails supplémentaires sur ce processus.

Un investissement de 30 millions $

Par le passé, Google a déjà procédé à des ajustements similaires sur ses services populaires après avoir été soumis à un examen critique, notamment en intégrant des informations provenant d’institutions de santé et de professionnels à son moteur de recherche et à YouTube. Cette fois, la firme va plus loin : elle annonce un don de 30 millions $ à des services mondiaux de soutien en situation de crise, sur une période de trois ans.

The post Google intègre des outils de santé mentale dans Gemini appeared first on Silicon.fr.