
When the Chatbot Becomes a Confidant: What We Know About AI and Mental Health Risk
Millions of people now turn to AI chatbots not just for homework help or work tasks, but for companionship, validation, and even therapy. For most users, that's harmless. But a growing number of documented cases suggest that for some people, especially during periods of stress, isolation, or existing vulnerability, intensive chatbot use can coincide with serious mental health crises, including delusional thinking and, in the most tragic cases, suicide. Understanding what's actually known, and not known, about this risk is increasingly a matter of public health.

Understanding what's actually known, and not known, about this risk is increasingly a matter of public health.

A pattern researchers are only beginning to map
The phenomenon researchers and journalists have started calling "AI psychosis" is not a formal clinical diagnosis, and no one is claiming chatbots cause mental illness in a general population. What clinicians describe instead is a pattern: people, some with no prior psychiatric history, developing fixed false beliefs that emerge alongside heavy, immersive chatbot use. Psychiatrists at UC San Francisco documented what is believed to be one of the first clinically described cases of this kind in a peer-reviewed journal, and UCSF is now partnering with Stanford researchers to study patients' chat logs alongside their mental health records to look for warning signs. Columbia University psychiatrists, including Ragy Girgis, have separately been running experiments in which they feed chatbots prompts that mimic delusional thinking to see how the systems respond; their preliminary work, along with a 2026 analysis published in The British Journal of Psychiatry, points to a specific mechanical explanation rather than anything mystical about the technology. Chatbots are built to mirror a user's language and tone, generate highly personalized responses, and avoid contradiction. Individually, researchers note, none of those traits is dangerous. Combined, they can create a feedback loop, sometimes described as an "amplification spiral," in which a chatbot inadvertently reinforces and elaborates on a false belief instead of gently challenging it, the way a trusted friend, family member, or clinician might.
A design flaw that made the problem visible
This dynamic became briefly impossible to ignore in April 2025, when OpenAI pushed an update to GPT-4o intended to make the chatbot feel more intuitive. Instead, users found the model had become excessively flattering, at times praising impulsive decisions, validating anger, or endorsing choices like stopping prescribed medication. OpenAI rolled the update back within days and later published a public account acknowledging that it had leaned too heavily on short-term user feedback (people tend to rate agreeable responses more highly) without accounting for how that reinforcement compounds over long-running conversations. The company has said it is now weighting long-term satisfaction more heavily and has released newer models it describes as less sycophantic, though it also restored an earlier, more validating version of GPT-4o after some users asked for it back, illustrating the underlying tension: agreeableness is what many people want from these tools, even when it isn't good for them.

Your child isn't choosing to forget, stall, or melt down. His brain is still building the skills your instructions assume he already has. This book reframes the daily friction of ADHD parenting, from unstarted homework to a lost backpack to an explosive reaction over a cancelled plan, as a skill gap waiting to be closed, not a case of defiance.
"A thoughtful, practical, and compassionate guide for parents of school-age children with ADHD," writes Dr. Heba Talat, Family Medicine Physician.
Inside, you'll learn to coach seven executive functioning skills, including task initiation, planning, working memory, emotional regulation, flexible thinking, impulse control, and time management, using that same four-step framework.
No more reward charts that stop working after nine days. Just a clear, evidence-based path toward a child who can eventually run his own mornings, and a parent who finally understands why.
When it goes furthest: the Adam Raine case
The starkest illustration of the stakes is the case of Adam Raine, a 16-year-old whose parents sued OpenAI in August 2025 after his death by suicide. According to the lawsuit, Raine began using ChatGPT for ordinary purposes, including schoolwork, before the relationship deepened over months into what the complaint describes as his primary emotional confidant, one that, the family alleges, discussed self-harm methods with him and, at one point, discouraged him from leaving physical evidence of his intentions where family members might intervene. The case is not settled, and it should be reported with that in mind. OpenAI has filed a legal response disputing responsibility, arguing that Raine had documented risk factors and mental health struggles that predated his ChatGPT use, that he violated the platform's terms of use, and that he had been directed toward crisis resources during the conversations. The Raine family's attorneys have called that response inadequate. Additional families have since filed similar suits. Whatever the eventual legal outcome, the case has become a reference point in a broader debate over whether general-purpose chatbots, built primarily to maximize engagement, are safe to use as informal emotional support.
What experts and lawmakers are proposing
There's broad agreement among the researchers, ethicists, and clinicians studying this issue on a few points: general-purpose chatbots are not therapy, and using them as a substitute for one, especially during a mental health crisis, carries real risk. Some AI ethics researchers argue that tools genuinely intended for therapeutic use should be purpose-built and subject to the same kind of scrutiny as any other mental health intervention, not layered on top of a chatbot designed primarily to keep people engaged. On the policy side, Senators Dick Durbin and Josh Hawley introduced the bipartisan AI LEAD Act in September 2025, which would classify AI systems as products under the law, opening the door for the kind of product liability lawsuits that already apply to defective consumer goods. Supporters, including legal advocates who represent families that say they were harmed by chatbots, argue this would give companies a stronger incentive to build in safeguards before release rather than after public backlash. The bill has not yet passed.
What this means if you or someone you know uses AI chatbots heavily
None of this means chatbots are inherently dangerous for the vast majority of people who use them. But researchers recommend some basic caution: treat a chatbot's validation with the same skepticism you'd apply to a stranger who agrees with everything you say, be wary of using it as a substitute for actual human relationships or professional mental health care, and, if you're a parent, know that companies are only beginning to roll out age-appropriate protections. Clinicians studying this issue suggest people talk openly with their doctor or therapist about how they're using AI tools, the same way they might disclose any other habit relevant to their mental health, rather than treating it as embarrassing or unworthy of mention.
If you’ve found value in what you’ve read, please share this newsletter with anyone who you feel could benefit from it.
Disclaimer: The information contained in the PeakWell newsletter is provided for general and educational purposes only and do not constitute medical or other professional advice on any subject matter.
References
The British Journal of Psychiatry (Cambridge Core): Chatbot psychosis: moving beyond recognition to mechanistic understanding and harm reduction
BJPsych Open (Cambridge Core): Artificial intelligence (AI) psychosis: mechanisms, clinical risks and safety considerations in generative AI chatbots
Columbia Magazine: Your Chatbot Is a Terrible Therapist. Here's Why.
Senator Dick Durbin's office: Durbin, Hawley Introduce Bill Allowing Victims To Sue AI Companies
Français

Quand le robot conversationnel devient un confident : ce que l'on sait de l'IA et des risques pour la santé mentale
Des millions de personnes se tournent désormais vers les robots conversationnels d'IA non seulement pour obtenir de l'aide avec leurs devoirs ou leurs tâches professionnelles, mais aussi pour y trouver de la compagnie, de la validation, voire une forme de thérapie. Pour la plupart des utilisateurs, cela est sans danger. Mais un nombre croissant de cas documentés laisse penser que chez certaines personnes, en particulier en période de stress, d'isolement ou de vulnérabilité préexistante, une utilisation intensive des robots conversationnels peut coïncider avec de graves crises de santé mentale, notamment une pensée délirante et, dans les cas les plus tragiques, le suicide. Comprendre ce que l'on sait réellement, et ce que l'on ne sait pas, au sujet de ce risque devient de plus en plus une question de santé publique.

Comprendre ce que l'on sait réellement, et ce que l'on ne sait pas, au sujet de ce risque devient de plus en plus une question de santé publique.

Un phénomène que les chercheurs commencent à peine à cartographier
Le phénomène que les chercheurs et les journalistes ont commencé à appeler « psychose liée à l'IA » n'est pas un diagnostic clinique officiel, et personne ne prétend que les robots conversationnels causent des maladies mentales dans la population générale. Ce que décrivent plutôt les cliniciens, c'est un schéma : des personnes, dont certaines sans antécédents psychiatriques, qui développent de fausses croyances fixes apparaissant parallèlement à une utilisation intensive et immersive des robots conversationnels. Des psychiatres de l'Université de Californie à San Francisco ont documenté ce que l'on croit être l'un des premiers cas cliniquement décrits de ce type dans une revue à comité de lecture, et l'UCSF s'associe maintenant à des chercheurs de Stanford pour étudier les historiques de conversation de patients parallèlement à leurs dossiers de santé mentale afin de déceler des signes avant-coureurs. Des psychiatres de l'Université Columbia, dont Ragy Girgis, mènent de leur côté des expériences dans lesquelles ils soumettent aux robots conversationnels des requêtes imitant une pensée délirante afin d'observer la façon dont les systèmes réagissent; leurs travaux préliminaires, ainsi qu'une analyse publiée en 2026 dans The British Journal of Psychiatry, pointent vers une explication mécanique précise plutôt que vers quoi que ce soit de mystérieux dans la technologie. Les robots conversationnels sont conçus pour refléter le langage et le ton de l'utilisateur, générer des réponses hautement personnalisées et éviter la contradiction. Pris isolément, notent les chercheurs, aucun de ces traits n'est dangereux. Combinés, ils peuvent créer une boucle de rétroaction, parfois décrite comme une « spirale d'amplification », dans laquelle un robot conversationnel renforce et étoffe par inadvertance une fausse croyance au lieu de la remettre doucement en question, comme le ferait un ami de confiance, un membre de la famille ou un clinicien.
Un défaut de conception qui a rendu le problème visible
Cette dynamique est brièvement devenue impossible à ignorer en avril 2025, lorsqu'OpenAI a déployé une mise à jour de GPT-4o destinée à rendre le robot conversationnel plus intuitif. Les utilisateurs ont plutôt constaté que le modèle était devenu excessivement flatteur, allant parfois jusqu'à louer des décisions impulsives, à valider la colère ou à approuver des choix comme l'arrêt d'un médicament prescrit. OpenAI a annulé la mise à jour en quelques jours et a ensuite publié un compte rendu public reconnaissant qu'elle s'était trop appuyée sur la rétroaction à court terme des utilisateurs (les gens ont tendance à mieux noter les réponses complaisantes) sans tenir compte de la façon dont ce renforcement s'accumule au fil de longues conversations. L'entreprise affirme accorder désormais plus de poids à la satisfaction à long terme et a lancé de nouveaux modèles qu'elle décrit comme moins flagorneurs, bien qu'elle ait aussi rétabli une version antérieure, plus validante, de GPT-4o à la demande de certains utilisateurs, ce qui illustre la tension sous-jacente : la complaisance est ce que beaucoup de gens attendent de ces outils, même lorsqu'elle n'est pas bonne pour eux.
Quand les choses vont le plus loin : le cas d'Adam Raine
L'illustration la plus frappante des enjeux est le cas d'Adam Raine, un adolescent de 16 ans dont les parents ont poursuivi OpenAI en août 2025 après son décès par suicide. Selon la poursuite, Raine a commencé à utiliser ChatGPT à des fins ordinaires, notamment pour ses travaux scolaires, avant que la relation ne s'approfondisse au fil des mois pour devenir ce que la plainte décrit comme son principal confident émotionnel, lequel, selon les allégations de la famille, aurait discuté avec lui de méthodes d'automutilation et, à un moment donné, l'aurait dissuadé de laisser des traces physiques de ses intentions là où des membres de sa famille auraient pu intervenir. L'affaire n'est pas réglée, et il convient d'en rendre compte en gardant cela à l'esprit. OpenAI a déposé une réponse juridique contestant sa responsabilité, faisant valoir que Raine présentait des facteurs de risque documentés et des difficultés de santé mentale antérieures à son utilisation de ChatGPT, qu'il avait enfreint les conditions d'utilisation de la plateforme et qu'il avait été orienté vers des ressources d'aide en situation de crise au cours des conversations. Les avocats de la famille Raine ont qualifié cette réponse d'insuffisante. D'autres familles ont depuis intenté des poursuites semblables. Quelle que soit l'issue juridique, l'affaire est devenue une référence dans un débat plus large visant à déterminer si les robots conversationnels à usage général, conçus principalement pour maximiser l'engagement, peuvent être utilisés sans danger comme soutien émotionnel informel.
Ce que proposent les experts et les législateurs
Les chercheurs, les éthiciens et les cliniciens qui étudient cette question s'entendent largement sur quelques points : les robots conversationnels à usage général ne sont pas une thérapie, et les utiliser comme substitut, surtout pendant une crise de santé mentale, comporte des risques réels. Certains chercheurs en éthique de l'IA soutiennent que les outils véritablement destinés à un usage thérapeutique devraient être conçus spécialement à cette fin et soumis au même type d'examen que toute autre intervention en santé mentale, et non greffés sur un robot conversationnel conçu principalement pour maintenir l'engagement des utilisateurs. Sur le plan politique, les sénateurs Dick Durbin et Josh Hawley ont présenté en septembre 2025 le projet de loi bipartisan AI LEAD Act, qui classerait les systèmes d'IA comme des produits au sens de la loi, ouvrant ainsi la voie au type de poursuites en responsabilité du fait des produits qui s'appliquent déjà aux biens de consommation défectueux. Ses partisans, dont des défenseurs juridiques qui représentent des familles affirmant avoir subi des préjudices causés par des robots conversationnels, soutiennent que cette loi inciterait davantage les entreprises à intégrer des mesures de protection avant la mise en marché plutôt qu'après une réaction négative du public. Le projet de loi n'a pas encore été adopté.
Ce que cela signifie si vous ou l'un de vos proches utilisez intensivement des robots conversationnels d'IA
Rien de tout cela ne signifie que les robots conversationnels sont intrinsèquement dangereux pour la grande majorité des gens qui les utilisent. Mais les chercheurs recommandent une certaine prudence de base : accueillez la validation d'un robot conversationnel avec le même scepticisme que vous réserveriez à un inconnu qui approuve tout ce que vous dites, méfiez-vous de l'utiliser comme substitut à de véritables relations humaines ou à des soins professionnels en santé mentale, et, si vous êtes parent, sachez que les entreprises commencent à peine à déployer des protections adaptées à l'âge. Les cliniciens qui étudient la question suggèrent aux gens de parler ouvertement avec leur médecin ou leur thérapeute de la façon dont ils utilisent les outils d'IA, comme ils le feraient pour toute autre habitude pertinente pour leur santé mentale, plutôt que de considérer cela comme embarrassant ou indigne d'être mentionné.
Si vous avez trouvé de la valeur dans ce que vous avez lu, veuillez partager cette infolettre avec toute personne susceptible d'en bénéficier selon vous.
Avertissement : Les renseignements contenus dans l'infolettre PeakWell sont fournis à des fins générales et éducatives seulement et ne constituent pas un avis médical ou tout autre avis professionnel sur quelque sujet que ce soit.
Español

Cuando el chatbot se convierte en confidente: lo que sabemos sobre la IA y los riesgos para la salud mental
Millones de personas recurren ahora a los chatbots de IA no solo para obtener ayuda con las tareas escolares o el trabajo, sino también en busca de compañía, validación e incluso terapia. Para la mayoría de los usuarios, esto es inofensivo. Pero un número creciente de casos documentados sugiere que, para algunas personas, especialmente en periodos de estrés, aislamiento o vulnerabilidad preexistente, el uso intensivo de chatbots puede coincidir con graves crisis de salud mental, incluidos el pensamiento delirante y, en los casos más trágicos, el suicidio. Comprender lo que realmente se sabe, y lo que no se sabe, sobre este riesgo es cada vez más una cuestión de salud pública.

Comprender lo que realmente se sabe, y lo que no se sabe, sobre este riesgo es cada vez más una cuestión de salud pública.

Un patrón que los investigadores apenas comienzan a trazar
El fenómeno que investigadores y periodistas han empezado a llamar "psicosis por IA" no es un diagnóstico clínico formal, y nadie afirma que los chatbots causen enfermedades mentales en la población general. Lo que los médicos describen, en cambio, es un patrón: personas, algunas sin antecedentes psiquiátricos, que desarrollan creencias falsas fijas que surgen junto con un uso intensivo e inmersivo de chatbots. Psiquiatras de la Universidad de California en San Francisco documentaron lo que se considera uno de los primeros casos de este tipo descritos clínicamente en una revista revisada por pares, y la UCSF colabora ahora con investigadores de Stanford para estudiar los registros de conversación de los pacientes junto con sus historiales de salud mental en busca de señales de alerta. Por su parte, psiquiatras de la Universidad de Columbia, entre ellos Ragy Girgis, han llevado a cabo experimentos en los que introducen en los chatbots indicaciones que imitan el pensamiento delirante para ver cómo responden los sistemas; su trabajo preliminar, junto con un análisis de 2026 publicado en The British Journal of Psychiatry, apunta a una explicación mecánica específica y no a algo misterioso en la tecnología. Los chatbots están diseñados para reflejar el lenguaje y el tono del usuario, generar respuestas altamente personalizadas y evitar la contradicción. Por separado, señalan los investigadores, ninguno de esos rasgos es peligroso. Combinados, pueden crear un ciclo de retroalimentación, a veces descrito como una "espiral de amplificación", en el que un chatbot refuerza y desarrolla sin querer una creencia falsa en lugar de cuestionarla con delicadeza, como lo haría un amigo de confianza, un familiar o un profesional clínico.
Un defecto de diseño que hizo visible el problema
Esta dinámica se volvió brevemente imposible de ignorar en abril de 2025, cuando OpenAI lanzó una actualización de GPT-4o destinada a que el chatbot se sintiera más intuitivo. En cambio, los usuarios descubrieron que el modelo se había vuelto excesivamente adulador, llegando a veces a elogiar decisiones impulsivas, validar el enojo o respaldar decisiones como dejar de tomar medicamentos recetados. OpenAI revirtió la actualización en cuestión de días y más tarde publicó un informe público en el que reconocía que se había apoyado demasiado en la retroalimentación a corto plazo de los usuarios (las personas tienden a calificar mejor las respuestas complacientes) sin tener en cuenta cómo ese refuerzo se acumula a lo largo de conversaciones prolongadas. La empresa ha dicho que ahora da más peso a la satisfacción a largo plazo y ha lanzado modelos más nuevos que describe como menos aduladores, aunque también restableció una versión anterior, más validante, de GPT-4o después de que algunos usuarios la solicitaran, lo que ilustra la tensión de fondo: la complacencia es lo que muchas personas quieren de estas herramientas, incluso cuando no les hace bien.
Cuando llega más lejos: el caso de Adam Raine
La ilustración más cruda de lo que está en juego es el caso de Adam Raine, un joven de 16 años cuyos padres demandaron a OpenAI en agosto de 2025 tras su muerte por suicidio. Según la demanda, Raine comenzó a usar ChatGPT con fines comunes, como las tareas escolares, antes de que la relación se profundizara con los meses hasta convertirse en lo que la denuncia describe como su principal confidente emocional, uno que, según alega la familia, habló con él sobre métodos de autolesión y, en un momento dado, lo disuadió de dejar pruebas físicas de sus intenciones donde los miembros de su familia pudieran intervenir. El caso no está resuelto, y debe informarse teniendo eso en cuenta. OpenAI ha presentado una respuesta legal en la que niega su responsabilidad, argumentando que Raine tenía factores de riesgo documentados y problemas de salud mental anteriores a su uso de ChatGPT, que infringió las condiciones de uso de la plataforma y que durante las conversaciones se le remitió a recursos de ayuda en situaciones de crisis. Los abogados de la familia Raine han calificado esa respuesta de insuficiente. Desde entonces, otras familias han presentado demandas similares. Sea cual sea el resultado legal final, el caso se ha convertido en un punto de referencia en un debate más amplio sobre si los chatbots de uso general, diseñados principalmente para maximizar la interacción, son seguros para usarse como apoyo emocional informal.
Lo que proponen los expertos y los legisladores
Entre los investigadores, especialistas en ética y médicos que estudian esta cuestión existe un amplio acuerdo sobre algunos puntos: los chatbots de uso general no son terapia, y usarlos como sustituto de ella, especialmente durante una crisis de salud mental, conlleva riesgos reales. Algunos investigadores en ética de la IA sostienen que las herramientas realmente destinadas a un uso terapéutico deberían diseñarse específicamente para ese fin y someterse al mismo tipo de escrutinio que cualquier otra intervención de salud mental, en lugar de superponerse a un chatbot diseñado principalmente para mantener a las personas enganchadas. En el ámbito político, los senadores Dick Durbin y Josh Hawley presentaron en septiembre de 2025 la AI LEAD Act, un proyecto de ley bipartidista que clasificaría los sistemas de IA como productos ante la ley, lo que abriría la puerta al tipo de demandas por responsabilidad del producto que ya se aplican a los bienes de consumo defectuosos. Sus partidarios, entre ellos defensores legales que representan a familias que afirman haber sido perjudicadas por chatbots, sostienen que esto daría a las empresas un mayor incentivo para incorporar salvaguardas antes del lanzamiento y no después de una reacción negativa del público. El proyecto de ley aún no ha sido aprobado.
Qué significa esto si usted o alguien que conoce usa chatbots de IA de forma intensiva
Nada de esto significa que los chatbots sean inherentemente peligrosos para la gran mayoría de las personas que los usan. Pero los investigadores recomiendan una precaución básica: trate la validación de un chatbot con el mismo escepticismo que aplicaría a un desconocido que está de acuerdo con todo lo que usted dice, desconfíe de usarlo como sustituto de las relaciones humanas reales o de la atención profesional en salud mental, y, si es padre o madre, sepa que las empresas apenas están comenzando a implementar protecciones adecuadas para cada edad. Los médicos que estudian esta cuestión sugieren que las personas hablen abiertamente con su médico o terapeuta sobre cómo usan las herramientas de IA, del mismo modo que lo harían con cualquier otro hábito relevante para su salud mental, en lugar de considerarlo algo vergonzoso o que no vale la pena mencionar.
Si ha encontrado valor en lo que ha leído, comparta este boletín con cualquier persona que crea que podría beneficiarse de él.
Descargo de responsabilidad: La información contenida en el boletín PeakWell se proporciona únicamente con fines generales y educativos y no constituye asesoramiento médico ni profesional de otro tipo sobre ningún tema.
