Jimmy Pepinosa
EditorLa automatización basada en inteligencia artificial volvió a quedar bajo escrutinio luego de que el asistente de atención al cliente de Cursor, una plataforma de desarrollo impulsada por IA, generara respuestas falsas que llevaron a confusión entre usuarios y cancelaciones masivas de suscripciones.
La situación comenzó cuando usuarios reportaron cierres de sesión inesperados al cambiar de dispositivo. Al contactar al servicio de soporte, recibieron un correo firmado por “Sam”, quien afirmó que los cierres de sesión eran parte de una nueva política de autenticación.
El gran problema es que dicha política nunca existió y la respuesta había sido generada automáticamente por un bot de IA.
Una “alucinación” con consecuencias reales
(Pexels)
La respuesta falsa del sistema, conocida en el ámbito de la inteligencia artificial como una alucinación (que es cuando un modelo genera información incorrecta con total confianza), se viralizó rápidamente en foros como Hacker News y Reddit.
Los usuarios, al descubrir que no había humanos detrás del mensaje, comenzaron a cancelar sus suscripciones y a expresar su descontento con la falta de transparencia.
Michael Truell, cofundador de Anysphere, la startup detrás de Cursor, reconoció públicamente el error explicando que la causa del problema era un bug que estaba generando los cierres de sesión y que la respuesta del bot fue incorrecta. La aclaración, sin embargo, llegó después de que la situación ya había escalado.
Un dilema para startups que buscan eficiencia
(Pexels)
La historia de Cursor ilustra un dilema cada vez más común entre startups tecnológicas: mientras que los agentes automatizados prometen eficiencia y reducción de costos, el margen de error sigue siendo considerable.
En este caso, una alucinación bastó para deteriorar la relación con parte de su base de usuarios, afectando directamente la reputación de una empresa que recientemente alcanzó los 100 millones de dólares en ingresos anuales y está valorada en cerca de 10 mil millones de dólares.
Además, no es la primera vez que un sistema de atención basado en IA genera consecuencias no deseadas por alucinaciones. En 2023, el chatbot de Air Canada fue noticia por inventar políticas de reembolso inexistentes.
Más recientemente, Klarna anunció la reincorporación de personal humano luego de múltiples quejas por respuestas erróneas generadas por IA en su canal de atención.
Riesgos de los agentes automatizados
(Pexels)
El incidente con Cursor también ha reavivado el debate sobre la implementación de inteligencia artificial en procesos de atención al cliente, especialmente en sectores técnicos o altamente regulados.
Expertos del sector como Cassie Kozyrkov, exdirectora científica de decisiones en Google, destacaron en LinkedIn que el error pudo evitarse si las empresas reconocieran que los sistemas de IA pueden equivocarse, no asumen responsabilidad por sus errores y generan rechazo cuando simulan ser humanos.
El modelo de atención de Cursor, diseñado para responder consultas técnicas, falló en un punto crítico: la confianza, elemento clave para desarrolladores que dependen de respuestas precisas y soluciones técnicas efectivas, una explicación incorrecta puede impactar directamente en su flujo de trabajo.
Ver 0 comentarios