Sergio Llorens (Lexic.AI): las empresas responden por los errores de su IA

Madrid, 28 de octubre de 2026.- 

Sergio Llorens, CEO de Lexic.AI.

El 12 de mayo, el Tribunal Superior Regional de Hamm resolvió un caso que, a primera vista, parecía menor. Una clínica de medicina estética de Recklinghausen tenía un chatbot en su web para responder preguntas y facilitar la reserva de citas. El chatbot atribuía a los médicos de la clínica titulaciones de especialista que no tenían. La Verbraucherzentrale de Renania del Norte-Westfalia llevó el caso a los tribunales y el tribunal dio la razón a los consumidores.

Lo interesante no es solamente el error del chatbot. Es a quién se atribuye.

El tribunal consideró que las respuestas del chatbot eran actos comerciales de la propia empresa y rechazó su argumento de que no podían atribuírsele. Aunque la clínica hubiera programado el chatbot solo con datos correctos, responde por lo que dice: el chatbot no es un “tercero” a efectos de la ley.

La sentencia no es firme: el tribunal ha admitido recurso de revisión ante el Tribunal Federal de Justicia (BGH), porque el caso plantea cuestiones jurídicas nuevas.

La conclusión debería interesar a cualquier compañía que haya puesto un agente de IA delante de sus clientes: cuando una IA habla en nombre de una empresa, sus palabras forman parte de la relación entre esa empresa y su cliente.

No importa demasiado si detrás hay un empleado, un chatbot tradicional o un agente basado en un modelo generativo.

La pregunta que casi nadie puede contestar

Cuando se habla de esto con equipos directivos se suele hacer una pregunta muy sencilla: “¿saben qué dijo ayer su agente a sus clientes?” La respuesta habitual es una variante de “lo monitoriza el proveedor” o “tenemos un dashboard”. Pero un dashboard puede decir cuántas conversaciones hubo, cuánto tardó el agente en responder o cuántas terminaron en una transferencia. No necesariamente dice si una de ellas prometió un reembolso que no existe, si negó ser una IA cuando el cliente se lo preguntó, si recogió datos personales sin explicar para qué o si prometió pasar la conversación a una persona y nunca lo hizo. Ahí está el problema de fondo. Observar un sistema no es lo mismo que comprobar cómo se comporta. Y cuanto más autónomos son los agentes, más importante resulta esa diferencia.

El AI Act no es la única razón para preocuparse

Se ha extendido la idea de que el AI Act “se retrasa” y que todavía queda tiempo, pero es una simplificación.

Aunque algunas obligaciones para sistemas de alto riesgo se han desplazado a diciembre de 2027, las obligaciones de transparencia del artículo 50 tienen su propia fecha de aplicación.

Desde el 2 de agosto de 2026, los sistemas de IA que interactúan directamente con personas deben informarles de que están interactuando con una IA, salvo que resulte evidente por el contexto, y hacerlo como máximo en la primera interacción.

Pero tener una política no garantiza un comportamiento correcto. Un agente puede presentarse inicialmente como asistente virtual y, diez minutos después, no identificarse como IA cuando el cliente se lo pregunta directamente. Ahí es donde empieza la prueba real.

En España hay además otra pieza relevante. La Ley 10/2025 de servicios de atención a la clientela establece que, cuando se utilizan bots conversacionales, debe existir la posibilidad de solicitar atención personalizada por una persona física en cualquier momento de la interacción, en los supuestos incluidos en su ámbito de aplicación. Las empresas tienen hasta el 28 de diciembre de 2026 para adaptar sus servicios.

De nuevo, la cuestión no es solamente si existe un botón que dice “hablar con una persona”. La cuestión es si, cuando un cliente lo pulsa, el agente realmente lo transfiere.

Lo que se encuentra cuando se miran conversaciones reales

El primer Lexic AI Agent Trust Index 2026 ofrece una fotografía de 50 agentes conversacionales de IA y más de 500 conversaciones reales de producción, principalmente en España y con casos adicionales de otros mercados europeos.

El Trust Score medio fue de 62 sobre 100 y solo el 5% alcanzó la clasificación Trusted.

Uno de los resultados más llamativos es que alrededor de ocho de cada diez agentes no se identificaban correctamente como IA cuando el usuario lo preguntaba. Una proporción similar tenía problemas para escalar la conversación a una persona cuando se solicitaba, mientras que uno de cada tres recogía datos personales sin una puerta de consentimiento clara.

Son fallos sencillos, pero revelan cómo un agente puede funcionar técnicamente y ofrecer una buena experiencia, y aun así fallar ante situaciones no previstas.

La metodología es propia de Lexic.AI y no constituye una certificación regulatoria. Su objetivo es medir cómo se comportan los agentes cuando pasan de la demo a las conversaciones reales.

Know Your Agent

Hay un concepto que resulta interesante plantear a los consejos de administración: Know Your Agent.

Las empresas llevan años aplicando controles para conocer a sus clientes, sus proveedores o sus riesgos financieros. Sin embargo, muchas todavía no tienen una visión equivalente de los agentes que hablan en su nombre. ¿Quién es el responsable? ¿Qué modelo utiliza? ¿Qué versión está en producción? ¿Qué puede hacer? ¿Qué no debería hacer? ¿Con qué sistemas puede interactuar? ¿Y qué evidencia existe de que se comporta como se espera?

La identidad de un agente es importante. Pero para gestionar el riesgo importa todavía más su conducta, porque esa conducta puede cambiar cuando cambia un modelo, un prompt, una herramienta, una integración o simplemente el tipo de conversación que mantiene con los usuarios.

Un informe realizado una vez es una fotografía. El comportamiento de un agente en producción es una película.

Qué haría un Consejo esta semana

No hace falta empezar con un gran proyecto. Primero, hay que identificar todos los agentes que hablan con clientes y asignar un responsable a cada uno. Después, comprobar cómo se comportan en conversaciones reales y qué ocurre en situaciones críticas: cuando el cliente pregunta quién está al otro lado, solicita hablar con una persona, pide eliminar sus datos o plantea una cuestión que el agente no debería responder.

También conviene hacerse una pregunta incómoda: ¿quién verifica al agente? Si la única fuente de información es el equipo que lo creó o el proveedor que lo opera, la empresa está evaluando el riesgo desde dentro.

La sentencia de Hamm recuerda una idea sencilla: la IA no sustituye la responsabilidad de la empresa que la utiliza. Los agentes ya hablan por las marcas; ahora hay que demostrar qué dicen cuando nadie está mirando.

Sergio Llorens es CEO de Lexic.AI, compañía de Independent AI Assurance. Lexic Compass audita de forma independiente los agentes de IA que ya hablan con clientes. Lexic.AI no es un organismo notificado ni emite certificaciones: su metodología es propia.

Fuentes

-Nota de prensa del Tribunal Superior Regional de Hamm, 12-may-2026 (Az. 4 UKl 3/25)

-beck-aktuell: sentencia OLG Hamm sobre responsabilidad por un chatbot

-AI Act Service Desk (Comisión Europea): artículo 50

-BOE: Ley 10/2025, de 26 de diciembre, de servicios de atención a la clientela

-Lexic AI Agent Trust Index 2026

Contacto
Emisor: Lexic
Contacto: Lexic
Email de contacto: pulse@lexci.ai