¿Quién responde de un error de la IA? El papel del empleado, el equipo y la empresa

Por qué una respuesta errónea de la IA puede parecer fiable

Un equipo prepara una oferta y un modelo de lenguaje aporta tres fuentes detalladas. Están bien citadas, tienen autores y fechas. Solo el cliente se da cuenta de que una de las publicaciones no existe. El problema no es solo la «alucinación» del modelo. También importa que unas frases que sonaban seguras y una estructura de documento conocida facilitaron aceptar la respuesta sin comprobarla. Es fácil juzgar la fiabilidad de una información solo por su forma, aunque la forma no confirma los hechos.

Goddard y colaboradores describieron en una revisión de estudios la tendencia a confiar en exceso en las sugerencias de los sistemas automáticos. Gran parte de los análisis se referían a la medicina y a sistemas de apoyo a la decisión más antiguos, por lo que no conviene trasladar mecánicamente sus resultados a todos los modelos generativos. Aun así, el mecanismo descrito sigue siendo pertinente: incluso un especialista competente puede dejar de buscar errores cuando la sugerencia se presenta de forma convincente y hay poco tiempo. Por eso, la frase «pero si ya lo comprobamos» no basta si no se especifica qué se comprobó realmente.

Por qué la responsabilidad no recae solo en quien aprueba

Un documento puede pasar por varias manos. La primera persona elige la herramienta y los datos; la segunda redacta el texto; la tercera comprueba las cifras, y la cuarta firma la oferta definitiva. Si en la empresa no se han definido los roles, tras el error cada uno señalará al de al lado. «Pensaba que lo comprobaba el departamento de análisis» chocará con «yo solo revisaba la redacción». La responsabilidad jurídica hay que valorarla por separado, pero las causas organizativas del error pueden determinarse de inmediato.

Ayuda separar cuatro preguntas: quién podía usar la herramienta, quién respondía de la veracidad de los datos, quién tenía potestad para detener el envío y quién debía garantizar las condiciones para el control. El empleado que da el último paso puede tener un deber de diligencia, pero la empresa puede ser responsable al mismo tiempo de un procedimiento defectuoso. No está justificado cargar automáticamente toda la culpa sobre la persona que menos decidía sobre la forma de trabajar. Igual de erróneo sería afirmar que, como «la IA se equivocó», nadie tiene ya que sacar conclusiones.

Dos ejemplos muestran la diferencia entre usar una herramienta y controlar el resultado

En el conocido caso estadounidense Mata contra Avianca, los abogados presentaron un escrito que contenía resoluciones judiciales inexistentes generadas con IA. El tribunal impuso sanciones. Es un ejemplo de falta de verificación de las fuentes citadas, no una prueba de que cualquier error de un modelo genere automáticamente la misma responsabilidad. En una empresa polaca, un problema más cotidiano puede ser enviar a un cliente una oferta con condiciones de pago erróneas porque nadie comparó el texto con la tabla aprobada.

Imaginemos dos equipos. En el primero, el control consiste en tres minutos de lectura superficial del informe generado. En el segundo, quien controla tiene una lista de campos que revisar, acceso a los datos originales y potestad para devolver el documento para que se corrija. En ambos equipos una persona comprueba el resultado, pero solo en el segundo tiene una posibilidad real de cuestionarlo. La conclusión no es crear una gran burocracia para cada mensaje, sino ajustar el control a la importancia de la decisión y al riesgo de error.

Qué dicen las normas sobre IA acerca de la supervisión y qué no resuelven

El Reglamento europeo de IA (AI Act) establece, entre otras cosas, requisitos de supervisión humana de los sistemas clasificados como de alto riesgo y obligaciones para quienes los utilizan. La norma distingue categorías de uso y fechas de aplicación de los distintos requisitos. Por tanto, no conviene afirmar que cualquier conversación de empresa con un chatbot esté sujeta a un régimen idéntico ni que el AI Act por sí solo determine quién responde personalmente de cada daño.

En la práctica, el mánager debería comprobar qué sistema utiliza la empresa, para qué está destinado y qué reglas se derivan de la normativa aplicable, los contratos y los procedimientos. En los usos relacionados con la salud, el empleo o derechos humanos importantes, lo que está en juego y las obligaciones son distintos que al redactar una nota neutra. Para el equipo, lo más importante es que la decisión de usar la herramienta tenga un responsable y que quien revisa tenga competencias, tiempo y potestad para decir «este resultado no lo apruebo».

Cómo definir el control antes de que el material salga de la empresa

Vale la pena preparar una breve matriz de responsabilidades. Para cada proceso anotamos: el uso permitido de la IA, los datos de entrada, los elementos de control obligatorio, la persona que aprueba y la forma de notificar un problema. En un informe numérico, lo clave será comparar los valores con el sistema de origen. En un texto jurídico, comprobar la normativa en una fuente actualizada. En una información médica, la verificación de contenido adecuada por parte de una persona cualificada. La herramienta de IA no sustituye esta comprobación.

Esta matriz no se crea para señalar a un futuro culpable. Su función es facilitar la toma de decisiones y detener los errores. Si un empleado descubre que la herramienta se ha inventado una fuente, tiene que saber a quién informar, sin miedo a que lo sancionen por interrumpir el trabajo. El mánager también debería comprobar si, con la presión de los plazos, no está exigiendo al equipo un control que materialmente es imposible realizar. La responsabilidad sin las condiciones adecuadas se queda en una mera declaración.

Cómo hablar tras un error para que el siguiente se notifique antes

Cuando sale a la luz un error, la primera pregunta debería ser: «¿Cómo limitamos sus consecuencias?». Solo después conviene reconstruir el orden de los hechos. En lugar de empezar con «¿Quién ha dejado pasar esto?», el mánager puede decir: «En el documento han aparecido cifras erróneas. Veamos de dónde se sacaron, qué controles hicimos y en qué punto dejó de funcionar el proceso». Esta forma de hablar no significa tolerar los descuidos. Permite distinguir entre una tarea poco clara, un control insuficiente y el incumplimiento consciente de lo acordado.

Tras el análisis tiene que haber una decisión: corregimos las instrucciones, añadimos un control, limitamos el uso o formamos al equipo. Establece también quién informará a los destinatarios de la corrección y en qué plazo. Si un empleado había advertido antes del riesgo, el mánager debería tenerlo en cuenta. El equipo nota enseguida si reconocer un error lleva a aprender o solo a buscar un chivo expiatorio. De esa reacción depende que el próximo error salga a la luz pronto.

Detrás de las consecuencias de un error de la IA están tanto las decisiones de los usuarios como la organización del proceso. Hay que definir quién verifica la información, qué comprueba exactamente y si tiene condiciones para un control eficaz. Tras un error, primero se reparan las consecuencias; después se determina la responsabilidad y se cambia el procedimiento que dejó pasar el fallo.

Cómo te ayuda Empatyzer en una conversación difícil tras un error en el que ha intervenido la IA

Tras enviar una oferta incorrecta, el mánager puede describir a Em los hechos: qué se hizo con IA, quién tenía que revisar el documento, qué se había acordado y qué dijo el cliente. Em le ayudará a preparar una reunión en la que las personas no tengan que defenderse de una presunción de culpa, pero en la que tampoco eludan hablar de sus obligaciones. Con Em puede formular preguntas que separen los hechos de las valoraciones, practicar cómo reaccionar ante la frase «pero si todo el mundo lo hacía así» y preparar un feedback claro. Si los participantes pertenecen a la misma organización, los consejos para la relación de que dispone le ayudan a adaptar el lenguaje a las distintas formas de reaccionar ante la crítica y la incertidumbre; sin embargo, no dan acceso a los diagnósticos privados de otras personas. En el contexto del equipo, Em puede ayudar a planificar el análisis del incidente y la forma de presentar las nuevas reglas de colaboración. Así, el mánager llega a la reunión no solo con una lista de preguntas sobre los culpables, sino con un plan para corregir los errores, un reparto claro de responsabilidades y una forma de animar a notificar los problemas antes.