La IA ayuda al experto y engaña al novato: el estudio que deberías leer antes de dársela a tu equipo
Dos grupos de personas. La misma inteligencia artificial. Las mismas imágenes. Resultados opuestos.
Y el grupo que salió peor parado no fue el que menos usó la IA: fue el que más se fio de ella.
Qué midió exactamente el estudio
El trabajo lo publicó la revista Nature Medicine el 4 de agosto, firmado por investigadores de Columbia, el MIT y Stanford, que detallaron sus conclusiones en el anuncio del propio MIT. Son en realidad dos experimentos encadenados:
- 623 personas sin formación clínica distinguiendo un melanoma de un lunar benigno.
- 153 profesionales de atención primaria haciendo un diagnóstico diferencial abierto sobre cuatro cuadros: dermatitis atópica, pitiriasis rosada, enfermedad de Lyme y linfoma cutáneo de células T.
A ambos grupos se les dio ayuda de IA en cuatro formatos distintos: la predicción sola con su nivel de confianza, imágenes de casos similares, un mapa de calor señalando dónde se fija el modelo, y una explicación escrita por un modelo de lenguaje.
Los no expertos acertaron más que sin ayuda. Buena noticia, hasta que miras por qué: acertaban porque copiaban a la máquina. Y cuando la máquina fallaba, la copiaban igual.
«Nuestros hallazgos muestran que quienes tienen menos conocimiento médico son los más propensos a ser desorientados cuando un modelo de IA explicable da una salida errónea», resume Roxana Daneshjou, profesora de Stanford y coautora del trabajo.
El hallazgo incómodo: explicar empeoró las cosas
Aquí es donde el estudio se pone interesante para cualquiera que esté implantando IA en su empresa.
Llevamos años repitiendo que la clave de una IA fiable es que explique su razonamiento. Pues bien: en los principiantes, las explicaciones generadas por un modelo de lenguaje aumentaron su confianza en las respuestas incorrectas. La explicación no les ayudó a detectar el error; les ayudó a creérselo.
Los clínicos, en cambio, obtuvieron su mejor resultado con la predicción a secas, sin adornos. Tenían criterio propio con el que contrastar, y las explicaciones solo añadían ruido.
«La misma herramienta acaba siendo un activo para un usuario y un lastre para otro», señala Orson Xu, de la Universidad de Columbia, autor principal del estudio.
Toque Personal: la promesa que llevo meses oyendo, y que este estudio desmonta
El argumento comercial de la IA en las empresas es siempre el mismo: «con esto, tu junior rinde como un senior». Este estudio dice que no. Dice que tu junior parece un senior mientras la IA acierta, y se hunde con ella cuando falla, con más confianza de la que tendría por su cuenta.
Piénsalo aplicado a tu negocio. La IA que revisa contratos, que responde a clientes, que clasifica facturas o que genera código. La persona con menos criterio de tu equipo es exactamente la que menos va a cuestionar la salida, y también a la que más te tienta asignarle esa tarea porque «total, lo hace la IA».
Tres consecuencias prácticas que me llevo:
- Mide con casos en los que la IA se equivoca. Si solo pruebas con casos fáciles, todo el mundo parece competente. Mete errores conocidos en la evaluación y mira quién los caza.
- No compres «explicabilidad» como si fuera seguridad. Una explicación bien redactada convence igual siendo falsa. De hecho, convence más.
- Empareja la IA con quien pueda decirle que no. El valor no está en quien la usa, sino en quien es capaz de descartarla. Y eso todavía se compra con experiencia, no con licencias.
Hay una lectura de fondo que enlaza con las nuevas obligaciones de transparencia del reglamento europeo: no basta con que un sistema avise de que es una IA. Importa cómo presenta lo que dice, porque ese formato cambia la decisión de quien lo lee.
Conclusión
La conclusión no es «no uses IA». Es que el mismo despliegue produce resultados opuestos según a quién se lo des, y casi nadie lo está midiendo así. Mientras tanto, la superficie de riesgo crece por otros frentes: hoy mismo contamos cómo un gusano infectó solo 444 paquetes de npm en cuatro horas.
¿Has notado en tu equipo esa diferencia entre quien usa la IA con criterio y quien la acepta sin más? Cuéntamelo en los comentarios: es de las cosas que más me interesan ahora mismo.
