La inteligencia artificial dejó de operar únicamente detrás de recomendaciones de películas, anuncios o rutas de navegación. Empresas e instituciones públicas ya utilizan sistemas automatizados para ordenar currículums, evaluar riesgos financieros, detectar fraudes, asignar prioridades y procesar grandes volúmenes de información. Cuando esas herramientas influyen en una contratación, un crédito o el acceso a un servicio, la pregunta ya no es solo si funcionan rápido: también importa saber si toman decisiones justificables.
El riesgo aparece cuando un modelo automatizado reproduce desigualdades contenidas en los datos con los que fue desarrollado. Un algoritmo puede descartar candidatos, elevar el nivel de riesgo de una solicitud o modificar una recomendación sin utilizar de manera directa variables como género, edad u origen. Sin embargo, otros elementos, como el código postal, ciertos patrones de consumo o una interrupción laboral, pueden convertirse en indicadores indirectos y afectar el resultado.
El Instituto Nacional de Estándares y Tecnología de Estados Unidos, conocido como NIST, advierte que los sistemas de inteligencia artificial pueden aumentar la velocidad y la escala de sesgos dañinos, así como reproducir o amplificar afectaciones para personas y organizaciones. Su marco de gestión de riesgos considera que una IA confiable debe ser válida, segura, transparente, explicable, respetuosa de la privacidad y capaz de gestionar sesgos perjudiciales.
La llamada IA explicable, conocida como XAI por sus siglas en inglés, busca que las decisiones de una herramienta automatizada puedan ser comprendidas por personas que no participaron en su desarrollo. No se trata de abrir cada línea de código ni de revelar secretos industriales. El objetivo es identificar qué factores influyeron en una decisión, qué datos fueron considerados y qué mecanismo existe para corregir errores.
El tema ya llegó al terreno financiero. La Oficina para la Protección Financiera del Consumidor de Estados Unidos ha señalado que una institución no puede justificar la falta de explicaciones sobre el rechazo de un crédito bajo el argumento de que su algoritmo es demasiado complejo. Cuando existe una decisión adversa, la entidad debe informar razones específicas y correctas al solicitante, sin esconderse detrás de una caja negra digital.
En Europa, la Ley de Inteligencia Artificial clasifica como sistemas de alto riesgo algunas herramientas utilizadas en empleo, educación, servicios esenciales, biometría, migración y acceso al crédito. Para esos casos, el marco europeo contempla evaluación de riesgos, calidad de los datos, registro de actividad, documentación técnica, supervisión humana, precisión y medidas de ciberseguridad.
La discusión también comienza a tomar forma en México. El 14 de abril de 2026 se presentaron en la Cámara de Diputados dos iniciativas relacionadas con decisiones automatizadas. Una propone incorporar la prohibición de discriminación algorítmica en la Ley Federal para Prevenir y Eliminar la Discriminación. La otra plantea que las personas puedan conocer información significativa sobre la lógica general, los criterios y las variables relevantes utilizados por autoridades públicas cuando un sistema automatizado incida en una decisión administrativa. Ambas propuestas siguen siendo iniciativas legislativas y no deben confundirse con normas vigentes.
Para las empresas, el asunto ya no cabe únicamente en el escritorio del área de sistemas. Bancos, aseguradoras, fintech, plataformas de comercio electrónico, áreas de recursos humanos y proveedores de software necesitan identificar cuáles de sus herramientas influyen en decisiones que afectan personas. La revisión también debe incluir soluciones compradas a terceros: contratar un sistema externo no elimina la responsabilidad de entender cómo opera.
Una de las respuestas planteadas por especialistas y organismos técnicos es la creación de comités internos de inteligencia artificial. Estos grupos pueden integrar personal de tecnología, jurídico, cumplimiento, recursos humanos, seguridad, negocio y protección de datos. Su función no consiste en poner un sello decorativo al proyecto, sino en revisar los riesgos antes del despliegue y monitorear los resultados durante el uso cotidiano.
La norma internacional ISO/IEC 42001 ofrece una referencia para establecer sistemas de gestión de inteligencia artificial dentro de organizaciones públicas y privadas. El estándar propone políticas, objetivos, procesos, evaluación de riesgos y mejora continua. También incorpora elementos como trazabilidad, transparencia y confiabilidad, sin sustituir las obligaciones legales aplicables en cada país.
Una auditoría de IA no debe limitarse a preguntar si el algoritmo acierta en términos generales. También necesita revisar si los datos son representativos, si existen resultados desproporcionados para determinados grupos, si las variables utilizadas tienen relación con el objetivo del sistema y si una persona puede solicitar una revisión humana. En la práctica, poner lupa sobre el modelo antes de lanzarlo puede evitar que un error se replique miles de veces.
El monitoreo debe continuar después de la implementación. Los hábitos cambian, los datos envejecen y los modelos pueden perder precisión con el paso del tiempo. Una herramienta utilizada para filtrar currículums o calcular riesgos necesita controles periódicos, registro de incidentes y un procedimiento para suspender su operación cuando aparezcan resultados inconsistentes o posibles afectaciones.
Para el usuario común, la señal de alerta es sencilla: una decisión automatizada con consecuencias relevantes no debería terminar con un mensaje genérico en la pantalla. Cuando una persona recibe un rechazo de crédito, queda fuera de un proceso de selección o pierde acceso a un servicio, debe existir una vía para solicitar una explicación, corregir información incorrecta y pedir que el caso sea revisado.
La IA explicable no garantiza por sí sola decisiones justas. Sin datos adecuados, supervisión humana, auditorías periódicas y responsables claramente identificados, una explicación puede quedarse en letra chiquita. El reto para empresas y autoridades es utilizar la automatización sin convertir la eficiencia en una puerta cerrada para las personas afectadas.
