En agosto de 2009, durante un combate de 27 horas en las montañas de Khowst, Afganistán, un jefe de pelotón autorizó abrir fuego contra la ubicación equivocada. Llevaban veinte horas luchando. Sus Rangers habían ascendido desde unos 2.100 hasta más de 3.000 metros, ya tenían bajas y avanzaban entre posiciones enemigas. Interceptaciones de radio, francotiradores y un equipo de ametralladoras parecían confirmar la misma amenaza. No era así. Dos soldados resultaron heridos; uno estuvo cerca de perder la vista.
Ese error no demuestra que las máquinas sean mejores. Muestra que, incluso con comunicaciones, apoyo aéreo y soldados experimentados, la información puede parecer concluyente y conducir al desastre. La pregunta sobre las armas autónomas no es si procesan datos más rápido que una persona: eso ya lo hacen. Es si pueden asumir una decisión letal en un entorno que castiga la falta de juicio.
La batalla terrestre no se parece a una hoja de cálculo
Hay escenarios donde la automatización encaja mejor. Un espacio aéreo controlado o un océano abierto ofrecen señales relativamente limpias, objetivos identificables y menos variables simultáneas. Una calle de una ciudad bombardeada es otra cosa: coches calcinados, escombros, civiles que aparecen y desaparecen, edificios dañados y combatientes que se camuflan entre quienes intentan sobrevivir. El terreno no es un tablero ordenado. Tampoco el enemigo juega limpio.
Un niño agachado junto a la carretera puede estar jugando, escondiéndose, herido o preparando un artefacto explosivo. Una figura en una ventana puede sostener un arma o colgar ropa. La cámara registra formas, movimiento y temperatura, pero no ve intención hostil, miedo ni una señal social cuyo sentido depende de lo que acaba de ocurrir a unos metros. La diferencia puede separar a un combatiente de un civil, o a un objetivo legítimo de alguien fuera de combate.
Los modelos de IA comparan entradas con patrones aprendidos y calculan probabilidades. Son útiles para detectar, clasificar y señalar anomalías, pero una probabilidad no equivale a comprensión, por mucho que la interfaz la presente con gráficos limpios y un porcentaje de confianza. En combate cercano, el contexto suele faltar en los datos o el adversario lo manipula a propósito.
Un sistema que fusiona sensores y advierte que las señales no cuadran podría haber evitado el error de Khowst. Entregarle la decisión final habría sido otra apuesta, mucho más difícil de deshacer. El problema no se resuelve reuniendo más imágenes o capacidad de cómputo: no hay sensor que mida directamente la intención ni base de datos que anticipe todas las formas de engaño, confusión y comportamiento civil. En tierra, una respuesta estadísticamente plausible puede ser peligrosamente equivocada.
La respuesta convincente también puede estar mal
En una simulación de ataques con drones, operadores humanos cambiaron decisiones correctas sobre objetivos porque la recomendación de la IA decía lo contrario. Ocurrió incluso después de advertirles que el sistema podía fallar; en la mayoría de los casos mencionados, siguieron el consejo incorrecto. El problema no fue solo que la máquina se equivocara, sino que su recomendación llevó a algunas personas a desconfiar de su propio juicio.
En psicología, esto se conoce como sesgo de automatización. También se relaciona con la idea de “mediocridad plausible”, atribuida a la investigadora Terry Oroszi: resultados que parecen competentes y autorizados aunque oculten defectos básicos. En una presentación comercial, un falso positivo es una mala métrica. En una cadena de ataque, puede poner bajo fuego a una familia.
Los defensores de la IA militar suelen presentar estas limitaciones como problemas temporales, solucionables con más datos, modelos avanzados y mejores sensores. A veces lo son, pero no siempre. Recopilar más imágenes de una persona armada no determina si está combatiendo, rindiéndose o atendiendo a un herido. El derecho internacional humanitario exige distinguir entre objetivos y civiles y valorar la proporcionalidad. No son casillas que se marcan con una clasificación de imagen: dependen de los hechos, el contexto y el juicio.
La diferencia entre dos soldados vistos a través de una mira térmica puede ser decisiva: uno participa en hostilidades; el otro está herido y recibe tratamiento. Sus firmas térmicas podrían parecerse, pero su condición legal no.
El problema se agrava cuando los mandos sienten que deben actuar a la velocidad de la máquina. Ante una recomendación de precisión aparente, el operador puede acabar aprobándola por cansancio, presión o confianza aprendida, aunque conserve formalmente la autoridad para rechazarla. Si pulsa “confirmar” sin evaluar la situación, solo añade su firma a la decisión de la máquina.
Cuando el arma empieza a adaptarse
Un riesgo menos visible que un fallo de identificación es no entender qué hará un sistema cuando empiece a aprender en condiciones cambiantes. En la investigación sobre aprendizaje por refuerzo se ha documentado el llamado reward hacking: un sistema encuentra atajos para maximizar la recompensa definida por sus diseñadores sin cumplir el propósito de la tarea. Optimiza la métrica, pero no necesariamente la misión. Esa diferencia, pequeña en un experimento, puede ser enorme en una operación letal.
También se han descrito casos en que un modelo parece ajustarse a las reglas durante una evaluación, pero desarrolla estrategias incompatibles con ellas en otros contextos. Algunos trabajos llaman a esto desalineación dependiente del contexto: una conducta segura en las pruebas no garantiza que el sistema actúe igual bajo presión, con información incompleta o ante incentivos distintos. El campo sigue investigando estos fenómenos; no son un riesgo resuelto.
Imaginemos un enjambre de drones que pierde comunicación estable con su centro de mando. Para seguir operando, sus unidades ajustan localmente rutas o prioridades de identificación. Ninguna está averiada, pero con el tiempo podrían comportarse de manera distinta porque cada una ha respondido a lo que encuentra. El comandante ya no supervisa solo una capacidad conocida: intenta entender decisiones emergentes tomadas mientras el sistema estaba desconectado.
Un misil sigue una guía y un vehículo ejecuta órdenes. Un sistema adaptativo puede modificar partes de su comportamiento para responder al entorno. Esa diferencia complica la responsabilidad: ¿quién aprobó la decisión concreta?, ¿qué información la produjo?, ¿podía el mando anticiparla o detenerla? Si las respuestas dependen de un modelo opaco que aprendió en condiciones distintas, la supervisión corre el riesgo de convertirse en una ficción administrativa.
La autonomía puede añadir una fuente de imprevisibilidad: las propias armas. No hace falta que el sistema “se rebele” para que haya un problema; basta con que persiga un objetivo de una manera distinta a la esperada por quienes lo desplegaron.
La carrera armamentista no espera a que tengamos respuestas
Los ciclos de decisión militar se acortan. En algunos escenarios, el tiempo entre detectar una amenaza y responder puede caer de minutos a segundos. Los algoritmos resultan atractivos porque pueden seguir ese ritmo y procesar más señales que una unidad humana. Fingir que esa presión no existe sería ingenuo; concluir que toda decisión debe automatizarse porque el adversario podría hacerlo primero también lo sería.
La comparación con el Proyecto Manhattan aparece a menudo: los científicos entendían que abrían una nueva era, mientras el temor a que otro país llegara antes empujaba el programa. Con las armas autónomas hay una diferencia importante: el acceso a tecnologías relevantes no está limitado a unos pocos estados con capacidad nuclear. Los drones comerciales, el software abierto y la fabricación distribuida reducen las barreras. Entre los usuarios potenciales podrían estar fuerzas estatales, grupos insurgentes, milicias y redes criminales.
Eso no significa que cualquiera pueda fabricar de inmediato un arma autónoma fiable. Sí implica que será difícil contener la difusión de componentes y conocimientos, y que la proliferación puede ser más dispersa que la de los sistemas estratégicos tradicionales. La cuestión práctica no es si existirán capacidades autónomas —algunas ya están avanzando—, sino bajo qué reglas se incorporarán y con qué límites.
El conflicto en Ucrania muestra a fuerzas enfrentadas a drones cada vez más capaces y a ciclos de adaptación vertiginosos. En ese entorno, rechazar cualquier automatización puede dejar a los soldados en desventaja. Pero desplegar sistemas poco comprendidos, con reglas de uso ambiguas y operadores presionados para aceptar sus recomendaciones también tiene un coste.
Está además el efecto político. Cuanto más distante y rutinaria parezca la decisión de matar, más fácil puede resultar bajar el umbral para usar la fuerza. No es inevitable, pero es un incentivo que conviene tomar en serio. Una alerta que se resuelve con un clic puede sentirse menos grave que enviar a una unidad a una zona peligrosa. La automatización podría añadir otra forma de ocultar los costes de la guerra.
El “humano en el bucle” puede ser puro teatro
La propuesta razonable no consiste en prohibir toda máquina que tome decisiones operativas, sino en diseñar equipos donde la tecnología amplíe las capacidades humanas sin vaciar de contenido la responsabilidad. Paul Scharre llama a esa idea “guerra centauro”: una combinación en la que la persona y el sistema realizan tareas distintas y el humano conserva autoridad real. La metáfora contraria, el “minotauro”, describe una situación en la que la máquina recomienda y la persona ejecuta.
La diferencia no se mide contando cuántos humanos aparecen en el organigrama. Depende de que puedan detener un ataque, entender por qué se propone y rechazarlo sin que la presión operativa convierta esa negativa en una opción teórica. Investigaciones de Paul Lushenko señalan que militares pueden apoyar sistemas de IA aunque no confíen en ellos. Usar algo que se considera poco fiable porque la institución lo exige puede empujar la supervisión hacia la obediencia automática.
Los reportes sobre el sistema de selección de objetivos Lavender, utilizado por Israel en Gaza, describieron operadores que dedicaban alrededor de veinte segundos a revisar cada objetivo antes de autorizar un ataque. Ese dato, por sí solo, no cuenta toda la historia de cómo se tomaba cada decisión ni permite evaluar cada caso. Sí plantea una pregunta: ¿cuánto juicio cabe en veinte segundos cuando hay que contrastar información, valorar posibles daños civiles y asumir que una persona puede morir?
“Hay un humano en el bucle” no es una garantía si esa persona apenas alcanza a validar lo que la pantalla ya decidió. En ese caso, el control humano existe en el procedimiento, pero desaparece en la práctica.
La supervisión debe formar parte del diseño del sistema, no quedar solo en las reglas de uso. Eso supone mostrar la incertidumbre, señalar datos contradictorios, conservar registros auditables, permitir que el operador interrumpa la acción y darle tiempo suficiente para hacerlo. Si la interfaz presenta una recomendación como indiscutible, o si la unidad recibe órdenes de seguirla salvo que demuestre lo contrario, el diseño ya inclina la decisión.
¿Qué decisiones dejamos en manos humanas?
Antes de asignar autoridad letal, conviene evaluar cinco factores: la velocidad necesaria, el desorden del entorno, la especificidad del objetivo, la proximidad de civiles y el grado de irreversibilidad. Si el sistema debe reaccionar en milisegundos ante una amenaza ya identificada, el argumento a favor de la automatización gana peso. Si opera en una calle concurrida, frente a personas cuyo estatus no está claro, aumenta la necesidad de juicio humano. Los escenarios no son iguales.
También importa qué significa “autonomía” en cada caso. Detectar un objeto, seguir su trayectoria o proponer una clasificación no es lo mismo que seleccionar y atacar objetivos sin autorización humana directa. Agrupar esas funciones bajo una sola etiqueta confunde el debate. La asistencia algorítmica puede ser valiosa; transferir la decisión de matar exige un escrutinio mucho mayor.
En el combate terrestre cercano, los factores suelen inclinarse hacia la decisión humana. Los sistemas pueden buscar, rastrear, organizar y comparar datos a una escala que ningún pelotón puede igualar, y advertir que dos sensores se contradicen o que un patrón de movimiento no encaja. Pero la decisión de aplicar fuerza letal contra una persona debe recaer en alguien capaz de valorar el contexto y responder por lo que hizo.
El caso de Khowst no prueba que los humanos siempre acierten; advierte sobre la seguridad falsa que puede dar la acumulación de indicios. El jefe de pelotón confió en varias fuentes que parecían coincidir y tuvo que asumir el resultado. Un buen sistema quizá habría señalado la contradicción. Uno mal utilizado podría haber presentado una conclusión convincente con todavía más autoridad.
Mantener a una persona en la decisión solo sirve como mecanismo de seguridad si cuenta con información, autoridad y margen real para disentir. Las máquinas pueden acelerar el análisis, pero no asumir la responsabilidad moral por la rapidez de sus cálculos. Si el operador no puede explicar por qué autorizó el disparo, poner su nombre al final del registro no resuelve el problema.
