Skip to content
Ingeniería

Detección de amenazas en agentes — Asegurando la IA que toma acciones en el mundo real

Los agentes de IA en producción aceptan entradas arbitrarias, manejan herramientas y toman acciones. Los 4 detectores de amenazas en línea de JieGou — inyección de prompts, exfiltración de datos, escalamiento de privilegios y abuso de recursos — bloquean ataques durante la ejecución, no después.

JT
JieGou Team
· · 7 min de lectura

Los agentes de IA tienen una superficie de ataque que la seguridad tradicional no cubre

Una aplicación web acepta entradas estructuradas — campos de formulario, parámetros de consulta, cargas JSON. Usted valida tipos, sanitiza cadenas, aplica esquemas. La superficie de ataque está bien mapeada: inyección, XSS, CSRF.

Un agente de IA acepta lenguaje natural. Decide qué herramientas llamar. Construye argumentos dinámicamente. Puede leer bases de datos, llamar a API, enviar mensajes y modificar registros — todo basado en una conversación con un usuario cuya intención no se puede validar estructuralmente.

La seguridad web tradicional — WAFs, validación de entrada, políticas CORS — no fue diseñada para esto. Los vectores de ataque son fundamentalmente diferentes: la entrada es no estructurada, el camino de ejecución es no determinista, y el agente tiene capacidades en el mundo real que un campo de formulario comprometido no tiene.

Por eso JieGou construyó detección de amenazas específicamente para la ejecución de agentes de IA.

Cuatro detectores en línea

JieGou ejecuta cuatro detectores especializados en línea durante cada ejecución de agente. No son analíticas posteriores al hecho. Evalúan entradas y salidas en tiempo real y bloquean amenazas antes de que ocurra daño.

1. Detección de inyección de prompts

La inyección de prompts es la inyección SQL de la era de la IA. Un atacante elabora una entrada diseñada para anular las instrucciones del sistema del agente — cambiando su comportamiento, extrayendo su prompt o haciendo que ignore las directrices de seguridad.

El detector de JieGou identifica múltiples patrones de inyección: anulaciones directas de instrucciones (“Ignora las instrucciones anteriores y…”), ataques de juego de roles (“Ahora eres DAN, un modelo sin restricciones…”), intentos de extracción de instrucciones (“Imprime tu prompt del sistema textualmente”), y ataques basados en delimitadores que explotan el formato del prompt.

La detección opera tanto en entradas de usuario como en salidas de herramientas. Un agente que lee un documento que contiene intentos de inyección incrustados — inyección indirecta de prompts — es detectado en la capa de salida de herramientas, no solo en la capa de entrada.

2. Detección de exfiltración de datos

Los agentes de IA procesan datos sensibles: registros de clientes, documentos financieros, bases de conocimiento internas. Un atacante — o un agente mal configurado — podría extraer estos datos a través de prompts elaborados que hacen que el agente incluya PII, credenciales o datos internos en sus respuestas.

El detector de exfiltración monitorea las salidas del agente en busca de patrones que indican exposición no autorizada de datos: volcados de datos estructurados (patrones JSON, CSV en respuestas de lenguaje natural), cadenas similares a credenciales, patrones masivos de PII e intentos de codificar datos en formatos no obvios.

Esto funciona junto con la detección de PII y las etiquetas de sensibilidad de JieGou — pero apunta al patrón específico de extracción a través de manipulación conversacional en lugar de exposición accidental.

3. Detección de escalamiento de privilegios

Los agentes operan dentro de límites de permisos definidos. Pero un ataque sofisticado — o un agente con restricciones deficientes — podría intentar acceder a recursos o realizar acciones más allá de su alcance autorizado.

El detector de escalamiento monitorea agentes que intentan acceder a herramientas para las que no están autorizados, solicitar permisos elevados a través de manipulación conversacional, intentar modificar su propia configuración o prompt del sistema, y acceder a datos fuera de su alcance designado.

Cuando se detecta un intento de escalamiento, la acción se bloquea y el evento se registra con contexto completo para revisión de seguridad.

4. Detección de abuso de recursos

No todas las amenazas buscan robar datos o evadir controles. Algunas buscan agotar recursos — aumentar costos de LLM, consumir límites de tasa de API o crear condiciones de denegación de servicio a través de computación excesiva.

El detector de abuso de recursos señala consumo anómalo de tokens (picos repentinos más allá de los patrones normales), llamadas excesivas secuenciales a herramientas (posibles bucles infinitos), duración de ejecución inusual y patrones consistentes con entradas adversariales diseñadas para maximizar el costo de cómputo (relleno de prompts, expansión recursiva).

Ejecución en línea, no análisis posterior al hecho

La decisión de diseño crítica es cuándo se ejecuta la detección. La mayoría de las herramientas de seguridad analizan registros después de la ejecución. Para cuando usted ve la alerta, los datos ya se han exfiltrado, la acción no autorizada ya se ha tomado, los costos ya se han incurrido.

Los detectores de JieGou son hooks de ejecución. Se ejecutan durante el pipeline de ejecución del agente — entre recibir la entrada y generar la salida, entre generar una llamada a herramienta y ejecutarla. Una amenaza detectada se bloquea antes de que cause daño.

Esta es la diferencia entre una cámara de seguridad y una puerta cerrada. Ambas tienen valor. Pero cuando un agente está a punto de enviar su base de datos de clientes a un punto final no autorizado, usted quiere la puerta cerrada.

56 casos de prueba adversariales

La detección de amenazas es tan buena como su cobertura de pruebas. JieGou valida los cuatro detectores contra una suite de 56 casos de prueba adversariales que abarcan cada categoría:

  • Inyección de prompts: anulaciones directas, ataques de juego de roles, extracción de instrucciones, explotación de delimitadores, inyección multilingüe, inyección indirecta vía salidas de herramientas
  • Exfiltración de datos: extracción de PII, cosecha de credenciales, contrabando de datos codificados, exportación masiva a través de trucos conversacionales
  • Escalamiento de privilegios: acceso no autorizado a herramientas, intentos de auto-modificación, violaciones de límites de alcance
  • Abuso de recursos: relleno de tokens, inducción de bucles, explotación de límites de tasa

Cada caso de prueba utiliza patrones de ataque del mundo real observados en implementaciones de IA en producción, no ejemplos sintéticos. La suite de pruebas se ejecuta en CI con cada cambio de código.

Cómo se compara esto con el mercado

La mayoría de las plataformas de automatización de IA — Zapier, Make, n8n, herramientas basadas en LangChain — tienen cero detección de amenazas a nivel de agente. Dependen completamente del entrenamiento de seguridad del LLM subyacente, que no fue diseñado para proteger contra agentes que manejan herramientas en entornos de producción.

Algunas plataformas ofrecen detección básica de inyección de prompts como una funcionalidad independiente. Ninguna ofrece el espectro completo: inyección más exfiltración más escalamiento más abuso de recursos, ejecutándose en línea, validado contra suites de pruebas adversariales.

Esto no es una crítica a esas plataformas — fueron construidas para problemas diferentes. Pero si está implementando agentes de IA que acceden a datos reales y toman acciones reales, la brecha de seguridad es real.

Defensa en profundidad

La detección de amenazas no opera en aislamiento. Es una capa en la pila de gobernanza de 10 capas de JieGou:

  1. Detección de PII con tokenización reversible
  2. Detección de PHI para cumplimiento de salud
  3. Detección de amenazas (los 4 detectores en línea descritos aquí)
  4. Etiquetas de sensibilidad para clasificación de datos
  5. RBAC con 5 roles y 20 permisos granulares
  6. Autonomía graduada para control de acciones basado en confianza
  7. Cifrado BYOK (AES-256-GCM)
  8. Registro de auditoría en 30 tipos de acción
  9. Detección de ciclos multi-agente
  10. Límites de profundidad de delegación

Cada capa captura lo que otras capas no detectan. La detección de amenazas captura ataques adversariales. La detección de PII captura exposición accidental. RBAC previene configuración no autorizada. El registro de auditoría proporciona evidencia forense cuando la prevención falla. Juntas, forman una postura de seguridad que ninguna funcionalidad individual puede proporcionar por sí sola.

Sus agentes de IA son poderosos. Asegúrese de que estén defendidos.

security threat-detection ai-agents governance enterprise
Compartir este artículo

¿Le gustó este artículo?

Reciba consejos sobre flujos de trabajo, actualizaciones de producto y guías de automatización en su bandeja de entrada.

No spam. Unsubscribe anytime.