Lo que aprenderás
Los rastreadores no tienen todos el mismo propósito. Algunos descubren o indexan, otros generan vistas previas y otros pueden usarse para entrenamiento o respuesta. Una política responsable parte de conocer qué información pública quieres que sea accesible y qué consecuencia aceptas.
El límite que debes tener claro
Controla cada forma de acceso por separado
- 01
Clasifica el contenido
Público, restringido, licenciado, sensible o temporal.
- 02
Define qué función necesitas
Búsqueda, vista previa, asistencia o entrenamiento pueden tener controles distintos.
- 03
Elige el control apropiado
Autenticación protege datos; robots.txt gestiona solicitudes de rastreo.
- 04
Valida y documenta
Prueba respuestas y revisa las reglas actuales de cada proveedor.
Conceptos clave
Distingue funciones
Separa rastreo para búsqueda, vista previa, entrenamiento, analítica y respuesta cuando el proveedor lo haga posible.
Evalúa información y riesgo
Considera licencia, datos personales, contenido premium, recursos de soporte, carga del servidor y valor de descubrimiento.
Documenta la decisión
Anota proveedor, directiva, alcance, dueño, motivo, fecha y señal que te hará revisar la política.
Una directiva de rastreo no protege información privada
robots.txt solicita a rastreadores compatibles que no visiten ciertas rutas. No es autenticación ni garantiza que una URL secreta no aparezca por referencias externas.
Pregunta: ¿La información necesita credenciales o solo limitar rastreo?
Comprueba cada control con su proveedor
Los nombres de agentes, propósitos, plazos y reglas varían. Revisa documentación vigente y registros del servidor; no copies listas antiguas sin validarlas.
Pregunta: ¿Qué comportamiento exacto afirma el proveedor y cómo lo verificarás?
El método práctico
- 01
Haz inventario de contenido
Clasifica información pública, restringida, licenciada, sensible y temporal.
- 02
Consulta documentación actual
Revisa las directivas y controles que cada proveedor reconoce.
- 03
Define una política mínima
Permite o limita por motivo claro, no por moda.
- 04
Monitoriza impacto
Revisa registros, carga, incidentes, usos y cambios de política.
Google Search no exige una longitud fija de respuesta, un archivo de IA especial ni un esquema especial para sus funciones de IA. Publica contenido original y útil para las personas; evita crear páginas casi duplicadas solo para abarcar variaciones de prompts y mantén los datos estructurados alineados con el contenido visible.
Consulta la guía de Google sobre IA generativa en Search. Para Google Search Console, el informe de rendimiento de IA generativa permite consultar impresiones agrupadas por página, país, fecha o dispositivo; Discover tiene un informe distinto.
Si no lo ves, la propiedad puede no tener acceso o aún no alcanzar el umbral de impresiones. Las impresiones muestran exposición, no por qué apareció una página.
Compáralas con las conversiones y revisa por separado las citas visibles en otros asistentes. Consulta los detalles del informe.
Taller de acceso
Separa artículos públicos de documentación restringida
Elige controles según confidencialidad y uso. Nunca publiques información sensible confiando solo en una regla de rastreo.
Escenario
Una base de conocimiento deja abiertos artículos de ayuda, pero también incluye documentación contractual y material de formación de pago en rutas públicas.
El equipo debe clasificar activos, proteger contenido restringido y decidir qué se permite a rastreadores específicos según la política aprobada.
Define el acceso paso a paso
Inventaría tipos de contenido
Lista documentos públicos, de clientes, licenciados, sensibles y temporales, con su dueño y propósito.
Comprueba la exposición real
Prueba si una persona anónima puede abrir la URL, descargar archivos o encontrar enlaces directos. Añade permisos cuando el material no sea público.
Define usos y agentes por separado
Decide qué contenido puede rastrearse para búsqueda, vista previa u otras funciones. Consulta instrucciones actuales y sus efectos antes de cambiar robots.txt.
Implementa el control adecuado
Usa autenticación y autorización para datos privados; reglas de rastreo y noindex solo para los objetivos públicos que correspondan.
Prueba y registra excepciones
Comprueba respuestas desde fuera de sesión, revisa logs y documenta quién aprobó la regla y cuándo se volverá a validar.
Registro de contenido y acceso
- Contenido y dueño: tipo de documento, ubicación y responsable.
- Audiencia: público, cliente, equipo o licencia.
- Riesgo: qué dato se revelaría si la URL se comparte.
- Agente y función: propósito que necesitas permitir o rechazar.
- Control: autenticación, autorización, robots, noindex u otro mecanismo.
- Prueba y revisión: respuesta observada, fecha y responsable.
Revisión de seguridad y búsqueda
- ¿Lo confidencial exige inicio de sesión y permiso en el servidor?
- ¿Las reglas se dirigen al propósito correcto?
- ¿Se comprobó qué pasa con una URL conocida desde fuera?
- ¿Se evita bloquear recursos que el buscador necesita para entender páginas públicas?
- ¿Hay dueño y fecha para volver a consultar documentación del proveedor?
Consulta la introducción de Google a robots.txt y la documentación de agentes de OpenAI. Sus controles tienen propósitos distintos y la configuración debe revisarse según el contenido que publicas.
Ejemplo: base de conocimiento
Una empresa deja abiertos artículos de ayuda, pero tiene documentación contractual y material de formación de pago en rutas públicas. Clasifica el contenido, corrige controles de acceso y define una política para bots documentada con legal y soporte.
Taller aplicado · 45–60 minutos
Decide el acceso de rastreadores de IA por propósito
No todos los rastreadores hacen el mismo trabajo. Documenta qué contenido puede usarse para descubrimiento, respuestas, entrenamiento u otras funciones, y separa decisiones de acceso de promesas que robots.txt no puede cumplir. Una directiva de rastreo tampoco reemplaza seguridad de acceso.
Caso de trabajo
Una empresa de seguridad B2B publica documentación, notas de producto y un centro de confianza. También aloja manuales de clientes tras inicio de sesión. Legal pide “bloquear toda IA”, marketing quiere aparecer en respuestas y desarrollo propone añadir un archivo llms.txt como única política.
- Movimiento 1
Clasifica contenido y riesgo
Separa material público, sensible, contractual, con licencia, personal y obsoleto. Nombra propietario, propósito permitido, autenticación y regla de retirada.
- Movimiento 2
Inventaría agentes y funciones
Registra agente de usuario, operador, finalidad declarada, control disponible, comportamiento observado y fuente oficial. No trates una etiqueta genérica como política universal.
- Movimiento 3
Diseña controles por capa
Usa autenticación y autorización para contenido privado; robots para solicitudes de rastreo donde corresponda; encabezados, acuerdos y controles del proveedor según el caso. No publiques secretos y luego confíes en una directiva.
- Movimiento 4
Prueba acceso y consecuencia
Solicita URL públicas, bloqueadas, autenticadas, canónicas y retiradas con agentes de prueba. Comprueba código, cuerpo, caché, registro y si una página sigue enlazada desde superficies públicas.
- Movimiento 5
Publica la decisión y revisa cambios
Documenta quién aprobó, qué usuarios cubre, qué no garantiza y cuándo se revisará. Sigue anuncios oficiales y conserva un historial de modificaciones.
Cómo se vería una respuesta sólida
La empresa mantiene accesible la documentación pública para descubrimiento, exige autenticación real en manuales de clientes y publica políticas específicas por agente cuando existe control documentado. No considera llms.txt un requisito de Google ni un sustituto de acceso. El centro de confianza explica el alcance y el equipo prueba que ninguna URL privada responde sin sesión.
Evidencia que debes entregar
Entrega inventario de contenido, registro de agentes, matriz de controles, pruebas de acceso, archivo de políticas y calendario de revisión.
Prueba los fallos antes de aprobar
Un bloqueo global mezcla fines distintos
Rastreo para búsqueda, entrenamiento, recuperación y agentes de usuario no son la misma decisión. Enumera contenido, actor, finalidad y control disponible. Una consigna general no sustituye una política verificable.
El archivo propuesto no controla el acceso real
Publicar llms.txt puede comunicar preferencias, pero no reemplaza autenticación, robots, cabeceras ni contratos. Prueba el comportamiento que cada mecanismo realmente impone antes de presentarlo como protección.
La documentación pública expone material de clientes
Una ruta enlazada desde el centro de ayuda atraviesa una frontera que debía exigir sesión. Revisa permisos desde una cuenta nueva y sin credenciales. El control de acceso debe vivir en el servidor.
Defiende la decisión
Construye una matriz con documentación pública, notas, centro de confianza y manuales privados. Para cada superficie, decide descubrimiento, rastreo, indexación, recuperación y entrenamiento según riesgo y objetivo. Ejecuta solicitudes con agentes representativos y demuestra la respuesta. Explica lo que no puedes garantizar y quién revisará cambios de política.
Deja un traspaso que otra persona pueda usar
Entrega inventario de rutas, clasificación, controles técnicos, pruebas HTTP, propietarios y fecha. Incluye una prueba negativa de contenido privado y un procedimiento de incidente. No publiques una señal voluntaria como si fuera una barrera de seguridad.
Prueba de cierre
Prueba de cierre: crea una URL privada de ensayo y verifica solicitudes sin sesión, con varios agentes y desde un enlace público accidental. Cualquier respuesta útil fuera de autorización detiene la política hasta corregir el control del servidor.
Qué observar después
Registra solicitudes, respuestas y cambios de configuración por clase de contenido. Repite pruebas de acceso tras despliegues y revisa incidentes. No interpretes ausencia en una muestra de respuestas como prueba de que un actor no accede.
Criterios de aceptación
- El contenido privado usa autorización.
- Cada control tiene un propósito.
- No se promete impedir usos no controlables.
- Las pruebas incluyen cuerpo y código.
- La política tiene propietario.
Fuentes oficiales para revisar
Aplícalo ahora
Convierte la lección en una decisión
Crea un registro de cuatro tipos de contenido: valor público, riesgo, rastreadores relevantes, regla actual, dueño y fecha de revisión.
Antes de seguir
- Diferencio propósitos de rastreo.
- Mi política considera contenido, licencia y operación.
- Uso documentación oficial actualizada.
- Registro y reviso cada decisión.
Pon esta lección en práctica.
Crea una cuenta gratuita de Spacebrain y organiza tu trabajo SEO con los proveedores de datos que elijas.