Agentes que navegan por la web

Algunos agentes funcionan realmente manejando un navegador: cargando una página, leyendo lo que se renderizó, siguiendo enlaces, tomando una captura de pantalla o un PDF. Así es como enfrentan los sitios que construyen su contenido en JavaScript.

Encontrarás esto a través del agente de navegador, la capacidad de navegador o el modo de navegación de un trabajo de enriquecimiento.

Lo que puede alcanzar

Sitios web públicos, a través de HTTP y HTTPS. Nada más.

El navegador se ejecuta en un lugar sin ruta a nada privado — ni nuestros servicios internos, ni nada en tu propia red. Las solicitudes a direcciones privadas o reservadas se rechazan en la frontera, y el rechazo se basa en la dirección a la que realmente se está conectado, no en una verificación anterior. Un nombre de host que se resuelve a una dirección pública cuando se inspecciona y a una privada cuando se utiliza aún se rechaza.

Esto es importante saber por dos razones:

• Las URL internas no funcionarán. Apuntar un agente de navegación a algo en tu propia intranet, a una IP privada o a localhost fallará. No hay configuración para cambiar eso.
• Es una frontera, no un filtro. No depende de que el agente se comporte, así que un aviso que intenta convencer a un agente de probar aún no pasará.

Cuando se rechaza una página

Se le informa al agente de manera clara, y se le indica que no intente de nuevo:

Bloqueado por la frontera de salida del navegador… No reintentar — esta es la política, no un fallo transitorio.

Esa redacción es intencional. Sin ella, el fallo se parece a un tiempo de espera, y el agente agota sus pasos restantes intentando algo que nunca tendrá éxito. Un rechazo es rápido — alrededor de una décima de segundo — así que un destino bloqueado te cuesta casi nada.

En HTTP simple, es posible que veas la página reportada como devolviendo el estado 403. La misma causa.

Leyendo otros fallos

Lo que ves	Lo que suele ser
Bloqueado por la frontera de salida del navegador	El destino es privado, reservado o no permitido
Estado 403 en una URL que esperabas que funcionara	Igual que lo anterior, a través de HTTP simple
Un tiempo de espera de navegación	El sitio es genuinamente lento, o espera algo que nunca llega
Una página vacía o parcial	El sitio no renderizó nada útil, o necesita un inicio de sesión
El agente se detiene después de varios intentos	Tiene un presupuesto de pasos; un sitio que necesita muchas interacciones puede agotarlo

Lo que cuesta

El trabajo del navegador se mide en segundos de navegador — una unidad distinta de los tokens del modelo, porque el tiempo que tarda una página no tiene relación con cuánto ha leído el modelo. Consulta la referencia de unidades de facturación.

Una página que es rechazada aún cuesta el momento que tomó rechazarla, lo cual es negligible. Una página que se queda colgada hasta que se agota el tiempo de espera cuesta el tiempo de espera.