Funcionamiento del test Content Loss

• Se setea el viewport inical: 1280x720px
• Se capturan los elementos en el estado actual utilizando en AXTree
• Se hace un scroll completo sobre la página, dividida en 8 steps para permitir la carga/renderizado de elementos y estabilidad antes de hacer la screenshot al 100%.
• Una vez hecha la screenshot, se hace reflow a 320px de ancho
• Se capturan los elementos de la página en este estado
• Empiza la verificación de pérdida de contenido usando Computer Use

Computer Use

Computer Use es una herramienta de Antrhopic donde un agente de IA interactúa con un entorno y se retroalimenta de sus propias acciones, memorias y metadatos. Tenemos un main loop de 30 pasos másximos donde se ejecuta la investigación sobre la pagina en nuestro browser virtual. El modelo por defecto (claude-haiku-4-5) tiene acceso a la lista de elementos capturados previamente así como a las screenshots originales. Este agente es capás de ejecutar una serie de herramientas que permiten llevar a cabo la investigación

Herramientas del agente

• Click derecho
• Scroll
• Click por backendId (referenciado de la lista de elementos capturados)
• Manejo de tamaño de viewport (100% y reflow)
• Llamar a un modelo inteligente (claude-sonnet-4-5)
• Resetear la página
• Manejo de memoria (recuerdos)
• Hacer screenshots para ver el estado actual

Estas herramientas son usadas por el agente según el contexto y el prompt general que recibe en el main loop, él decide cuándo utilizar cada una.

¿Cómo Ejecutar el Test Manualmente?

Para reproducir el test manualmente en el navegador:

1. Abrir la página a probar en 2 ventanas de Chrome diferentes
2. En la primera ventana ajustar el tamaño del viewport hasta lograr 1280px de ancho. Puede apoyarse en https://whatismyviewport.com/
3. En la segunda ventana ajustar el viewport hasta lograr 320px de ancho. Puede apoyarse en las DevTools quitando el modo responsive y ajustando el viewport
4. Observar elementos que se han perdido en esta vista

Limitaciones

• Puede presentar maissing issues: Ya sea por la cantidad de contenido a procesar en cada iteración o por una limpieza de caché que se hace sistemáticamente cuando se detecta que hay mucho consumido (para ahorrar tokens/costos)
• Al momento de escrita esta documentación se han dado casos aislados de falsos positivos, relacionados todos a la interacción con elementos como menús hamburguesa donde el agente no ha sido capaz de ejecutar el click correctamente
• Coordenadas del click: Es común que el modelo por defecto (claude-haiku-4-5) tenga cierta incertidumbre al momento de sugerir las coordenadas donde debe afectuarse el click. Para ello tenemos la herramienta "Llamar a un modelo inteligente" donde se hace una única llamada con este modelo costoso para resolver los clicks.
• Scroll sticky: Páginas grandes con scroll sticky en secciones hacen que el modelo consuma demasiados pasos de los 30 que tiene para realizar la investigación y además lo hace dudar de si está efectuando las acciones correctamente. También desperdicia memoria/caché
• Elementos que en diferentes tamaños de viewport tengan la misma funcioanalidad pero significados ambiguos para el modelo, pueden generar FP en ocaciones (caso "Try for Free" en Accessibly)