Damnatiox
知识文件夹

Browser Runtime

现代 Agent Engineering 学习路线:Browser Runtime

0 子目录4 文档

文档

4
Browser Agent 推荐阅读Browser Agent 推荐阅读 Playwright Documentation:locator、auto wait、browser context、trace 和测试断言。 Anthropic Computer Use:computer tool 的观察与动作接口。 browser use:开源 Browser Agent 实现。 WebArena:真实网页任务 benchmark。 VisualWebArena:结合视觉理解的Browser Agent 的观察—动作循环Browser Agent 的观察—动作循环 Browser Agent 与普通 API Tool 的差别在于:网页是动态、部分可观察、受异步加载影响的环境。动作通常依赖当前 DOM、视觉状态、URL、frame 和登录状态。 1. 观察 可用观察包括: URL、标题和导航历史; DOM/可访问性树; 可交互元素及稳定定位; 截图; 网络/控制台错误; frame、dialog、下载; 上一步动作结果。 不要每轮把完整 HTML 塞给模Playwright 可靠操作与失败恢复Playwright 可靠操作与失败恢复 1. 浏览器会话 明确 context、page、storage state 和下载目录。不同任务使用隔离 context;只有确实需要时加载已有登录状态。运行结束清理临时数据并保存必要证据。 2. 失败分类 element not found; multiple matches; not visible/not enabled; detached/stale; navigation timeo截图、DOM、动作日志与 Browser Agent 评测截图、DOM、动作日志与 Browser Agent 评测 1. 三类证据 截图 :保留视觉布局、弹窗、图标和画布状态; DOM/可访问性树 :保留文本、角色、属性和可定位结构; 动作日志 :记录动作、参数、时间、结果和状态变化。 三者互补。只有截图难以自动检索,只有 DOM 又会丢失 canvas、视觉层级和遮挡。 2. 每步日志 3. 数据控制 截图前遮盖密码、支付和个人信息字段; 日志不保存 cookie、token; 下载文件按