一、Midscene.js简介
Midscene.js是一款开源的AI驱动UI自动化工具，由字节跳动Web Infra团队开发。它最大的特点是引入了多模态AI推理能力，使用自然语言描述即可控制浏览器或Android设备执行自动化操作，无需编写复杂的选择器和代码逻辑。
Midscene.js的核心优势包括：
- 自然语言交互：只需描述测试步骤，AI会理解并执行相应操作
- 跨平台支持：支持Web浏览器和Android设备的自动化操作
- 多种模型选择：支持GPT-4o、Qwen2.5-VL、UI-TARS等多种AI模型
- 可视化调试：提供详细的测试报告和回放功能，便于调试和优化
- 开源免费：MIT许可证，支持私有化部署，保障数据安全
二、使用YAML脚本进行自动化测试
传统UI自动化测试需要掌握编程语言和框架，而Midscene.js的YAML脚本方式大大降低了入门门槛，让非技术人员也能编写自动化测试脚本。
1. 环境准备
首先，确保已安装Node.js环境，然后全局安装Midscene CLI工具：
