考虑结合使用XML解析出来的可交互元素信息吗？

[languse-ai]

感谢分享这么棒的项目和模型。受到这个项目和browser-use的启发，我自己做了一个android-use, 不一样的地方是它不是纯靠视觉的方案，而是通过 XML 解析技术自动高亮可交互元素，并支持通过索引进行点击，显著提升了 Agent 的定位能力和操作准确性。基本支持市面上主流的模型，甚至包括非视觉的模型包括GLM-4.7, kimi-k2, deepseek等

1224.mp4

另外有几个小的tips想分享一下：

1. 可以考虑是用uiautomator2这个库来做跟android的交互， 它接口封装得挺好得，而且会自动安装adb keyboard, 省去用户安装的麻烦。
2. 可以考虑用adbutils这个库来做adb得底层交互，也省去用户安装adb。
3. 可以考虑让agent一步输出多个action，这样可以提升效率，目前android-use已经支持

[wwwsctvcom]

你的项目应该做了一段时间了吧，里面东西还挺多的

[shaoguowen]

看着不错啊，很有趣的思路

[tmwgsicp]

效果看起来很好，比视觉快得多，之前我集成了另一个xml方案，效果太差了，感觉这个可以研究下，集成进行项目里，感谢分享

[wfnian]

请问如果app里面有内嵌h5，还能执行吗？

[languse-ai]

你的项目应该做了一段时间了吧，里面东西还挺多的

是的，对state xml感知和agent plan summary做了挺多优化的

[languse-ai]

效果看起来很好，比视觉快得多，之前我集成了另一个xml方案，效果太差了，感觉这个可以研究下，集成进行项目里，感谢分享

谢谢，android-use没有纯依赖xml或视觉，而是先优先xml然后视觉保底的技术路线

[languse-ai]

看着不错啊，很有趣的思路

谢谢

[languse-ai]

请问如果app里面有内嵌h5，还能执行吗？

不行了，这时候只能用视觉，好在android-use没有纯依赖xml或视觉，而是先优先xml然后视觉保底的技术路线