AutoGod:一款拥有AI视觉的安卓自动化框架

本文涉及的产品
RDS DuckDB + QuickBI 企业套餐,8核32GB + QuickBI 专业版
简介: AutoGod是一款面向安卓的AI视觉自动化框架,融合多引擎OCR、YOLO目标检测与VMP混淆引擎,解决传统方案元素定位脆弱、兼容性差、安全性低等痛点,支持自动化测试、游戏脚本与企业RPA,兼顾智能性、鲁棒性与安全性。

AutoGod:一款拥有AI视觉的安卓自动化框架

一、背景

在安卓自动化领域,传统方案存在几个痛点:

  1. 元素定位脆弱:UI改版后脚本失效
  2. 兼容性差:不同设备需适配多套脚本
  3. 安全性低:脚本容易被反编译

Auto God通过AI视觉识别 + VMP混淆引擎,重新定义了安卓自动化。

AIGamePro特点.png

二、核心技术架构

2.1 多引擎OCR识别

支持三种识别引擎,根据场景灵活切换:

// 切换引擎
$ocr.v("ncnn");  // 速度最快,适合实时识别
$ocr.v("mlkit"); // 准确率高,兼容性好(默认)
$ocr.v("ppv5");  // 支持中英文+特殊字符
// 初始化
$ocr.init();
// 灰度化识别(速度提升30%-50%)
var options = {
   
    region: [0, 0, 500, 300],
    gray: true
};
var result = $ocr.detect(options);
if (result.isSuccess()) {
   
    var lines = result.getLines();
    for (var i = 0; i < lines.size(); i++) {
   
        console.log(lines.get(i).getText());
    }
}

2.2 YOLO目标检测

支持YoloV5-V13全系列:

var yolo = $yolo.create(8);  // 创建YoloV8
// 配置参数
yolo.setUseGpu(true);           // GPU加速
yolo.setSize(640, 640);         // 输入尺寸(必须32的倍数)
yolo.setProbThreshold(0.5);     // 置信度阈值
// 加载自定义模型
// yolo.loadModel("/sdcard/custom.model");
// 执行检测
var img = $img.capture();
var detections = yolo.detect(img);
// 处理结果
for (var i = 0; i < detections.length; i++) {
   
    var det = detections[i];
    console.log("标签: " + det.label + 
                " 位置: (" + det.x + "," + det.y + ")" +
                " 置信度: " + det.confidence);
}

2.3 扩展库加载

支持加载Dex、Jar、Apk、So文件:

// 加载单个dex文件
$ext.loadDex("/sdcard/custom.dex");
// 加载多个dex文件
$ext.loadDexs(["/sdcard/lib1.dex", "/sdcard/lib2.dex"]);
// 加载jar文件
$ext.loadJar("/sdcard/library.jar");
// 加载apk文件
$ext.loadApk("/sdcard/plugin.apk");
// 加载带so库的dex
var options = {
   
    path: ["/sdcard/custom.dex"],
    so: [
        {
   path: "/sdcard/libnative.so", load: true}
    ]
};
$ext.loadDex(options);

三、应用场景

3.1 自动化测试

// 测试用例:登录流程
function testLogin() {
   
    // 识别并点击登录按钮
    var loginBtn = $ocr.getPoint("登录", {
   
        region: [0, 0, 1080, 500]
    });

    if (loginBtn == null) {
   
        console.log("测试失败:登录按钮未找到");
        return false;
    }

    $act.click(loginBtn);
    sleep(1000);

    // 验证登录结果
    var result = $ocr.line({
   
        region: [0, 200, 1080, 400],
        gray: true
    });

    if (result.indexOf("欢迎") !== -1) {
   
        console.log("测试通过");
        return true;
    }

    return false;
}
testLogin();

3.2 游戏自动化

// 初始化:创建并缓存YOLO对象
var storage = $storage.create("game_config");
var yoloId = storage.getStr("yolo_id", null);
if (yoloId == null || !$yolo.has(yoloId)) {
   
    var yolo = $yolo.create(8);
    yolo.setUseGpu(true);
    yolo.setSize(640, 640);
    storage.putStr("yolo_id", yolo.getId());
}
// 使用:获取缓存的YOLO对象
var yolo = $yolo.get(storage.getStr("yolo_id"));
// 检测游戏目标
var screenImg = $img.capture();
var targets = yolo.detect(screenImg);
// 点击目标
for (var i = 0; i < targets.length; i++) {
   
    $act.click(targets[i].x, targets[i].y);
    sleep(500);
}

3.3 企业级RPA

// 自动填写表单
function fillForm(data) {
   
    // 填写姓名
    var nameField = $ocr.getPoint("姓名");
    if (nameField) {
   
        $act.click(nameField);
        $act.input(data.name);
    }

    // 填写电话
    var phoneField = $ocr.getPoint("电话");
    if (phoneField) {
   
        $act.click(phoneField);
        $act.input(data.phone);
    }

    // 提交
    var submitBtn = $ocr.getPoint("提交");
    if (submitBtn) {
   
        $act.click(submitBtn);
    }
}
var formData = {
   
    name: "张三",
    phone: "13800138000"
};
fillForm(formData);

四、安全机制

4.1 VMP混淆引擎

脚本在执行前会编译成混淆码:

  • 函数名加密
  • 字符串加密
  • 字段混淆
  • 无法还原源码

4.2 云端验证

  • 非对称加密传输
  • 本地+云端双校验
  • 防离线破解

五、并发编程支持

// 多线程截图(Auto God支持并发)
function task1() {
   
    var img1 = $img.capture();
    // 处理图片...
}
function task2() {
   
    var img2 = $img.capture();
    // 处理图片...
}
// 两个线程可以同时截图,互不干扰
var thread1 = new Thread(task1);
var thread2 = new Thread(task2);
thread1.start();
thread2.start();

六、总结

Auto God的优势:

  • ✅ AI视觉识别,无需固定坐标
  • ✅ 多引擎支持,灵活切换
  • ✅ VMP混淆,安全性高
  • ✅ 并发编程,稳定可靠
  • ✅ 扩展性强,支持第三方库

官网:https://auto-god.netlify.app/

画图-app截屏1.png

目录
相关文章
|
2月前
|
编解码 文字识别 安全
AutoGod:安卓5-16全兼容!一站式自动化框架,开发效率直接拉满
Auto-God是一站式安卓自动化框架,兼容Android 5–16,覆盖手势、视觉(OCR/YOLO)、网络、UI(Material3悬浮界面)、拓展及安全(防HOOK/抓包/破解)全能力,开箱即用,真机/模拟器/云手机全支持,让自动化开发更简单、高效、安全。
708 0
|
JavaScript 测试技术 Android开发
AutoGod-新一代安卓自动化测试平台
AutoGod是新一代安卓自动化测试平台,支持Shizuku/Root/无障碍/HID等多策略;内置Yolo全系列+主流OCR;Material Design3可视化UI开发(几行XML即可);JS代码经简化、混淆、VMP转码三重保护,APK高度防逆向;专为开发者优化,兼顾易用性与安全性。(239字)
563 2
|
2月前
|
人工智能 编解码 测试技术
我用300天开发了一个自动化助手,让手机自己"工作"
我用300天开发了一个自动化助手,让手机自己"工作"
290 5
|
2月前
|
人工智能 Linux API
从0到1玩转OpenClaw:保姆级部署流程(阿里云+Windows/Mac/Linux)+ 免费大模型配置及避坑指南
2026年,AI技术的核心变革已从“生成内容”深度转向“落地执行”,而OpenClaw(前身为Clawdbot、Moltbot)作为开源AI自动化代理引擎的领军者,正以“本地优先、强执行能力、多端适配”的核心优势,成为个人与企业构建“自托管式数字员工”的首选工具。截至2026年3月,其GitHub星标已突破28万,社区贡献者超378人,技能生态覆盖办公、开发、生活等全场景,真正实现了从“对话式建议”到“自动化执行”的跨越,彻底打破了传统AI“只说不做”的局限。
1533 168
|
1月前
|
数据采集 存储 监控
网络爬虫工具选型与实操:从入门到精通,避开常见坑
本文将探讨网络爬虫工具的基本概念及其应用,介绍如何通过高匿代理IP来隐藏数据抓取过程中的身份信息。同时,阐述建立自己的爬虫系统的方法,帮助读者深入了解爬虫技术的实际操作和注意事项,为数据采集和分析提供参考。
286 10
|
2月前
|
人工智能 弹性计算 Ubuntu
OpenClaw+Ollama v0.18.1 联网搜索全攻略:阿里云+本地三系统部署+千问/Coding Plan配置及问题排查
2026年,本地AI智能体已进入实用化阶段,OpenClaw(原Clawdbot/Moltbot)凭借强大的插件生态与多渠道接入能力,成为主流开源AI助手框架。Ollama v0.18.1版本带来工具调用优化、云模型无缝直连、结构化输出等核心升级,搭配@ollama/openclaw-web-search官方联网插件,可让OpenClaw突破本地模型知识截止日期限制,实现实时联网检索、信息整理、数据追踪等能力。本文基于最新版本,完整覆盖Windows11/MacOS/Linux本地部署、阿里云ECS云端部署、Ollama v0.18.1对接、联网搜索插件配置、阿里云千问API与免费Coding
2409 19
|
2月前
|
人工智能 自然语言处理 监控
OpenClaw(养龙虾)全攻略:是什么?能做什么?怎么部署?
全网爆火的“养龙虾”实为部署开源AI智能体OpenClaw!它不止能对话,更能动手:自动办公、写代码、抢电商、控家居、创内容。图标是红机械龙虾,故得名。阿里云一键部署,2步搞定,支持微信/飞书等自然语言操控。让AI真正替你干活!
1465 9
|
2月前
|
供应链 安全 数据安全/隐私保护
供应链投毒与窃密木马的协同攻击机制及防御策略
本文剖析供应链投毒与Stealer木马协同攻击新范式,揭示其通过污染GitHub、滥用CI/CD、依赖混淆等手段实现隐蔽窃密的全链路机制,并提出融合SBOM验证、行为启发式分析与零信任架构的主动防御框架。(239字)
234 12