AutoGod:一款拥有AI视觉的安卓自动化框架

本文涉及的产品
RDS DuckDB + QuickBI 企业套餐,8核32GB + QuickBI 专业版
简介: AutoGod是一款面向安卓的AI视觉自动化框架,融合多引擎OCR、YOLO目标检测与VMP混淆引擎,解决传统方案元素定位脆弱、兼容性差、安全性低等痛点,支持自动化测试、游戏脚本与企业RPA,兼顾智能性、鲁棒性与安全性。

AutoGod:一款拥有AI视觉的安卓自动化框架

一、背景

在安卓自动化领域,传统方案存在几个痛点:

  1. 元素定位脆弱:UI改版后脚本失效
  2. 兼容性差:不同设备需适配多套脚本
  3. 安全性低:脚本容易被反编译

Auto God通过AI视觉识别 + VMP混淆引擎,重新定义了安卓自动化。

AIGamePro特点.png

二、核心技术架构

2.1 多引擎OCR识别

支持三种识别引擎,根据场景灵活切换:

// 切换引擎
$ocr.v("ncnn");  // 速度最快,适合实时识别
$ocr.v("mlkit"); // 准确率高,兼容性好(默认)
$ocr.v("ppv5");  // 支持中英文+特殊字符
// 初始化
$ocr.init();
// 灰度化识别(速度提升30%-50%)
var options = {
   
    region: [0, 0, 500, 300],
    gray: true
};
var result = $ocr.detect(options);
if (result.isSuccess()) {
   
    var lines = result.getLines();
    for (var i = 0; i < lines.size(); i++) {
   
        console.log(lines.get(i).getText());
    }
}

2.2 YOLO目标检测

支持YoloV5-V13全系列:

var yolo = $yolo.create(8);  // 创建YoloV8
// 配置参数
yolo.setUseGpu(true);           // GPU加速
yolo.setSize(640, 640);         // 输入尺寸(必须32的倍数)
yolo.setProbThreshold(0.5);     // 置信度阈值
// 加载自定义模型
// yolo.loadModel("/sdcard/custom.model");
// 执行检测
var img = $img.capture();
var detections = yolo.detect(img);
// 处理结果
for (var i = 0; i < detections.length; i++) {
   
    var det = detections[i];
    console.log("标签: " + det.label + 
                " 位置: (" + det.x + "," + det.y + ")" +
                " 置信度: " + det.confidence);
}

2.3 扩展库加载

支持加载Dex、Jar、Apk、So文件:

// 加载单个dex文件
$ext.loadDex("/sdcard/custom.dex");
// 加载多个dex文件
$ext.loadDexs(["/sdcard/lib1.dex", "/sdcard/lib2.dex"]);
// 加载jar文件
$ext.loadJar("/sdcard/library.jar");
// 加载apk文件
$ext.loadApk("/sdcard/plugin.apk");
// 加载带so库的dex
var options = {
   
    path: ["/sdcard/custom.dex"],
    so: [
        {
   path: "/sdcard/libnative.so", load: true}
    ]
};
$ext.loadDex(options);

三、应用场景

3.1 自动化测试

// 测试用例:登录流程
function testLogin() {
   
    // 识别并点击登录按钮
    var loginBtn = $ocr.getPoint("登录", {
   
        region: [0, 0, 1080, 500]
    });

    if (loginBtn == null) {
   
        console.log("测试失败:登录按钮未找到");
        return false;
    }

    $act.click(loginBtn);
    sleep(1000);

    // 验证登录结果
    var result = $ocr.line({
   
        region: [0, 200, 1080, 400],
        gray: true
    });

    if (result.indexOf("欢迎") !== -1) {
   
        console.log("测试通过");
        return true;
    }

    return false;
}
testLogin();

3.2 游戏自动化

// 初始化:创建并缓存YOLO对象
var storage = $storage.create("game_config");
var yoloId = storage.getStr("yolo_id", null);
if (yoloId == null || !$yolo.has(yoloId)) {
   
    var yolo = $yolo.create(8);
    yolo.setUseGpu(true);
    yolo.setSize(640, 640);
    storage.putStr("yolo_id", yolo.getId());
}
// 使用:获取缓存的YOLO对象
var yolo = $yolo.get(storage.getStr("yolo_id"));
// 检测游戏目标
var screenImg = $img.capture();
var targets = yolo.detect(screenImg);
// 点击目标
for (var i = 0; i < targets.length; i++) {
   
    $act.click(targets[i].x, targets[i].y);
    sleep(500);
}

3.3 企业级RPA

// 自动填写表单
function fillForm(data) {
   
    // 填写姓名
    var nameField = $ocr.getPoint("姓名");
    if (nameField) {
   
        $act.click(nameField);
        $act.input(data.name);
    }

    // 填写电话
    var phoneField = $ocr.getPoint("电话");
    if (phoneField) {
   
        $act.click(phoneField);
        $act.input(data.phone);
    }

    // 提交
    var submitBtn = $ocr.getPoint("提交");
    if (submitBtn) {
   
        $act.click(submitBtn);
    }
}
var formData = {
   
    name: "张三",
    phone: "13800138000"
};
fillForm(formData);

四、安全机制

4.1 VMP混淆引擎

脚本在执行前会编译成混淆码:

  • 函数名加密
  • 字符串加密
  • 字段混淆
  • 无法还原源码

4.2 云端验证

  • 非对称加密传输
  • 本地+云端双校验
  • 防离线破解

五、并发编程支持

// 多线程截图(Auto God支持并发)
function task1() {
   
    var img1 = $img.capture();
    // 处理图片...
}
function task2() {
   
    var img2 = $img.capture();
    // 处理图片...
}
// 两个线程可以同时截图,互不干扰
var thread1 = new Thread(task1);
var thread2 = new Thread(task2);
thread1.start();
thread2.start();

六、总结

Auto God的优势:

  • ✅ AI视觉识别,无需固定坐标
  • ✅ 多引擎支持,灵活切换
  • ✅ VMP混淆,安全性高
  • ✅ 并发编程,稳定可靠
  • ✅ 扩展性强,支持第三方库

官网:https://auto-god.netlify.app/

画图-app截屏1.png

目录
相关文章
|
JavaScript 测试技术 Android开发
AutoGod-新一代安卓自动化测试平台
AutoGod是新一代安卓自动化测试平台,支持Shizuku/Root/无障碍/HID等多策略;内置Yolo全系列+主流OCR;Material Design3可视化UI开发(几行XML即可);JS代码经简化、混淆、VMP转码三重保护,APK高度防逆向;专为开发者优化,兼顾易用性与安全性。(239字)
672 2
|
3月前
|
编解码 文字识别 安全
AutoGod:安卓5-16全兼容!一站式自动化框架,开发效率直接拉满
Auto-God是一站式安卓自动化框架,兼容Android 5–16,覆盖手势、视觉(OCR/YOLO)、网络、UI(Material3悬浮界面)、拓展及安全(防HOOK/抓包/破解)全能力,开箱即用,真机/模拟器/云手机全支持,让自动化开发更简单、高效、安全。
877 1
|
3月前
|
人工智能 编解码 测试技术
我用300天开发了一个自动化助手,让手机自己"工作"
我用300天开发了一个自动化助手,让手机自己"工作"
326 5
|
1天前
|
SQL JSON 关系型数据库
企业级多模态分析计算引擎选型:阿里云 AnalyticDB MySQL 统一分析平台方案
阿里云AnalyticDB MySQL版是PB级云原生实时数据仓库,首创多模态统一分析引擎,单SQL原生支持SQL分析、向量检索、全文搜索与JSON分析,替代3–5套独立系统,综合成本降50%+,运维复杂度降80%,适用于AI+数据融合、多源异构统一查询等企业级场景。
148 17
企业级多模态分析计算引擎选型:阿里云 AnalyticDB MySQL 统一分析平台方案
|
1天前
|
机器学习/深度学习 数据采集 人工智能
田间杂草检测数据集分享(适用于YOLO系列深度学习分类检测任务)
本数据集含4000张真实农田图像(小麦/玉米/水稻田),YOLO格式标注杂草目标,覆盖多天气、光照与视角,适用于YOLO系列等目标检测模型训练,助力智能除草与精准农业研究。(239字)
221 16
|
24天前
|
域名解析 缓存 网络协议
DNS 与 hosts 文件:Windows 11 中的名称解析配置
本文详解Windows域名解析机制,重点对比hosts文件(本地静态映射,优先级最高)与DNS(远程动态查询)的原理、配置及优先级顺序,并指导如何在Win11中修改hosts、刷新缓存、设置DNS服务器,涵盖开发测试、访问加速、广告屏蔽等实用场景。
|
2月前
|
人工智能 自然语言处理 测试技术
不会写代码也能做Skill?低代码+AI实测
本文探讨AI时代测试工程师如何零代码打造可复用的AI技能(Skill):从“用AI写脚本”跃迁至“教AI帮别人写脚本”。依托JeecgBoot、OpenClaw、Claude Skill-Creator等低代码+AI工具,测试经验可转化为结构化SOP,封装为AI可理解、执行、共享的能力资产。实操路径清晰,门槛远低于想象。
|
2月前
|
数据采集 存储 监控
网络爬虫工具选型与实操:从入门到精通,避开常见坑
本文将探讨网络爬虫工具的基本概念及其应用,介绍如何通过高匿代理IP来隐藏数据抓取过程中的身份信息。同时,阐述建立自己的爬虫系统的方法,帮助读者深入了解爬虫技术的实际操作和注意事项,为数据采集和分析提供参考。
329 10