【DSW Gallery】Gbdt-FM模型

简介: GBDT+FM 模型是由 Gbdt+LR 延伸出来的模型。该模型利用GBDT自动进行特征筛选和组合,进而生成新的离散特征向量,再把该特征向量当做 FM 模型的输入,来产生最后的预测结果。该模型能够综合利用用户、物品和上下文等多种不同的特征,生成较为全面的推荐,在CTR点击率预估场景下使用较为广泛。

直接使用

请打开Gbdt-FM模型,并点击右上角 “ 在DSW中打开” 。

image.png


Gbdt + FM 一体化模型训练及服务部署

GBDT+FM 模型是由 Gbdt+LR 延伸出来的模型。该模型利用GBDT自动进行特征筛选和组合,进而生成新的离散特征向量,再把该特征向量当做 FM 模型的输入,来产生最后的预测结果。该模型能够综合利用用户、物品和上下文等多种不同的特征,生成较为全面的推荐,在CTR点击率预估场景下使用较为广泛。
本文将介绍如何基于DSW使用 Alink 快速的构建 Gbdt+FM 模型,并且会介绍如何方便的将建立的模型部署成服务。

运行环境要求

1. PAI-DSW 官方镜像中默认已经安装了 PyAlink,内存要求 4G 及以上。
2. 本 Notebook 的内容可以直接运行查看,不需要准备任何其他文件。
from pyalink.alink import *
useLocalEnv(2)
Use one of the following commands to start using PyAlink:
 - useLocalEnv(parallelism, flinkHome=None, config=None): run PyAlink scripts locally.
 - useRemoteEnv(host, port, parallelism, flinkHome=None, localIp="localhost", config=None): run PyAlink scripts on a Flink cluster.
 - getMLEnv(): run PyAlink scripts as PyFlink scripts, support 'flink run -py xxx.py'.
Call resetEnv() to reset environment and switch to another.
JVM listening on 127.0.0.1:58007
MLEnv(benv=<pyflink.dataset.execution_environment.ExecutionEnvironment object at 0x7fdd965a0ed0>, btenv=<pyflink.table.table_environment.BatchTableEnvironment object at 0x7fdd965a0ad0>, senv=<pyflink.datastream.stream_execution_environment.StreamExecutionEnvironment object at 0x7fdd965a0b50>, stenv=<pyflink.table.table_environment.StreamTableEnvironment object at 0x7fdd965cc050>)

扩展到更大规模的数据

在这个示例中,我们使用 useLocalEnv 在本地(也就是 DSW 的 container 内)运行 Alink 作业,使用多线程的方式模拟分布式计算。

对于更大规模的数据,可以使用 usePAIEnv 向大规模集群提交作业,详细使用可以通过 help(usePAIEnv) 查看。

数据准备

Adult 数据来源 https://archive.ics.uci.edu/ml/datasets/Adult

算法相关文档:

Adult数据集(即“人口普查收入”数据集),由美国人口普查数据集库 抽取而来,其中共包含48842条记录,年收入大于50k美元的占比23.93%,年收入小于50k美元的占比76.07%,并且已经划分为训练数据32561条和测试数据16281条。 该数据集类变量为年收入是否超过50k美元,属性变量包括年龄、工种、学历、职业等 14类重要信息,其中有8类属于类别离散型变量,另外6类属于数值连续型变量。该数据集是一个分类数据集,用来预测年收入是否超过50k美元。

PATH = "https://alink-test-data.oss-cn-hangzhou.aliyuncs.com/"
TRAIN_FILE = "adult_train.csv"
TEST_FILE = "adult_test.csv"
SCHEMA_STRING = "age bigint, workclass string, fnlwgt bigint, education string, education_num bigint,"\
    + " marital_status string, occupation string, relationship string, race string, sex string, "\
    + "capital_gain bigint, capital_loss bigint, hours_per_week bigint, native_country string, label string"
trainData = CsvSourceBatchOp() \
    .setFilePath(PATH + TRAIN_FILE) \
    .setFieldDelimiter(",") \
    .setSchemaStr(SCHEMA_STRING)
testData = CsvSourceBatchOp() \
    .setFilePath(PATH + TEST_FILE) \
    .setFieldDelimiter(",") \
    .setSchemaStr(SCHEMA_STRING)
trainData.lazyPrint(5)
BatchOperator.execute()
age workclass fnlwgt education education_num marital_status occupation relationship race sex capital_gain capital_loss hours_per_week native_country label
0 51 Private 166934 HS-grad 9 Married-civ-spouse Machine-op-inspct Husband White Male 0 0 40 United-States >50K
1 80 Self-emp-not-inc 26865 7th-8th 4 Never-married Farming-fishing Unmarried White Male 0 0 20 United-States <=50K
2 24 Private 227594 Some-college 10 Never-married Sales Own-child White Female 0 0 20 United-States <=50K
3 50 Private 93690 HS-grad 9 Married-civ-spouse Transport-moving Husband White Male 0 0 40 United-States >50K
4 35 Local-gov 226311 Some-college 10 Divorced Adm-clerical Own-child White Female 0 0 38 United-States <=50K

训练模型

算法相关文档:

我们通过将 GbdtEncoder 和 FM 这两个算子放到一个Pipeline的方式完成模型的一体化训练。这里是用GbdtEncoder对输入的数据进行编码,并将编码的结果输送给FM进行训练。最终我们得到一个pipeline model,这个模型可以用来对数据进行推理,也可以部署成服务。

featureCols = ["age", "fnlwgt", "education_num", "capital_gain",
            "capital_loss", "hours_per_week", "workclass", "education", "marital_status", "occupation",
            "relationship", "race", "sex", "native_country"]
numericalCols = ["age", "fnlwgt", "education_num", "capital_gain",
            "capital_loss", "hours_per_week"]
label = "label"
vecCol = "vec"
gbdtFmPipe = Pipeline() \
    .add(
        GbdtEncoder()\
            .setLabelCol(label)\
            .setFeatureCols(featureCols)\
            .setReservedCols([label])\
            .setPredictionCol(vecCol))\
    .add(
        FmClassifier() \
            .setVectorCol(vecCol) \
            .setLabelCol(label) \
            .setReservedCols([label]) \
            .setPredictionDetailCol("detail") \
            .setPredictionCol("pred"))
model = gbdtFmPipe.fit(trainData)

模型评估

算法相关文档:

模型评估阶段,我们先试用上面训练好的模型对testData进行推理,然后用评估组件EvalBinaryClassBatchOp对推理结果进行评估,最后使用JsonValueBatchOp组件完成评估结果的抽取。

result = model.transform(testData)
result.lazyPrint(5)
EvalBinaryClassBatchOp() \
    .setPredictionDetailCol("detail").setLabelCol(label).linkFrom(result) \
    .link(JsonValueBatchOp().setSelectedCol("Data") \
        .setReservedCols([]) \
        .setOutputCols(["Accuracy", "AUC", "ConfusionMatrix"]) \
        .setJsonPath(["$.Accuracy", "$.AUC", "ConfusionMatrix"])).print()
label pred detail
0 <=50K <=50K {"<=50K":"0.9995387333228002",">50K":"4.612666771997954E-4"}
1 >50K >50K {"<=50K":"1.812868328410211E-5",">50K":"0.9999818713167159"}
2 <=50K <=50K {"<=50K":"0.999317570963927",">50K":"6.824290360729248E-4"}
3 <=50K <=50K {"<=50K":"0.9691711111422066",">50K":"0.030828888857793415"}
4 <=50K <=50K {"<=50K":"0.9650003558051857",">50K":"0.03499964419481427"}


Accuracy AUC ConfusionMatrix
0 0.851852 0.904172 [[2251,817],[1595,11618]]

与 Gbdt+LR 效果对比

算法相关文档:

通过对比可以看到,Gbdt+FM 的效果要比 Gbdt+LR 好一些,对于同一个数据,AUC 大概高0.7个百分点。

gbdtLrPipe = Pipeline() \
    .add(
        GbdtEncoder()\
            .setLabelCol(label)\
            .setFeatureCols(featureCols)\
            .setReservedCols([label])\
            .setPredictionCol(vecCol))\
    .add(
        LogisticRegression() \
            .setVectorCol(vecCol) \
            .setLabelCol(label) \
            .setReservedCols([label]) \
            .setPredictionDetailCol("detail") \
            .setPredictionCol("pred"))
lrModel = gbdtLrPipe.fit(trainData)
resultLr = lrModel.transform(testData)
resultFm = model.transform(testData)
EvalBinaryClassBatchOp() \
    .setPredictionDetailCol("detail").setLabelCol(label).linkFrom(resultLr) \
    .link(JsonValueBatchOp().setSelectedCol("Data") \
        .setReservedCols([]) \
        .setOutputCols(["Accuracy", "AUC", "ConfusionMatrix"]) \
        .setJsonPath(["$.Accuracy", "$.AUC", "ConfusionMatrix"])).print()
EvalBinaryClassBatchOp() \
    .setPredictionDetailCol("detail").setLabelCol(label).linkFrom(resultFm) \
    .link(JsonValueBatchOp().setSelectedCol("Data") \
        .setReservedCols([]) \
        .setOutputCols(["Accuracy", "AUC", "ConfusionMatrix"]) \
        .setJsonPath(["$.Accuracy", "$.AUC", "ConfusionMatrix"])).print()
Accuracy AUC ConfusionMatrix
0 0.847 0.89727 [[2432,1077],[1414,11358]]


Accuracy AUC ConfusionMatrix
0 0.851852 0.904172 [[2251,817],[1595,11618]]


模型写出

算法相关文档:

模型写出阶段,我们使用AkSinkBatchOp将模型写出到文件系统,这里的文件系统可以是本地文件系统(如代码所示),也可以时网络文件系统(比如OSS),可以通过代码:

  fs = OssFileSystem("3.4.1", "oss-cn-hangzhou-zmf.aliyuncs.com", "name", "************", "**********")
  filePath = FilePath("/model/gbdt_fm_model.ak", fs)

完成网络文件系统路径的构建,将这个路径以参数的方式塞给AkSinkBatchOp组件:

  AkSinkBatchOp().setFilePath(filePath).setOverwriteSink(True)

便可以完成将模型写出待网络文件系统的目的。

modelData = model.save();
filePath = "/tmp/gbdt_fm_model.ak"
# 可以将模型文件写出到OSS,这样可以直接部署到EAS,需要一个OSS的idkey。此处直接写出到/tmp 目录下
# fs = OssFileSystem("3.4.1", "oss-cn-hangzhou-zmf.aliyuncs.com", "name", "************", "**********")
# filePath = FilePath("/model/gbdt_fm_model.ak", fs)
modelData.link(AkSinkBatchOp().setFilePath(filePath).setOverwriteSink(True));
BatchOperator.execute();

加载模型并推理

这里加载模型的路径和模型写出时一样,可以是本地文件系统(如代码所示),也可以时网络文件系统(比如OSS)。

model = PipelineModel.load(filePath)
result = model.transform(testData).lazyPrint(5)
BatchOperator.execute()
label pred detail
0 <=50K <=50K {"<=50K":"0.9995387333228002",">50K":"4.612666771997954E-4"}
1 >50K >50K {"<=50K":"1.812868328410211E-5",">50K":"0.9999818713167159"}
2 <=50K <=50K {"<=50K":"0.999317570963927",">50K":"6.824290360729248E-4"}
3 <=50K <=50K {"<=50K":"0.9691711111422066",">50K":"0.030828888857793415"}
4 <=50K <=50K {"<=50K":"0.9650003558051857",">50K":"0.03499964419481427"}


模型部署

模型部署可以使用命令行部署:

!./eascmd64 -i {EAS AccessKeyId} -k {EAS AccessKeySecret} -e pai-eas.cn-beijing.aliyuncs.com create config.json

也可以通过阿里云PAI的交互界面,通过填写若干参数,一键部署,具体细节可以参见文档:

相关实践学习
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
8月前
|
人工智能 安全 API
OpenClaw到底能做什么?OpenClaw两步部署(本地/云端)+Coding Plan API配置+9大真实场景+避坑指南
“花3小时部署好OpenClaw,却对着界面发呆——它到底能做什么?”——这是2026年无数“养虾人”(OpenClaw用户昵称)的共同困惑。正如参考文章中流传的AI圈段子:“90%的人部署OpenClaw的流程是:看到刷屏→买设备→安装配置→发现不知道自动化什么”。
1245 4
|
8月前
|
人工智能 JavaScript Linux
保姆级图文教程!OpenClaw阿里云/本地部署无缝接入Kimi K2.5+百炼大模型+常见问题解答
OpenClaw(曾用名Clawdbot)作为2026年热度极高的开源AI智能体工具,彻底打破传统AI“仅能问答、无法实操”的局限,支持本地文件管理、代码编写、自动化任务执行、长文本处理等核心功能,搭配Kimi K2.5大模型的超强长上下文能力,以及阿里云百炼Coding Plan免费大模型资源,成为个人用户、职场办公、轻量开发人群的首选AI工具。
2482 4
|
13天前
|
人工智能 弹性计算 开发工具
2026 年不用账号不用密钥,DeepSeek Harness 这款插件,一口气打通 13 家大厂模型
总结一下:装这个插件,你不用注册、不用绑卡、不用填一个 Key,就能在 DeepSeek Harness 里用上 DeepSeek V4.1 Flash、Kimi K3 这一批前沿模型,而且是白嫖的、还不限量。三步搞定:下载插件,复制包含 `package.json` 的插件目录路径,在「添加插件」里粘贴路径安装并重启。无论是在阿里云 ECS 上通过命令行部署的 Web 版,还是本地的 Electron 桌面端,都能顺利跑通,快速搭建一套零成本的免费模型使用环境。
437 0
|
27天前
|
人工智能 弹性计算 双11
2026年阿里云双11大促活动:大模型、Token Plan、AI建站、云服务器优惠活动汇总
2026年阿里云双11围绕「模型能力+订阅额度+建站工具+云资源组合」四层结构展开:大模型侧推出Qwen3.8-Flash、Wan3.0-Video与Qwen3.8-Max,并有全模型通享低至4.5折抵扣(包月10元起、包季直省55%)与达量返还;Token Plan个人版79元/月起、团队版150元/月起,套餐支持Qwen3.8-Max;AI建站含万小智3.0体验版9.9元/月与秒悟Meoo套餐25元/月起;云服务器从轻量38元/年到13.8万元GPU实例,ECS 99元与199元新购续费同价。本文系统梳理各板块权益、计费逻辑与限制条件,供不同使用强度的个人、团队与企业测算选型。
|
4月前
|
人工智能 运维 数据中心
拆解光模块:从传统分立器件到硅光芯片的集成革命
本文揭秘光模块核心构成(TOSA/ROSA、激光器、调制器、探测器、DSP等),对比传统分立器件与硅光集成技术:前者成熟稳定,后者依托CMOS工艺将光器件“刻”入硅芯片,实现高集成、低功耗,但需外置光源。二者按距离、成本互补共存。(239字)
|
4月前
|
消息中间件 资源调度 JavaScript
企业管理系统如何整合权限、流程与经营模块:伏羲管理系统技术解析
伏羲管理系统是基于Spring Boot+Vue 3的开源企业级平台,采用模块化架构(CRM/ERP/商城/OA等),统一身份认证、多租户隔离与基础设施底座,支持高扩展与二次开发(MIT协议),助力企业构建可持续演进的一体化管理后台。
|
7月前
|
数据采集 人工智能 自然语言处理
OpenClaw 2.6.4 必装技能 电脑办公一站式方案(包含最新版安装包)
OpenClaw 2.6.4「小龙虾」推出15个实用Skill技能,覆盖文件管理、办公自动化、浏览器操作、系统维护及内容处理五大场景。小白零门槛启用,如自动整理桌面、生成周报、PDF处理、网页采集、系统检测等,一键执行多任务,大幅提升办公效率。
|
7月前
|
SQL 机器学习/深度学习 自然语言处理
运营日报自动化:智能问数如何实现“开口即得”?
截至2026年4月初,智能问数技术在运营日报自动化场景中已形成多元实现路径。部分方案依赖预置宽表与指标层,通过自然语言匹配固定查询模板,适合结构稳定、问题明确的“开卷考试”式场景;另一些则基于动态Text2SQL或语义本体建模,试图应对更开放的跨域提问,但对数据治理和语义一致性要求较高。不同路线在前期建设成本、后期扩展性及准确率上各有权衡:前者上线快、维护简单,后者泛化能力强但需持续投入知识治理。实践中,企业往往根据自身数据成熟度与业务复杂度选择适配方案,并非单一技术可通解所有“开口即得”需求。
|
8月前
|
人工智能 前端开发 Serverless
如何用 Claude AWS配合阿里云函数计算搭建AI应用
企业核心业务在阿里云,却需调用AWS Bedrock的Claude模型?推荐用阿里云函数计算(FC)构建Serverless代理网关:安全隐藏AK/SK、弹性抗并发、网络更稳定。架构为“用户→API网关→FC→Bedrock”,百毫秒延迟,轻量高效。
|
9月前
|
人工智能 自然语言处理 供应链
AI Agent 职业路线全解析:从入门到精通的体系化进阶指南
随着“人工智能+”深入推进,AI智能体正从辅助工具升级为协作伙伴。2027年应用率将超70%,催生生成式AI测试员、智能体设计师等新岗。我国AI人才缺口超500万,人社部、教育部已将其纳入国家职业与教育体系。本文梳理四阶进阶路径(零代码构建→流程集成→全栈开发→行业落地),助力开发者构建“人机协同”核心竞争力。(239字)
980 1

热门文章

最新文章