使用DataWorks PyODPS节点调用XGBoost算法-阿里云开发者社区

使用DataWorks PyODPS节点调用XGBoost算法

2025-05-27 185

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

大数据开发治理平台DataWorks，资源组抵扣包 750CU*H

简介： 本文介绍如何在DataWorks中通过PyODPS3节点调用XGBoost算法完成模型训练与测试，并实现周期离线调度。主要内容包括：1) 使用ODPS SQL构建数据集；2) 创建PyODPS3节点进行数据处理与模型训练；3) 构建支持XGBoost的自定义镜像；4) 测试运行并选择对应镜像。适用于需要集成机器学习算法到大数据工作流的用户。

摘要

本文演示如何在DataWorks中通过PyODPS3类型节点调用XGBoost算法实现模型训练与测试，进而实现算法的周期离线调度。

操作步骤

1、ODPS SQL构建数据集

-- 创建表
CREATE TABLE IF NOT EXISTS xgboost_sample (
    f1 DOUBLE COMMENT '特征1',
    f2 DOUBLE COMMENT '特征2',
    label BIGINT COMMENT '标签'
);

-- 插入示例数据（10组）
INSERT INTO xgboost_sample VALUES
(0.1, 0.2, 0),
(0.2, 0.3, 0),
(0.3, 0.4, 0),
(0.4, 0.5, 0),
(0.5, 0.6, 1),
(0.6, 0.7, 1),
(0.7, 0.8, 1),
(0.8, 0.9, 1),
(0.9, 1.0, 1),
(1.0, 1.1, 1);


SELECT * from xgboost_sample;

2、创建PyODPS3节点

'''PyODPS 3
请确保不要使用从 MaxCompute下载数据来处理。下载数据操作常包括Table/Instance的open_reader以及 DataFrame的to_pandas方法。 
推荐使用 PyODPS DataFrame（从 MaxCompute 表创建）和MaxCompute SQL来处理数据。
更详细的内容可以参考：https://help.aliyun.com/document_detail/90481.html
'''
from xgboost import XGBClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from odps import ODPS, options
import numpy as np
import pandas as pd
from odps import ODPS
import os
import sys

od = o.as_account("******","******")
iris = DataFrame(od.get_table('xgboost_sample'))
print(iris)

# 提取特征列
X_train = iris[['f1', 'f2']].to_pandas()  # 得到一个形状为 (10, 2) 的 NumPy 数组
# 提取标签列
y_train = iris['label'].to_pandas()       # 得到一个形状为 (10,) 的一维数组
# # create model instance
bst = XGBClassifier(n_estimators=2, max_depth=2, learning_rate=1, objective='binary:logistic')
# # fit model
bst.fit(X_train, y_train)
print(X_train)
# make predictions
# 构造 DataFrame
input_data = pd.DataFrame([[0.1, 0.2]], columns=['f1', 'f2'])
preds = bst.predict(input_data)
print("*"*100)
print(preds)
print("*"*100)