DataWorks是一站式智能大数据开发治理平台，深度适配阿里云MaxCompute、EMR、Hologres、Flink、PAI 等数十种大数据和AI计算服务，为数据仓库、数据湖、OpenLake湖仓一体、Data+AI解决方案提供全链路智能化的数据集成、大数据AI一体化开发、数据分析与主动式数据资产治理服务，帮助企业进行Data+AI全生命周期数据管理。自2009年以来，DataWorks以阿里巴巴集团大数据建设方法论为基础，不断沉淀数据治理最佳实践，现已广泛应用于包括政务、金融、零售、互联网、汽车、制造等众多行业，数以万计的客户信赖并选择DataWorks进行数字化升级和价值创造。
一、基础信息
1．实验信息
实验名称：DataWorks智能交互式数据开发与分析之旅
实验级别：入门
实验时长：1小时
2．实验目的
1、掌握阿里云数据开发分析工具DataWorks Notebook的使用；
2、掌握阿里云 DataWorks智能助手 Copilot的使用；
3、掌握多引擎交互式数据开发数据探索分析的基本操作；
3．实验环境
实验平台：阿里云云起实验室。
云产品及软件：大数据开发治理平台DataWorks、云原生大数据计算服务MaxCompute。
4．前置技能
熟悉大数据开发治理平台DataWorks、云原生大数据计算服务MaxCompute的基本操作和理论知识。
大数据开发治理平台DataWorks 准备工作。
云原生大数据计算服务MaxCompute 准备工作含创建项目。
5．实验介绍
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台，兼容阿里云多项计算服务，提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成，Data Studio还支持丰富多样的插件生态，实现了实时离线一体化、湖仓一体化、大数据AI一体化，助力“Data+AI”全生命周期的数据管理。
DataWorks Notebook是智能化交互式数据开发和分析工具，能够面向多种数据引擎开展SQL或Python分析，即时运行或调试代码，获取可视化数据结果。同时，DataWorks Notebook能够与其他任务节点混合编排为工作流，提交至调度系统运行，助力复杂业务场景的灵活实现。DataWorks Copilot是您在DataWorks的智能助手，当前阶段可根据自然语言快速转换为需要的SQL命令，包括SQL生成、SQL改写、SQL纠错、生成注释等，帮助您轻松高效地完成数据ETL及数据分析工作。
本次实验将带您进行DataWorks Notebook的快速入门，包含：Notebook新建、多引擎SQL开发与分析、Python开发、交互式分析等，同时，使用DataWorks Copilot体验智能数据开发，使用请按照下方步骤引导进行操作，开启交互式数据探索之旅。
背景描述：在本次DataWorks智能交互式数据开发与分析实验中，将使用数据开发Data Studio中的Notebook开发环境，创建一个独享的个人开发环境实例，并在该实例上，连接并使用MaxComputede等计算资源，进行SQL数据开发，也可以连接并使用本地的Python环境进行数据开发与分析。同时在此过程中，可使用DataWorks 智能助手Copilot，体验智能的数据开发与分析体验。
3分钟快速了解DataWroks Data Studio：https://developer.aliyun.com/live/254745
3分钟快速了解DataWroks Notebook：https://developer.aliyun.com/live/254746
3分钟快速了解DataWorks Copilot：https://developer.aliyun.com/live/254748
二、实验步骤
1.开通DataWorks
- 开通DataWorks
进入大数据开发治理平台DataWorks产品详情页，如未登陆需要登陆阿里云账号，点击立即购买按钮进入DataWorks购买页。
- 按需选择地域：华东1（上海）
开通会默认开通DataWorks按量付费、DataWorks基础版1个月、Dataworks资源组按量付费、MaxCompute按量付费
- 以上配置都选择完成后，点击确定订单并支付，进入DataWorks产品控制台。
提示：您也可以在开通后购买Serverless资源组抵扣包，以抵扣实验所产生的资源组按量费用，抵扣包规格300CU·H，有效期3个月，限时7折优惠，单用户限领1次，购买地址>>
选择大数据体验下的DataWorks Gallery，点击Notebook快速入门的载入案例
【操作注意】进入控制台后需要选择刚刚创建资源的对应地域
2.创建个人开发环境
- 在载入案例弹出框内，点击创建工作空间（若在DataWorks下无工作空间），并填写工作空间名称
- 若之前没有创建过资源组，则按照指引新建资源组，并绑定到刚刚创建的工作空间上。
- 创建个人开发环境实例，给实例命名，并选择资源组，设定资源配合，最小2CU即可满足实验要求。
- 填写完实例信息后点击确定，显示个人开发环境创建中
- 创建完成后，状态显示运行中
- 工作空间和个人开发环境实例创建完后，点击确定后进入个人开发空间
- 新建Notebook
方式一：在个人目录下新建Notebook
方式二：在项目目录新建Notebook
并为Notebook命名
- 创建完后可看到如下界面
3.以MaxCompute为例进行交互式开发
- 点击
，在弹出的SQL Cell中选择您想运行的大数据引擎，以MaxCompute为例
- 如提示运行前请选择计算资源
- 可点击SQL Cell的请选择计算资源，在弹出框下选择要绑定的计算资源，若您在MaxCompute下无资源，则需点击“+绑定计算资源”
- 选择资源类型 MaxCompute，并点击绑定计算资源
- 新建MaxCompute项目后进行绑定
- 输入以下SQL命令
SELECT 'James' AS name, '25' AS age, 'Hangzhou' AS city;
- 再次点击执行SQL，可得到执行结果
- （可选）同样，在Notebook中，支持新增各种SQL Cell，面向多样化大数据引擎进行数据开发与分析。您可以选择其他大数据引擎进行开发分析，以下是SQL示例。
注意：如果您选择其他大数据引擎进行开发分析，可能导致费用发生变化，请以控制台显示的实际价格和最终账单为准。
a. Hologres SQL Cell
SELECT 'James' AS name, '25' AS age, 'Hangzhou' AS city;
b. EMR Spark SQL Cell
SELECT 'James' AS name, '25' AS age, 'Hangzhou' AS city;
c. StarRocks SQL Cell
SELECT 'James' AS name, '25' AS age, 'Hangzhou' AS city;
d. 以上输入的输出结果均为
e. Flink SQL Cell
-- @conf name = flink_vvp_job_quick_start -- @conf engineVersion=vvr-8.0.8-flink-1.17 -- @conf flinkConf."execution.checkpointing.interval"=10second -- @conf flinkConf."taskmanager.numberOfTaskSlots"=4 -- @conf flinkConf."table.exec.state.ttl"=1hour -- @conf flinkConf."execution.checkpointing.min-pause"=10second -- @conf streamingResourceSetting.resourceSettingMode=BASIC -- @conf streamingResourceSetting.basicResourceSetting.parallelism=4 -- @conf streamingResourceSetting.basicResourceSetting.taskmanagerResourceSettingSpec.memory=4GiB -- @conf streamingResourceSetting.basicResourceSetting.taskmanagerResourceSettingSpec.cpu=1 -- @conf streamingResourceSetting.basicResourceSetting.jobmanagerResourceSettingSpec.memory=4GiB -- @conf streamingResourceSetting.basicResourceSetting.jobmanagerResourceSettingSpec.cpu=1 --创建临时源表datagen_source。 CREATE TEMPORARY TABLE datagen_source( randstr VARCHAR ) WITH ( 'connector' = 'datagen' -- datagen连接器 ); --创建临时结果表print_table。 CREATE TEMPORARY TABLE print_table( randstr VARCHAR ) WITH ( 'connector' = 'print', -- print连接器 'logger' = 'true' -- 控制台显示计算结果 ); --将randstr字段截取后打印出来。 INSERT INTO print_table SELECT SUBSTRING(randstr,0,8) from datagen_source;
输出结果
4.使用Python进行数据分析
1. 在Notebook中，能够新增Python Cell，编写Python代码进行数据处理和开发等。
- 点击+Python，唤出Python Cell
- 在Python Cell中输入示例代码
import matplotlib.pyplot as plt # 数据准备 categories = ['Category A', 'Category B', 'Category C', 'Category D'] values = [23, 45, 17, 56] # 创建柱状图 plt.figure(figsize=(10, 6)) # 设置图形大小 plt.bar(categories, values, color=['blue', 'green', 'red', 'purple']) # 绘制柱状图，可自定义颜色 # 添加标题和轴标签 plt.title('Sample Bar Chart') plt.xlabel('Categories') plt.ylabel('Values') # 显示数值 for i in range(len(values)): plt.text(i, values[i], str(values[i]), ha='center', va='bottom') # 在每个柱子下方显示数值 # 显示图形 plt.show()
- 运行后即可获得示例柱状图
2. 交互式分析
在Notebook中，您可以使用Python封装ipywidgets交互组件，并在SQL中引用该交互组件的变量，以实现灵活的交互式查询。
a. 在Python Cell中输入以下内容,使用Python构建ipywidgest交互组件
from ipywidgets import interactive,IntSlider query_age = 20 def f(age): global query_age query_age = age interactive(f, age=IntSlider(value=20, min=1, max=100, step=1, description='查询年龄:'))
可得到下面的输出结果
b. 使用SQL引用交互组件中对象进行查询
SELECT '${query_age}' AS age;
5.体验智能助手Copilot
DataWorks Copilot⽀持根据⾃然语⾔对已有代码进⾏纠错、注释⽣成及代码解释等操作。同时，还⽀持为您解答SQL相关的语法及函数问题。
- SQL改写
在代码编辑器中，输⼊并选中下面的代码，单击顶部菜单栏右侧的Copilot 
，进⼊Copilot Chat功能界⾯，在Chat输⼊框中，输⼊您的改写要求，单击发送，等待Copilot返回结果。
预设代码：
SELECT ds ,spu_id ,SUM(sales_amt) AS total_sales ,COUNT(DISTINCT order_id) AS total_orders ,COUNT(DISTINCT sku_id) AS total_skus ,COUNT(DISTINCT buyer_id) AS total_buyers ,COUNT(DISTINCT buyer_id) / COUNT(DISTINCT order_id) AS avg_buyers _per_order ,COUNT(DISTINCT buyer_id) / COUNT(DISTINCT sku_id) AS avg_buyers_p er_sku ,SUM(sales_amt) / COUNT(DISTINCT order_id) AS avg_sales_per_order ,SUM(sales_amt) / COUNT(DISTINCT sku_id) AS avg_sales_per_sku FROM default.dwd_ec_trd_create_ord_di WHERE order_date BETWEEN '2024-09-01' AND '2024-09-18' GROUP BY ds ,spu_id ORDER BY total_sales DESC LIMIT 10 ;
预设指令：
修改SQL，将其结果从列转置为行，使用unpivot
- SQL 解释
预设代码：
SELECT season ,SUM(tran_amt) AS total FROM mf_cop_sales PIVOT (SUM(tran_amt) FOR season IN ('Q1' AS spring,'Q2' AS summer,'Q3' AS a utumn,'Q4' AS winter))AS pivot_tablel ;
预设指令：
解释这段代码
- 生成注释
预设代码：
CREATE TABLE ods_mbr_user_info ( id BIGINT ,gmt_create STRING ,gmt_modified STRING ,id_card_number STRING ,id_card_type STRING ,is_delete STRING ,nick STRING ,reg_address STRING ,reg_birthdate STRING ,reg_city_id STRING ,reg_email STRING ,reg_fullname STRING ,reg_gender STRING ,reg_mobile_phone STRING ,reg_nation_id STRING ,reg_prov_id STRING ,user_active_time STRING ,user_active_type STRING ,user_id BIGINT ,user_regdate STRING ,user_regip STRING ,vip_level STRING ) COMMENT '';
预设指令：
为每个字短添加注释
- 智能建表
在Data Studio⻚⾯，单击左侧⼀级菜单栏中的数据⽬录，在数据⽬录列表中，选择任意⼀个数据⽬录，新建表，进⼊新建表的功能界⾯，单击⻚⾯顶部中的Copilot 建表，进⼊Copilot 建表功能界⾯，在输⼊框中，输⼊您的指令，单击发送，等待Copilot返回结果。
以上，所有的实验内容就操作完成了。
