AI 助理
备案控制台
开发者社区 大数据与机器学习 大数据计算 MaxCompute 文章 正文

阿里云MaxCompute（大数据）公开数据集---带你玩转人工智能

2017-05-24 24732
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生大数据计算服务 MaxCompute，5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute，500CU*H 100GB 3个月
简介： 目前阿里云大数据产品已经免费向全部用户开放了多种公用数据集。开放的数据类别包括：股票价格数据，房产信息，影视及其票房数据。

目前阿里云MaxCompute大数据产品已经免费向全部用户开放了多种公用数据集。在此之前，获取，分析，下载自定义的大型分析数据集需要数小时乃至数天才能完成。

而现在阿里云的任何用户都可以通过基于大数据计算服务[MaxCompute]( https://www.aliyun.com/product/odps) 的数据工场[DataWorks]( https://data.aliyun.com/product/ide)快速、便捷的分析这些公用数据集。
开通MaxCompute&数据工场的教程参考： https://help.aliyun.com/document_detail/27803.html

我们将股票价格、房产、影视等多种类型的数据免费开放给用户，使得大家免去了复杂的数据获取、上传、清洗等过程，可以直接进入数据分析阶段，通过这种数据开放形式，我们希望能以更快的速度实现更多的创新。
大家也可以通过数加体验馆（ https://data.aliyun.com/experience）来使用这些数据，近距离的感受阿里云数加（大数据）产品；

目前我们开放的数据类别包括：股票价格数据，房产信息，影视及其票房数据。所有的数据均被存储在MaxCompute 产品中的public_data 项目中。以下，我们将对这些数据做更为详细的介绍，并简要说明如何通过MaxCompute 及数据工场服务并分析这些数据。
获取权限
首选，需要用户以项目空间的owner 或者管理员的身份，在自己的项目空间下，执行如下操作。执行完成后用户项目空间下的所有成员均可读取各公开数据集合： 
add user ALIYUN$everyone;
执行该语句后即可执行查询：

特殊说明
公开数据集合对所有MaxCompute 用户开放，这是通过MaxCompute 特殊的授权机制实现的。在使用过程中，用户需要足以一下几点：
1. 所有数据均存储在一个名为public_data 的项目空间中，但所有用户并未被加入到该空间下(非项目空间成员)。因此，用户需要跨项目空间访问数据，在数据工场中编辑SQL 时，必须在表明前指定项目名称，例如： 

Select * from public_data.ods_enterprise_share_basic where ds = '20170114';

2. 由于是跨项目空间访问，所有用户在数据工场的[数据管理]中无法查找到公开数据集的表；

3. 只有在执行”Add User”语句后，用户才有权限访问公开数据集。该语句可以再数据工场以及MaxCompte 提供的客户端中执行；

下面我们将详细介绍目前开放的数据集合。

股票价格数据集
总体信息：每日更新A 股股票相关数据。

项目
 public_data
表集合
 ods_enterprise_share_basic 股票基本信息
ods_enterprise_share_quarter_cashflow 季度报表说明
ods_enterprise_share_quarter_growth 季度业务增长情况
ods_enterprise_share_quarter_operation 季度财务周转
ods_enterprise_share_quarter_profit 季度利润
ods_enterprise_share_quarter_report 季度报表
ods_enterprise_share_trade_h 股票价格
更新周期
 提供固定分区的历史数据，不再做增量更新。
查询示例 select * from public_data. ods_enterprise_share_basic where ds ='20170114';


ods_enterprise_share_basic 股票基本信息

字段英文名

字段类型

描述

是否为分区列

code

STRING

代码

name

STRING

名称

industry

STRING

所属行业

area

STRING

地区

pe

STRING

市盈率

outstanding

STRING

流通股本

totals

STRING

总股本(万)

totalassets

STRING

总资产(万)

liquidassets

STRING

流动资产

fixedassets

STRING

固定资产

reserved

STRING

公积金

reservedpershare

STRING

每股公积金

eps

STRING

每股收益

bvps

STRING

每股净资

pb

STRING

市净率

timetomarket

STRING

上市日期

undp

STRING

未分利润

perundp

STRING

每股未分配

rev

STRING

收入同比(%)

profit

STRING

利润同比(%)

gpr

STRING

毛利率(%)

npr

STRING

净利润率(%)

holders_ num

STRING

股东人数

ds

STRING

数据导入日期，时间间

隔为天。

分区列
数据样例：


ods_enterprise_share_quarter_cashflow 季度报表说明

字段英文名

字段类型

描述

是否为分区列

rank

STRING

排序

code

STRING

代码

name

STRING

名称

cf_sales

STRING

经营现金净流量对销售收入比 率(%)

rateofreturn

STRING

资产的经营现金流量回报率(%)

cf_nm

STRING

经营现金净流量与净利润的比 率(%)

cf_liabilities

STRING

经营现金净流量对负债比率(%)

cashflowratio

STRING

现金流量比率(%)

ds

STRING

年份

分区列

quarter

STRING

季度。数据季度更新。

分区列

数据样例：



ods_enterprise_share_quarter_growth 季度业务增长情况

字段英文名

字段类型

描述

是否为分区列

rank

STRING

排序

code

STRING

代码

name

STRING

名称

mbrg

STRING

主营业务收入增长率(%)

nprg

STRING

净利润增长率(%)

nav

STRING

净资产增长率(%)

targ

STRING

总资产增长率(%)

epsg

STRING

每股收益增长率(%)

seg

STRING

股东权益增长率(%)

ds

STRING

年份

分区列

quarter

STRING

季度。数据季度更新。

分区列

数据样例：


ods_enterprise_share_quarter_operation 季度财务周转

字段英文名

字段类型

描述

是否为分区列

rank

STRING

排序

code

STRING

代码

name

STRING

名称

arturnover

STRING

应收账款周转率(次)

arturndays

STRING

应收账款周转天数(天)

inventory_turnover

STRING

存货周转率(次)

inventory_days

STRING

存货周转天数(天)

currentasset_turnover

STRING

流动资产周转率(次)

currentasset_days

STRING

流动资产周转天数(天)

ds

STRING

导入日期。

分区列

quarter

STRING

季度。数据季度更新。

分区列

数据样例：


ods_enterprise_share_quarter_profit 季度利润

字段英文名

字段类型

描述

是否为分区列

rank

STRING

排序

code

STRING

代码

name

STRING

名称

roe

STRING

净资产收益率(%)

net_profit_ratio

STRING

净利率(%)

gross_profit_rate

STRING

毛利率(%)

net_profits

STRING

净利润(万元)

eps

STRING

每股收益

business_income

STRING

营业收入(百万元)

bips

STRING

每股主营业务收入(元)

ds

STRING

年份

分区列

quarter

STRING

季度，数据季度更新。

分区列


数据样例：



ods_enterprise_share_quarter_report 季度报表


字段英文名

字段类型

描述

是否为分区列

rank

STRING

排序

code

STRING

代码

name

STRING

名称

eps

STRING

每股收益

eps_yoy

STRING

每股收益同比(%)

bvps

STRING

每股净资产

roe

STRING

净资产收益率(%)

epcf

STRING

每股现金流量(元)

net_profits

STRING

净利润(万元)

profits_yoy

STRING

净利润同比(%)

distrib

STRING

分配方案

report_date

STRING

发布日期

ds

STRING

年份

分区列

quarter

STRING

季度。数据季度更新。

分区列

数据样例：



ods_enterprise_share_trade_h 股票价格


字段英文名

字段类型

描述

是否为分区列

trde_date

STRING

日期

open

STRING

开盘价

high

STRING

最高价

close

STRING

收盘价

low

STRING

最低价

volume

STRING

成交量

price_change

STRING

价格变动

p_change

STRING

涨跌幅

ma5

STRING

5 日均价

ma10

STRING

10 日均价

ma20

STRING

20 日均价

v_ma5

STRING

5 日均量

v_ma10

STRING

10 日均量

v_ma20

STRING

20 日均量

turnover

STRING

换手率

code

STRING

股票代码

ds

STRING

导入日期。

分区列

数据样例：



二手房产数据集

总体信息：二手房相关信息（注意：目前暂停更新）。


项目
 public_data
表集合

dwd_prouduct_house_basic_info_out
更新周期
 每日早10 点前更新。至2016 年12 月13 日开始更新，全量更新。
查询示例 Select * from public_data.dwd_prouduct_house_basic_info_out where ds= '20170113';

dwd_prouduct_house_basic_info_out信息说明


字段英文名

字段口型

描述

是否是分区列

house_id

STRING

房产 ID

house_city

STRING

房产所在城市

house_total_price

STRING

房产总价

house_unit_price

STRING

房产均价

house_type

STRING

房产类型

house_floor

STRING

房产楼层

house_direction

STRING

房产方向

house_deckoration

STRING

房产装修

house_area

STRING

房产面积

house_community_name

STRING

房产所在小区

house_region

STRING

房产所在地区

proj_name

STRING

楼盘名称

proj_addr

STRING

项目地址

period

STRING

产权年限

property

STRING

物业公司

greening_rate

STRING

绿化率

property_costs

STRING

物业费用

ds

STRING

数据导入日期

分区列


数据样例：

影视及票房数据集

总体信息：每日更新国内影视剧信息及票房数据信息 。


项目
 public_data
表集合

dwd_product_movie_basic_info 电影基本信息

ods_product_movie_box 票房基本信息
更新周期
 每日早10 点前更新。至2016 年12 月13 日开始更新，全量更新。
查询示例 Select * from public_data.dwd_product_movie_basic_info where ds ='20170112' limit 10;

dwd_ product_ movie_ basic_ info

字段英文名

字段类型

描述

是否是分区列

movie_ name

STRING

电影名称

dirctor

STRING

导演

scriptwriter

STRING

编剧

area

STRING

制片地区/国家

actors

STRING

主演

type

STRING

类型

movie_ length

STRING

电影长度

movie_ date

STRING

上映日期

movie_ language

STRING

语言

imdb_ url

STRING

imdb号

ds

STRING

日期

分区列



ods_product_movie_box 票房基本信息

字段英文名

字段口型

描述

是否是分区列

rank

STRING

排名

avgprice

STRING

平均票价

avppeople

STRING

场均人次

boxoffice

STRING

单日票房（万）

boxoffice_ up

STRING

环比变化 （%）

irank

STRING

排名

movieday

STRING

上映天数

moviename

STRING

影片名

sumboxoffice

STRING

累计票房（万）

womindex

STRING

口碑指数

ds

STRING

日期

分区列

数据样例：



TPC-DS数据集 1TB

总体信息：TPC-DS是一套决策支持系统测试基准，主要针对零售行业。提供99个SQL查询（SQL99或2003），分析数据量大，测试数据与实际商业数据高度相似，同时具有各种业务模型（分析报告型，数据挖掘型等等） 。

项目

public_data-非分区表

byte

MB

　

store_sales

132403186096

126270

　

catalog_sales

96618400536

92142

　

web_sales

48924735376

46658

　

store_returns

15258734432

14552

　

catalog_returns

9325156968

8893

　

web_returns

4776062944

4555

　

inventory

2354131064

2245

　

customer

545421520

520

表集合

customer_address

127890712

122

　

item

21917520

21

　

customer_demographics

2831808

2.70

　

catalog_page

1065000

1.02

　

date_dim

432592

0.41

　

time_dim

246576

0.24

　

store

68680

0.07

　

promotion

47976

0.05

　

web_page

32424

0.03

　

web_site

12000

0.01

　

call_center

10536

0.01

　

household_demographics

9448

0.01

　

warehouse

4640

<0.01

　

ship_mode

2040

<0.01

　

reason

1528

<0.01

　

income_band

1040

<0.01

　

　

　

　

更新周期

更新时间：2018 年7 月13 日

　

　

查询示例

脚本下载

　

　

基于公开数据集的实战

手把手，教你用MaxCompute+OpenSearch搭建分布式搜索引擎


购买&试用MaxCompute，请加入扫码进钉钉群。公开数据集问题，请加入扫码进钉钉群。

745bc16034148d4c04c2bb44ec5275be0021f412

bba01b493e1c5d904e882b1c380673c6ebe49a98

文章标签：
云原生大数据计算服务 MaxCompute
大数据
分布式计算
MaxCompute
BI
开发工具
测试技术
SQL
IDE
存储
数据管理
关键词：
人工智能数据集
阿里云人工智能
云原生大数据计算服务 MaxCompute人工智能
大数据人工智能
AI阿里云
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析，通过分析能得到用户群体年龄分布，性别分布，地理位置分布，以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理，需要搭建数据仓库？学它！ 没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！ 想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！ 想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！ 出品人：阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
隐林
目录
相关文章
ModelScope内容运营小助手
|
17天前
|
人工智能 安全 算法
上交大、上海人工智能实验室开源首个多轮安全对齐数据集 SafeMTData
最近，以 OpenAI o1 为代表的 AI 大模型的推理能力得到了极大提升，在代码、数学的评估上取得了令人惊讶的效果。OpenAI 声称，推理可以让模型更好的遵守安全政策，是提升模型安全的新路径。
ModelScope内容运营小助手
35 2
土木林森
|
1月前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台，支持海量数据的存储与计算，适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面，确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序，用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
土木林森
96 1
数据库小能手
|
21天前
|
人工智能 Cloud Native 数据管理
媒体声音｜重磅升级，阿里云发布首个“Data+AI”驱动的一站式多模数据平台
在2024云栖大会上，阿里云瑶池数据库发布了首个一站式多模数据管理平台DMS：OneMeta+OneOps。该平台由Data+AI驱动，兼容40余种数据源，实现跨云数据库、数据仓库、数据湖的统一数据治理，帮助用户高效提取和分析元数据，提升业务决策效率10倍。DMS已服务超10万企业客户，降低数据管理成本高达90%。
数据库小能手
98 19
游客762btuqu5wybw666
|
10天前
|
机器学习/深度学习 人工智能 算法
探索人工智能与大数据的融合之道####
— 本文旨在探讨人工智能（AI）与大数据如何协同工作，以推动技术创新和产业升级。通过分析二者的基本概念、核心技术及应用场景，揭示它们相互促进的内在机制，并展望未来发展趋势。文章指出，AI提供了智能化处理数据的能力，而大数据则为AI提供了海量的训练资源，两者结合将开启无限可能。 ####
游客762btuqu5wybw666
29 5
游客5fdji2pvmf8888
|
16天前
|
人工智能 算法 搜索推荐
探索人工智能与大数据的融合之道####
本文深入探讨了人工智能（AI）与大数据之间的紧密联系与相互促进的关系，揭示了二者如何共同推动科技进步与产业升级。在信息爆炸的时代背景下，大数据为AI提供了丰富的学习材料，而AI则赋予了大数据分析前所未有的深度与效率。通过具体案例分析，本文阐述了这一融合技术如何在医疗健康、智慧城市、金融科技等多个领域展现出巨大潜力，并对未来发展趋势进行了展望，强调了持续创新与伦理考量的重要性。 ####
游客5fdji2pvmf8888
33 1
131王
|
16天前
|
机器学习/深度学习 人工智能 自然语言处理
探索人工智能与大数据的融合之美####
【10月更文挑战第29天】 身处信息技术飞速发展的时代，人工智能与大数据如同两颗璀璨的星辰，在科技的夜空中交相辉映，共同推动着社会进步与变革的浪潮。本文旨在揭开AI与大数据深度融合的神秘面纱，探讨这一融合如何引领技术前沿，激发创新活力，并展望其在未来世界中的无限可能。通过深入浅出的解析，展现技术背后的逻辑与魅力，邀请读者一同踏上这场科技与智慧的探索之旅。 ####
131王
57 2
源码星辰
|
21天前
|
存储 人工智能 大数据
物联网、大数据、云计算、人工智能之间的关系
物联网、大数据、云计算、人工智能之间的关系是紧密相连、相互促进的。这四者既有各自独立的技术特征，又能在不同层面上相互融合，共同推动信息技术的发展和应用。
源码星辰
170 0
aliyun4381607004
|
23天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景，随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码，发现使用的`nativeBooster.saveModel`方法不支持OSS路径，而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令，帮助用户顺利迁移模型存储路径。
aliyun4381607004
52 1
阿里云
|
2月前
|
人工智能 分布式计算 DataWorks
连续四年！阿里云领跑中国公有云大数据平台
近日，国际数据公司（IDC）发布《中国大数据平台市场份额，2023：数智融合时代的真正到来》报告——2023年中国大数据平台公有云服务市场规模达72.2亿元人民币，其中阿里巴巴市场份额保持领先，占比达40.2%，连续四年排名第一。
阿里云
219 12
阿里云新鲜事
|
2月前
|
人工智能 Cloud Native 数据管理
重磅升级，阿里云发布首个“Data+AI”驱动的一站式多模数据平台
阿里云发布首个AI多模数据管理平台DMS，助力业务决策提效10倍
阿里云新鲜事
349 17
大数据与机器学习

大数据计算 MaxCompute

热门文章

最新文章

  • 1
    阿里云开源离线同步工具DataX3.0介绍
  • 2
    每个人都应该知道的25个大数据术语
  • 3
    大数据环境下该如何优雅地设计数据分层
  • 4
    odps是什么?
  • 5
    美柚：最懂女性App背后的混合云架构与大数据服务
  • 6
    阿里云MaxCompute（大数据）公开数据集---带你玩转人工智能
  • 7
    空格App亿元A轮融资背后：云上多场景技术架构实践与经验
  • 8
    优酷背后的大数据秘密
  • 9
    Python+大数据计算平台，PyODPS架构手把手教你搭建
  • 10
    【大数据干货】轻松处理每天2TB的日志数据，支撑运营团队进行大数据分析挖掘，随时洞察用户个性化需求。
  • 1
    静态代理IP访问失败的问题解释？
    6
  • 2
    独享静态代理IP和共享静态代理IP适用场景与成本考量？
    6
  • 3
    HTTP代理IP技术的未来：从传统到创新
    12
  • 4
    共享静态长效IP的高匿性程度原因分析
    15
  • 5
    【赵渝强老师】Spark SQL的数据模型：DataFrame
    33
  • 6
    【赵渝强老师】Spark生态圈组件
    33
  • 7
    青否数字人声音克隆算法升级，16个超真实直播声音模型免费送！
    60
  • 8
    PHP 弱类型变量的实现原理
    43
  • 9
    阿里云与传智教育联合直播：深度解析MaxFrame，探索量化交易新纪元
    207
  • 10
    CDGA|信息差不再是障碍：数据治理新策略
    79

    • 相关产品

  • 云原生大数据计算服务 MaxCompute
    文档详情 产品详情

    • 相关课程

    更多
  • 大数据Spark2020最新课程（知识精讲与实战演练）第二阶段
  • 大数据Spark2020版（知识精讲与实战演练）第三阶段
  • 大数据Spark2020版（知识精讲与实战演练）第四阶段
  • 2020版大数据实战项目之DMP广告系统（第二阶段）
  • 2020版大数据实战项目之DMP广告系统（第三阶段）
  • 2020版大数据实战项目之DMP广告系统（第七阶段）

    • 相关电子书

    更多
  • Data+AI时代大数据平台应该如何建设
  • 大数据AI一体化的解读
  • 极氪大数据 Serverless 应用实践

    • 相关实验场景

    更多
  • 【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
  • 使用容器计算服务 ACS 算力快速搭建生成式 AI 会话应用
  • 函数计算一键部署AI大语言模型并会话
  • 【AI破次元壁合照】少年白马醉春风，函数计算一键部署AI绘画平台
  • 基于Hologres+PAI+计算巢，5分钟搭建企业级AI问答知识库
  • 基于OpenSearch向量检索版和MaxCompute快速搭建图搜服务
    • 下一篇
    无影云桌面