基于阿里云平台的大数据教学案例 —— 中国二手车市场盈利部分数据分析

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 中国二手车市场潜力很大,面对如此市场行情,我们将用数据分析的方法,分析过去并使用机器学习进行建模和预测,以让即将接触或者正处于经营的商家对市场有着新的认识,且可以通过对历史数据分析后的可视化的图表展示,帮助买家在购买二手车方面提供帮助。

一、实验题目
中国二手车市场盈利部分数据分析
二、实验目的
中国二手车市场潜力很大,面对如此市场行情,我们将用数据分析的方法,分析过去并使用机器学习进行建模和预测,以让即将接触或者正处于经营的商家对市场有着新的认识,且可以通过对历史数据分析后的可视化的图表展示,帮助买家在购买二手车方面提供帮助。
三、实验难点
1)原始数据的清洗:
在原始数据集中,只有四个字段。其中一个字段包含四个数据,且用竖线隔开。在二手车的价格中,一个字段里既有数字又有中文字“万”,因此要进行数据清洗。我们采用R语言进行数据清洗,将数据切割,保证一个字段里只有一种数据。同时也对价格字段进行了处理,去掉了中文字,只保留数字。
2)机器学习
由于对机器学习接触不多,所以在建模的时候不是很顺利。而且需要考虑维度的选取以及挑选对于预测结果有帮助的数据字段。

四、实验过程
1、数据处理部分
清洗前的数据集

image.png

清洗前原始数据集字段
image.png

数据清洗代码(R语言进行清洗)
image.png

清洗后导入MaxCompute的数据
image.png

清洗后数据集的字段
image.png

清洗后字段本地查看
image.png

2、可视化部分
1)北京连续三年二手车交易趋势
image.png

2)北京二手车市场的大众车辆中,型号与二手差价的关系
image.png

3)二手交易市场中,在2017年豪华型车辆交易居多
image.png

4)2017年,二手车数量前十的品牌
image.png

5)同一品牌,二车手行驶公里数与价格的关系
image.png

6)2017年,北京二手车差价较高的品牌
image.png

7)2017年,二手交易市场较活跃的地区

8)大众二手车较受欢迎地区
image.png

3、机器学习PAI部分
1)机器学习数据清洗
image.png

2)处理流程图
image.png

3)混淆矩阵结果
image.png

4)比例矩阵结果
image.png

5)分析结果统计信息
image.png

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
大数据新视界 --面向数据分析师的大数据大厂之 MySQL 基础秘籍:轻松创建数据库与表,踏入大数据殿堂
本文详细介绍了在 MySQL 中创建数据库和表的方法。包括安装 MySQL、用命令行和图形化工具创建数据库、选择数据库、创建表(含数据类型介绍与选择建议、案例分析、最佳实践与注意事项)以及查看数据库和表的内容。文章专业、严谨且具可操作性,对数据管理有实际帮助。
大数据新视界 --面向数据分析师的大数据大厂之 MySQL 基础秘籍:轻松创建数据库与表,踏入大数据殿堂
【重磅发布】AllData数据中台核心功能:湖仓一体化平台
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
【重磅发布】AllData数据中台核心功能:湖仓一体化平台
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享,主要涵盖四个方面:鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖,解决了Hudi入湖的痛点,并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外,还探讨了湖仓一体平台的落地效果及未来技术发展方向,包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
348 1
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
186 2
基于阿里云大数据平台的实时数据湖构建与数据分析实战
在大数据时代,数据湖作为集中存储和处理海量数据的架构,成为企业数据管理的核心。阿里云提供包括MaxCompute、DataWorks、E-MapReduce等在内的完整大数据平台,支持从数据采集、存储、处理到分析的全流程。本文通过电商平台案例,展示如何基于阿里云构建实时数据湖,实现数据价值挖掘。平台优势包括全托管服务、高扩展性、丰富的生态集成和强大的数据分析工具。
【4月重点功能发布】阿里云大数据+ AI 一体化平台
【4月重点功能发布】阿里云大数据+ AI 一体化平台
【3月重点功能发布】阿里云大数据+ AI 一体化平台
【3月重点功能发布】阿里云大数据+ AI 一体化平台
java基于微服务的智慧工地管理云平台SaaS源码 数据大屏端 APP移动端
围绕施工现场人、机、料、法、环、各个环节,“智慧工地”将传统建筑施工与大数据物联网无缝结合集成多个智慧应用子系统,施工数据云端整合分析,提供专业、先进、安全的智慧工地解决方案。
221 1
基于Google Earth Engine云平台构建的多源遥感数据森林地上生物量AGB估算模型含生物量模型应用APP
基于Google Earth Engine云平台构建的多源遥感数据森林地上生物量AGB估算模型含生物量模型应用APP
378 0
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (3)
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (3)
348 0

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等