万山数据鲁四海:敏捷数据分析赋能智慧城市

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

2017年12月2-3日,由CIO时代学院主办的“第三届中国行业互联网大会暨CIO班12周年年会”于北京古北水镇隆重举行。北京大学兼职教授、工业和信息化部原副部长杨学山,北京大学兼职教授、中国卫生信息学会副会长孟群,万山数据创始人鲁四海,以及来自全国各地CIO等400多人出席了本次会议。

12月3日下午,在互联网+公共服务分论坛中,万山数据创始人鲁四海发表主题为《敏捷数据分析赋能智慧城市》的演讲,鲁四海从大数据市场现状、敏捷数据分析要素、敏捷数据分析平台、敏捷数据分析如何赋能智慧城市四个方面进行了详细阐述。

万山数据创始人、中国新一代IT产业推进联盟技术分委会秘书长 鲁四海

一、大数据市场现状:重视大数据平台及基础设施建设,轻应用

根据国家信息中心《2017中国大数据发展报告》,可以看到2016年各地积极部署大数据项目,政府投资大数据项目数量整体呈攀升态势;在政府项目中,超七成为大数据平台及基础设施建设,应用层面的软件开发不足5%。

不单是政府,很多企业也是在大数据领域进行了大量投入,而收效似乎没有那么明显,问题在于大数据基础设施投入并没有直达“问题”的根本。大家已开始意识到大数据应用落地的最后一公里是敏捷数据分析,只有加强面向业务的敏捷数据分析,才能真正释放数据的价值。

敏捷的数据分析具有三个特点:

第一是快,指数据增长量快,处理的速度也很快;

第二是灵活,指能够灵活分析,组合解决不同的问题;

第三是简单,既然是面向业务的,那么一定要简单易用。

二、面向业务的敏捷数据分析三大要素

1.数据,具备完整性、一致性、准确性、及时性、可读性的数据。

2.技术平台,面向用户、面向业务场景,支持即时计算、探索分析的敏捷数据分析平台。

3.可视的灵活的算法模型库,非专业人员也可以进行数据挖掘的算法模型库。

三、面向业务的敏捷数据分析需要新的技术平台支撑

敏捷数据分析平台基本要求如下:

1.面向用户的,即非IT人员亦能灵活操作;

2.面向具体业务场景的;

3.即时计算;

4.探索式分析,探索式分析必备条件是数据、模型算法的可视化与自助式应用,即平台里的数据、模型算法能被非IT人员看明白;

5.多数据源的集成,除了常用的SQL、NoSQL,还需要支持互联网数据、文本数据、图数据以及API、脚本等数据接入。

万山数据提供的敏捷数据分析平台架构图如下:

四、敏捷数据分析如何赋能智慧城市

敏捷数据分析对智慧城市建设的意义

1. 打破数据孤岛;

2. 释放数据价值,在智慧城市里可以从三个方面来释放数据价值:

1)众智优政,通过敏捷数据分析平台建设智慧城市数据开放平台,让大众参与数据分析,让大众的智慧参与到政务优化中来;

2)双创兴业,通过开放平台,降低双创团队使用数据的门槛,激发创新活力;

3)信息惠民。

如何构建智慧城市敏捷数据分析平台

1.建设数据开放机制,既然是敏捷的开放分析平台,首先得有数据,数据的开放,技术已经不再成为问题了,关键是如何保证数据能够开放,而且是准确的、高质量的数据开放出来,这是需要一套完善的机制来保证;

2.建设敏捷分析平台;

3.持续完善模型库,因为离业务最近的人往往离IT、数学的距离很远,通过不断完善的模型库,加上可视化的操作,就可以为他们搭起一道通往大数据的桥梁。

万山数据专注于提供大数据敏捷分析平台与数据分析服务,拥有多个自主研发的大数据核心技术,建立了领先的算法模型库,致力于解决大数据应用落地最后一公里的问题。





本文出处:畅享网
本文来自云栖社区合作伙伴畅享网,了解相关信息可以关注vsharing.com网站。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
3月前
|
数据采集 数据可视化 数据挖掘
Pandas数据应用:天气数据分析
本文介绍如何使用 Pandas 进行天气数据分析。Pandas 是一个强大的 Python 数据处理库,适合处理表格型数据。文章涵盖加载天气数据、处理缺失值、转换数据类型、时间序列分析(如滚动平均和重采样)等内容,并解决常见报错如 SettingWithCopyWarning、KeyError 和 TypeError。通过这些方法,帮助用户更好地进行气候趋势预测和决策。
167 71
|
2月前
|
SQL 数据可视化 大数据
从数据小白到大数据达人:一步步成为数据分析专家
从数据小白到大数据达人:一步步成为数据分析专家
271 92
|
1月前
|
SQL 人工智能 数据可视化
数据团队必读:智能数据分析文档(DataV Note)五种高效工作模式
数据项目复杂,涉及代码、数据、运行环境等多部分。随着AI发展,数据科学团队面临挑战。协作式数据文档(如阿里云DataV Note)成为提升效率的关键工具。它支持跨角色协同、异构数据处理、多语言分析及高效沟通,帮助创建知识库,实现可重现的数据科学过程,并通过一键分享报告促进数据驱动决策。未来,大模型AI将进一步增强其功能,如智能绘图、总结探索、NLP2SQL/Python和AutoReport,为数据分析带来更多可能。
106 21
|
3月前
|
存储 数据采集 数据可视化
Pandas数据应用:电子商务数据分析
本文介绍如何使用 Pandas 进行电子商务数据分析,涵盖数据加载、清洗、预处理、分析与可视化。通过 `read_csv` 等函数加载数据,利用 `info()` 和 `describe()` 探索数据结构和统计信息。针对常见问题如缺失值、重复记录、异常值等,提供解决方案,如 `dropna()`、`drop_duplicates()` 和正则表达式处理。结合 Matplotlib 等库实现数据可视化,探讨内存不足和性能瓶颈的应对方法,并总结常见报错及解决策略,帮助提升电商企业的数据分析能力。
184 73
|
19天前
|
机器学习/深度学习 传感器 数据采集
基于机器学习的数据分析:PLC采集的生产数据预测设备故障模型
本文介绍如何利用Python和Scikit-learn构建基于PLC数据的设备故障预测模型。通过实时采集温度、振动、电流等参数,进行数据预处理和特征提取,选择合适的机器学习模型(如随机森林、XGBoost),并优化模型性能。文章还分享了边缘计算部署方案及常见问题排查,强调模型预测应结合定期维护,确保系统稳定运行。
92 0
|
2月前
|
存储 数据采集 数据可视化
Pandas数据应用:医疗数据分析
Pandas是Python中强大的数据操作和分析库,广泛应用于医疗数据分析。本文介绍了使用Pandas进行医疗数据分析的常见问题及解决方案,涵盖数据导入、预处理、清洗、转换、可视化等方面。通过解决文件路径错误、编码不匹配、缺失值处理、异常值识别、分类变量编码等问题,结合Matplotlib等工具实现数据可视化,并提供了解决常见报错的方法。掌握这些技巧可以提高医疗数据分析的效率和准确性。
105 22
|
4月前
|
存储 机器学习/深度学习 数据可视化
数据集中存在大量的重复值,会对后续的数据分析和处理产生什么影响?
数据集中存在大量重复值可能会对后续的数据分析和处理产生多方面的负面影响
239 56
|
3月前
|
数据采集 数据可视化 索引
Pandas数据应用:股票数据分析
本文介绍了如何使用Pandas库进行股票数据分析。首先,通过pip安装并导入Pandas库。接着,从本地CSV文件读取股票数据,并解决常见的解析错误。然后,利用head()、info()等函数查看数据基本信息,进行数据清洗,处理缺失值和重复数据。再者,结合Matplotlib和Seaborn进行数据可视化,绘制收盘价折线图。最后,进行时间序列分析,设置日期索引、重采样和计算移动平均线。通过这些步骤,帮助读者掌握Pandas在股票数据分析中的应用。
119 5
|
3月前
|
数据采集 监控 数据挖掘
常用电商商品数据API接口(item get)概述,数据分析以及上货
电商商品数据API接口(item get)是电商平台上用于提供商品详细信息的接口。这些接口允许开发者或系统以编程方式获取商品的详细信息,包括但不限于商品的标题、价格、库存、图片、销量、规格参数、用户评价等。这些信息对于电商业务来说至关重要,是商品数据分析、价格监控、上货策略制定等工作的基础。
|
5月前
|
机器学习/深度学习 人工智能 搜索推荐
某A保险公司的 数据图表和数据分析
某A保险公司的 数据图表和数据分析
92 0
某A保险公司的 数据图表和数据分析
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等