万山数据鲁四海:敏捷数据分析赋能智慧城市

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

2017年12月2-3日,由CIO时代学院主办的“第三届中国行业互联网大会暨CIO班12周年年会”于北京古北水镇隆重举行。北京大学兼职教授、工业和信息化部原副部长杨学山,北京大学兼职教授、中国卫生信息学会副会长孟群,万山数据创始人鲁四海,以及来自全国各地CIO等400多人出席了本次会议。

12月3日下午,在互联网+公共服务分论坛中,万山数据创始人鲁四海发表主题为《敏捷数据分析赋能智慧城市》的演讲,鲁四海从大数据市场现状、敏捷数据分析要素、敏捷数据分析平台、敏捷数据分析如何赋能智慧城市四个方面进行了详细阐述。

万山数据创始人、中国新一代IT产业推进联盟技术分委会秘书长 鲁四海

一、大数据市场现状:重视大数据平台及基础设施建设,轻应用

根据国家信息中心《2017中国大数据发展报告》,可以看到2016年各地积极部署大数据项目,政府投资大数据项目数量整体呈攀升态势;在政府项目中,超七成为大数据平台及基础设施建设,应用层面的软件开发不足5%。

不单是政府,很多企业也是在大数据领域进行了大量投入,而收效似乎没有那么明显,问题在于大数据基础设施投入并没有直达“问题”的根本。大家已开始意识到大数据应用落地的最后一公里是敏捷数据分析,只有加强面向业务的敏捷数据分析,才能真正释放数据的价值。

敏捷的数据分析具有三个特点:

第一是快,指数据增长量快,处理的速度也很快;

第二是灵活,指能够灵活分析,组合解决不同的问题;

第三是简单,既然是面向业务的,那么一定要简单易用。

二、面向业务的敏捷数据分析三大要素

1.数据,具备完整性、一致性、准确性、及时性、可读性的数据。

2.技术平台,面向用户、面向业务场景,支持即时计算、探索分析的敏捷数据分析平台。

3.可视的灵活的算法模型库,非专业人员也可以进行数据挖掘的算法模型库。

三、面向业务的敏捷数据分析需要新的技术平台支撑

敏捷数据分析平台基本要求如下:

1.面向用户的,即非IT人员亦能灵活操作;

2.面向具体业务场景的;

3.即时计算;

4.探索式分析,探索式分析必备条件是数据、模型算法的可视化与自助式应用,即平台里的数据、模型算法能被非IT人员看明白;

5.多数据源的集成,除了常用的SQL、NoSQL,还需要支持互联网数据、文本数据、图数据以及API、脚本等数据接入。

万山数据提供的敏捷数据分析平台架构图如下:

四、敏捷数据分析如何赋能智慧城市

敏捷数据分析对智慧城市建设的意义

1. 打破数据孤岛;

2. 释放数据价值,在智慧城市里可以从三个方面来释放数据价值:

1)众智优政,通过敏捷数据分析平台建设智慧城市数据开放平台,让大众参与数据分析,让大众的智慧参与到政务优化中来;

2)双创兴业,通过开放平台,降低双创团队使用数据的门槛,激发创新活力;

3)信息惠民。

如何构建智慧城市敏捷数据分析平台

1.建设数据开放机制,既然是敏捷的开放分析平台,首先得有数据,数据的开放,技术已经不再成为问题了,关键是如何保证数据能够开放,而且是准确的、高质量的数据开放出来,这是需要一套完善的机制来保证;

2.建设敏捷分析平台;

3.持续完善模型库,因为离业务最近的人往往离IT、数学的距离很远,通过不断完善的模型库,加上可视化的操作,就可以为他们搭起一道通往大数据的桥梁。

万山数据专注于提供大数据敏捷分析平台与数据分析服务,拥有多个自主研发的大数据核心技术,建立了领先的算法模型库,致力于解决大数据应用落地最后一公里的问题。





本文出处:畅享网
本文来自云栖社区合作伙伴畅享网,了解相关信息可以关注vsharing.com网站。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
数据挖掘 PyTorch TensorFlow
|
24天前
|
机器学习/深度学习 人工智能 搜索推荐
某A保险公司的 数据图表和数据分析
某A保险公司的 数据图表和数据分析
53 0
某A保险公司的 数据图表和数据分析
|
3月前
|
数据采集 DataWorks 数据挖掘
提升数据分析效率:DataWorks在企业级数据治理中的应用
【8月更文第25天】本文将探讨阿里巴巴云的DataWorks平台如何通过建立统一的数据标准、规范以及实现数据质量监控和元数据管理来提高企业的数据分析效率。我们将通过具体的案例研究和技术实践来展示DataWorks如何简化数据处理流程,减少成本,并加速业务决策。
409 54
|
1月前
|
机器学习/深度学习 数据采集 数据可视化
如何理解数据分析及数据的预处理,分析建模,可视化
如何理解数据分析及数据的预处理,分析建模,可视化
47 0
|
2月前
|
机器学习/深度学习 数据挖掘 TensorFlow
🔍揭秘Python数据分析奥秘,TensorFlow助力解锁数据背后的亿万商机
【9月更文挑战第11天】在信息爆炸的时代,数据如沉睡的宝藏,等待发掘。Python以简洁的语法和丰富的库生态成为数据分析的首选,而TensorFlow则为深度学习赋能,助你洞察数据核心,解锁商机。通过Pandas库,我们可以轻松处理结构化数据,进行统计分析和可视化;TensorFlow则能构建复杂的神经网络模型,捕捉非线性关系,提升预测准确性。两者的结合,让你在商业竞争中脱颖而出,把握市场脉搏,释放数据的无限价值。以下是使用Pandas进行简单数据分析的示例:
42 5
|
3月前
|
存储 数据挖掘 数据处理
DataFrame探索之旅:如何一眼洞察数据本质,提升你的数据分析能力?
【8月更文挑战第22天】本文通过电商用户订单数据的案例,展示了如何使用Python的pandas库查看DataFrame信息。首先导入数据并使用`head()`, `columns`, `shape`, `describe()`, 和 `dtypes` 方法来快速概览数据的基本特征。接着,通过对数据进行分组操作计算每位顾客的平均订单金额,以此展示初步数据分析的过程。掌握这些技能对于高效的数据分析至关重要。
40 2
|
3月前
|
数据采集 机器学习/深度学习 算法
"揭秘数据质量自动化的秘密武器:机器学习模型如何精准捕捉数据中的‘隐形陷阱’,让你的数据分析无懈可击?"
【8月更文挑战第20天】随着大数据成为核心资源,数据质量直接影响机器学习模型的准确性和效果。传统的人工审查方法效率低且易错。本文介绍如何运用机器学习自动化评估数据质量,解决缺失值、异常值等问题,提升模型训练效率和预测准确性。通过Python和scikit-learn示例展示了异常值检测的过程,最后强调在自动化评估的同时结合人工审查的重要性。
90 2
|
2月前
|
机器学习/深度学习 数据挖掘 TensorFlow
从数据小白到AI专家:Python数据分析与TensorFlow/PyTorch深度学习的蜕变之路
【9月更文挑战第10天】从数据新手成长为AI专家,需先掌握Python基础语法,并学会使用NumPy和Pandas进行数据分析。接着,通过Matplotlib和Seaborn实现数据可视化,最后利用TensorFlow或PyTorch探索深度学习。这一过程涉及从数据清洗、可视化到构建神经网络的多个步骤,每一步都需不断实践与学习。借助Python的强大功能及各类库的支持,你能逐步解锁数据的深层价值。
62 0
|
3月前
|
SQL 数据挖掘 Serverless
SQL 窗口函数简直太厉害啦!复杂数据分析的超强利器,带你轻松攻克数据难题,快来一探究竟!
【8月更文挑战第31天】在数据驱动时代,高效处理和分析大量数据至关重要。SQL窗口函数可对一组行操作并返回结果集,无需分组即可保留原始行信息。本文将介绍窗口函数的分类、应用场景及最佳实践,助您掌握这一强大工具。例如,在销售数据分析中,可使用窗口函数计算累计销售额和移动平均销售额,更好地理解业务趋势。
62 0
|
3月前
|
SQL 数据可视化 数据挖掘
SQL 在数据分析中简直太牛啦!从数据提取到可视化,带你领略强大数据库语言的神奇魅力!
【8月更文挑战第31天】在数据驱动时代,SQL(Structured Query Language)作为强大的数据库查询语言,在数据分析中扮演着关键角色。它不仅能够高效准确地提取所需数据,还能通过丰富的函数和操作符对数据进行清洗与转换,确保其适用于进一步分析。借助 SQL 的聚合、分组及排序功能,用户可以从多角度深入分析数据,为企业决策提供有力支持。尽管 SQL 本身不支持数据可视化,但其查询结果可轻松导出至 Excel、Python、R 等工具中进行可视化处理,帮助用户更直观地理解数据。掌握 SQL 可显著提升数据分析效率,助力挖掘数据价值。
61 0
下一篇
无影云桌面