品高公开课 | 云和大数据时代的数据管理

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介:

小编的话

“技术干货”系列文章意在分享技术牛人的知识干货,每期主题都不一样哟!期待各位读者在文后发表留言,来一场技术上的交流和思想上的碰撞!本期将由品高大数据平台产品经理李伟文带来“云和大数据时代的数据管理”的分享。

分享嘉宾

李伟文,目前就任品高大数据平台——BingoInsightDIG平台的产品经理,专注于大数据和数据分析领域,拥有多个数据分析领域项目经验,14年开始转向数据平台方向的研究,主要负责产品规划、设计和售前支持。

分享正文

大家好,非常荣幸能和大家一起学习和交流,品高有将近10年数据分析领域的实施经验,数据分析产品化是必然结果,所以今天主要跟大家分享一下本人对企业构建大数据平台的一些观点和品高大数据平台BingoInsight的产品设计理念,欢迎大家和我碰撞和切磋。

Hadoop和Spark只是框架并非产品,

Hadoop离企业大数据的期望还有一段距离。

企业使用Hadoop构建平台会面临诸多问题,技术体系庞大选型复杂、开源无服务支撑、集群部署复杂等,Hadoop只解决了数据存储和计算问题,企业还需考虑数据采集、数据处理、数据建模、数据运维、数据开放、数据可视化等一系列的问题;好复杂,感觉不会再爱了。

因此,我们品高大数据平台BingoInsight(以下简称BingoInsight)的定位就是一站式大数据解决方案,帮助企业快速交付数据价值。以下给大家介绍一下BingoInsight的产品特性和设计理念;

第一,存储和计算集群环境:一键交付

企业可自助定义大数据平台存储架构技术及集群配置,Hadoop、Spark、Nosql、RDB数据库、数据库、全文检索等集群均可一键交付,节省了软件部署的诸多时间。

第二,数据采集:只需简单配置即可从多种数据源快速集成数据

可支持的数据源包括Oracle、DB2、Mysql、Sqlserver等主流RDB以及Nosql、MPP、文本、FTP、网页、Excel、Socket、Webservice,采集周期可以是分钟、小时、日、周、月,非常灵活。

第三,数据存储和计算:开放性设计,拥抱不同的存储计算技术,满足不同企业的需求

不限制企业是用hadoop,MPP、RDB作为存储计算,企业可按实际的数据量和应用场景灵活选择。以上BingoInsight支持调度;

第四,数据处理和开发:从场景出发,将常见的数据处理场景模板化,提升数据处理效率

数据进到数据平台后怎样进行处理呢? 我们把企业数据处理的场景做了详细的梳理和抽象,包括报表数据处理、指标数据处理、文本分类、全文索引构建、数据挖掘、提数、数据探索等,我们将这些场景总结沉淀为一个个数据处理的模板库,用户做数据处理和开发时按需选取一个数据处理的模板,然后再通过设置数据处理的一些参数即可进行开发,相当于用户在做数据处理的时候不需要开发或者是少量的开发就可以处理数据。规则设置好之后BingoInsight会自动调度。

第五,数据开放和共享:打破部门壁垒和边界,统一开放数据

去年8月份国务院发布《促进大数据发展行动纲要》,对政府和企业明确提出数据共享和开放要求,BingoInsight通过数据共享开放平台为政府和企业各部门实现内部横向和垂直部门的数据交换和共享,并以数据服务总线将数据统一开放,保障数据访问的安全和效率,提供数据应用市场,统一管理、分发、检索数据应用

第六,数据分析和可视化:让数据尽快应用于生产

通过仪表盘、报表、自助分析、数据地图等分析工具快速连接业务部门和数据,一般情况下 ,业务部门无需再找IT部门提数,如工具无法满足需求,BingoInsight亦提供基于Html5的数据可视化开发框架,提供100多个数据可视化分析组件,快速定制数据应用。

好的,今天就聊这么多,大家如有疑问,欢迎在右下方留言,一起交流!





====================================分割线================================


本文转自d1net(转载)

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
搜索推荐 算法 大数据
首席技术官大数据专享会线上首播 | 2019飞天大数据平台技术公开课第六季
2019年11月29日阿里云智能飞天大数据平台在北京国家会议中心召开 “首席技术官大数据专享会”,超过70位企业首席技术官和大数据平台负责人与会。会上由来自阿里云智能,阿里巴巴搜索推荐事业部,阿里巴巴CRO技术部,友盟+的四位分享嘉宾进行了精彩演讲。
6405 0
首席技术官大数据专享会线上首播 | 2019飞天大数据平台技术公开课第六季
|
分布式计算 MaxCompute 数据安全/隐私保护
《MaxCompute技术公开课第四季 之 MaxCompute数据安全管理解析》电子版地址
MaxCompute技术公开课第四季 之 MaxCompute数据安全管理解析
《MaxCompute技术公开课第四季 之 MaxCompute数据安全管理解析》电子版地址
|
消息中间件 分布式计算 Kafka
《MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute》电子版地址
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute
75 0
《MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute》电子版地址
|
分布式计算 大数据 MaxCompute
《2019大数据技术公开课第三季—MaxCompute最新特性介绍》电子版地址
2019大数据技术公开课第三季—MaxCompute最新特性介绍
53 0
《2019大数据技术公开课第三季—MaxCompute最新特性介绍》电子版地址
|
消息中间件 分布式计算 大数据
《2019大数据技术公开课第五季—kafka 数据如何同步到 MaxCompute》电子版地址
2019大数据技术公开课第五季—kafka 数据如何同步到 MaxCompute
69 0
《2019大数据技术公开课第五季—kafka 数据如何同步到 MaxCompute》电子版地址
|
数据挖掘 大数据 BI
阿里云ACP大数据分析师公开课—快速攻克ACP大数据数据分析,扫码进领取学习资料!
0元免费 公开课;5天试题+2天直播;发放学习资料,支持学习问题答疑
阿里云ACP大数据分析师公开课—快速攻克ACP大数据数据分析,扫码进领取学习资料!
|
分布式计算 DataWorks Cloud Native
2022阿里云大数据公开课第一季 — 云原生一体化数仓产品新能力解读
为培育专业化、场景化的大数据解决方案,构建多层次的工业互联网平台、建设行业的大数据平台,阿里云整合自研大数据产品MaxCompute、DataWorks、Hologres,提出云原生一体化数仓,为企业提供一站式大数据处理平台。
663 0
2022阿里云大数据公开课第一季 — 云原生一体化数仓产品新能力解读
|
机器学习/深度学习 人工智能 编解码
AI公开课:19.05.29 浣军-百度大数据实验室主任《AutoDL 自动化深度学习建模的算法和应用》课堂笔记以及个人感悟
AI公开课:19.05.29 浣军-百度大数据实验室主任《AutoDL 自动化深度学习建模的算法和应用》课堂笔记以及个人感悟
|
机器学习/深度学习 SQL 分布式计算
2021阿里巴巴大数据技术公开课第二季 — SaaS模式云数据仓库MaxCompute应用场景实践
MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,基于MaxCompute与推荐、搜索、机器学习等产品可构建智能推荐、用户增长等多种用户常用的解决方案。同时MaxCompute具备大规模数据科学分析、半结构化数据处理能力,也可提供基于Delta lake、Hudi格式的湖仓一体方案 。本季直播将对基于MaxCompute的经典解决方案和能力进行最佳实践介绍。
785 0
2021阿里巴巴大数据技术公开课第二季 — SaaS模式云数据仓库MaxCompute应用场景实践
|
分布式计算 Cloud Native 大数据
2021阿里巴巴大数据技术公开课第一季 — 外部工具连接SaaS模式云数仓MaxCompute实战
MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,帮助企业和大数据开发者经济并高效的分析处理海量数据。
729 0
2021阿里巴巴大数据技术公开课第一季 — 外部工具连接SaaS模式云数仓MaxCompute实战