创建企业级品质数据湖 Spark没那么简单

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

随着Spark受到越来越多的关注,许多企业正在尽力跟上这一开源平台快节奏的变化和发布频率。数据仓库研究院(TDWI)数据管理研究负责人Philip Russom博士表示:“许多企业正在尝试部署Apache Spark,通常会结合数据湖使用,希望能发挥其在流数据、查询和分析上的优势。但用户很快意识到,Spark并不容易使用,而且数据湖所需规划与设计超出用户想象。在这种情况下,用户需要求助于外部顾问和管理服务提供商,他们需要具备为各种不同类型的客户顺利部署Apache Spark和数据湖的可靠经验。”

大数据分析服务供应商Teradata天睿公司最近宣布旗下Think Big公司已经成功将Spark融入创建企业级品质数据湖和分析应用的开发框架。

目前,客户可在搭载“通用硬件”的一般Hadoop环境中部署云端Apache Spark使用数据湖。客户还可在Teradata Hadoop专用平台上使用。该就绪式企业级平台功能强大,专为运行企业级大数据工作负载进行预置和优化。

Think Big公司正在为部署Spark开发可复制的服务包,包括在提供数据湖和管理服务时,将Spark增加为执行引擎。Think Big还将通过旗下培训分支机构Think Big大数据学院(Think Big Academy)为企业客户提供一系列全新Spark培训课程。这些培训课程由经验丰富的讲师讲解,面向经理、开发人员和管理员培训如何使用Spark及机器学习、图形、流、查询等各种Spark模块。

Think Big数据科学团队还将开源Spark Python应用程序接口(API)的分布式K-Modes集群源程序。这些程序将为客户细分和客户流失分析提升分类数据集群性能。用户可访问Think Big公司的GitHub页面,获取该程序代码及Think Big其它开源项目。

Think Big公司总裁Ron Bodkin表示:“Think Big咨询业务正从美洲地区迅速拓展至欧洲和中国,因为首次接触数据湖时,企业对正确使用Spark和Hadoop所需专业技术、经验和方法的需求正在爆炸性增长。部署Spark应成为企业信息与分析战略中的重要组成部分。我们依据经验提供相关的使用案例,提出适当的问题,并提防部署中应注意的雷区。我们了解商业用户的期望和技术需求,能帮助客户创造真实的商业价值。而我们的Spark客户已在全渠道消费个性化、高科技制造业实时故障检测等领域付诸实践。”

早在大数据热潮兴起之前,Think Big就已成为全球首家专注大数据服务的领导企业,致力于运用新兴技术实施分析解决方案。现在,Think Big依托完善的流程、健全的工具和经验丰富的大数据技术专家,在平台和应用支持方面为Hadoop提供管理服务,以经济的方式管理、监控并维护Hadoop平台。Think Big公司通过完善测试的转换流程,进行每一次部署安排,通过评估并提升客户的生产支持、开发和维持团队,使部署卓有成效。



本文转自d1net(转载)

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
158 2
|
2月前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
142 1
|
5月前
|
分布式计算 大数据 数据处理
【大数据管理新纪元】EMR Delta Lake 与 DLF 深度集成:解锁企业级数据湖的无限潜能!
【8月更文挑战第26天】随着大数据技术的发展,Apache Spark已成为处理大规模数据集的首选工具。亚马逊的EMR服务简化了Spark集群的搭建和运行流程。结合使用Delta Lake(提供ACID事务保证和数据版本控制)与DLF(加强数据访问控制及管理),可以显著提升数据湖的可靠性和性能。本文通过一个电商公司的具体案例展示了如何在EMR上部署集成Delta Lake和DLF的环境,以及这一集成方案带来的几大优势:增强的可靠性、细粒度访问控制、性能优化以及易于管理的特性。这为数据工程师提供了一个高效且灵活的数据湖平台,简化了数据湖的建设和维护工作。
74 1
|
6月前
|
存储 搜索推荐 数据建模
阿里巴巴大数据实践之数据建模:构建企业级数据湖
阿里巴巴通过构建高效的数据湖和实施先进的数据建模策略,实现了数据驱动的业务增长。这些实践不仅提升了内部运营效率,也为客户提供了更好的服务体验。随着数据量的不断增长和技术的不断创新,阿里巴巴将持续优化其数据建模方法,以适应未来的变化和发展。
|
8月前
|
存储 人工智能 运维
【云原生企业级数据湖:打破数据孤岛,优化存储成本】
【云原生企业级数据湖:打破数据孤岛,优化存储成本】 随着大数据时代的到来,企业对于数据的处理和存储需求日益增长。如何有效地存储和管理大量数据,同时降低运维成本,成为了企业面临的一大挑战。盛通教育的云原生企业级数据湖方案,正是为了解决这一问题而设计的。
228 1
|
8月前
|
SQL 分布式计算 Apache
流数据湖平台Apache Paimon(六)集成Spark之DML插入数据
流数据湖平台Apache Paimon(六)集成Spark之DML插入数据
241 0
|
8月前
|
SQL 分布式计算 Apache
流数据湖平台Apache Paimon(五)集成 Spark 引擎
流数据湖平台Apache Paimon(五)集成 Spark 引擎
241 0
|
8月前
|
SQL 分布式计算 大数据
Hudi数据湖技术引领大数据新风口(三)解决spark模块依赖冲突
Hudi数据湖技术引领大数据新风口(三)解决spark模块依赖冲突
266 0
|
8月前
|
SQL 分布式计算 数据处理
Uber基于Apache Hudi增量 ETL 构建大规模数据湖
Uber基于Apache Hudi增量 ETL 构建大规模数据湖
180 2
|
8月前
|
存储 SQL 分布式计算
基于Apache Hudi + MinIO 构建流式数据湖
基于Apache Hudi + MinIO 构建流式数据湖
293 1