开源大数据平台 E-MapReduce
阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
数据湖实操讲解【OSS 访问加速】第八讲:Flume 高效写入 OSS
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播! 扫文章底部二维码入钉群,线上准时观看~ Github链接: https://github.com/aliyun/alibabacloud-jindofs
数据湖实操讲解【OSS 访问加速】第七讲:Flink 高效 sink 写入 OSS
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播! 扫文章底部二维码入钉群,线上准时观看~ Github链接: https://github.com/aliyun/alibabacloud-jindofs
阿里云EMR系列直播-EMR spark on ACK产品演示及最佳实践
EMR on ACK是企业级半托管的开源大数据平台,为阿里云E-MapReduce(EMR)提供了一个部署选项,允许您在阿里云容器服务Kubernetes版 (ACK) 上运行开源大数据框架。 目前支持Spark引擎的部署,结合自研的Remote shuffle service服务组件,提供用户高稳定、高性价比、灵活的弹性计算服务。本次直播重点展开了该产品介绍和使用演示。讲师介绍石磊(砳岩),阿里云技术专家
【实践案例】Databricks 数据洞察在美的暖通与楼宇的应用实践
获取更详细的 Databricks 数据洞察相关信息,可至产品详情页查看:https://www.aliyun.com/product/bigdata/spark
数据湖JindoFS+OSS 实操干货36讲 第四课(7/8讲)
【第7/8讲 直播主题】1、Flink 高效 sink 写入 OSS2、Flume 高效写入 OSS【背景】为了让更多开发者了解并使用 JindoFS,由阿里云 JindoFS+OSS 团队打造的专业公开课【数据湖 JindoFS+OSS 实操干货36讲】会在每周二16:00准时开讲!从五大板块入手,玩转数据湖!讲师介绍重湖 - 阿里巴巴计算平台事业部 EMR 高级工程师焱冰 - 阿里巴巴计算平台事业部 EMR 技术专家
数据湖实操讲解【OSS 访问加速】第六讲:Hadoop/Spark 访问 OSS 加速
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播!扫文章底部二维码入钉群,线上准时观看~ Github链接: https://github.com/aliyun/alibabacloud-jindofs
数据湖实操讲解【OSS 访问加速】第五讲:访问 OSS 这类对象存储最快的方式 - JindoFS SDK
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播!扫文章底部二维码入钉群,线上准时观看~ Github链接: https://github.com/aliyun/alibabacloud-jindofs
阿里云EMR系列直播 - 精讲 Databricks数据洞察(介绍及案例分析)
Databricks数据洞察是企业级全托管的Spark高性能大数据分析平台,来自Apache Spark创始公司Databricks。引擎采用Databricks Runtime,性能与社区版相比,最高可达50倍提升,高效而稳定。本次直播将重点展开介绍该产品,并针对代表性案例进行分析。讲师介绍韩宗泽(棕泽),阿里云技术专家,计算平台事业部开放平台-生态企业团队负责人
数据湖JindoFS+OSS 实操干货36讲 第三课(5/6讲)
【第5/6讲直播主题】1、访问 OSS 这类对象存储最快的方式:JindoFS SDK2、Hadoop/Spark 访问 OSS 加速【背景】为了让更多开发者了解并使用 JindoFS,由阿里云 JindoFS+OSS 团队打造的专业公开课【数据湖 JindoFS+OSS 实操干货36讲】会在每周二16:00准时开讲!从五大板块入手,玩转数据湖!【讲师】诚历 - 阿里巴巴计算平台事业部 EMR 技术专家流影 - 阿里巴巴计算平台事业部 EMR 技术专家
超详攻略!Databricks 数据洞察 - 企业级全托管 Spark 大数据分析平台及案例分析
5分钟读懂 Databricks 数据洞察 ~ 更多详细信息可登录 Databricks 数据洞察 产品链接:https://www.aliyun.com/product/bigdata/spark(当前产品提供¥599首购试用活动,欢迎试用!)
数据湖实操讲解【数据迁移】第四讲:如何将 Hive 数据按分区归档到 OSS
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播!扫文章底部二维码入钉群,线上准时观看~ Github链接: https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindo_distcp/jindo_distcp_overview.md
数据湖实操讲解【数据迁移】第三讲:如何将 HDFS 海量文件归档到OSS
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播!扫文章底部二维码入钉群,线上准时观看~ Github链接: https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindo_distcp/jindo_distcp_overview.md
【阿里云EMR实战篇】以EMR测试集群版本为例,详解 Flink SQL Client 集成 Hive 使用步骤
以测试集群版本为例(EMR-4.4.1)—— Flink SQL Client 集成 Hive 使用文档
数据湖JindoFS+OSS 实操干货36讲 第二课
【第二课直播主题】1、如何将 HDFS 数据归档到 OSS2、如何将 Hive 数据按分区归档到 OSS【背景】为了让更多开发者了解并使用 JindoFS,由阿里云 JindoFS+OSS 团队打造的专业公开课【数据湖 JindoFS+OSS 实操干货36讲】会在每周二16:00准时开讲!从五大板块入手,玩转数据湖!讲师介绍辰石 - 阿里巴巴计算平台事业部 EMR 技术专家健身 - 阿里巴巴计算平台事业部 EMR 技术专家
数据湖实操讲解【数据迁移】第二讲:数据无忧 - 利用 checksum 迁移 HDFS 数据到 OSS
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播!扫文章底部二维码入钉群,线上准时观看~ Github链接: https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindo_distcp/jindo_distcp_overview.md
【实践案例】Databricks 数据洞察 Delta Lake 在基智科技(STEPONE)的应用实践
获取更详细的 Databricks 数据洞察相关信息,可至产品详情页查看:https://www.aliyun.com/product/bigdata/spark
数据湖实操讲解【数据迁移】第一讲:高效迁移 HDFS 海量文件到 OSS
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播!扫文章底部二维码入钉群,线上准时观看~
一篇看懂!MLSQL 是如何作为一个可编程的 SQL 语言的?
重点讲解 MLSQL 的一些语法特性,通过这些特性的覆盖,我们可以看到 MLSQL 是怎么作为一个可编程的 SQL 语言的。
Apache Flink x Iceberg Meetup 上海站
问题与互动页面(戳我进入)4月17日,Apahce Flink 社区2021年的首场线下 Meetup 正式开启!本次Apahce Flink x Iceberg Meetup邀请了来自阿里巴巴、腾讯、Dell、汽车之家的四位技术专家,聚焦 Flink x Iceberg 数据湖应用主题,围绕湖仓一体架构实践、Iceberg和对象存储的数据湖构建方案、超大规模数据入湖实践以及数据入湖面临的挑战等全方位剖析数据湖生产应用难题!活动亮点:超多实用干货,从数据湖应用面临的挑战入手,解析数据湖架构升级、对象存储与 Iceberg 的数据湖生态以及百亿数据入湖实践,轻松 get 数据湖正确打开方式;活动形式多样化,线下线上同步开启,同城可参与线下 Meetup 面对面交流,异地也可在线观看直播,精彩内容不错过;丰富周边等你拿,报名参加就有机会获得超多 Flink 社区定制的精美周边!Meetup 技术交流群:(Apache Flink 社区)活动议程合作伙伴
Delta Lake在Soul的应用实践
传统离线数仓模式下,日志入库前首要阶段便是ETL,我们面临如下问题:天级ETL任务耗时久,影响下游依赖的产出时间;凌晨占用资源庞大,任务高峰期抢占大量集群资源;ETL任务稳定性不佳且出错需凌晨解决、影响范围大。为了解决天级ETL逐渐尖锐的问题,所以这次我们选择了近来逐渐进入大家视野的数据湖架构,基于阿里云EMR的Delta Lake,我们进一步打造优化实时数仓结构,提升部分业务指标实时性,满足更多更实时的业务需求。
Databricks数据洞察公开课!精彩案例,成功实践,技术解读都在这里!
欢迎观看Databricks数据洞察公开课,Databricks专注三个场景:🤗大数据和AI一体化,数据/模型开发与计算;😄商业版Delta Lake 流批一体解决方案;😊全托管、高性能spark,优于开源数十倍。此公开课从2021年1月开始,每月更新课程视频,希望帮助企业快速搭建数智基建。
拥抱云原生,Fluid结合JindoFS :阿里云OSS加速利器
Fluid 是一个开源的 Kubernetes 原生的分布式数据集编排和加速引擎,主要服务于云原生场景下的数据密集型应用。在 Fluid 上使用和部署 JindoRuntime 实现数据集的可见性、弹性伸缩、数据迁移、计算加速等,并流程简单、兼容原生 k8s 环境、可以开箱即用。同时深度结合对象存储特性,使用navite框架优化性能,并支持免密、checksum校验等云上数据安全功能。
10亿+文件数压测,阿里云JindoFS轻松应对
Apache Hadoop FileSystem (HDFS) 是被广为使用的大数据存储方案,其核心元数据服务 NameNode 将全部元数据存放在内存中,因此所能承载的元数据规模受限于内存,单个实例所能支撑的文件个数大约 4亿。JindoFS块模式是阿里云基于 OSS 海量存储自研的一个存储优化系统,提供了高效的数据读写加速能力和元数据优化能力。JindoFS 实际表现如何,我们在 10亿文件数规模下做了压测,验证 JindoFS 在达到这个规模的时候是否还可以保持稳定的性能。
阿里云 EMR Delta Lake 在流利说数据接入中的架构和实践
为了消灭数据孤岛,企业往往会把各个组织的数据都接入到数据湖以提供统一的查询或分析。本文将介绍流利说当前数据接入的整个过程,期间遇到的挑战,以及delta在数据接入中产生的价值。