备案控制台
探索云世界
开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 视频 > 正文

使用DDI+Confluent进行实时数据采集入湖和分析【Databricks 数据洞察公开课】

发布者：Dev-Talk 2022-06-08 10:50:04 275
Dev-Talk
+关注
视频介绍

本次课程将介绍网约车模拟数据从产生、发布到流数据服务confluent,通过Databricks Structured Streaming 进行实时数据处理，存储到LakeHouse,并使用spark和spark sql进行分析的应用实践。

讲师/嘉宾简介

李锦桂-阿里云开源大数据平台开发工程师

关键词：
sql云消息队列 Kafka 版
云消息队列 Kafka 版实时计算
云消息队列 Kafka 版格式
云消息队列 Kafka 版value
云消息队列 Kafka 版sql
相关视频
大数据与机器学习
开源大数据平台 E-MapReduce
+关注
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门文章
热门讨论
现代流式计算的基石：Google DataFlow
17845
JindoFS解析 - 云上大数据高性能数据湖存储方案
14405
漫谈分布式计算框架
11042
5W1H(六何分析法)全景洞察大数据
10948
在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
10441
Apache Spark 3.0 将内置支持 GPU 调度
10364
YARN中的CPU资源隔离-CGroups
9403
Apache Flink : Checkpoint 原理剖析与应用实践
7085
HBase ThriftServer Kerberos认证
8167
Presto实现原理（转）
7103
展开全部
阿里云E-MapReduce导致的ECS监控告警。请问还有其他什么排查方式么？
50
阿里云E-MapReduce中在spark里使用jingdo访问oss， 是啥原因？
63
E-MapReduce由于某些未知错误、异常或失败，请求处理失败？
85
核桃编程是什么？
3078
有 E-MapReduce on ECS 的维护手册吗？ 除了官网的那个，有没有文档形式的那种呢？
52
请问hive 的hive-site.xml文件在哪啊
1479
EMR中如何申请开通doctor，添了表格好像没有打电话？
117
阿里云E-MapReduce这个CU用完啦 需要购买吗？
23
Delta Lake是什么？
1820
starRock 一定要 达到 8核，16核的要求 才能部署吗？4核 64G内存，行不行？
439
展开全部
+关注
Dev-Talk
文章
问答
视频
来源圈子
更多
Apache Spark 中国技术社区
4459
邀请你加入钉钉群聊Apache Spark中国技术交流社区，点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,X7S/0/QcrLMkK7QZ5sw2oTvoYW49u0g5dvGu7PW+sm4=&_dt_no_comment=1&origin=11。</br> 微信公众号：Apache Spark技术交流社区 为 Spark 爱好者提供一个交流技术和传递资讯的平台，在这里你可以掌握大数据计算领域最前沿的资讯，可以与 Spark 技术大牛面对面交流，还有不定期社区福利领取哟～
+ 订阅

相关产品

  • 开源大数据平台 E-MapReduce
    文档详情 产品详情
    • 相关文章
    更多
    【数据湖仓】数据湖和仓库：Databricks 和 Snowflake 使用 Databricks 和 MLflow 进行机器学习模型训练和部署的应用实践| 学习笔记（二） 使用 Databricks 进行营销效果归因分析的应用实践【Databricks 数据洞察公开课】 使用Databricks+Mlflow进行机器学习模型的训练和部署【Databricks 数据洞察公开课】 深度解析数据湖存储方案Lakehouse架构【Databricks 数据洞察公开课】 Databricks 企业版 Spark&Delta Lake 引擎助力 Lakehouse 高效访问 使用Databricks进行零售业需求预测的应用实践【Databricks 数据洞察公开课】 【实践案例】Databricks 数据洞察在美的暖通与楼宇的应用实践 【实践案例】Databricks 数据洞察 Delta Lake 在基智科技（STEPONE）的应用实践 阿里云云效-项目的部署与发布