备案控制台
探索云世界
开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 视频 > 正文

Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理

发布者：开发者说 2019-10-14 16:53:06 780
开发者说
+关注
视频介绍

Tablestore是阿里云自研的云原生结构化大数据存储服务，本议题会详细介绍如何基于Tablestore的CDC技术，将大表内实时数据更新对接Spark Streaming来实现数据的实时计算和处理。最新版本的Connector会随着EMR下个版本的SDK一起开源，场景环节会结合阿里内部的业务介绍用户如何结合Tablestore和Spark来实现实时数据处理。

讲师介绍

朱晓然 ，Tablestore存储服务技术专家

关键词：
实时计算 Flink版sink并行度
实时计算 Flink版cdc sink并行度
实时计算 Flink版cdc并行度
实时计算 Flink版cdc sink
实时计算 Flink版同步
相关视频
大数据与机器学习
开源大数据平台 E-MapReduce
+关注
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门文章
热门讨论
阿里封神谈hadoop生态学习之路
48538
JindoFS: 云上大数据的高性能数据湖存储方案
16087
基于Alluxio系统的Spark DataFrame高效存储管理技术
12167
HBase写性能优化
8085
YARN中的CPU资源隔离-CGroups
9382
E-MapReduce的HBase集群使用Hue
7122
从数砖开源 Delta Lake 说起
6296
E-MapReduce集群如何使用Phoenix on HBase
4591
浅谈 Spark 的多语言支持
4843
开源大数据周刊-第19期
3911
展开全部
阿里云E-MapReduce读写 oss 文件时，api 的调用次数和文件层级有关系吗？
16
阿里云共享块存储和NAS还有OSS的区别是什么呀
7559
阿里云E-MapReduce这个CU用完啦 需要购买吗？
15
大佬，可以请教下，有没有遇到 com.aliyun.oss
970
请问hive 的hive-site.xml文件在哪啊
1470
阿里云E-MapReduce公司最近Presto所在的服务器，请问这种问题各位有遇到过吗？
33
阿里云E-MapReduce中Nootbook什么时候可以上文件夹功能？
12
阿里云E-MapReduce后期可能会做类似jupyterhub的账户隔离管理的工作吗？
12
阿里云E-MapReduce这是什么问题啊？
12
EMR中如何申请开通doctor，添了表格好像没有打电话？
117
展开全部
+关注
开发者说
文章
问答
视频
来源圈子
更多
Apache Spark 中国技术社区
4459
邀请你加入钉钉群聊Apache Spark中国技术交流社区，点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,X7S/0/QcrLMkK7QZ5sw2oTvoYW49u0g5dvGu7PW+sm4=&_dt_no_comment=1&origin=11。</br> 微信公众号：Apache Spark技术交流社区 为 Spark 爱好者提供一个交流技术和传递资讯的平台，在这里你可以掌握大数据计算领域最前沿的资讯，可以与 Spark 技术大牛面对面交流，还有不定期社区福利领取哟～
+ 订阅

相关产品

  • 开源大数据平台 E-MapReduce
    文档详情 产品详情
    • 相关文章
    更多
    flink cdc 数据问题之数据堆积严重如何解决 Flink CDC产品常见问题之用superset连接starrocks报错如何解决 Flink CDC产品常见问题之直接升级里面的Debezium版本失败如何解决 flink cdc 同步问题之多表数据如何同步 Flink CDC产品常见问题之文件增大如何解决 flink cdc 同步问题之如何提高用户速度 Flink CDC产品常见问题之yarn-session提交失败如何解决 Flink CDC产品常见问题之内存释放失败如何解决 flink cdc 连接池问题之调整大小如何解决 Flink CDC产品常见问题之写入顺序不符合预期如何解决