数据进入Maxcompute的N种方式,大数据实战Demo系统数据上云实践
2018 “MaxCompute开发者交流”钉钉群直播分享,由阿里云数据技术专家彬甫带来以“数据进入MaxCompute的N种方式”为题的演讲。本文讲述了在阿里云内部开发了一个实战Demo系统,它能够实现自动全链路的大数据处理流程,其中包括离线的和实时数据的,接下来将为大家揭晓实战Demo系统是怎样实现自动全链路的大数据处理流程的。
实时计算Flink > 快速入门 —— 步骤二:注册上下游存储
本页目录
登录阿里云账号
注册上游存储
注册下游存储
注册上下游存储操作步骤如下。
登录阿里云账号
登录阿里云账号。
注册上游存储
登录DataHub
登录DataHub控制台。
创建DataHub源表
为简化问题,我们将源源不断的数据抽象简化为如下二维表。
双管齐下,MaxCompute数据上云与生态
在票选最美云上大数据暨大数据技术峰会上,来自飞天一部的朋春从MaxCompute提供的离线、实时数据通道入手,延伸到DTS、Logstash、DataX等官方/开源软件,向大家介绍如何从数据库、本地文件等多种存储向MaxCompute导入数据,分享最后还介绍了如何在Python和R语言中使用MaxCompute。
实时计算与SparkSteaming的对比
本文由阿里巴巴龙青云带来以“实时计算与SparkSteaming的对比”为题的演讲。首先对实时计算和产品模式进行概述。然后介绍了什么是Flink以及它的架构图、编程模型、计算模型和容错机制。接着阐述了Spark Streaming与实时计算的对比涉及生态集成对比、API对比、数据处理模式对比、时间机制对比以及容错机制对比五个方面。最后讲解了如何使用阿里云实时计算以及实时计算的使用限制。
实时计算案例:杭州企鹅科技
公司依托领先的物联网技术,瞄准线下消费升级和差异化趋势,利用智慧物联技术连接并赋能线下商用设备实现商户的智能化管理,降低运维成本、提高收益;同时,为用户提供基于LBS定位的物联自助智能体验服务,满足用户体验的智能化,个性化需求。