亚马逊将推新AWS服务Kinesis处理实时数据流

简介: 亚马逊将推出一项可实时处理数据的新服务Kinesis,该服务每秒能够处理成千上万的数据流。专为实时应用设计的Kinesis允许开发者从任何来源提取任何数量的数据,按照需要进行扩展缩减。

亚马逊将推出一项可实时处理数据的新服务Kinesis,该服务每秒能够处理成千上万的数据流。专为实时应用设计的Kinesis允许开发者从任何来源提取任何数量的数据,按照需要进行扩展缩减。


Kinesis可以在多个可用区域生成任何数量的数据流。数据流并没“内在”容量或者速率方面的限制。所有引入数据都会复制到可用区域,以提高可用性。每个数据流都可具有多个事务读写工具。该服务将数据切分成流,每一数据流可处理1000个写事务,最多可处理20个读事务。

Kinesis采用按需付费模式,定价取决于数据处理量和数据打包方式。根据AWS博客,客户按照PUT付费,每100万次PUT运行付费0.028美元,每小时每切分付费0.015美元。收集1小时的游戏数据,你需要为切分付费0.30美元,为3600万次PUT调用付费1.01美元或者1.31美元。


亚马逊首席技术官维纳尔•沃格尔(Werner Vogels)谈到传感器正被越来越多地用来记录数据。建筑工地部署了传感器,因此施工人员可以查看那些数据,记录环境条件,依此判断何时灌注混凝土等事情。利用亚马逊Kinesis服务,那些数据现在可以进行实时处理,用于各类应用场景。


沃格尔还指出,未来生成的数据将会继续增加,每秒进行数据提取、处理和分析的服务需求将随之产生。这表明数据处理和基于数据的行动将能够产生重大影响。

相关文章
|
1月前
|
数据采集 消息中间件 存储
实时数据处理的终极武器:Databricks与Confluent联手打造数据采集与分析的全新篇章!
【9月更文挑战第3天】本文介绍如何结合Databricks与Confluent实现高效实时数据处理。Databricks基于Apache Spark提供简便的大数据处理方式,Confluent则以Kafka为核心,助力实时数据传输。文章详细阐述了利用Kafka进行数据采集,通过Delta Lake存储并导入数据,最终在Databricks上完成数据分析的全流程,展示了一套完整的实时数据处理方案。
50 3
|
2月前
|
消息中间件 数据挖掘 Kafka
揭秘数据洪流中的救世主:Confluent与Flink的实时分析奇迹!
【8月更文挑战第9天】在现代数据处理中,实时数据分析至关重要。Confluent Platform与Apache Flink的组合提供了一套高效的数据流处理方案。Confluent Platform基于Apache Kafka构建,负责数据的收集、传输及管理;而Flink则擅长实时处理这些数据流,进行复杂分析。首先需配置Confluent Platform,包括设置Zookeeper、Kafka brokers及相关服务。
49 1
|
消息中间件 运维 分布式计算
云计算情报局预告|告别 Kafka Streams,让轻量级流处理更加简单
消息的流式计算主要采取接入Flink、Kafka Streams等技术方案,但面对70%以上都是简单流场处理景的需求,传统方案的弊端会被不断放大,客户仍然需要投入较大的人力成本和较高的资源,同时整个架也比较更复杂。消息队列Kafka版 发布Kafka-ETL组件,是一款免运维的流计算组件,基于低代码开发可满足包括格式转换、内容富化、本地聚合、路由分发等常用的数据处理需求。
云计算情报局预告|告别 Kafka Streams,让轻量级流处理更加简单
|
消息中间件 SQL 分布式计算
LinkedIn 开源其专用于实时数据的处理分布式流处理框架 Samza
最近LinkedIn 开源其专用于实时数据的处理分布式流处理框架 Samza——Samza,非常像Twitter的流处理系统Storm。不同的是Samza基于Hadoop,而且使用了LinkedIn自家的Kafka分布式消息系统。
206 0
LinkedIn 开源其专用于实时数据的处理分布式流处理框架 Samza
|
边缘计算 运维 Kubernetes
OpenYurt 联手 eKuiper,解决 IoT 场景下边缘流数据处理难题
云计算的出现促使物联网实现爆炸式增长。在设备规模和业务复杂度不断攀升的趋势之下,边缘计算因其能够将计算能力更靠近网络边缘和设备,从而带来云性能成本的降低,也在这波浪潮之下得到快速发展。
291 0
OpenYurt 联手 eKuiper,解决 IoT 场景下边缘流数据处理难题
|
机器学习/深度学习 新零售 监控
权威详解 | 阿里新一代实时计算引擎 Blink,每秒支持数十亿次计算
阿里巴巴需要研发世界级一流的流式计算引擎,实时处理海量数据,提供在线统计、学习和预测能力,不仅支持阿里巴巴自己的核心电商场景,同时也能通过阿里云向外部中小企业提供流式计算服务,输出实时计算能力,这就是我今天要分享的最新一代阿里巴巴实时计算引擎Blink。
2955 0
|
机器学习/深度学习 大数据 数据库
【云周刊】第124期:实时计算来临!阿里新一代实时计算引擎 Blink,每秒支持数十亿次计算
每秒支持数十亿次计算的计算引擎长啥样?阿里下一代数据库技术爆料!把数据库装入容器不再是神话!马云、阿里云和“云上贵州”又有着怎样的故事……更多精彩技术资讯,下滑查看吧!
7300 0
|
数据采集 弹性计算 监控
2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据采集:海量流式视频日志收集》篇
2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据采集:海量流式视频日志收集》篇
3407 0