-
阿里正式向 Apache Flink 贡献 Blink 源码
主要贡献包括，阿里巴巴在流计算上积累的一些新功能和性能的优化，一套完整的（能够跑通全部TPC-H/TPC-DS，能够读取Hive meta和data）高性能Batch SQL，以及一些以提升易用性为主的功能（包括支持更高效的...文章 2019-01-28 26354浏览量 -
这一年多来，阿里Blink测试体系如何从0走向成熟？
Blink的性能测试主要包含Operator性能测试、SQL性能测试和runtime性能测试： Operator指构成SQL语义的一个原子操作，例如Sum，Aggregate等，是一个不能再分割的算子。Operator的性能测试主要用于监控单个算子在整个...文章 2018-11-22 2170浏览量 -
blink测试技术介绍
Blink的性能测试主要包含Operator性能测试、SQL性能测试和runtime性能测试： Operator指构成SQL语义的一个原子操作，例如Sum，Aggregate等，是一个不能再分割的算子。Operator的性能测试主要用于监控单个算子...文章 2018-09-25 3368浏览量 -
开源大数据周刊-第74期
百度开源高性能Python分布式计算框架Bigflow 百度近日开源了一套计算框架 Bigflow，致力于提供一套简单易用的接口来描述用户的计算任务，并使同一套代码可以运行在不同的执行引擎之上。谷歌TPU团队离职创立的芯片...文章 2017-12-07 2729浏览量 -
开篇|揭秘 Flink 1.9 新架构，Blink Planner 你会用了...
Blink Planner 提供了更多的内置函数，更标准的 SQL 支持，在 Flink 1.9 版本中已经完整支持 TPC-H，对高阶的 TPC-DS 支持也计划在下一个版本实现。整体看来，Blink 查询处理器在架构上更为先进，功能上也更为完善。...文章 2019-09-19 6135浏览量 -
Blink 有何特别之处？菜鸟供应链场景最佳实践
另外，更多 Blink 的优化技巧，极力推荐阅读：高性能 Flink SQL 优化技巧。超时统计 上架是仓储业务的重要组成部分。上架，顾名思义，就是要把到仓的货品，上到仓库的存储货架上。上架一般分为采购上架、销退上架、...文章 2019-06-14 14504浏览量 -
【阿里内部应用】基于Blink构建亲听项目以及全链路...
drill是高性能的SQL查询引擎，通过drill对接druid提供查询服务不但使查询语法从druid的json文件变为sql可读性大幅增强，同时drill对druid查询结果具有的二次处理能力也进一步增强了通过修改查询逻辑可以满足的实时流...文章 2019-03-01 3271浏览量 -
Blink 有何特别之处？菜鸟供应链场景最佳实践
除了上述几点优化，Blink SQL 模式还在尝试引入 SideInput、Partitioned ALL Cache 等优化方案，相信在随后开源的 Blink 版本中，维表关联的性能会越来越好。下面是一张来自 Flink Committer 云邪 异步查询的流程图...文章 2019-05-23 4149浏览量 -
阿里如何实现秒级百万TPS？搜索离线大数据平台架构...
目前离线平台已经在使用最新的Blink-2.1.1，Bahamut利用SqlTranslator直接生成SQL来描述任务逻辑，通过Bayes（Blink SQL开发平台）服务化直接提交任务到不同的Yarn集群，这样做有以下几个明显的优势： 采用SQL来描述...文章 2018-09-18 2798浏览量 -
SARO平台发展和架构简介
Swift：阿里搜索自研高性能分布式消息队列，支持亿级别消息吞吐能力，存储后端为HDFS，存储计算分离架构。下图则描述了一个离线任务从数据源到产出引擎服务数据的整个过程，流程图分成三层： 数据同步层：将用户定义...文章 2018-08-24 2051浏览量 -
Pick！闲鱼亿级商品库中的秒级实时选品
马赫是一个实时高性能的商品选品系统，解决在亿级别商品中通过规则筛选优质商品并进行投放的场景。有了马赫系统之后，闲鱼的运营同学可以在马赫系统上创建筛选规则，比如商品标题包含“小猪佩奇”、类目为“玩具”、...文章 2019-04-02 9797浏览量 -
实时计算 Flink SQL 核心功能解密
本文会带着大家一起来揭开 Flink SQL 核心功能的面纱（API上我们将尽可能的和Flink社区保持一致，这样才能够更好的融入开源的生态，所以我们将API叫做Flink SQL，而不是Blink SQL。事实上flink社区的SQL绝大部分是...文章 2019-08-03 1548浏览量 -
实时计算 Flink SQL 核心功能解密
本文会带着大家一起来揭开 Flink SQL 核心功能的面纱（API上我们将尽可能的和Flink社区保持一致，这样才能够更好的融入开源的生态，所以我们将API叫做Flink SQL，而不是Blink SQL。事实上flink社区的SQL绝大部分是...文章 2018-02-08 16621浏览量 -
blink+tablestore实现无限扩展性，高实时汇总计算及...
Blink的另一个重大改进是实现了全新的 Flink SQL 技术栈，在功能上，Blink支持现在标准 SQL 几乎所有的语法和语义，在性能上，Blink也比社区Flink更加强大，特别是在批 SQL 的性能方面，当前 Blink 版本是社区版本...文章 2019-08-05 1104浏览量 -
Flink大数据计算的机遇与挑战
3.Blink SQL Engine的架构 我们把整个的SQL Engine换成上图所示。从上层开始的API，到下面的Query Processor包括了Query Optimizer和Query Executor，当做完这些发现，代码大量的减少并被复用，一个job用同样的SQL只...文章 2019-04-25 807浏览量 -
面向B端算法实时业务支撑的工程实践
总结基于B端算法的实时特征需求，沉淀了一套基于blink sql+udf实现的实时特征产出系统，对用户输入的sql进行转义，在Bayes平台生成bink SQL Streaming任务，产出实时特征数据存入iGraph当中，沉淀了blink 写入igraph...文章 2022-02-10 258浏览量 -
阿里风控大脑关于大数据应用的探索与实践
Security-SQL：语法和Blink SQL类似，Blink SQL中会要求写具体的物理实现，阿里希望用户不需要关注这些实现细节，而只关注业务逻辑，所以设计了S-SQL。语法转义：将S-SQL翻译成Blink SQL。Blink任务管理：包括任务的...文章 2019-12-17 3895浏览量 -
阿里风控大脑关于大数据应用的探索与实践
Security-SQL：语法和Blink SQL类似，Blink SQL中会要求写具体的物理实现，阿里希望用户不需要关注这些实现细节，而只关注业务逻辑，所以设计了S-SQL。语法转义：将S-SQL翻译成Blink SQL。Blink任务管理：包括任务的...文章 2020-03-02 1676浏览量 -
天猫“双11”成交额实时统计技术详解
Flink内置了状态管理，可以保证高性能计算和数据的一致性。有了状态之后，Flink就可以提供“恰好一次”语义。如果业务场景接受，也可以支持“至少一次”语义。state也支持checkpoint，recovery，Upgrade，version等...文章 2017-12-29 4486浏览量 -
权威详解|阿里新一代实时计算引擎 Blink，每秒支持数...
此外，Blink重点提供了Table API/SQL这种高级语言API，可以降低门槛让更多开发人员以更低成本进行开发，这对于更多更快速的业务接入是非常有价值了，而且在SQL层Flink之前的进展是非常缓慢的，Blink对Flink给与了...文章 2018-02-08 18289浏览量 -
一文揭秘阿里实时计算Blink核心技术：如何做到唯快不...
取名Flink SQL而不是Blink SQL，主要原因Blink和Flink在SQL这个用户API上面是完全和社区统一的，另外Apache Flink的大部分功能都是阿里巴巴贡献的，所以说Flink SQL就是Blink SQL，没有特别大的区别。BlinkRuntime...文章 2018-01-25 14342浏览量 -
【阿里在线技术峰会】蒋晓伟：Blink计算引擎
此外，在Blink中，我们添加了多个监控指标，用于观测Job性能。现状与计划 目前Blink在阿里已经实现上千台机器规模的集群上线，用于支撑搜索和推荐的核心业务。同时，集团内外对Blink表现出了浓厚的兴趣，包括Uber、...文章 2016-07-19 20052浏览量 -
阿里云MWC 2019发布7款重磅产品，助力全球企业迈向...
当地时间2月25日，在巴塞罗那举行的MWC 2019上，阿里云面向全球发布了7款重磅产品，涵盖无服务器计算、高性能存储、全球网络、企业级数据库、大数据计算等主要云产品，可满足电子商务、物流、金融科技以及制造等各...文章 2019-02-26 2580浏览量 -
仅1年GitHub Star数翻倍，Flink 做了什么？
通过 Benchmark 就可以看到 Flink SQL 无论是在功能完善性、性能还是其他各个方面都已经达到了业界的高标准，达到了生产级可用。Flink 拥抱 AI 2019 年，整个技术圈里最火的当属 AI 了。而 Flink 除了做数据处理之外...文章 2019-12-19 412浏览量 -
RocketMQ Streams：将轻量级实时计算引擎融合进消息...
既可以享有 RocketMQ Streams 带来的高性能、轻资源&xff0c;还可以和现有的 Flink 任务统一运维和管理。什么是 RocketMQ Streams&xff1f;本章节从基础简介、设计思路和特点三方面对 RocketMQ Streams 进行整体介绍。1...文章 2021-12-13 317浏览量 -
RocketMQ Streams：将轻量级实时计算引擎融合进消息...
既可以享有 RocketMQ Streams 带来的高性能、轻资源&xff0c;还可以和现有的 Flink 任务统一运维和管理。什么是 RocketMQ Streams&xff1f;本章节从基础简介、设计思路和特点三方面对 RocketMQ Streams 进行整体介绍。1...文章 2021-12-13 198浏览量 -
仅1年GitHub Star数翻倍，Flink 做了什么？
通过 Benchmark 就可以看到 Flink SQL 无论是在功能完善性、性能还是其他各个方面都已经达到了业界的高标准，达到了生产级可用。Flink 拥抱 AI 2019 年，整个技术圈里最火的当属 AI 了。而 Flink 除了做数据处理之外...文章 2019-12-17 2362浏览量 -
Apache Flink 1.9.0版本新功能介绍
完整的批处理支持：Flink 1.9版本具有完整的批处理支持，在下一个版本中也会继续投入力量来支持TBDS达到开箱即用的高性能。Python Table API：在Flink 1.9版本中也引入了Python Table API，这也是Flink在多语言方向...文章 2019-09-09 2568浏览量 -
面向B端算法实时业务支撑的工程实践
使用blink sql batch模式实现了近实时的此类更新链路&xff0c;打通了此类批处理作业的调度模式&xff0c;为后续批作业产品化打下了基础。未来展望基于B端算法的业务&xff0c;Dolphin引擎目前已经设计开发了Dolphin ...文章 2022-02-10 97浏览量 -
一行配置作业性能提升53%！Flink SQL 性能之旅
看到这些数字，您可能会想，为什么使用新的 Blink planner 启用对象重用比使用旧的 planner 更能提高性能。其原因在 Flink 的堆栈深处，而且可能与我们运行的查询有关联，因为我们在这个查询中大量使用字符串： 如果...文章 2020-03-11 1259浏览量
