本文将从大数据架构变迁历史，Pravega 简介，Pravega 进阶特性以及车联网使用场景这四个方面介绍 Pravega，重点介绍 DellEMC 为何要研发 Pravega，Pravega 解决了大数据处理平台的哪些痛点以及与 Flink 结合会碰撞出怎样的火花。

Koalas是Spark社区推出的新项目，旨在为Spark提供与pandas完全兼容的接口，在降低pandas用户的学习和迁移成本的同时，充分利用Spark强大的分布式处理能力。本次分享介绍Koalas的基本用法和原理。

本次直播介绍EMR Spark 在shuffle方面的相关优化工作，主要包含shuffle 优化的背景以及shuffle 优化的设计方案，最后会介绍Spark shuffle 在 TPC-DS测试中的性能数据

SQL实践：1.多数据源支持 2.多数据类型支持 3.多组件对接

数据中台应该是什么样子?如何基于MLSQL完成数据中台的构建? MLSQL是如何基于Spark来完成这些扩展的? Databricks公司新开元项目Delta对于数据和机器学习的意义何在？

6月14日，阿里巴巴计算平台事业部与阿里云开发者社区共同举办的大数据+AI Meetup 系列第一季即将重磅开启，此次 Meetup 邀请了来自阿里巴巴、Databricks、快手、网易云音乐的7位技术专家，集中解读大数据当前热门话题！

Flink Weekly 周报计划每周更新一期，内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等，欢迎持续关注～

阿里主搜（淘宝天猫搜索）是搜索离线平台非常重要的一个业务，具有数据量大、一对多的表很多、源表的总数多和热点数据等特性。对于将主搜这种逻辑复杂的大数据量应用迁移到搜索离线平台总是不缺少性能的挑战，搜索离线平台经过哪些优化最终实现全量高吞吐、增量低延迟的呢？

数据中台应该是什么样子?如何基于MLSQL完成数据中台的构建? MLSQL是如何基于Spark来完成这些扩展的? Databricks公司新开元项目Delta对于数据和机器学习的意义何在？

农业贷款预测的回归算法实现<br />数据源:<br />数据大小:6.62 KB<br />字段数量:10<br />使用组件:读数据表,线性回归(旧),SQL脚本,过滤与映射,合并列<br />

Apache Avro 是一种流行的数据序列化格式。它广泛用于 Apache Spark 和 Apache Hadoop 生态系统，尤其适用于基于 Kafka 的数据管道。从 Apache Spark 2.

根据用户画像、交易行为和商品特征，用户智能推荐的方式帮助用户找到最合适的商品<br />数据源:用户数据、交易数据、商品数据<br />数据大小:184 KB<br />字段数量:4<br />使用组件:归一化,过滤与映射,SQL脚本,缺失值填充,读数据表,JOIN,类型转换<br />

将每个关联结果都作为relational cache构建代价太大，并不现实，我们需要找到一种方式可以通过单个Relational Cache支持优化多个关联查询的方式，从而在加速用户查询的同时，减少创建和更新relational cache的代价。

Flink 1.11 版本即将正式宣告发布！为满足大家的好奇与期待，我们邀请 Flink 核心开发者对 1.11 版本的功能特性进行解读与分享。Flink 1.11 在 1.10 的基础上对许多方面进行了完善和改进，并致力于进一步提高 Flink 的可用性及性能。

实验名称实验名称实验名称<br />数据源:实验名称<br />数据大小:779 KB<br />字段数量:42<br />使用组件:读数据表<br />

jjljljlkjlj<br />数据源:<br />数据大小:896 B<br />字段数量:3<br />使用组件:SQL脚本,读数据表,JOIN<br />

大家好，本文为 Flink Weekly 的第七期，由李劲松整理，主要内容包括：近期社区开发进展，邮件问题答疑以及社区直播和相关技术博客。

一步一步跟着阿里云首页教程做的雾霾预测，仅供自己纪念<br />数据源:http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/attach/49128/cn_zh/1483609721415/wumai.txt?spm=a2c0j.8278987.630153.1.71450e96AdJhun&file=wumai.txt<br />数据大小:37.3 KB<br />字段数量:7<br />使用组件:读数据表,类型转换,SQL脚本,归一化,拆分<br />

本文全面介绍了Elastic Beats、Logstash、语言客户端以及Kibana开发者工具的特性及数据采集到阿里云Elasticsearch（简称ES）服务中的解决方案。帮助您全面了解原理并选择符合自身业务特色的数据采集方案。

在 Flink 社区中，最常被问到的问题之一是：在从开发到生产上线的过程中如何确定集群的大小。这个问题的标准答案显然是“视情况而定”，但这并非一个有用的答案。本文概述了一系列的相关问题，通过回答这些问题，或许你能得出一些数字作为指导和参考。

分享到云栖社区<br />数据源:test<br />数据大小:7.49 KB<br />字段数量:15<br />使用组件:归一化,拆分,SQL脚本,读数据表,类型转换<br />

本文主要分享与交流 Flink 状态使用过程中的一些经验与心得，当然标题取了“最佳实践”之名，希望文章内容能给读者带去一些干货。本文内容首先是回顾 state 相关概念，并认识和区别不同的 state backend；之后将分别对 state 使用访问以及 checkpoint 容错相关内容进行详细讲解，分享一些经验和心得。

本文由阿里巴巴技术专家贺小令（晓令）分享，主要介绍 Apache Flink 新场景 OLAP 引擎，内容分为以下四部分：背景介绍、Flink OLAP 引擎、案例介绍、未来计划。

E-MapReduce整体介绍。通过EMR如何构建一个云上的大数据集群，常见的使用场景和硬件选型指南。

GBDT+LR 融合方案<br />数据源:<br />数据大小:1.54 MB<br />字段数量:20<br />使用组件:拆分,读数据表,特征编码<br />

在 PAI 平台上使用组件完成文本分类任务<br />数据源:Internet<br />数据大小:94.6 KB<br />字段数量:3<br />使用组件:拆分,SQL脚本,读数据表,JOIN,增加序号列,类型转换,合并列<br />

5月16日，2020 年首场 Apache Flink Meetup · 杭州站在线直播圆满结束。本次 Meetup 邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家分享关于实时数仓、1.10 生产环境实践、Flink 分布式同步工具以及 Flink 在 AI 流程中的应用。

电力<br />数据源:<br />数据大小:5.97 KB<br />字段数量:8<br />使用组件:写数据表,读数据表<br />

asdfsadf eee<br />数据源:<br />数据大小:328 KB<br />字段数量:4<br />使用组件:读数据表,SQL脚本,JOIN,过滤与映射<br />

利用机器学习PAI对酒水数据分类<br />数据源:酒水数据<br />数据大小:192 KB<br />字段数量:12<br />使用组件:归一化,主成分分析(PCA),拆分,SQL脚本,读数据表<br />

对所有用户购买商品的行为和购买的商品做出统计，使用协同过滤算法进行操作，最后统计出用户和商品之间的关系，基于二者的关系进行商品推荐<br />数据源:虚拟测试数据<br />数据大小:328 KB<br />字段数量:4<br />使用组件:过滤与映射,SQL脚本,读数据表,JOIN<br />

本文提出一种高效、稳定的长文本处理方案：通过智能分段（支持句子级切分与上下文重叠）、并行结构化提取（JSON格式事实抽取）、多级去重（精确匹配+语义相似度）、冲突识别与溯源校验，最终生成可追溯、低成本、高可控的摘要。适用于录音转写、会议纪要等场景，显著提升准确性与可解释性。（

根据https://tianchi.aliyun.com/competition/new_articleDetail.html?postsId=2089傲海的机器学习PAI教你如何品酒进行PAI平台的操作学习<br />数据源:酒质量评估数据，12个字段，4000多样本，1-11为特征，单位可能为毫米、立方米，量纲不一致，可能需要归一化去除影响。目标列为酒的质量，分数0-10分，分数越高，酒的质量越好<br />数据大小:96.1 KB<br />字段数量:12<br />使用组件:归一化,拆分,SQL脚本,读数据表<br />

基于CTR的GBDT和LR方法融合<br />数据源:直播提供数据<br />数据大小:770 KB<br />字段数量:20<br />使用组件:拆分,读数据表,特征编码<br />

农业数据挖掘<br />数据源:<br />数据大小:3.41 KB<br />字段数量:10<br />使用组件:SQL脚本,读数据表,模型<br />

Flink 1.10 与 1.9 相比又是个创新版本，在我们感兴趣的很多方面都有改进，特别是 Flink SQL。本文用根据埋点日志计算 PV、UV 的简单示例来体验 Flink 1.10 的两个重要新特性.

基于用户画像和消费行为的商品推荐<br />数据源:购物数据<br />数据大小:184 KB<br />字段数量:4<br />使用组件:归一化,过滤与映射,SQL脚本,缺失值填充,读数据表,JOIN,类型转换<br />

2026年企业AI应用已告别“大模型万能论”。本文基于斯坦福《企业AI实战手册》及16家头部企业案例，提炼7条落地共性：AI须嵌入核心业务流程；高风险行业坚持“人先于AI”；数据质量决定成效上限；行业分化加剧，通用方案失效；价值重心从个人提效转向组织决策；AI需持续运营而非一次性项目；推荐以8周闭环验证真实场景,本质是经营能力的竞争。

这是一个测试 请删掉<br />数据源:<br />数据大小:584 KB<br />字段数量:15<br />使用组件:读数据表,SQL脚本,过滤与映射<br />

机器学习<br />数据源:<br />数据大小:7.49 KB<br />字段数量:15<br />使用组件:归一化,拆分,SQL脚本,读数据表,类型转换<br />

CTR中的GBDT+LR融合方案<br />数据源:internet<br />数据大小:770 KB<br />字段数量:20<br />使用组件:拆分,读数据表,特征编码<br />

在本篇文章中我们将详细介绍 Flink 中对消息进行聚合处理的方案，描述不同方案中可能遇到的问题和解决方法，并进行对比。