阿里云大数据数仓建设性能优化方式

大家好！我是小米，一个积极活泼、热爱分享技术的29岁程序员。今天，我们一起来探讨一个有趣且实用的算法问题：如何在40亿个非负整数中找到没有出现的数。这个问题不仅考验我们的算法设计能力，还需要我们巧妙地利用有限的内存资源。

EMR StarRocks 线上公开课 第3期直播亮点EMR Serverless StarRocks 极速分析存算分离架构升级Trino兼容，无缝替换讲师/嘉宾简介周康（榆舟）阿里云高级技术专家开源大数据OLAP引擎团队负责人StarRocks TSC Member

生产实践专场集结字节跳动、华为、蚂蚁金服、Shopee、B站、快手、腾讯、京东物流、小红书的技术专家探讨基于 Flink 的实时场景下技术优化及实践。

代理IP的使用

阿里云ODPS新品发布会将介绍阿里云自研大数据产品MaxCompute、Hologres、DataWorks产品新能力，持续演进满足多元化数据计算需求。本期将重点介绍ꔷ 新产品-DataWorks增强分析ꔷ 新产品-DataWorks智能数据建模个人版ꔷ 新功能-DataWorks支持EMR on ACK(Spark）ꔷ 新功能-DataWorks数据集成入湖ꔷ 新功能-DataWorks数据治理中心支持EMR讲师/嘉宾简介闫建丽 阿里云 DataWorks 产品PD周硕 阿里云 DataWorks 产品PD王喆 阿里云 DataWorks 产品PD冉秋萍 阿里云 DataWorks 产品PD

【第5讲】100个Word转PDF，Python批量办公自动化，告别无意义加班

学生们在为期5天的夏令营中，通过探索阿里云文化、实践云上场景，了解前沿科技、感受科技魅力、探究数字经济发展趋势、快速提升创新实践能力。了解更多夏令营信息请点击：https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso

Flink Forward 核心技术 “StateBackend performance improvement with TerakDB”李明字节跳动架构工程师王义字节跳动基础架构工程师

Flink Forward AI特征工程 “FeatHub：流批一体的实时特征工程平台”林东Apache Kafka committer和PMC成员

Flink Forward 行业实践“Flink 在中泰证券的实践与应用”连序全 中泰证券大数据中心实时计算架构师

Flink Forward 数据集成“Flink CDC & MongoDB 联合实时数仓的探索实践”孙家宝Xtransfer基础架构团队

Flink Forward 数据集成“顺丰基于 Flink CDC + Hudi 推进实时业务落地”唐尚文 顺丰科技大数据平台研发工程师

Flink Forward 数据集成“Flink CDC 在京东的探索与实践”韩飞 京东资深技术专家

Flink Forward Asia 生产实践专场 “How To Write Fast Flink SQL”贺小令 阿里云高级技术专家

实时湖仓专场邀请快手、bilibili、SmartNews、美团、SelectDB、OceanBase、StarRocks 等企业技术专家分享基于 Flink 的实时湖仓建设实践与思考。讲师/嘉宾简介姜伟华｜阿里云一站式实时数仓 Hologres 总负责人冯立｜快手实时数据开发工程师羊艺超｜快手实时数据开发工程师周晖栋｜bilibili 大数据实时团队 资深开发工程师严书｜美团买菜实时数仓技术负责人戢清雨｜SmatNews 数据平台架构师， Apache Iceberg Contributor

云原生为数据集成领域注入了全新生命力，本专场邀请小红书、小米、科杰科技、易车、京东、顺丰、XTransfer、阿里等技术专家分享基于 Flink 的数据集成系统探索与实践。讲师/嘉宾简介王林红｜易车数据平台负责人韩飞｜京东资深技术专家，Apache Flink Contributor唐尚文｜顺丰科技 大数据平台研发高级工程师孙家宝｜XTransfer 基础架构团队 技术专家

实时风控专场将由网易互娱、字节跳动、京东、AirWallex、阿里巴巴的技术专家分享实时风控平台建设的实践案例。讲师/嘉宾简介林佳｜网易互娱技术中心计费实时平台与 SDK 技术负责人，Apache Flink Contributor，Flink CDC Contributor张健｜字节跳动数据工程师周文跃｜运营数据产品部-风控数据产品组架构师耿飙｜阿里云开发工程师，Flink Contributor胡俊涛｜阿里云开发工程师，Flink Contributor董大凡｜AirWallex 风控团队研发经理

Apache Flink Meetup 北京站主题：Flink Table Store 典型应用场景讲师：李劲松 阿里巴巴高级技术专家

直播介绍：（建议600字以内） 作为当今大数据领域的趋势，流式数据处理的潜在价值正在被不断发掘。如今，很多企业都渴望更及时地洞察自己的数据，曾经的“批处理”思维也正在迅速被流式处理所取代。越来越多的公司，无论大小，都在重新思考技术架构时把实时性作为第一考量，并开始用强大的开源引擎如 Apache Flink, Apache Spark, Apache Kafka, Apache Pulsar, Apache Storm 等构建自己的实时计算平台。 在本次 ApacheCon 上，Apache 软件基金会成员、阿里云 EMR 平台技术及 Flink 存储引擎团队负责人李钰将携手专家团带来“流处理”分论坛分享。在该分论坛中，您将了解到一线大厂把这些 Apache 项目应用到其生产环境中的实际经验，以及这些 Apache 项目生态的最新发展和流计算技术未来的发展方向。 讲师/嘉宾简介 康琪 - 基于 Apache Flink 的流批一体在京东物流的实践 胡焕 - 基于 FlinkSQL 的小米实时数据集成实践 邱从贤 - 大规模集群下的 Apache Flink 稳定性优化实践 张颖，闫莉刚 - 基于 Apache Flink 的实时计算数据流框架在京东零售业务的实践和落地 林立伟 - 腾讯广告 Flink 实战：特征生产、训练样本、策略计算 郑舒力 - 基于 Apache Flink 的金山云实时计算平台实践与防疫场景下的应用

云原生一体化数仓数据安全能力基于MaxCompute与DataWorks的组合能力，包括数据分级机制、敏感数据识别算法、用户权限级别和数据安全级别自动映射、数据脱敏、审批和权限回收流程、审计机制、开发生产环境隔离等安全能力，实现了端到端的安全管控能力。讲师/嘉宾简介孔亮 阿里云智能 产品专家

数据湖无疑是近几年大数据领域最火热的一个方向，那到底什么是数据湖？数据湖的架构和核心技术有哪些？企业应该如何构建、管理和使用数据湖？阿里云的开源大数据团队在数据湖领域有多年的深耕和实战经验。7月17日，09:00-12:40，DataFun将联合阿里云开源大数据团队举办DataFunTalk技术交流会：阿里云数据湖技术专场，将邀请到来自阿里云数据湖存储、数据湖计算、数据湖构建和管理团队的技术专家给大家做一次从数据湖架构到核心技术到平台构建的全方位介绍与分享。讲师/嘉宾简介陈鑫伟（熙康）- 数据湖概念及架构简介熊佳树（履霜）- 数据湖统一元数据与权限杨庆苇（轻为）- 数据湖管理及优化孙大鹏（诚历）- JindoData新一代数据湖存储加速毕岩（寻径）- 基于DeltaLake构建数据湖仓体系范佚伦(子灼) - 基于Spark的云原生数据湖分析实践陈玉兆（玉兆） - 实时数据湖

阿里云Elasticsearch通过Serverless的方式，充分利用云端的服务化产品能力的优势，帮助企业在成本、日志容灾、冷热多级存储、横向扩展效率、并发性能及稳定性等痛点问题提供能力支持讲师/嘉宾简介赵弘扬 阿里云高级产品专家阿里云Elasticsearch产品团队负责人

Delta Lake作为一个开源项目的演进路径和现状优势，以及怎样帮助在现有存储系统上构建Lakehouse架构。产品技术咨询https://survey.aliyun.com/apps/zhiliao/VArMPrZOR加入技术交流群下期预告《深度解析数据湖存储方案Lakehouse架构》讲师/嘉宾简介筱龙阿里云开源大数据平台技术专家

开源大数据生态专场，来自 Pravega、Pulsar、TiDB、Zeppelin 等社区的技术专家围绕 Flink 的生态融合，探讨当下大数据的发展趋势与未来动向，并展现相关技术在一线生产场景的最佳实践。讲师/嘉宾简介1.《HTAP 趋势下，大数据的未来》黄东旭 - PingCAP 联合创始人兼 CTO，资深基础软件工程师，架构师2.《Pravega Flink connector Table API 进阶功能揭秘》周煜敏 - 戴尔科技集团高级软件工程师，Apache Flink Contributor3.《打造批流融合：Pulsar - Flink Connector 的设计、开发和使用》盛宇帆 - StreamNative 工程师4.《大数据三剑合一：Flink + Zeppelin + Airflow》章剑锋 - 阿里巴巴高级技术专家，Apache Member，PMC of Zeppelin、Tez、Livy

本次直播介绍阿里云Elasticsearch如何基于开源Elastic APM功能提供云上应用性能监控分析能力，帮助用户快速拉起并集中托管APM Server实例，实时监控数千个应用程序的性能数据。同时通过对接阿里云Elasticsearch日志增强版集群提供高并发写入托管及低成本海量存储，结合Kibana可视化分析，提供高效的应用程序性能优化与监控能力。 扫码进入技术交流群讲师/嘉宾简介阿里云高级产品经理 钱雨欣（沐泽）

介绍如何基于MaxCompute SQL 新功能，处理半结构化数据的场景，需求。讲师简介孔亮 阿里云智能 产品专家

MaxCompute通过流式数据高性能写入和秒级别查询能力(查询加速)，提供EB级云原生数仓近实时分析能力；高效的实现对变化中的数据进行快速分析及决策辅助。当前Demo基于近实时交互式BI分析/决策辅助场景，实现指标卡近实时BI分析、近实时市场监测、近实时趋势分析、近实时销量拆分功能。讲师简介隆志强 阿里云智能 高级产品专家

MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库，以 Serverless 架构提供快速、全托管的在线数据仓库服务。Hologres与MaxCompute高度融合，能以外表方式加速查询MaxCompute数据。本次主要介绍加速查询MaxCompute原理，以及如何建外表加速查询，导入内表最佳实践。讲师简介王奇(慧青)，阿里巴巴技术专家，长期从事Hologres引擎开发工作

本次主要介绍在Hologres中如何基于TPCH数据集做性能测试，并提供官方测试结果以供参考。讲师简介丁烨(昆吾)，阿里巴巴产品专家，Hologres产品经理

开放搜索（Opensearch)是一站式智能搜索业务开发平台。结合达摩院先进的NLP技术，打造定制化的全链路搜题解决方案。本次直播将分享如何通过行业搜索能力和算法工程提升在线教育搜题准确率，帮助企业技术提升核心竞争力。讲师介绍讲师:徐光伟花名：昆卡阿里云达摩院算法专家

问题与互动页面3月20日，阿里云开发者社区联合阿里云计算平台事业部、达摩院共同举办的 BIGDATA + AI Meetup · 北京站向量检索专场即将重磅开启！来自阿里云、淘宝、爱奇艺、Zilliz、搜狐、Jina.AI等知名企业的九位重量级讲师将分享最前沿的向量检索相关技术思考与实践。活动亮点：达摩院机器智能实验室资深技术专家揭秘阿里云达摩院自主研发，并广泛应用于阿里集团各个业务场景的 Proxima 向量检索引擎；多位一线厂商技术专家解读向量检索与人脸识别、推荐系统、图片搜索、视频指纹、自然语音处理、文件搜索等各类应用场景交织融合的技术逻辑；无论你是热衷于钻研开源技术的开发者，还是“大数据+AI”的资深爱好者，都能这些前沿的案例从中获得全新的灵感。Meetup 技术交流群：（大数据 + AI Meetup 交流群）活动议程

分享主题一、高端对话：云生态下的开源共生之路二、云原生Elasticsearch驱动新未来三、“扬帆”启航，云聚未来四、Elastic Stack 解决方案与行业应用实践讲师介绍贾扬清 阿里巴巴集团副总裁Shay Banon Elastic创始人&CEO"邓万禧 阿里巴巴资深技术专家张锐 阿里云智能全球战略联盟总经理Doug Farber Elastic全球渠道联盟副总裁"朱杰 Elastic首席解决方案架构师

以“开源共生，云聚未来”为主题，业界资深专家相聚云端，共话云上Elasticsearch生态与技术的未来。本专场面向生态合作伙伴群体。讲师介绍贾扬清 阿里巴巴集团副总裁、阿里云智能高级研究员Shay Banon Elastic创始人&CEO邓万禧 阿里巴巴资深技术专家张锐 阿里云智能全球生态联盟总经理Doug Farber Elastic全球渠道联盟副总裁朱杰 Elastic首席解决方案架构师

本节主要介绍EMR针对云上大数据的存储解决方案，如何为计算提供灵活高效的存储基础讲师：姚舜扬，花名辰山，阿里巴巴计算平台事业部 EMR 高级开发工程师，目前从事大数据存储方面的开发和优化工作

【开发者优惠来了】全网最低价，阿里云爆款服务器低至8.1元/月，更有针对学生的专享福利全面升级，戳：http://click.aliyun.com/m/1000188819/介绍智能推荐在内容行业的业务价值、实践案例和快速上手指南讲师信息讲师：王亚宁花名：栀露头衔：阿里巴巴集团产品专家

从实时分析的价值、场景和数据流程，以及用户对平台能力要求展开，讲述云数据仓库MaxCompute的产品能力优势 ，面对实时分析场景的能力演进要求。进而以实时分析典型场景的全数据流程处理、建模和分析的最佳实践，讲解MaxCompute+Hologres的解决方案，展现强强组合的能力优势。分享人：孔亮 阿里云智能 产品专家

分享人：钱雨欣 阿里云智能 产品经理本次直播将通过在线教育行业的全观测智能监控、试题检索以及新零售行业订单查询加速、数据应用分析等场景案例，为您介绍全文检索引擎 Elasticsearch的核心能力与优势。

分享人:王晓平 阿里云智能 高级产品经理本次直播将为您介绍最好用的数据湖管理平台 E-MapReduce，包含数据湖典型场景、JindoFS，存储加速及数据分层存储方案及部分典型案例。

在信息过载、碎片化的时代，个性化推荐成为提升用户浏览/转化率的核心手段之一。而在实际应用中，怎样满足本行业的信息分发需求，精准匹配海量用户偏好，提高运营效率，仍是一个待解之题。此次，阿里巴巴搜索推荐产品团队带来系列公开课，聊聊怎样结合实际场景，嵌入智能推荐，搭建“千人千面”的分发体系，使产品价值最大化。每期20分钟，修炼推荐硬功夫。课程目录第一期推荐场景化构建与业务价值第二期智能推荐在电商的经典打法与实践第三期智能推荐电商行业2.0发布，算法模板再升级第四期7天搭建电商个性化推荐场景和最佳实践第五期0-1激活推荐系统，解锁冷启动难题第六期智能推荐内容行业2.0发布第七期详解内容行业典型案例，直击标题党和推荐时效性第八期智能推荐新闻行业2.0升级与最佳实践第九期智能推荐AIRec功能使用指南第十期课程总结与交流问答

本次直播主要介绍JindoFS的元数据的后端演化。包括JindoFS的架构以及使用场景、JindoFS 元数据的不同的后端支持，以及JindoFS 在云上环境如何支持 OTS 作为元数据后端。讲师介绍殳鑫鑫，花名辰石，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。

Elasticsearch 是一款非常强大的开源搜索及分析引擎，在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外，结合生态 Kibana、Logstash和Beats，Elasticsearch还被广泛运用在大数据近实时分析场景中，包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手，并穿插底层技术讲解及教学实操，让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做，阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G，1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件：新注册用户付费模式：包年包月服务选择：商业通用版，3节点1核2G版本【讲师简介】阮一鸣，eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群，包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索，商品推荐，日志管理，风险控制，IT运维，安全监控等多个领域钉钉扫码加入ES交流群，获取课程资料【课程收益】1、从概念到实操，轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES（3节点1核2G ）1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念：索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念：节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】

Elasticsearch 是一款非常强大的开源搜索及分析引擎，在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外，结合生态 Kibana、Logstash和Beats，Elasticsearch还被广泛运用在大数据近实时分析场景中，包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手，并穿插底层技术讲解及教学实操，让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做，阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G，1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件：新注册用户付费模式：包年包月服务选择：商业通用版，3节点1核2G版本【讲师简介】阮一鸣，eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群，包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索，商品推荐，日志管理，风险控制，IT运维，安全监控等多个领域钉钉扫码加入ES交流群，获取课程资料【课程收益】1、从概念到实操，轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES（3节点1核2G ）1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念：索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念：节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】

开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题？大量数据处理技术与软件应运而生，形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向，并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍王金海，趣头条数据平台负责人更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场

开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题？大量数据处理技术与软件应运而生，形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向，并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍Flavio Junqueira，Apache Member,Apache Zookeeper PMC,Senior Destinguished Engineer at Dell Technologies滕昱，戴尔科技集团 软件开发总监更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场