Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析
Spark Shuffle RPMem扩展提供了一个基于PMem 和RDMA 来加速Shuffle的方案,它采用PMem 作为Shuffle的存储介质,利用PMDK 用户态编程库进行数据读写,减小用户态、内核态切换与文件系统开销;用基于RDMA网络协议异构的传输层实现高性能数据传输;还将RDMA直接注册在PMem上,减少内存拷贝。本次直播介绍如何利用持久化内存与高性能RDMA 网络来加速Spark Shuffle。讲师介绍:张建,英特尔亚太研发有限公司大数据部门的软件工程经理,专注于大数据和机器学习中存储方案优化
从0到1解锁电商行业智能推荐
【开发者优惠来了】全网最低价,阿里云爆款服务器低至8.1元/月,更有针对学生的专享福利全面升级,戳:http://click.aliyun.com/m/1000188819/介绍智能推荐在电商行业的业务价值、实践案例和快速上手指南讲师信息讲师:王亚宁花名:栀露头衔:阿里巴巴集团产品专家
用Analytics-Zoo实现基于深度学习的胸腔疾病AI诊疗辅助
讲师介绍龚奇源博士,英特尔机器学习专家。从事多年数据隐私和机器学习研究,2017年加入英特尔,目前负责Analytics-Zoo中ClusterServing、Streaming、OpenVINO和推理优化等工作。直播简介:本次分享主要介绍如何利用Analytics Zoo和NIH胸部X光影像数据集,在Apache Spark集群上实现基于深度学习的胸腔疾病分类,为医生提供端到端的胸腔疾病AI诊疗辅助。有兴趣的同学,可以提前关注此开源项目:https://github.com/intel-analytics/analytics-zoo
【Elasticsearch入门公开课 】22 | Elasticsearch聚合分析简介
Elasticsearch 是一款非常强大的开源搜索及分析引擎,在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外,结合生态 Kibana、Logstash和Beats,Elasticsearch还被广泛运用在大数据近实时分析场景中,包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手,并穿插底层技术讲解及教学实操,让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做,阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G,1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件:新注册用户付费模式:包年包月服务选择:商业通用版,3节点1核2G版本【讲师简介】阮一鸣,eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群,包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索,商品推荐,日志管理,风险控制,IT运维,安全监控等多个领域钉钉扫码加入ES交流群,获取课程资料【课程收益】1、从概念到实操,轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES(3节点1核2G )1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念:索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念:节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】
Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场
Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍贺小令,Apache Flink Contributor,阿里巴巴技术专家更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
DataWorks X MCP:数据开发治理Agent发布!
DataWorks X MCP产品演示:使用DataWorks MCP Server和Hologres MCP Server来自动化完成数据集成实时数据同步任务开发和Hologres数据分析。
ElasticSearch AI Assistant 系列 3 —— 解决方案内演示
本视频介绍了如何在Elastic平台上配置AI助手以兼容并连接阿里巴巴的通义千问的第三部分——解决方案内演示。 演示可以帮助大家更直观的体验阿里云 ElasticSearch 企业级的功能——AI助手带来的更多帮助。
2024FFA分论坛-生产实践1
FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来,将聚焦于在生产中使用和部署Flink的痛点和经验以及最佳实践, 共同探讨如何在真实环境中更高效,安全,敏捷地落地实时数据处理框架。
EMR StarRocks VS 开源版本功能差异介绍
EMR StarRocks 线上公开课 第2期直播亮点Serverless StarRocks 客户案例分享Serverless StarRocks VS 开源版本能力介绍讲师简介弘锐 - 阿里云 E-MapReduce 产品专家
一站式实时数仓Hologres整体能力介绍
Hologres分析服务一体化架构与优势,新能力Serverless Computing实现大ETL任务降本,行为、画像分析等场景深耕,多种函数组合,实时数仓、离线实时一体、实时湖仓多种方案实践讲师/嘉宾简介丁烨 阿里云Hologres产品专家
Havenask进阶系列第3节:UDF定制
Havenask是阿里巴巴自主研发的大规模分布式搜索引擎,主要专注于智能搜索和海量数据实时检索,其核心能力广泛应用于阿里巴巴内部的众多业务,如淘宝、天猫商品搜索,盒马搜索,菜鸟物流订单实时检索等。并于2022年11月对外正式开源,具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们,为大家全面讲解Havenask的相关知识,通过课程可以了解到产品能力、架构原理、安装部署等内容,同时还有详细的操作演示,帮助大家更好了解和使用产品。 课程介绍: 此视频为Havenask进阶系列课程第3课《UDF定制》,视频中共包含以下3部分内容。 UDF介绍 UDF开发及配置讲解 实际操作演示 我们期望通过课程可以帮助您更好的使用Havenask,欢迎广大开发者加入项目开发,共建高质量的搜索引擎,共同推进国产化开源搜索引擎技术快速发展,普惠更多的开发者和企业。 此外,对于有使用需求的企业级开发者,我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch,欢迎企业级开发者们试用体验。 阿里云OpenSearch官网:https://www.aliyun.com/product/opensearch Havenask官网地址:https://havenask.net/ Github:https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群:
Havenask入门课程第2节:使用hape部署单机版Havenask
Havenask是阿里巴巴自主研发的大规模分布式搜索引擎,主要专注于智能搜索和海量数据实时检索,其核心能力广泛应用于阿里巴巴内部的众多业务,如淘宝、天猫商品搜索,盒马搜索,菜鸟物流订单实时检索等。并于2022年11月对外正式开源,具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们,为大家全面讲解Havenask的相关知识,通过课程可以了解到产品能力、架构原理、安装部署等内容,同时还有详细的操作演示,帮助大家更好了解和使用产品。 课程介绍: 此视频为Havenask入门课程第2节《使用hape部署单机版Havenask》,共讲解4部分内容。 -hape工具的介绍 -部署单机版Havenask -如何写入数据、检索 -问题排查 我们期望通过课程可以帮助您更好的使用Havenask,欢迎广大开发者加入项目开发,共建高质量的搜索引擎,共同推进国产化开源搜索引擎技术快速发展,普惠更多的开发者和企业。 此外,对于有使用需求的企业级开发者,我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch,欢迎企业级开发者们试用体验。 阿里云OpenSearch官网:https://www.aliyun.com/product/opensearch Havenask官网地址:https://havenask.net/ Github:https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群:
Havenask入门系列第8节:日志查询
Havenask是阿里巴巴自主研发的大规模分布式搜索引擎,主要专注于智能搜索和海量数据实时检索,其核心能力广泛应用于阿里巴巴内部的众多业务,如淘宝、天猫商品搜索,盒马搜索,菜鸟物流订单实时检索等。并于2022年11月对外正式开源,具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们,为大家全面讲解Havenask的相关知识,通过课程可以了解到产品能力、架构原理、安装部署等内容,同时还有详细的操作演示,帮助大家更好了解和使用产品。 课程介绍:此视频为Havenask入门教程系列的第8节课《日志查询》,将对Havenask的日志查询进行介绍。 我们期望通过课程可以帮助您更好的使用Havenask,欢迎广大开发者加入项目开发,共建高质量的搜索引擎,共同推进国产化开源搜索引擎技术快速发展,普惠更多的开发者和企业。 此外,对于有使用需求的企业级开发者,我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch,欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch 官网地址:https://havenask.net/ Github:https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群:
核心技术专场(二)
核心技术专场由 Apache Flink 核心贡献者与阿里云智能、字节跳动、网易、美团、蚂蚁金服等公司的一线技术专家解析 Flink 2.0 技术动向与应用实践。
流式湖仓专场(一)
流式湖仓专场邀请阿里云智能、联通、同程旅行、汽车之家、OPPO、网易、滴滴、镜舟科技、广联达、平安证券、快手等企业技术专家解读基于 Flink + Paimon 构建流式数据湖相关问题,更有基于 Paimon + StarRocks、Flink + Paimon + Hologres、Paimon + Spark 的流式湖仓最佳应用实践与分析。
Flink Forward 平台建设 “货拉拉基于Flink计算引擎的应用与优化实践”
Flink Forward 平台建设 “货拉拉基于Flink计算引擎的应用与优化实践”王世涛货拉拉大数据实时研发平台负责人
Flink Forward 平台建设“Flink 在蚂蚁大规模金融场景的平台建设”
Flink Forward 平台建设“Flink 在蚂蚁大规模金融场景的平台建设”李志刚 蚂蚁集团高级技术专家
Flink Forward 实时湖仓“美团买菜基于Flink的实时数据建设实践”
Flink Forward 实时湖仓“美团买菜基于Flink的实时数据建设实践”严书 美团买菜实时数仓技术负责人
Flink Forward Asia 实时风控专场 “京东物流实时风控实践”
Flink Forward Asia 实时风控专场 “京东物流实时风控实践”周文跃 风控数据产品组架构师
Flink Forward Asia 生产实践专场 “How To Write Fast Flink SQL”
Flink Forward Asia 生产实践专场 “How To Write Fast Flink SQL”贺小令 阿里云高级技术专家
Lakehouse Meetup “整合Pulsar和Lakehouse数据:使用Connector将Pulsar Topic中的数据Sink到Lakehouse storage”
Lakehouse Meetup “整合Pulsar和Lakehouse数据:使用Connector将Pulsar Topic中的数据Sink到Lakehouse storage”张勇 StreamNative 高级工程师Apache Pulsar Committer
Lakehouse Meetup“Apache Hudi 实时湖仓解决方案
Lakehouse Meetup“Apache Hudi 实时湖仓解决方案”陈玉兆阿里巴巴技术专家Apache Hudi PMCApache Calcite PMC
Flink Forward Asia 2022 平台建设 11.27 下午
平台建设专场由来自爱奇艺、知乎、Dinky 社区、货拉拉、美团、联通、小米、StreamPark、阿里巴巴、蚂蚁集团的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介王世涛|货拉拉大数据实时研发平台负责董剑辉|美团数据系统研发工程师张彬|美团数据系统研发工程师穆纯进|联通数科实时计算团队负责人,Apache StreamPark Contributor周超|小米软件开发工程师王华杰|Apache StreamPark PPMC, 社区发起人
Flink Forward Asia 2022 实时风控
实时风控专场将由网易互娱、字节跳动、京东、AirWallex、阿里巴巴的技术专家分享实时风控平台建设的实践案例。讲师/嘉宾简介林佳|网易互娱技术中心计费实时平台与 SDK 技术负责人,Apache Flink Contributor,Flink CDC Contributor张健|字节跳动数据工程师周文跃|运营数据产品部-风控数据产品组架构师耿飙|阿里云开发工程师,Flink Contributor胡俊涛|阿里云开发工程师,Flink Contributor董大凡|AirWallex 风控团队研发经理
Flink Forward Asia 2022 平台建设 11.27 上午
平台建设专场由来自爱奇艺、知乎、Dinky 社区、货拉拉、美团、联通、小米、StreamPark、阿里巴巴、蚂蚁集团的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介周凯波|阿里云高级技术专家,Apache Flink Contributor李志刚|蚂蚁集团 高级技术专家、蚂蚁集团流计算平台负责人李恒|爱奇艺资深研发工程师贾承昆|知乎大数据架构负责人亓文凯|开源 Dinky Maintainer
"Apache Flink Meetup 北京站《Flink 1.16 Preview: Hive SQL 如何平迁到 Flink SQL 》
Apache Flink Meetup 北京站主题:Flink 1.16 Preview: Hive SQL 如何平迁到 Flink SQL 讲师:伍翀 阿里巴巴高级技术专家
Flink Forward Asia 2021 Hackathon
首届 Flink Forward Asia Hackathon,本次比赛由 Apache Flink 社区联手阿里云 ACE、 Pravega 社区、DELL 联合举办。本次比赛为开放式命题,以实时计算为主题,以 Flink 为工具,解决大家日常学习和工作中遇到的实际问题。可以是气象预测、城市交通管理、金融交易监察这样关乎国计民生的选题;也可以是提升购物体验、增强游戏互动性、个人运动管理、社交等改善生活中琐碎点滴的选题;还可以是对 Flink 本身的创新和改进。选手需要使用(但不仅限于使用)Flink 生态里的各种工具,包括统计分析、机器学习、复杂事件处理、各类 connector,StatefulFunction 等等来完成自己的选题。共计 29 支队伍进入决赛
Flink Forward Asia 2021 平台建设 2
平台建设专场由来自字节跳动、腾讯新闻、网易、小红书、京东、滴滴、bilibili、汽车之家、移动、联通、BIGO、蚂蚁金服、翼支付的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介1.《B 站基于 Flink 的多元化探索与实践》张杨 - 哔哩哔哩基础架构部 资深研发工程师2.《汽车之家基于 Flink 的实时计算平台 3.0 建设实践》邸星星 - 汽车之家实时计算平台负责人3.《腾讯新闻基于 Flink + PipeLine 模式的应用与实践》罗强 - 腾讯新闻商业化数据工程师4.《Native Flink on K8S 在小红书的实践》何军 - 小红书数据流团队资深研发工程师
外部工具连接SaaS模式云数仓MaxCompute — 开源BI分析工具篇 & 数据库管理工具篇
本次直播将主要分享MaxCompute查询加速功能、与开源BI分析工具Davinci、Superset连接示例、以及数据库管理工具DBeaver、DataGrip、SQL Workbench/J的部分连接演示。讲师简介木弈 阿里云智能 产品经理
Hologres系列课程(八)离线数仓加速之DataWorks数据集成离线写入
DataWorks数据集成作为大数据平台上下云的核心枢纽,能提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动能力,繁杂业务背景下的数据同步解决方案。本次课程主要介绍如何通过DataWorks数据集成将多种数据源数据离线写入至Hologres,并以MySQL为例,端到端Demo实战讲师简介胡一博(上唐),阿里巴巴技术专家, 长期从事Hologres数据集成生态开发工作。
AIRec个性化推荐召回模型调参实战(电商、内容社区为例)
1、介绍电商、内容行业常见的推荐应用形态,推荐算法逻辑2、结合电商、内容行业战略诉求、体验诉求、效果诉求等调参的最佳实践3、介绍如何使用智能推荐AIRec服务打造从0分->60分->90分+的推荐效果讲师介绍讲师:王亚宁花名:栀露头衔: 阿里巴巴集团产品专家
藏经阁电子书发布会第十期:AI是灵药还是猛兽?
时间:2020年9月2日 19:00-20:00讲师简介:黄博远,阿里云机器学习平台PAI产品负责人。十二年大数据与AI领域技术经验,十年技术管理经验,先后供职于微软、阿里巴巴集团,从是展示广告、搜索广告、电商广告、搜索、云计算等相关领域的技术工作。现任阿里云智能飞天AI平台(PAI)产品负责人、一站式大数据智能研发与治理平台DataWorks产品负责人。主题简介:AI是什么?AI赋予了很多商业业务宝贵的价值,我们日常用的搜索引擎就是应用AI的最大受益者;在电商领域,AI可以做推荐;在金融领域,AI可以做风控等等。对于很多新人来说,AI到底是什么?它似乎涵盖许多很高深的技术,学习AI需要学很多东西,想要抓住AI的风口,学AI甚至想玩转AI,有机会吗?阿里云机器学习平台技术专家给的答案是肯定的。首先,AI(人工智能)是什么呢?AI的本源是一门研究如何用机器来模拟人的智能的技术,让有以下能力:听——语音识别方面看——文字识别、图像识别等方面说——语音合成、人机对话等方面思考——推导数学公式、人机对弈等方面学习以及行动——自动驾驶等整个人工智能技术基本上围绕这些领域展开和迭代。其次,人人都能玩转AI吗?答案也是肯定的。学习AI需要解决算力、算法和数据的问题,加上真实场景来磨练。互联网尤其是移动互联网和换联网的迅猛发展辅助解决海量高质数据的问题;云计算和异构计算的发展辅助解决计算力的问题。而科技发展让整个生产率不断提高的同时不断地降低学习或使用技术的门槛。如同50多年以前,开车是一项非常重要或特殊的技能,司机备受大众敬仰,而今还会有很多人认为会开车的身份很特殊吗?可能不会了,反而是不会开车的人会让人觉得其身份特殊。AI其实也一样,它背后没有什么特别神秘的技术,技术的发展也使其使用和学习门槛在不断地降低。想深入了解AI源于何方、能够解决的典型问题?探讨AI是否能够替代或控制人类的话题?想知道如何像开车、用电脑、用智能手机一样掌握AI的技术?阿里云机器学习平台大神来给你降维讲解,带你了解AI历史,体验AI能力,并为你带来了《阿里云机器学习PAI-DSW入门指南》电子书的发布,带你进入人人都能玩儿AI的时代。教你如何轻松上手并告别纸上谈兵!
智能推荐系列公开课——推荐场景与用户心智
在信息过载、碎片化的时代,个性化推荐成为提升用户浏览/转化率的核心手段之一。而在实际应用中,怎样满足本行业的信息分发需求,精准匹配海量用户偏好,提高运营效率,仍是一个待解之题。此次,阿里巴巴搜索推荐产品团队带来系列公开课,聊聊怎样结合实际场景,嵌入智能推荐,搭建“千人千面”的分发体系,使产品价值最大化。每期20分钟,修炼推荐硬功夫。了解全部课程课程目录第一期推荐场景化构建与业务价值第二期智能推荐在电商的经典打法与实践第三期智能推荐电商行业2.0发布,算法模板再升级第四期7天搭建电商个性化推荐场景和最佳实践第五期0-1激活推荐系统,解锁冷启动难题第六期智能推荐内容行业2.0发布第七期详解内容行业典型案例,直击标题党和推荐时效性第八期智能推荐新闻行业2.0升级与最佳实践第九期智能推荐AIRec功能使用指南第十期推荐场景与用户心智
云数据仓库+数据银行 — 持续定义SaaS模式云数据仓库MaxCompute
本次直播将介绍SaaS模式云数据仓库MaxCompute,如何助力数据银行SaaS模式云战略和一体化数据开放场景介绍。分享人:隆志强 阿里云智能 高级产品专家
Hadoop 小文件/冷文件分析
庞大的小文件和冷文件数量会对HDFS的性能产生不利影响,严重时甚至影响业务稳定性,这个主题将介绍对大容量HDFS进行小文件和冷文件分析的方法,并基于分析结果可以采取哪些处理措施。讲师:郭聪,花名析源,阿里云计算平台事业部技术专家。目前主要从事大数据领域APM产品的研发工作。
Spark on Zeppelin
Apache Zeppelin 是一个交互式的大数据开发Notebook,从一开始就是为Spark定制的。Zeppelin Notebook的开发环境与传统IDE开发环境相比有几大优势:不需要编译Jar,环境配置简单,交互式开发,数据结果可视化等等。本次直播将会介绍Spark on Zeppelin的一些基本使用方式以及应用场景。章剑锋(简锋),开源界老兵,Apache Member,曾就职于 Hortonworks,目前在阿里巴巴计算平台事业部任高级技术专家,并同时担任 Apache Tez、Livy 、Zeppelin 三个开源项目的 PMC ,以及 Apache Pig 的 Committer。
智能推荐系列公开课——智能推荐在电商的经典打法与实践
智能推荐在电商的经典打法与实践: 阿里巴巴搜索推荐产品团队带来系列公开课,教你提高运营效率,精准匹配海量用户喜好。
基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场
企业实践专场企业实践专场将邀请知名企业一线技术专家,分享大数据及人工智能最新技术进展和实践,详细解读Apache Flink在各行业的应用与落地,包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验,并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍梁建煌,爱奇艺大数据服务负责人更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场
OPPO基于Apache Flink 的实时数仓实践 | 实时数仓专场
实时数仓专场数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战。实时数仓专场将聚焦Flink实时数仓在数据链路中扮演的角色与在智能商业中的重要价值,由一线大厂大数据专家分享实时数仓的应用实践及平台智能化的探索与思考。讲师介绍张俊,Apache Flink Contributor,OPPO大数据平台研发负责人更多直播信息实时数仓专场>>>美团点评基于Apache Flink 的实时数仓平台实践 | 实时数仓专场小米流式平台架构演进与实践 | 实时数仓专场Netflix:Evolving Keystone to an Open Collaborative Real-time ETL Platform | 实时数仓专场菜鸟供应链实时数据技术架构的演进 | 实时数仓专场OPPO基于Apache Flink 的实时数仓实践 | 实时数仓专场
(第一部分)从Python 到Java ,Pyboot加速大数据和AI的融合
Python 代表机器学习生态,而以 Hadoop/Spark 为核心的开源大数据则以 Java 为主。前者拥有数不清的算法库和程序,后者承载着海量数据和大量的企业应用。除了 SQL 这个标准方式和各种五花八门的协议接口,还有没有更高效的一手数据通道,将两个生态对接起来,乃至深度融合?Pyboot 是我们在这个方向上的探索。有兴趣的同学欢迎现场观摩演示和技术交流。嘉宾介绍郑锴,花名铁杰,阿里巴巴高级技术专家,Apache Hadoop PMC,Apache Kerby 创立者。深耕分布式系统开发和开源大数据多年,目前专注于在阿里云上提供更好用更有弹性的 Hadoop/Spark 大数据平台;孙大鹏,花名诚历,阿里巴巴计算平台事业部 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面的工作;
云上大数据的存储方案设计和选择
上云拐点已来,开源大数据上云是业界共识。如何满足在云上低成本存储海量数据的同时又实现高效率弹性计算的潜在需求?放眼业界,都有哪些成熟存储方案和选择?各自适用的存储和计算场景是什么?背后的技术关键和考虑因素都有哪些?欢迎大数据技术爱好者面对面交流和探讨!嘉宾介绍姚舜扬,花名辰山,阿里巴巴计算平台事业部 EMR 高级开发工程师,目前从事大数据存储方面的开发和优化工作;苏昆辉,花名抚月,阿里巴巴计算平台事业部 EMR 高级工程师, 曾就职于华为、网易. Apache HDFS committer. 对Hadoop、HBase等有深入研究, 对分布式存储、高性能优化有丰富经验. 目前从事大数据云化相关工作.
DataWorks X DeepSeek : 用AI实现数据开发治理!
DataWorks Copilot × DeepSeek-R1产品演示:以2025年春节杭州的旅游热点分析为例,通过DataWorks Copilot使用DeepSeek-R1满血版模型,进行SQL代码的自动生成、改写和测试操作,实现高效的数据开发流程。
大数据与机器学习
大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。