Delta Lake数据湖基础介绍(商业版)【Databricks 数据洞察公开课】
公开课第五讲:介绍 Lakehouse 搜索引擎的设计思想,探讨其如何使用缓存,辅助数据结构,存储格式,动态文件剪枝,以及 vectorized execution 达到优越的处理性能。加入技术交流群下期预告《如何快速搭建流批一体数据仓库》讲师/嘉宾简介:李洁杏 Databricks 资深软件工程师
企业级全托管 Spark 大数据分析平台及案例分析【Databricks 数据洞察公开课】
从产品介绍、功能、典型场景、应用案例、Demo演示等多方面入手,介绍如何基于Databricks 数据洞察——Apache Spark的全托管数据分析平台,满足数据湖分析、实时数仓、离线数仓、BI数据分析、AI机器学习等场景需求。产品技术咨询https://survey.aliyun.com/apps/zhiliao/VArMPrZOR加入技术交流群讲师/嘉宾简介棕泽阿里云技术专家阿里云开源大数据生态企业研发负责人
一站式推荐应用与开发实战介绍
如何在1周内搭建一个个性化推荐服务,而且在短时间内迭代效果并取得提升,介绍如何通过平台开发的方式快速上手复杂的推荐场景开发业务。讲师简介讲师:王亚宁花名:栀露头衔:阿里巴巴集团产品专家
SaaS模式云数据仓库 MaxCompute 应用场景实践 ——基于MaxCompute的智能推荐解决方案
在互联网行业红利已过、在获客成本越来越高、在用户在线时长全网基本无增长以及信息大爆炸的情况下,如何更好的转化新用户和提升老用户粘性就变得至关重要,智能化的个性化推荐无疑是经过验证的重要手段之一,我们每天使用的移动App或企业内都处处有其身影。本次直播主要讲解基于MaxCompute的智能推荐解决方案。讲师简介吴世龙 阿里云智能 高级产品专家
开源大数据社区 & 阿里云 E-MapReduce 系列直播 第10期
EMR on ACK是企业级半托管的开源大数据平台,为阿里云E-MapReduce(EMR)提供了一个部署选项,允许您在阿里云容器服务Kubernetes版 (ACK) 上运行开源大数据框架。Yarn on K8S方案帮助您平衡不同集群的资源使用,共享集群间计算资源,充分利用所有节点的计算资源,满足计算资源弹性调度,云上混合部署在线和离线任务的需求。本次直播将重点展开 Yarn on ACK 的弹性介绍。讲师简介霁谦 阿里云开源大数据平台 高级开发工程师
Apache Flink Meetup · 北京站
问题与互动页面(戳我进入)5月22日,Apache Flink 社区 1.13 新版本发布 Meetup 来啦!本次Apahce Flink Meetup 分为上下两场,嘉宾分别来自阿里巴巴、字节跳动、快手、爱奇艺和小红书。上半场将由 4 位技术专家带来 Flink 1.13 版本新功能的深入解读。例如 Winddow TVF,DataStream & Table API 交互等;下半场将另有 4 位资深行业技术专家分享 Flink 在互娱行业中的实践应用。全方位解析包括精准推荐、实时数仓、数据分析等在内的行业面临的典型问题。活动亮点超多实用干货,一方面第一时间 get 到 1.13 版本新 feature 和功能提升;另一方面也可以学习到如何探索 Flink 在互娱场景中的实践应用,例如今日头条,抖音背后的核心 - 基于 Flink 的推荐特征体系;活动形式多样化,线下线上同步开启,同城可参与线下 Meetup 面对面交流,异地也可在线观看直播,精彩内容不错过;丰富周边等你拿,报名参加就有机会获得超多 Flink 社区定制的精美周边!Meetup 技术交流群:合作伙伴
第四节课:EMR 开通与演示
本节主要介绍开通EMR的环境准备、账号准备、付费情况、实操演示讲师:魏巍,花名念民,阿里巴巴 EMR 产品经理
炼数成金:智能推荐大数据和AI实践
从电商行业推荐场景及挑战、基于大数据与AI的解决方案、新用户冷启动的解决方案、推荐技术在电商行业的发展方向四个方面分析智能推荐如何得以更懂用户的诉求与心智。讲师介绍:杨玉莲-友盟+ 算法专家
藏经阁电子书发布会第十期:AI是灵药还是猛兽?
时间:2020年9月2日 19:00-20:00讲师简介:黄博远,阿里云机器学习平台PAI产品负责人。十二年大数据与AI领域技术经验,十年技术管理经验,先后供职于微软、阿里巴巴集团,从是展示广告、搜索广告、电商广告、搜索、云计算等相关领域的技术工作。现任阿里云智能飞天AI平台(PAI)产品负责人、一站式大数据智能研发与治理平台DataWorks产品负责人。主题简介:AI是什么?AI赋予了很多商业业务宝贵的价值,我们日常用的搜索引擎就是应用AI的最大受益者;在电商领域,AI可以做推荐;在金融领域,AI可以做风控等等。对于很多新人来说,AI到底是什么?它似乎涵盖许多很高深的技术,学习AI需要学很多东西,想要抓住AI的风口,学AI甚至想玩转AI,有机会吗?阿里云机器学习平台技术专家给的答案是肯定的。首先,AI(人工智能)是什么呢?AI的本源是一门研究如何用机器来模拟人的智能的技术,让有以下能力:听——语音识别方面看——文字识别、图像识别等方面说——语音合成、人机对话等方面思考——推导数学公式、人机对弈等方面学习以及行动——自动驾驶等整个人工智能技术基本上围绕这些领域展开和迭代。其次,人人都能玩转AI吗?答案也是肯定的。学习AI需要解决算力、算法和数据的问题,加上真实场景来磨练。互联网尤其是移动互联网和换联网的迅猛发展辅助解决海量高质数据的问题;云计算和异构计算的发展辅助解决计算力的问题。而科技发展让整个生产率不断提高的同时不断地降低学习或使用技术的门槛。如同50多年以前,开车是一项非常重要或特殊的技能,司机备受大众敬仰,而今还会有很多人认为会开车的身份很特殊吗?可能不会了,反而是不会开车的人会让人觉得其身份特殊。AI其实也一样,它背后没有什么特别神秘的技术,技术的发展也使其使用和学习门槛在不断地降低。想深入了解AI源于何方、能够解决的典型问题?探讨AI是否能够替代或控制人类的话题?想知道如何像开车、用电脑、用智能手机一样掌握AI的技术?阿里云机器学习平台大神来给你降维讲解,带你了解AI历史,体验AI能力,并为你带来了《阿里云机器学习PAI-DSW入门指南》电子书的发布,带你进入人人都能玩儿AI的时代。教你如何轻松上手并告别纸上谈兵!
Hadoop 小文件/冷文件分析
庞大的小文件和冷文件数量会对HDFS的性能产生不利影响,严重时甚至影响业务稳定性,这个主题将介绍对大容量HDFS进行小文件和冷文件分析的方法,并基于分析结果可以采取哪些处理措施。讲师:郭聪,花名析源,阿里云计算平台事业部技术专家。目前主要从事大数据领域APM产品的研发工作。
智能推荐系列公开课——详解内容行业典型案例,直击标题党和推荐时效性
在信息过载、碎片化的时代,个性化推荐成为提升用户浏览/转化率的核心手段之一。而在实际应用中,怎样满足本行业的信息分发需求,精准匹配海量用户偏好,提高运营效率,仍是一个待解之题。此次,阿里巴巴搜索推荐产品团队带来系列公开课,聊聊怎样结合实际场景,嵌入智能推荐,搭建“千人千面”的分发体系,使产品价值最大化。每期20分钟,修炼推荐硬功夫。课程目录第一期推荐场景化构建与业务价值第二期智能推荐在电商的经典打法与实践第三期智能推荐电商行业2.0发布,算法模板再升级第四期7天搭建电商个性化推荐场景和最佳实践第五期0-1激活推荐系统,解锁冷启动难题第六期智能推荐内容行业2.0发布第七期详解内容行业典型案例,直击标题党和推荐时效性第八期智能推荐新闻行业2.0升级与最佳实践第九期智能推荐AIRec功能使用指南第十期课程总结与交流问答加入社群扫码入群,了解更多资讯,获取课程资料
智能推荐系列公开课——0-1激活推荐系统,解锁冷启动难题
在信息过载、碎片化的时代,个性化推荐成为提升用户浏览/转化率的核心手段之一。而在实际应用中,怎样满足本行业的信息分发需求,精准匹配海量用户偏好,提高运营效率,仍是一个待解之题。此次,阿里巴巴搜索推荐产品团队带来系列公开课,聊聊怎样结合实际场景,嵌入智能推荐,搭建“千人千面”的分发体系,使产品价值最大化。每期20分钟,修炼推荐硬功夫。课程目录第一期推荐场景化构建与业务价值第二期智能推荐在电商的经典打法与实践第三期智能推荐电商行业2.0发布,算法模板再升级第四期7天搭建电商个性化推荐场景和最佳实践第五期0-1激活推荐系统,解锁冷启动难题第六期智能推荐内容行业2.0发布第七期详解内容行业典型案例,直击标题党和推荐时效性第八期智能推荐新闻行业2.0升级与最佳实践第九期智能推荐AIRec功能使用指南第十期课程总结与交流问答加入社群扫码入群,了解更多资讯,获取课程资料
智能推荐系列公开课——7天搭建电商个性化推荐场景和最佳实践
在信息过载、碎片化的时代,个性化推荐成为提升用户浏览/转化率的核心手段之一。而在实际应用中,怎样满足本行业的信息分发需求,精准匹配海量用户偏好,提高运营效率,仍是一个待解之题。此次,阿里巴巴搜索推荐产品团队带来系列公开课,聊聊怎样结合实际场景,嵌入智能推荐,搭建“千人千面”的分发体系,使产品价值最大化。每期20分钟,修炼推荐硬功夫。课程目录第一期推荐场景化构建与业务价值第二期智能推荐在电商的经典打法与实践第三期智能推荐电商行业2.0发布,算法模板再升级第四期7天搭建电商个性化推荐场景和最佳实践第五期0-1激活推荐系统,解锁冷启动难题第六期智能推荐内容行业2.0发布第七期详解内容行业典型案例,直击标题党和推荐时效性第八期智能推荐新闻行业2.0升级与最佳实践第九期智能推荐AIRec功能使用指南第十期课程总结与交流问答加入社群扫码入群,了解更多资讯,获取课程资料
MaxCompute管家详解
本次直播为您介绍MaxCompute管家功能,本功能为用户提供作业信息查看、资源消耗查看(涵盖CU资源和存储资源)、项目查看及调整、配额组增删改查等涉及日常MaxCompute运维能力。讲师介绍婉鱼 阿里云智能 技术专家
MaxCompute规格详解
带你详细了解MaxCompute产品服务模式及各个规格,帮你在费用成本与业务效果间做好平衡。不管你在意极致的弹性计算资源需求还是更重视成本或基线,合理的选择就能让你花更低的成本获得更高的业务价值。讲师介绍海清, 阿里云智能 高级产品经理
智能推荐系列公开课——推荐场景化构建与业务价值
在信息过载、碎片化的时代,个性化推荐成为提升用户浏览/转化率的核心手段之一。而在实际应用中,怎样满足本行业的信息分发需求,精准匹配海量用户偏好,提高运营效率,仍是一个待解之题。此次,阿里巴巴搜索推荐产品团队带来系列公开课,聊聊怎样结合实际场景,嵌入智能推荐,搭建“千人千面”的分发体系,使产品价值最大化。每期20分钟,10课时,修炼推荐硬功夫。【讲师介绍】栀露,阿里巴巴搜索推荐事业部产品经理扫码加入钉钉技术交流群,进行提问咨询,获取第一手资料【本期概要】本次直播将分享个性化推荐作为一种提升用户浏览/转化率的技术手段,如何优化用户体验、提升分发效率,从而驱动业务增长。【更多课程预告】友盟大数据加持,助力新客留存提升新版电商算法模版的应用指南快速数据对接,0-1搭建个性化推荐内容行业标题党、推荐时效的解决新思路运营 + 算法合力破解新物品冷启动难题多样兴趣点试探直击回音壁问题
使用Apache SuperSet和EMR Spark打造交互式的数据探索平台
本次分享主要介绍如何结合Apache SuperSet和EMR Spark,利用EMR Spark提供的JindoCube高级特性在SuperSet进行秒级响应,交互式的可视化数据探索。讲师介绍李呈祥,花名司麟,阿里云智能EMR团队高级技术专家,Apache Hive Committer, Apache Flink Committer,目前主要专注于EMR产品中开源计算引擎的优化工作。
日志数据如何同步到MaxCompute | 2019大数据技术公开课第五季
本次直播主要讲解日志文件如何通过Loghub/Datahub同步数据到MaxCompute的参数介绍和详细同步过程等内容。直播嘉宾刘建伟,阿里云智能 技术支持工程师
从 Apache ORC 到 Apache Calcite | 第三讲 海胜专访《MaxCompute 与大数据查询引擎的技术和故事》
【直播主题】海胜专访《MaxCompute 与大数据查询引擎的技术和故事》【分享嘉宾】苑海胜 阿里云智能计算平台 高级技术专家 / Apache Calcite Committer / 前 Greenplum 数据库优化器 Team Lead / CMU硕士【直播时间】6月6日 16:00-16:50 【精彩剧透】MaxCompute与MPP数据库的比较分布式系统上Join是如何实现的MaxCompute 针对 Join 和聚合引入的 Hash 和 Range Clustering 的优化从中国到日本,再到美国,工作经历和体验有何差别
从 Apache ORC 到 Apache Calcite | 第二讲 春蔚专访 《MaxCompute 与 Calcite 的技术和故事》
【直播主题】春蔚专访《MaxCompute 与 Calcite 的技术和故事》【分享嘉宾】雷春蔚 阿里云智能计算平台 高级开发工程师 / Apache Calcite Committer / 华中科技大学硕士【直播时间】5月30日 16:00-16:50【精彩剧透】什么是Apache Calcite开源项目?MaxCompute在SQL层面做了哪些优化?如何进入大数据行业?又如何一步步成为Calcite committer?【系列直播预告】6月6日 16:00-16:50 苑海胜专访 《MaxCompute 与大数据查询引擎的技术和故事》
高性价比| OpenSearch智能问答版开箱即用DeepSeek-R1
本文介绍了如何使用OpenSearch LLM智能问答版,一分钟快速搭建RAG系统
DataWorks 数据集成
DataWorks 数据集成是一个稳定高效、弹性伸缩的数据同步平台,致力于提供在复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。
2024FFA分论坛-云原生
FFA2024云原生专场由Apache Flink核心贡献者与来自阿里云、网易游戏、小红书、美团、哔哩哔哩等公司的一线技术专家带来,聚焦Flink与云原生技术的结合,探讨如何在云原生环境中高效部署和深度优化Flink流批任务。通过实战经验分享,帮助开发者利用容器化、K8s、Serverless等工具,在稳定、性能、成本之间取得平衡。
EMR StarRocks OLAP 数据分析场景
EMR StarRocks 线上公开课 第3期直播亮点EMR Serverless StarRocks 极速分析存算分离架构升级Trino兼容,无缝替换讲师/嘉宾简介周康(榆舟)阿里云高级技术专家开源大数据OLAP引擎团队负责人StarRocks TSC Member
EMR StarRocks 3.0:极速统一湖仓新范式平台
EMR StarRocks 线上公开课 第1期直播亮点统一极速湖仓架构的技术思考Serverless StarRocks 亮点及技术优势Serverless StarRocks 已落地案例分享Serverless StarRocks 持续演进与规划讲师简介弘锐 - 阿里云 E-MapReduce 产品专家
Havenask入门课程第7节:集群扩分片
Havenask是阿里巴巴自主研发的大规模分布式搜索引擎,主要专注于智能搜索和海量数据实时检索,其核心能力广泛应用于阿里巴巴内部的众多业务,如淘宝、天猫商品搜索,盒马搜索,菜鸟物流订单实时检索等。并于2022年11月对外正式开源,具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们,为大家全面讲解Havenask的相关知识,通过课程可以了解到产品能力、架构原理、安装部署等内容,同时还有详细的操作演示,帮助大家更好了解和使用产品。 课程介绍:此视频为Havenask入门课程第7节《集群扩分片》,将对Havenask的扩分片进行介绍。 我们期望通过课程可以帮助您更好的使用Havenask,欢迎广大开发者加入项目开发,共建高质量的搜索引擎,共同推进国产化开源搜索引擎技术快速发展,普惠更多的开发者和企业。 此外,对于有使用需求的企业级开发者,我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch,欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch 官网地址:https://havenask.net/ Github:https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群:
Havenask入门系列第6节:集群扩备份
Havenask是阿里巴巴自主研发的大规模分布式搜索引擎,主要专注于智能搜索和海量数据实时检索,其核心能力广泛应用于阿里巴巴内部的众多业务,如淘宝、天猫商品搜索,盒马搜索,菜鸟物流订单实时检索等。并于2022年11月对外正式开源,具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们,为大家全面讲解Havenask的相关知识,通过课程可以了解到产品能力、架构原理、安装部署等内容,同时还有详细的操作演示,帮助大家更好了解和使用产品。 课程介绍:此视频为Havenask入门系列第6节《集群扩备份》,将对Havenask的扩备份进行介绍。 我们期望通过课程可以帮助您更好的使用Havenask,欢迎广大开发者加入项目开发,共建高质量的搜索引擎,共同推进国产化开源搜索引擎技术快速发展,普惠更多的开发者和企业。 此外,对于有使用需求的企业级开发者,我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch,欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch 官网地址:https://havenask.net/ Github:https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群:
流批一体专场
流批一体专场由来自阿里云智能、小红书、字节跳动、小米等企业的技术专家为你呈现流批一体的大规模应用实践案例,了解业务在数仓建设过程中的痛点与思考。另有来自阿里云智能高级技术专家将分享流批融合的理念与优势,结合全增量一体数据处理场景介绍流批融合的技术挑战与设计方案,以及 Flink 社区在这方面的最新进展与未来规划。
阿里云产品伙伴-北京优锘科技与阿里云的故事
【产品伙伴故事专辑】:https://www.aliyun.com/page-source/chanpinshengtai/productpartner/productecologylivelist【伙伴介绍】UINO优锘科技从2012年起自研Web端数字孪生引擎ThingJS,致力于通过数字孪生可视化技术,让人们更好地认知、管理、创造数字化新世界。已帮2000+标杆企业落地应用,一站式平台拥有100万+开发者,25万企业用户。讲师/嘉宾简介讲师:郝泊盈职位:优锘科技市场总监
Flink Forward 平台建设 “联通Flink实时计算平台运维实践”
Flink Forward 平台建设“联通Flink实时计算平台运维实践”穆纯进联通数科实时计算团队负责人
Flink Forward 核心技术 “StateBackend performance improvement with TerakDB”
Flink Forward 核心技术 “StateBackend performance improvement with TerakDB”李明字节跳动架构工程师王义字节跳动基础架构工程师
Flink Forward 数据集成“Flink CDC 在京东的探索与实践”
Flink Forward 数据集成“Flink CDC 在京东的探索与实践”韩飞 京东资深技术专家
Flink Forward 实时湖仓“flink x Hologres 构建企业级Steaming Warehouse”
Flink Forward 实时湖仓“flink x Hologres 构建企业级Steaming Warehouse”姜伟华(果贝) 阿里云Hologres负责人
Flink Forward Asia 实时风控专场 “Flink CEP 新特性进展与在实时风控场景的落地”
Flink Forward Asia 实时风控专场 “Flink CEP 新特性进展与在实时风控场景的落地”耿飙 阿里云开发工程师胡俊涛 阿里云开发工程师
Lakehouse Meetup“Apache Hudi 实时湖仓解决方案
Lakehouse Meetup“Apache Hudi 实时湖仓解决方案”陈玉兆阿里巴巴技术专家Apache Hudi PMCApache Calcite PMC
大数据与机器学习
大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。