使用DDI+Confluent进行实时数据采集入湖和分析【Databricks 数据洞察公开课】
本次课程将介绍网约车模拟数据从产生、发布到流数据服务confluent,通过Databricks Structured Streaming 进行实时数据处理,存储到LakeHouse,并使用spark和spark sql进行分析的应用实践。讲师/嘉宾简介李锦桂-阿里云开源大数据平台开发工程师
使用Databricks和MLflow进行机器学习模型训练和部署的应用实践【Databricks 数据洞察公开课】
本期课介绍如何使用DDI和MLflow搭建机器学习生命周期管理平台,实现从数据准备、模型训练、参数和性能指标追踪、以及模型部署的全流程。讲师/嘉宾简介李锦桂--阿里云开源大数据平台开发工程师
如何使用Delta Lake构建批流一体数据仓库【Databricks 数据洞察公开课】
从场景痛点、实践操作介绍如何使用Delta Lake同时处理批作业和流作业,快速搭建批流一体数据仓库。讲师/嘉宾简介讲师:佳亮,阿里云开源大数据平台技术工程师
阿里云索信达智能金融平台线上发布会
阿里云联合生态伙伴索信达共同推出“索信达智能金融平台”解决方案。索信达智能金融平台包括批量营销、实时营销、个性化推荐、标签管理、内容管理等多个模块,对客户提供即开即用的一站式落地部署解决方案。欢迎加入钉钉客户沟通群,了解更多解决方案信息
Flink Forward Asia 2021 行业实践 2
行业实践专场由字节跳动、网易、蔚来、中原银行、建信金融科技、中信建投等多行业实时计算领域专家详细解读 Flink 在业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介1.《Flink 在能源建设的实践》姚远 - 中南电力设计院工程师、注册测绘师2.《Apache Flink 在蔚来汽车的应用》吴江 - 蔚来汽车大数据部门数据开发,OLAP 平台 tech lead3.《Flink 在字节跳动数据流的实践》刘石伟 - 字节跳动数据平台数据流技术负责人4.《网易游戏基于 Flink 的支付环境全关联分析实践》林佳 - 网易互娱技术中心计费实时平台与 SDK 技术负责人,Apache Flink Contributor
SaaS模式云数据仓库 MaxCompute 应用场景实践——基于 MaxCompute SQL 的半结构化数据处理实践
介绍如何基于MaxCompute SQL 新功能,处理半结构化数据的场景,需求。讲师简介孔亮 阿里云智能 产品专家
Hologres系列课程(四)RAM账号快速入门
在实践场景中,开发人员更多的是使用RAM子账号进行开发,通常主账号需要给相应的子账号授予相关产品的权限,子账号才能正常使用产品。本期课程主要介绍阿里云主账号在Hologres中给RAM子账号授权最佳实践,使其能快速使用Hologres。讲师简介史韵(闻笛) 阿里巴巴测试专家,长期从事Hologres引擎测试工作
Hologres系列课程(五)通过JDBC/COPY实现高性能写入
本次主要介绍在Hologres中通过JDBC/COPY命令写入最佳实践,实现高性能批量写入。讲师简介陈嘉雯(瑚桃),阿里巴巴开发工程师,长期从事Hologers引擎开发工作
开源大数据社区 & 阿里云 E-MapReduce 系列直播 第7期
云原生数据湖构建与分析最佳实践讲师花名健身--阿里巴巴计算平台事业部 EMR技术专家
阿里云EMR系列直播 - 精讲 Databricks数据洞察(介绍及案例分析)
Databricks数据洞察是企业级全托管的Spark高性能大数据分析平台,来自Apache Spark创始公司Databricks。引擎采用Databricks Runtime,性能与社区版相比,最高可达50倍提升,高效而稳定。本次直播将重点展开介绍该产品,并针对代表性案例进行分析。讲师介绍韩宗泽(棕泽),阿里云技术专家,计算平台事业部开放平台-生态企业团队负责人
大数据与AI一体化开发平台
观看其他分论坛内容阿里云开发者大会主论坛大数据与AI一体化开发平台视觉AI开发平台及其行业应用云原生数据库:一站式数据服务前沿人工智能技术与算法实践从1到∞ :极致原生安全云原生技术与最佳实践钉应用开发:人人都是工程师基础设施的云上管控应用开发的云基础设施优化开源操作系统社区和生态泛云生态人才培养合作智能开发与高效运维RISC-V技术趋势与芯片应用实践AIoT云端一体加速设备智能
Apache Flink x Iceberg Meetup 上海站
问题与互动页面(戳我进入)4月17日,Apahce Flink 社区2021年的首场线下 Meetup 正式开启!本次Apahce Flink x Iceberg Meetup邀请了来自阿里巴巴、腾讯、Dell、汽车之家的四位技术专家,聚焦 Flink x Iceberg 数据湖应用主题,围绕湖仓一体架构实践、Iceberg和对象存储的数据湖构建方案、超大规模数据入湖实践以及数据入湖面临的挑战等全方位剖析数据湖生产应用难题!活动亮点:超多实用干货,从数据湖应用面临的挑战入手,解析数据湖架构升级、对象存储与 Iceberg 的数据湖生态以及百亿数据入湖实践,轻松 get 数据湖正确打开方式;活动形式多样化,线下线上同步开启,同城可参与线下 Meetup 面对面交流,异地也可在线观看直播,精彩内容不错过;丰富周边等你拿,报名参加就有机会获得超多 Flink 社区定制的精美周边!Meetup 技术交流群:(Apache Flink 社区)活动议程合作伙伴
半小时,将你的Spark SQL模型变为在线服务
SparkSQL在机器学习场景中应用模型从批量到实时面临的问题 - SparkSQL 转换成实时执行成本高 - 离线特征和在线特征保持一致困难 - 离线效果与在线效果差距大我们是如何解决这些问题 相对传统实现方式我们优势 SparkSQL实时上线demo讲师:王太泽 第四范式特征工程数据库负责人 曾在百度担任资深研发工程师 一直致力于解决机器学习模型从离线到在线特征一致性问题和性能问题。
Flink Forward 全球在线会议中文精华版0426
【收藏+下载】Flink年度学习资料大礼包!问题收集页面:https://shimo.im/sheets/twgyxGh9hqy6DHYk/MODOC/相关会议:Flink Forward 全球在线会议中文精华版0425Flink Forward 全球在线会议中文精华版0426Flink Forward · 全球首个在线会议中文精华版普惠全球开发者!这一次,格外与众不同。Apache 顶级项目盛会 Flink Forward 在线会议集结欧洲、北美洲、亚洲众多国际大厂资深技术专家跨时区免费在线分享。中文精华版将由 Apache Member 、Flink PMC 及社区投票共同筛选大会精彩 talk,翻译并进行中文解说,让你足不出户尽享优质内容。讲师信息滕昱|戴尔科技集团软件开发总监王峰(莫问)| 阿里云计算平台事业部实时计算与开放平台部门负责人,资深技术专家个人简介:目前带领团队基于Flink、Hadoop以及Kubernetes开源技术体系打造的大数据实时计算平台,不仅服务于阿里集团(淘宝、天猫、聚划算、高德、优酷、飞猪和菜鸟等)所有实时数据业务,同时也通过阿里云为广大中小企业提供全球领先的实时计算产品服务。杨旭(品数)|阿里巴巴云机器学习平台PAI中基础机器学习算法的负责人,资深算法专家个人信息:2004年获南开大学数学博士学位;随后在南开大学信息学院从事博士后研究工作;2006年加入微软亚洲研究院,进行符号计算、大规模矩阵计算及机器学习算法研究;2010年加入阿里巴巴,从事大数据相关的统计和机器学习算法研发。出版《重构大数据统计》,《机器学习在线:解析阿里云机器学习平台》等著作。薛康 | 滴滴技术专家,实时计算负责人。毕业于浙江大学,曾任百度高级研发工程师,对大数据生态建设有丰富经验。于茜 | 微博高级算法工程师个人信息:多年来一直在使用Flink构建实时数据处理和在线机器学习框架。此外,在社交媒体应用推荐系统方面经验丰富,有助于将最佳内容与微博用户匹配。于翔|微博机器学习研发中心-算法架构工程师。个人信息:现负责微博机器学习平台算法系统模块。主要涉及机器学习,深度学习,模型训练,大规模参数服务,模型服务等。目前专注于大规模稀疏在线学习在微博业务场景的应用曹富强|微博机器学习研发中心-系统工程师个人信息:现负责微博机器学习平台数据计算模块,主要涉及实时计算Flink、Storm、SparkStreaming,离线计算Hive、Spark等。目前专注于Flink在微博机器学习场景的应用。章剑锋(简锋)| Apache Software Foundation Member.PMC of Apache Tez, Livy, Zeppelin.Committer of Apache Pig,阿里巴巴 高级技术专家个人信息:开源界老兵,曾就职于Hortonworks,目前在阿里巴巴计算平台事业部任高级技术专家。并同时担任Apache Tez、Livy 、Zeppelin三个开源项目的PMC,以及Apache Pig的Committer。有幸很早就接触了大数据和开源,希望可以在开源领域为大数据和数据科学做点贡献。秦江杰(江杰)| Apache Kafka PMC,Apache Flink Committer,阿里巴巴高级技术专家个人信息:本科毕业于上海交大,硕士毕业于卡耐基梅陇大学,加入阿里巴巴前曾在 IBM,LinkedIn 任职。目前是 Apache Kafka PMC 和 Apache Flink Committer。杨克特(鲁尼)| Apache Member,Apache Flink PMC ,阿里巴巴高级技术专家个人信息:2011年硕士毕业于浙江大学后加入阿里巴巴,先后从事过搜索引擎,调度系统,大数据处理等核心系统的设计与研发,目前负责实时计算 Flink的SQL引擎。孙金城(金竹)| Apache Member,Apache Flink PMC,阿里巴巴高级技术专家个人信息:自2015-以来一直专注于大数据计算领域,并持续贡献于Apache Flink 社区。2011年加入阿里巴巴集团,目前就职于阿里巴巴计算平台事业部。2015年开始投入阿里新一代实时计算平台Blink的研发工作。早期负责搜索事业部的离线大数据处理,以及将搜索离线数据处理的计算迁移到Blink计算平台之上,之后进行Blink计算平台的查询和优化工作。于2019年负责Apache Flink Python API的整体架构开发工作。李钰(绝顶)| HBase PMC,Apache Flink Committer,阿里巴巴实时计算部高级技术专家伍翀(云邪)| Apache Flink PMC&Committer,阿里巴巴技术专家个人信息:北京理工大学硕士毕业,2015 -加入阿里巴巴,参与阿里巴巴实时计算引擎 JStorm 的开发与设计。2016 年开始从事阿里新一代实时计算引擎 Blink SQL 的开发与优化,并活跃于 Flink 社区,于2017年初成为Apache Flink Committer,Flink/Blink SQL 模块的核心开发之一。目前主要专注于分布式处理和实时计算,热爱开源,热爱分享。问题收集页面:https://shimo.im/sheets/twgyxGh9hqy6DHYk/MODOC/
Flink Forward 全球在线会议中文精华版0425
【收藏+下载】Flink年度学习资料大礼包!问题收集页面:https://shimo.im/sheets/twgyxGh9hqy6DHYk/MODOC/相关会议:Flink Forward 全球在线会议中文精华版0425Flink Forward 全球在线会议中文精华版0426Flink Forward · 全球首个在线会议中文精华版普惠全球开发者!这一次,格外与众不同。Apache 顶级项目盛会 Flink Forward 在线会议集结欧洲、北美洲、亚洲众多国际大厂资深技术专家跨时区免费在线分享。中文精华版将由 Apache Member 、Flink PMC 及社区投票共同筛选大会精彩 talk,翻译并进行中文解说,让你足不出户尽享优质内容。讲师信息滕昱|戴尔科技集团软件开发总监王峰(莫问)| 阿里云计算平台事业部实时计算与开放平台部门负责人,资深技术专家个人简介:目前带领团队基于Flink、Hadoop以及Kubernetes开源技术体系打造的大数据实时计算平台,不仅服务于阿里集团(淘宝、天猫、聚划算、高德、优酷、飞猪和菜鸟等)所有实时数据业务,同时也通过阿里云为广大中小企业提供全球领先的实时计算产品服务。杨旭(品数)|阿里巴巴云机器学习平台PAI中基础机器学习算法的负责人,资深算法专家个人信息:2004年获南开大学数学博士学位;随后在南开大学信息学院从事博士后研究工作;2006年加入微软亚洲研究院,进行符号计算、大规模矩阵计算及机器学习算法研究;2010年加入阿里巴巴,从事大数据相关的统计和机器学习算法研发。出版《重构大数据统计》,《机器学习在线:解析阿里云机器学习平台》等著作。薛康 | 滴滴技术专家,实时计算负责人。毕业于浙江大学,曾任百度高级研发工程师,对大数据生态建设有丰富经验。于茜 | 微博高级算法工程师个人信息:多年来一直在使用Flink构建实时数据处理和在线机器学习框架。此外,在社交媒体应用推荐系统方面经验丰富,有助于将最佳内容与微博用户匹配。于翔|微博机器学习研发中心-算法架构工程师。个人信息:现负责微博机器学习平台算法系统模块。主要涉及机器学习,深度学习,模型训练,大规模参数服务,模型服务等。目前专注于大规模稀疏在线学习在微博业务场景的应用曹富强|微博机器学习研发中心-系统工程师个人信息:现负责微博机器学习平台数据计算模块,主要涉及实时计算Flink、Storm、SparkStreaming,离线计算Hive、Spark等。目前专注于Flink在微博机器学习场景的应用。章剑锋(简锋)| Apache Software Foundation Member.PMC of Apache Tez, Livy, Zeppelin.Committer of Apache Pig,阿里巴巴 高级技术专家个人信息:开源界老兵,曾就职于Hortonworks,目前在阿里巴巴计算平台事业部任高级技术专家。并同时担任Apache Tez、Livy 、Zeppelin三个开源项目的PMC,以及Apache Pig的Committer。有幸很早就接触了大数据和开源,希望可以在开源领域为大数据和数据科学做点贡献。秦江杰(江杰)| Apache Kafka PMC,Apache Flink Committer,阿里巴巴高级技术专家个人信息:本科毕业于上海交大,硕士毕业于卡耐基梅陇大学,加入阿里巴巴前曾在 IBM,LinkedIn 任职。目前是 Apache Kafka PMC 和 Apache Flink Committer。杨克特(鲁尼)| Apache Member,Apache Flink PMC ,阿里巴巴高级技术专家个人信息:2011年硕士毕业于浙江大学后加入阿里巴巴,先后从事过搜索引擎,调度系统,大数据处理等核心系统的设计与研发,目前负责实时计算 Flink的SQL引擎。孙金城(金竹)| Apache Member,Apache Flink PMC,阿里巴巴高级技术专家个人信息:自2015-以来一直专注于大数据计算领域,并持续贡献于Apache Flink 社区。2011年加入阿里巴巴集团,目前就职于阿里巴巴计算平台事业部。2015年开始投入阿里新一代实时计算平台Blink的研发工作。早期负责搜索事业部的离线大数据处理,以及将搜索离线数据处理的计算迁移到Blink计算平台之上,之后进行Blink计算平台的查询和优化工作。于2019年负责Apache Flink Python API的整体架构开发工作。李钰(绝顶)| HBase PMC,Apache Flink Committer,阿里巴巴实时计算部高级技术专家伍翀(云邪)| Apache Flink PMC&Committer,阿里巴巴技术专家个人信息:北京理工大学硕士毕业,2015 -加入阿里巴巴,参与阿里巴巴实时计算引擎 JStorm 的开发与设计。2016 年开始从事阿里新一代实时计算引擎 Blink SQL 的开发与优化,并活跃于 Flink 社区,于2017年初成为Apache Flink Committer,Flink/Blink SQL 模块的核心开发之一。目前主要专注于分布式处理和实时计算,热爱开源,热爱分享。问题收集页面:https://shimo.im/sheets/twgyxGh9hqy6DHYk/MODOC/
智能推荐系列公开课——智能推荐在电商的经典打法与实践
智能推荐在电商的经典打法与实践: 阿里巴巴搜索推荐产品团队带来系列公开课,教你提高运营效率,精准匹配海量用户喜好。
Apache Flink在滴滴的应用与实践 | 企业实践专场
企业实践专场企业实践专场将邀请知名企业一线技术专家,分享大数据及人工智能最新技术进展和实践,详细解读Apache Flink在各行业的应用与落地,包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验,并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍梁李印,滴滴出行实时计算负责人,高级技术专家更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场
Apache Flink AI生态系统工作 | 人工智能专场
人工智能专场人工智能是未来十年最重要的技术革命与驱动力,在各行各业产生者日益重要的作用。人工智能专场将集中介绍Flink在机器学习上的新技术与新应用,为参会者呈现Flink机器学习的具体应用实践与最新技术落地案例。讲师介绍陈戊超,阿里巴巴技术专家高赟,阿里巴巴技术专家更多直播信息人工智能专场>>>基于Apache Flink的机器学习算法平台实践与开源 | 人工智能专场携程实时智能检测平台实践 | 人工智能专场Apache Flink AI生态系统工作 | 人工智能专场
Stateful Functions | Apache Flink 核心技术专场
Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍Tzu-Li(Gordon)Tai,Apache Flink PMC,Ververica Software Engineer更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
Ververica Platform-阿里巴巴全新Flink企业版揭秘-王峰
Ververica Platform-阿里巴巴全新Flink企业版揭秘-王峰
DataWorks X DeepSeek : 用AI实现数据开发治理!
DataWorks Copilot × DeepSeek-R1产品演示:以2025年春节杭州的旅游热点分析为例,通过DataWorks Copilot使用DeepSeek-R1满血版模型,进行SQL代码的自动生成、改写和测试操作,实现高效的数据开发流程。
2024FFA分论坛-生产实践1
FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来,将聚焦于在生产中使用和部署Flink的痛点和经验以及最佳实践, 共同探讨如何在真实环境中更高效,安全,敏捷地落地实时数据处理框架。
Havenask入门系列第10节:Havenask Kubernetes模式
hape工具参考:https://havenask.net/# /doc/sql/petool/intro kubernetes部署参考: https://havenask.net/# /doc/v1-2-0/sql/petool/startcluster/k8smode k8s模式问题排查:https://havenask.net/# /doc/v1-2-0/sql/petool/problem# k8s%E6%A8%A1%E5%BC%8F%E9%97%AE%E9%A2%98%E6%8E%92%E6%9F%A5 Havenask是阿里巴巴自主研发的大规模分布式搜索引擎,主要专注于智能搜索和海量数据实时检索,其核心能力广泛应用于阿里巴巴内部的众多业务,如淘宝、天猫商品搜索,盒马搜索,菜鸟物流订单实时检索等。并于2022年11月对外正式开源,具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们,为大家全面讲解Havenask的相关知识,通过课程可以了解到产品能力、架构原理、安装部署等内容,同时还有详细的操作演示,帮助大家更好了解和使用产品。 课程介绍:此视频为Havenask入门教程系列的第9节课《问题排查》,将对Havenask使用中4块内容进行讲解。 ● Hape运维脚本 ● 集群 ● 表创建 ● 数据写入与查询 我们期望通过课程可以帮助您更好的使用Havenask,欢迎广大开发者加入项目开发,共建高质量的搜索引擎,共同推进国产化开源搜索引擎技术快速发展,普惠更多的开发者和企业。 此外,对于有使用需求的企业级开发者,我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch,欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch 官网地址:https://havenask.net/ Github:https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群:78c5cfa61c64a55cdeb0655ac7eb2849.png
Havenask入门课程第3节:使用hape部署分布式版Havenask
Havenask是阿里巴巴自主研发的大规模分布式搜索引擎,主要专注于智能搜索和海量数据实时检索,其核心能力广泛应用于阿里巴巴内部的众多业务,如淘宝、天猫商品搜索,盒马搜索,菜鸟物流订单实时检索等。并于2022年11月对外正式开源,具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们,为大家全面讲解Havenask的相关知识,通过课程可以了解到产品能力、架构原理、安装部署等内容,同时还有详细的操作演示,帮助大家更好了解和使用产品。 课程介绍: 此视频Havenask入门课程第3节《使用hape部署分布式版Havenask》,共讲解3部分内容。 -部署分布式版Havenask -如何写入数据、检索 -问题排查 我们期望通过课程可以帮助您更好的使用Havenask,欢迎广大开发者加入项目开发,共建高质量的搜索引擎,共同推进国产化开源搜索引擎技术快速发展,普惠更多的开发者和企业。 此外,对于有使用需求的企业级开发者,我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch,欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch 官网地址:https://havenask.net/ Github:https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群:
流式湖仓专场(一)
流式湖仓专场邀请阿里云智能、联通、同程旅行、汽车之家、OPPO、网易、滴滴、镜舟科技、广联达、平安证券、快手等企业技术专家解读基于 Flink + Paimon 构建流式数据湖相关问题,更有基于 Paimon + StarRocks、Flink + Paimon + Hologres、Paimon + Spark 的流式湖仓最佳应用实践与分析。
FY23阿里云暑期夏令营总回顾(上)
学生们在为期5天的夏令营中,通过探索阿里云文化、实践云上场景,了解前沿科技、感受科技魅力、探究数字经济发展趋势、快速提升创新实践能力。了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
在现场!2023世界人工智能大会
打卡2023世界人工智能大会# 除了马斯克的机器人,大模型无疑是最热的话题,本次大会将有30多款大模型亮相,我们明天下午将走进《以模型为中心的AI开发新范式 》论坛,看看模型对人工智能行业发展到底有什么意义!欢迎关注我们!
AI技术分享会第十一期 | 展心展力MetaApp:基于DeepRec的稀疏模型训练实践
MetaApp-推荐广告研发部,主要负责 MetaApp 拳头产品 233 乐园的首页信息流的推荐和广告系统,是比较传统的推广搜组。本次议题介绍了 MetaApp-推荐广告研发部 从传统的TensorFlow(cpu)+自研分布式ps方案,逐步迁移到使用基于阿里云开发的开源分布式机器学习训练框架DeepRec的方案,包括了离线训练和线上inference的完整流程。迁移完成后,新方案大大提高了训练效率和线上服务的效率,并且有效的降低了成本。 一、分享议题 展心展力MetaApp:基于DeepRec的稀疏模型训练实践 二、直播时间 2023年7月5日(周三)18:00-18:40 三、听众收益 多级存储的性能问题 模型压缩 基于GPU的训练 完全基于显存训练
Compliance As Code理念与龙蜥社区安全加固最佳实践介绍
6 月 11 日 ~ 12 日,龙蜥社区联合 Linux 中国,在北京召开的开放原子全球开放峰会现场组织 LUG 线下沙龙活动,与大家一同聊聊开源、聊聊 Linux 、聊聊社区当中的那些最新的技术。
基于 Kibana Dashboard 创建仪表板,可视化匹配航班信息
点此免费试用 ->本实验基于Kibana Dashboard将航班信息可视化和其他相关数据可视化组合在一起,例如航班延误率较高时间段的机票平均价格等等。通过本实验,您将掌握Kibana Dashboard的使用方法,帮助您在仪表板上添加各种交互和过滤器,随时随地进行数据分析和操作,从而更加轻松地实现交互式数据可视化、深入挖掘数据价值。讲师简介刘晓国 - Elastic 首席布道师
Flink Forward 平台建设 “货拉拉基于Flink计算引擎的应用与优化实践”
Flink Forward 平台建设 “货拉拉基于Flink计算引擎的应用与优化实践”王世涛货拉拉大数据实时研发平台负责人
Flink Forward AI特征工程 “FeatHub:流批一体的实时特征工程平台”
Flink Forward AI特征工程 “FeatHub:流批一体的实时特征工程平台”林东Apache Kafka committer和PMC成员
Flink Forward 数据集成“Flink CDC 在易车的应用实践”
Flink Forward 数据集成“Flink CDC 在易车的应用实践”王林红 易车数据平台负责人
Flink Forward 实时湖仓“Flink + StarRocks:实时数据分析新范式”
Flink Forward 实时湖仓“Flink + StarRocks:实时数据分析新范式”谢寅 StartRocket 社区技术布道师
Flink Forward 实时湖仓“美团数仓增量建设新进展”
Flink Forward 实时湖仓“美团数仓增量建设新进展”汤楚熙 美团数据系统研发工程师
Flink Forward 平台建设“Hive SQL迁移到Flink SQL在快手的实践”
Flink Forward 平台建设“Hive SQL迁移到Flink SQL在快手的实践”刘大龙 阿里云工程师张芒 快手大数据架构工程师
Flink Forward 平台建设“Flink 在蚂蚁大规模金融场景的平台建设”
Flink Forward 平台建设“Flink 在蚂蚁大规模金融场景的平台建设”李志刚 蚂蚁集团高级技术专家
Flink Forward Asia 实时风控专场 “Flink CEP 在抖音电商的业务实践”
Flink Forward Asia 实时风控专场 “Flink CEP 在抖音电商的业务实践”张健 字节跳动数据工程师
Flink Forward Asia 生产实践专场 “抖音实时数仓保障与治理实践”
Flink Forward Asia 生产实践专场 “抖音实时数仓保障与治理实践”茅旭辉 字节跳动实时数据研发工程师李建国 字节跳动实时数据研发工程师
Lakehouse Meetup“Apache Hudi 实时湖仓解决方案
Lakehouse Meetup“Apache Hudi 实时湖仓解决方案”陈玉兆阿里巴巴技术专家Apache Hudi PMCApache Calcite PMC
Flink Forward Asia 2022 数据集成 11.27 上午
云原生为数据集成领域注入了全新生命力,本专场邀请小红书、小米、科杰科技、易车、京东、顺丰、XTransfer、阿里等技术专家分享基于 Flink 的数据集成系统探索与实践。讲师/嘉宾简介王林红|易车数据平台负责人韩飞|京东资深技术专家,Apache Flink Contributor唐尚文|顺丰科技 大数据平台研发高级工程师孙家宝|XTransfer 基础架构团队 技术专家
SaaS模式云数据仓库 MaxCompute 应用场景实践——基于MaxCompute分布式Python能力的大规模数据科学分析
如何利用云上分布式 Python 加速数据科学。如果你熟悉 numpy、pandas 或者 sklearn 这样的数据科学技术栈,同时又受限于平台的计算性能无法处理,本次直播介绍的 MaxCompute 可以让您利用并行和分布式技术来加速数据科学。也就是说只要会用 numpy、pandas 和 scikit-learn 之一,就会用 MaxCompute 分布式 Python 的能力。讲师简介孟硕 阿里云智能 产品专家
用Analytics-Zoo实现基于深度学习的胸腔疾病AI诊疗辅助
讲师介绍龚奇源博士,英特尔机器学习专家。从事多年数据隐私和机器学习研究,2017年加入英特尔,目前负责Analytics-Zoo中ClusterServing、Streaming、OpenVINO和推理优化等工作。直播简介:本次分享主要介绍如何利用Analytics Zoo和NIH胸部X光影像数据集,在Apache Spark集群上实现基于深度学习的胸腔疾病分类,为医生提供端到端的胸腔疾病AI诊疗辅助。有兴趣的同学,可以提前关注此开源项目:https://github.com/intel-analytics/analytics-zoo
存储计算分离场景的计算适应优化
讲师介绍王道远,花名健身,阿里云EMR技术专家,Apache Spark活跃贡献者,主要关注大数据计算优化相关工作。直播简介:本次分享会介绍云上大数据处理的存储计算分离特征,分析传统大数据处理中数据本地化与存储计算分离场景的区别,以及在存储计算分离场景中阿里云EMR的相关优化。
【Elasticsearch入门公开课 】14 | Search API概览
Elasticsearch 是一款非常强大的开源搜索及分析引擎,在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外,结合生态 Kibana、Logstash和Beats,Elasticsearch还被广泛运用在大数据近实时分析场景中,包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手,并穿插底层技术讲解及教学实操,让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做,阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G,1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件:新注册用户付费模式:包年包月服务选择:商业通用版,3节点1核2G版本【讲师简介】阮一鸣,eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群,包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索,商品推荐,日志管理,风险控制,IT运维,安全监控等多个领域钉钉扫码加入ES交流群,获取课程资料【课程收益】1、从概念到实操,轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES(3节点1核2G )1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念:索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念:节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】
大数据与机器学习
大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。