解密淘宝推荐实战,打造“比你还懂你”的个性化APP
手淘,是每天服务数亿用户的最大流量入口,是每天成交数十亿金额的最大成交渠道之一,是几十种内容和数百种场景交织的最复杂的业务形态,更是大数据+算法双驱动的最复杂的技术场景。阿里巴巴搜索推荐事业部 资深算法专家三桐老师,将深度《解密淘宝推荐实战,打造“比你还懂你”的个性化APP》。嘉宾介绍欧文武(三桐),阿里巴巴搜索推荐事业部资深算法专家<img src="https://yqfile.alicdn.com/977f76d8026d41c3105e296feb3cc16dc7fc918e.png" width="200"更多课程阿里经济体大数据平台的建设与思考解密淘宝推荐实战,打造“比你还懂你”的个性化APP阿里风控大脑关于大数据应用的探索与实践可闭环 可沉淀 可持续的企业级数据赋能体系--友盟云数据中台产品实践
(第二部分)从Python 到Java ,Pyboot加速大数据和AI的融合
Python 代表机器学习生态,而以 Hadoop/Spark 为核心的开源大数据则以 Java 为主。前者拥有数不清的算法库和程序,后者承载着海量数据和大量的企业应用。除了 SQL 这个标准方式和各种五花八门的协议接口,还有没有更高效的一手数据通道,将两个生态对接起来,乃至深度融合?Pyboot 是我们在这个方向上的探索。有兴趣的同学欢迎现场观摩演示和技术交流。嘉宾介绍郑锴,花名铁杰,阿里巴巴高级技术专家,Apache Hadoop PMC,Apache Kerby 创立者。深耕分布式系统开发和开源大数据多年,目前专注于在阿里云上提供更好用更有弹性的 Hadoop/Spark 大数据平台;孙大鹏,花名诚历,阿里巴巴计算平台事业部 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面的工作;
使用分布式自动机器学习进行时间序列分析
对于时间序列预测搭建机器学习应用的过程非常繁琐且需要大量经验。为了提供一个简单易用的时间序列预测工具,我们将自动机器学习应用于时间序列预测,将特征生成,模型选择和超参数调优等过程实现自动化。我们的工具基于Ray(UC Berkeley RISELab开源的针对高级AI 应用的分布式框架,并作为Analytics zoo(由intel开源的统一的大数据分析和人工智能平台)的一部分功能提供给用户。嘉宾介绍喻杉,Intel大数据分析团队软件工程师。她目前专注于在analytics-zoo大数据和人工智能平台上开发自动机器学习组件。在加入intel前,她在浙江大学获得了学士和硕士学位。
【Spark Relational Cache实现亚秒级响应的交互式分析】
2019杭州云栖大会大数据生态专场中的分享《Spark Relational Cache实现亚秒级响应的交互式分析》Apache Spark被广泛用于超大规模的数据分析处理,在交互式分析等时间敏感的场景中,超大规模数据量的处理时间可能无法满足用户快速响应的需求。通过数据的预组织和预计算,将频繁访问的数据和计算提前执行并保存在Relational Cache中,优化后续特定模式的查询,可以显著提高查询速度,实现亚秒级的响应。本议题主要介绍Spark Relational Cache的实现原理和使用场景。主讲人王道远(健身),阿里云EMR技术专家,Apache Spark活跃贡献者,主要关注大数据计算优化相关工作。
阿里巴巴大数据产品最新特性介绍—智能推荐|2019大数据技术公开课第四季
本次直播将介绍智能推荐AIRec产品冷启动、推荐配置、数据监测等重点feature和典型场景方案,帮您快速了解智能推荐产品。直播嘉宾闫勖勉(三秋) 阿里云智能事业群 高级解决方案工程师
互金---众安保险数据平台实践分享
众安保险作为国内首家互联网保险公司,从创立之初计算平台就使用MaxCompute。MaxCompute不仅仅是一个计算平台,它还提供可用的IDE(DataWorks、Studio)开发工具进行数据分析和挖掘,从而降低了众安最初的开发成本。MaxCompute不仅为众安提供任务调度系统、元数据、数据质量监控、数据服务与安全,而且生态的丰富,资源与工具的共享,都能很好的满足众安的使用需求,让众安可以有更多时间去接触用户,为用户创造更大价值。
从 Apache ORC 到 Apache Calcite | 第三讲 海胜专访《MaxCompute 与大数据查询引擎的技术和故事》
【直播主题】海胜专访《MaxCompute 与大数据查询引擎的技术和故事》【分享嘉宾】苑海胜 阿里云智能计算平台 高级技术专家 / Apache Calcite Committer / 前 Greenplum 数据库优化器 Team Lead / CMU硕士【直播时间】6月6日 16:00-16:50 【精彩剧透】MaxCompute与MPP数据库的比较分布式系统上Join是如何实现的MaxCompute 针对 Join 和聚合引入的 Hash 和 Range Clustering 的优化从中国到日本,再到美国,工作经历和体验有何差别
4节课全面突围企业大数据实践路线(四)
1、直播内容介绍:[MVP 时间]是由阿里云MVP主讲,聚焦行业数字化转型的实战经验的最佳实践课程。重在帮助开发者快速了解中小企业业务搭建中的技术难点与解决方案,减少踩坑。本课程《4节课全面突围企业大数据实践路线》为系列内容,全面介绍企业大数据是如何一步步搭建及应用的过程。课程划分:共计4节课内容,分4次直播进行;每周三晚20:00准时开播,每次1个小时(45分钟的课程,15分钟的答疑)。此次为第四节课程:典型技术架构分析和构建2、分享嘉宾信息:姓名:戚俊 阿里云 MVP职位:浙江银杏谷投资总裁技术助理加钉钉群随时与老师在线互动。
飞天技术汇第27期 大数据产品家族新功能发布会
获奖用户信息填写地址: https://survey.aliyun.com/survey/AgDLQqOP7 点击聚能聊畅所欲言: 【阿里云新品发布】开启新一代数据智能开发之路: https://yq.aliyun.com/roundtable/325525 了解更多产品详情,欢迎点击: https://et.aliyun.com/bigdatarelease 本次阿里云有6款大数据联合发布,分别是: DataWorks 智能SQL引擎:大大提升数据开发者Coding-效率,更加自然、智能的体验享受 机器学习PAI AutoML:参数自动化调优,为算法工程师节省大量调参工作,并输出好的模型 全新的分析产品DataLake Analytics:计算存储相分离,OSS数据分析最佳拍档,极低的分析成本 MaxCompute底层存储升级: EMR 一体化云上工作平台: Elasticsearch智能运维和离线平台: 议程如下: 13:30-14:00 《新一代智能数据工场》——士诚 14:00-14:30《机器学习PAI AutoML技术解析》——傲海 14:30-15:00《实践演练:云上编程应用》——祝星 15:00-15:30《无服务器分析架构最佳实践Data Lake Analytics》—长风 15:30-16:00《大数据计算服务MaxCompute底层存储升级解析》— 圣远 16:00-16:30《EMR:一体化Hadoop云上工作平台》—— 雷飙 16:30-17:00《Elasticsearch智能运维与离线平台》——洪阳 下载阿里云APP二维码,新品发布会抢先看:
DataWorks 数据资产治理
DataWorks 数据资产治理(原数据治理中心)可根据预先配置的治理计划,自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题,并通过健康分量化评估,从全局、工作空间、个人等多个视角,以治理报告及排行榜呈现治理成果,帮助您高效达成治理目标。同时,还提供业务资产管理、资产分析、任务资源消耗明细、费用预估等功能,帮助您有效掌握各类资源的使用详情。
2024FFA分论坛-流批一体2
FFA2024流批一体专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、蚂蚁金服、Shopee等公司的一线技术专家聚焦于流批一体数仓的最新进展与实践,涵盖从理论探索到实际应用的全方位内容。
2024FFA主论坛
适逢Apache Flink诞生10周年,今年的FFA与广大开发者分享Flink过去十年在技术和生态方面的演进历程及关键成果。同时,基于当前AI时代的新场景,展望未来十年Flink的发展方向和规划。大会还将为您提供全面了解Flink2.0版本的机会,并与业界领袖共同探讨Apache Flink的过去、现在及未来,以及其在实际应用中的潜力。
Havenask进阶系列第4节:分词器开发
Havenask是阿里巴巴自主研发的大规模分布式搜索引擎,主要专注于智能搜索和海量数据实时检索,其核心能力广泛应用于阿里巴巴内部的众多业务,如淘宝、天猫商品搜索,盒马搜索,菜鸟物流订单实时检索等。并于2022年11月对外正式开源,具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们,为大家全面讲解Havenask的相关知识,通过课程可以了解到产品能力、架构原理、安装部署等内容,同时还有详细的操作演示,帮助大家更好了解和使用产品。 课程介绍: 此视频为Havenask进阶系列课程第4课《分词器开发》,视频中共包含以下3部分内容。 分词器插件简介 内置分词器介绍 分词器实战开发 我们期望通过课程可以帮助您更好的使用Havenask,欢迎广大开发者加入项目开发,共建高质量的搜索引擎,共同推进国产化开源搜索引擎技术快速发展,普惠更多的开发者和企业。 此外,对于有使用需求的企业级开发者,我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch,欢迎企业级开发者们试用体验。 阿里云OpenSearch官网:https://www.aliyun.com/product/opensearch Havenask官网地址:https://havenask.net/ Github:https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群:
Havenask入门课程第3节:使用hape部署分布式版Havenask
Havenask是阿里巴巴自主研发的大规模分布式搜索引擎,主要专注于智能搜索和海量数据实时检索,其核心能力广泛应用于阿里巴巴内部的众多业务,如淘宝、天猫商品搜索,盒马搜索,菜鸟物流订单实时检索等。并于2022年11月对外正式开源,具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们,为大家全面讲解Havenask的相关知识,通过课程可以了解到产品能力、架构原理、安装部署等内容,同时还有详细的操作演示,帮助大家更好了解和使用产品。 课程介绍: 此视频Havenask入门课程第3节《使用hape部署分布式版Havenask》,共讲解3部分内容。 -部署分布式版Havenask -如何写入数据、检索 -问题排查 我们期望通过课程可以帮助您更好的使用Havenask,欢迎广大开发者加入项目开发,共建高质量的搜索引擎,共同推进国产化开源搜索引擎技术快速发展,普惠更多的开发者和企业。 此外,对于有使用需求的企业级开发者,我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch,欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch 官网地址:https://havenask.net/ Github:https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群:
生产实践专场(二)
生产实践专场集结字节跳动、华为、蚂蚁金服、Shopee、B站、快手、腾讯、京东物流、小红书的技术专家探讨基于 Flink 的实时场景下技术优化及实践。
流批一体专场
流批一体专场由来自阿里云智能、小红书、字节跳动、小米等企业的技术专家为你呈现流批一体的大规模应用实践案例,了解业务在数仓建设过程中的痛点与思考。另有来自阿里云智能高级技术专家将分享流批融合的理念与优势,结合全增量一体数据处理场景介绍流批融合的技术挑战与设计方案,以及 Flink 社区在这方面的最新进展与未来规划。
阿里云 Elasticsearch Serverless 介绍
Elasticsearch Serverless 服务基于云原生Serverless技术开发,致力于为用户打造更低成本、弹性灵活、开放兼容、开箱即用的Elasticsearch使用体验。相比公测版,正式版Elasticsearch Serverless服务对原生Elasticsearch的读写API及生态组件有更高兼容性,帮助用户快速构建数据检索与分析应用,可灵活使用在多种应用场景中,例如网站搜索、企业信息检索、日志分析、运维监控等。 立即开通>>
【第7讲】是真的!Python可以创建Excel了,1行代码就能模拟真实数据,AI自动化办公还会远吗?
【第7讲】是真的!Python可以创建Excel了,1行代码就能模拟真实数据,AI自动化办公还会远吗?
FY24阿里云暑期夏令营“学生说”第五集
听一听参与夏令营的同学们怎么说,阿里云在这里期待迎接更多优秀的同学们!了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
FY24阿里云暑期夏令营总回顾(上)
学生们在为期5天的夏令营中,通过探索阿里云文化、实践云上场景,了解前沿科技、感受科技魅力、探究数字经济发展趋势、快速提升创新实践能力。了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
Streaming Lakehouse Meetup
本次 Meetup 邀请了来自阿里巴巴、字节跳动的七位技术专家,聚焦大规模 CDC 数据入湖实践、Flink 一站式湖仓一体构建、流式数据湖关键特性以及统一的 RSS 等,全方位解析 Streaming Lakehouse 最前沿的技术,最新的产业实践!Flink、Paimon、Celeborn、Flink CDC、StarRocks 多个开源项目汇聚在一起,会碰撞出怎样的火花?敬请期待! 讲师: 李劲松 阿里云开源大数据表存储团队负责人、阿里巴巴高级技术专家 徐榜江 阿里云 Flink 数据通道负责人 刘大龙 阿里云研发工程师 李国君 字节跳动基础架构工程师 周克勇 阿里云/数据湖Spark引擎负责人 曾庆栋 阿里云高级开发工程师 王洪顺 阿里云大数据开发工程师
Flink Forward 行业实践 “电商SaaS全渠道实时数据中台最佳实践”
Flink Forward 行业实践 “电商SaaS全渠道实时数据中台最佳实践”应圣楚聚水潭高级ETL工程师张成玉聚水潭大数据开发专家
Flink Forward 平台建设 “Flink SQL 在美团实时数仓生产中的增强与实践”
Flink Forward 平台建设 “Flink SQL 在美团实时数仓生产中的增强与实践”张彬美团数据系统研发工程师董剑辉美团数据系统研发工程师
Flink Forward 行业实践“中原银行OLAP架构实时化演进”
Flink Forward 行业实践“中原银行OLAP架构实时化演进”杜威科 中原银行实时计算平台负责人
Flink Forward 行业实践“Flink 在中泰证券的实践与应用”
Flink Forward 行业实践“Flink 在中泰证券的实践与应用”连序全 中泰证券大数据中心实时计算架构师
Flink Forward 实时湖仓“OceanBase+Flink:构建高效的实时计算解决方案”
Flink Forward 实时湖仓“OceanBase+Flink:构建高效的实时计算解决方案”周跃跃 OceanBase架构师
Flink Forward 实时湖仓“Apache Flink x Apache Doris 构建极速易用的实时湖仓架构”
Flink Forward 实时湖仓“Apache Flink x Apache Doris 构建极速易用的实时湖仓架构”王磊 SelectDB 资深大数据研发专家
Flink Forward 平台建设“Flink 在蚂蚁大规模金融场景的平台建设”
Flink Forward 平台建设“Flink 在蚂蚁大规模金融场景的平台建设”李志刚 蚂蚁集团高级技术专家
Flink Forward 核心技术“Flink OLAP 在在字节跳动的查询优化和落地实践”
Flink Forward 核心技术“Fliink OLAP 在在字节跳动的查询优化和落地实践”何润康 字节跳动基础架构工程师
Flink Forward 实时湖仓“快手基于Apache Flink 的实时数仓建设实践”
Flink Forward 实时湖仓“快手基于Apache Flink 的实时数仓建设实践”羊艺超 快手实时数据开发工程师冯立 快手实时数据开发工程师
Flink Forward Asia 实时风控专场 “Flink CEP 新特性进展与在实时风控场景的落地”
Flink Forward Asia 实时风控专场 “Flink CEP 新特性进展与在实时风控场景的落地”耿飙 阿里云开发工程师胡俊涛 阿里云开发工程师
Flink Forward Asia 生产实践专场 “美团Flink资源调度优化实践”
Flink Forward Asia 生产实践专场 “美团Flink资源调度优化实践”冯斐 美团数据平台计算引擎工程师
大数据与机器学习
大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。