年度回顾-阿里云Elasticsearch在泛日志场景的核心能力建设
随着国内传统企业的数字化转型,非结构化数据的规模和占比增长迅速,其中日志数据获取和加工能力也越来越受到关注。本次由阿里云Elasticsearch团队负责人,给大家聊一聊阿里云Elasticsearch围绕泛日志场景在产品和内核层面做了哪些努力,又为开发者社区提供了哪些回馈。讲师/嘉宾简介邓万禧 阿里巴巴资深技术专家阿里巴巴智能引擎事业部云服务,搜索与分析团队负责人
企业级全托管 Spark 大数据分析平台及案例分析【Databricks 数据洞察公开课】
从产品介绍、功能、典型场景、应用案例、Demo演示等多方面入手,介绍如何基于Databricks 数据洞察——Apache Spark的全托管数据分析平台,满足数据湖分析、实时数仓、离线数仓、BI数据分析、AI机器学习等场景需求。产品技术咨询https://survey.aliyun.com/apps/zhiliao/VArMPrZOR加入技术交流群讲师/嘉宾简介棕泽阿里云技术专家阿里云开源大数据生态企业研发负责人
Flink Forward Asia 2021 Hackathon
首届 Flink Forward Asia Hackathon,本次比赛由 Apache Flink 社区联手阿里云 ACE、 Pravega 社区、DELL 联合举办。本次比赛为开放式命题,以实时计算为主题,以 Flink 为工具,解决大家日常学习和工作中遇到的实际问题。可以是气象预测、城市交通管理、金融交易监察这样关乎国计民生的选题;也可以是提升购物体验、增强游戏互动性、个人运动管理、社交等改善生活中琐碎点滴的选题;还可以是对 Flink 本身的创新和改进。选手需要使用(但不仅限于使用)Flink 生态里的各种工具,包括统计分析、机器学习、复杂事件处理、各类 connector,StatefulFunction 等等来完成自己的选题。共计 29 支队伍进入决赛
Flink Forward Asia 2021 行业实践 1
行业实践专场由字节跳动、网易、蔚来、中原银行、建信金融科技、中信建投等多行业实时计算领域专家详细解读 Flink 在业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介1.《中原银行实时风控体系建设实践》陈玉强 - 中原银行数据平台中心开发工程师2.《Flink 在国有大型银行智能运营场景下的应用》周耀 - 建信金融科技开发工程师,Apache Superset Contributor,Apache Kylin Contributor3.《Flink 流处理在中信建投证券的实践与应用》刘成龙 - 中信建投证券金融实时数仓项目负责人,大数据研发工程师蔡跃 - 中信建投证券金融资讯数据研发工程师4.《Flink 在众安保险金融业务的应用》郭育波 - 众安保险大数据平台开发高级专家
SaaS模式云数据仓库 MaxCompute 应用场景实践 ——基于Delta lake、Hudi格式的湖仓一体方案
Delta Lake 和 Hudi 是流行的开放格式的存储层,为数据湖同时提供流式和批处理的操作,这允许我们在数据湖上直接运行 BI 等应用,让数据分析师可以即时查询新的实时数据,从而对您的业务产生即时的洞察。MaxCompute 在湖仓一体架构中,通过支持 Delta Lake 和 Hudi 在数据湖中提供数据仓库性能。讲师简介孟硕 阿里云智能 产品专家
SaaS模式云数据仓库 MaxCompute 应用场景实践——基于MaxCompute的实时数据处理实践
MaxCompute通过流式数据高性能写入和秒级别查询能力(查询加速),提供EB级云原生数仓近实时分析能力;高效的实现对变化中的数据进行快速分析及决策辅助。当前Demo基于近实时交互式BI分析/决策辅助场景,实现指标卡近实时BI分析、近实时市场监测、近实时趋势分析、近实时销量拆分功能。讲师简介隆志强 阿里云智能 高级产品专家
SaaS模式云数据仓库MaxCompute应用场景实践——基于MaxCompute+开放搜索的电商、零售行业搜索开发实践
搜索是电商行业的主要流量入口之一,如何提升搜索性能与效果,提升搜索引导GMV一直是电商、零售行业需要解决的难题。本次直播将介绍MaxCompute+开放搜索的开发实践,搭建一站式、高性能、效果更优的电商、零售行业搜索服务。讲师简介刘志嘉 阿里云智能 产品经理
E-MapReduce 极客挑战赛线上宣讲会
直播介绍:(建议600字以内)E-MapReduce 极客挑战赛线上宣讲会直播内容:1、大咖寄语2、赛事解读讲师简介EMR极客挑战赛官方
开源大数据社区 & 阿里云 E-MapReduce 系列直播 第12期
此次课程是继上一节“ Spark 大数据处理最佳实践 ” 课后,大数据最佳实践课程的第二课。主要讲一下 flink 流计算的最佳实践。讲师根据自己多年经验总结的方法论,从 flink 学习框架入手,配合一些非常落地的最佳实践,带你有章法的学习 flink ,摆脱技术小白称号!讲师简介简锋 阿里云 EMR 数据开发平台 负责人
外部工具连接SaaS模式云数仓MaxCompute—ETL工具篇
本次直播将介绍MaxCompute支持的三款开源ETL工具Kettle、Airflow、Azkaban以及连接示例。讲师简介龙青云 阿里云智能 技术支持经理
Hologres系列课程(六)透明加速MaxCompute最佳实践
MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务。Hologres与MaxCompute高度融合,能以外表方式加速查询MaxCompute数据。本次主要介绍加速查询MaxCompute原理,以及如何建外表加速查询,导入内表最佳实践。讲师简介王奇(慧青),阿里巴巴技术专家,长期从事Hologres引擎开发工作
Hologres系列课程(二十)使用最佳实践总结
本次主要总结Hologres各项功能的使用最佳实践,了解Hologres的开发体系、优化体系和运维体系,助力快速搭建企业级一站式实时数仓讲师简介胡求,阿里巴巴开发工程师,从事于Hologres引擎开发工作
Elasticsearch生态&技术峰会 —— 技术最前线
分享主题:一、阿里云Elasticsearch云原生内核建设之路二、如何规划和执行威胁狩猎三、基于流式计算平台搭建实时分析应用中 Elasticsearch 的实战分享四、Elasticsearch 基于Pipeline 窗口函数实现实时聚合计算五、基于 Elasticsearch的容器化编排实践六、圆桌论坛:Elasticsearch多场景演进之路及未来探索讲师介绍魏子珺 阿里巴巴技术专家刘征 Elastic社区布道师吴斌 Elastic中文社区副主席李猛 力萌信息数据技术专家白凡 尚德机构资深开发工程师"曾勇 Elastic中文社区创始人&主席吴斌 Elastic中文社区副主席刘征 Elastic社区布道师杨振涛 Elastic深圳社区主席白凡 尚德机构资深开发工程师汪兴 Elastic杭州社区主席"
【开源的力量】云沙龙--Elastic增长秘籍与行业实战
解密Elastic基于开源的商业模式如何实现业务的高速增长,及落地中国市场的发展演进。结合企查查、北京清博、乐言科技三位行业专家的案例分享,深入剖析他们的业务探索之路,带你领略开源技术的力量。讲师titleElastic 中国区总经理--王刚 Galen ;企查查搜索部技术经理--范兆明;北京清博技术副总裁--王欢;乐言科技SRE工程师--徐二涛;
第四节课:EMR 开通与演示
本节主要介绍开通EMR的环境准备、账号准备、付费情况、实操演示讲师:魏巍,花名念民,阿里巴巴 EMR 产品经理
搜索与推荐技术场景化构建与核心价值
【开发者优惠来了】全网最低价,阿里云爆款服务器低至8.1元/月,更有针对学生的专享福利全面升级,戳:http://click.aliyun.com/m/1000188819/介绍搜索与推荐技术在业务中如何可持续的、高质量的交付价值,以及为什么选择阿里云的开放搜索与智能推荐技术服务讲师信息讲师:曾罗花名:是溪头衔:阿里巴巴集团产品专家
企业智能推荐&Opensearch案例分享——安利
联蔚科技是阿里巴巴生态中的服务商,侯总从从整个IT背景以及集成过程中的定位来介绍,选择智能推荐和开放搜索作为服务产品来满足安利复杂的直销业务系统。讲师介绍:侯炜康-联蔚科技技术总监
OAP Spark 优化介绍: 通过索引和缓存优化交互式查询性能
讲师介绍:陈海锋,英特尔亚太研发有限公司大数据部门的高级软件架构师,开发经理,主要研究和关注基于Hadoop和Spark的大数据框架的分析和优化,Apache社区的长期贡献者。沈祥翔,英特尔亚太研发有限公司大数据部门的高级软件工程师,主要担任OAP项目的开发。分享介绍:简单介绍OAP的总体蓝图。同时详细介绍其中的一个具体优化,使用索引和缓存来解决交互式查询性能挑战。英特尔和社区合作,为Spark SQL实现了索引和数据源缓存,通过为关键查询列创建并存储完整的B +树索引,并使用智能的细粒度数据缓存策略,我们可以极大的提升基于Spark SQL的交互式查询的性能。
云数据仓库+实时搜索 — 持续定义SaaS模式云数据仓库MaxCompute
本次直播将为您介绍云数据仓库在实时搜索业务中的应用场景,并结合SaaS 模式云数据仓库MaxCompute 的优势和特点来讲解MaxCompute + Elasticsearch 最佳实践。分享人:孟硕 阿里云智能 产品专家
PB级数据量背后,阿里云Elasticsearch的内核优化实践
阿里云Elasticsearch兼容开源Elasticsearch的功能,以及Security、Machine Learning、Graph、APM等商业功能,致力于全文搜索、日志分析、运维监控、安全分析等场景服务。在开源Elasticsearch的基础上提供了企业级权限管控、安全监控告警、自动报表生成等功能,并具备高可用性、高可靠性、高安全性等功能特性。本次分享主要介绍阿里云Elasticsearch在支撑PB级以上数据量的背后所做的内核优化实践,与Elasticsearch爱好者们共同探讨交流,推动技术发展。讲师:慕少琼(广富)阿里巴巴Elasticsearch云服务平台高级开发工程师,Elastic认证工程师,有丰富的Elasticsearch使用、运维和内核优化经验。直播期间,点击链接参与调研,将随机抽取20个名额,赠送ES技术大牛阮一鸣老师全套Elasticsearch 课程(价值129元)戳我了解详情
JindoFS 存储策略和读写优化
本次分享主要介绍数据读写在计算存储分离的场景下所面临的常见问题以及相关的优化手段,并结合应用场景介绍对数据缓存加速的相关技术和策略。讲师介绍姚舜扬,花名辰山,阿里巴巴计算平台事业部 EMR 高级开发工程师,目前从事大数据存储方面的开发和优化工作
智能推荐系列公开课——智能推荐内容行业2.0发布
在信息过载、碎片化的时代,个性化推荐成为提升用户浏览/转化率的核心手段之一。而在实际应用中,怎样满足本行业的信息分发需求,精准匹配海量用户偏好,提高运营效率,仍是一个待解之题。此次,阿里巴巴搜索推荐产品团队带来系列公开课,聊聊怎样结合实际场景,嵌入智能推荐,搭建“千人千面”的分发体系,使产品价值最大化。每期20分钟,修炼推荐硬功夫。课程目录第一期推荐场景化构建与业务价值第二期智能推荐在电商的经典打法与实践第三期智能推荐电商行业2.0发布,算法模板再升级第四期7天搭建电商个性化推荐场景和最佳实践第五期0-1激活推荐系统,解锁冷启动难题第六期智能推荐内容行业2.0发布第七期详解内容行业典型案例,直击标题党和推荐时效性第八期智能推荐新闻行业2.0升级与最佳实践第九期智能推荐AIRec功能使用指南第十期课程总结与交流问答加入社群扫码入群,了解更多资讯,获取课程资料
Analytics Zoo上的分布式TensorFlow训练AI玩FIFA足球游戏
近年来,由于对通用人工智能研究的潜在价值,训练AI玩游戏一直是一个火热的研究领域。FIFA实时视频游戏场景复杂,需要结合图像,强化学习等多种不同的AI技术,同时也要求agents响应有实时性,因此是一个非常好的试验场,可以用来探索不同类型的AI技术。本次分享主要介绍我们在训练AI玩FIFA视频游戏方面的一些工作。有兴趣的同学,可以提前关注此开源项目:https://github.com/intel-analytics/analytics-zoo讲师介绍:喻杉,Intel大数据分析团队机器学习工程师。她目前专注于在analytics-zoo大数据和人工智能平台上开发针对时间序列分析的自动机器学习组件。在加入intel前,她在浙江大学获得了学士和硕士学位。
JindoFS Fuse 支持
本次直播主要介绍如何利用FUSE的POSIX文件系统接口,像本地磁盘一样轻松使用大数据存储系统, 为云上AI场景提供了高效的数据访问手段。讲师介绍苏昆辉,花名抚月,阿里巴巴计算平台事业部 EMR 高级工程师, Apache HDFS committer. 目前从事开源大数据存储和优化方面的工作。
Office Depot利用Analytics Zoo构建智能推荐系统的实践分享
大量实验结果表明深度学习能更好地帮助商家为用户个性化推荐感兴趣的商品。Office Depot将Analytics Zoo工具包引入到他们的推荐系统中,在Spark集群上分布式训练了各种推荐算法模型,实验结果相比于传统的推荐算法有了十分显著的提升,本次分享主要介绍Office Depot使用Analytics Zoo构建智能推荐系统的实践经验。有兴趣的同学,可以提前关注此开源项目:https://github.com/intel-analytics/analytics-zoo讲师介绍讲师:黄凯Intel数据分析团队软件工程师。负责开发基于Apache Spark的深度学习框架,同时支持企业客户在大数据平台上构建端到端的深度学习应用。他是Analytics Zoo和BigDL的核心贡献者之一。
智能推荐系列公开课——智能推荐电商行业2.0发布,算法模板再升级
在信息过载、碎片化的时代,个性化推荐成为提升用户浏览/转化率的核心手段之一。而在实际应用中,怎样满足本行业的信息分发需求,精准匹配海量用户偏好,提高运营效率,仍是一个待解之题。此次,阿里巴巴搜索推荐产品团队带来系列公开课,聊聊怎样结合实际场景,嵌入智能推荐,搭建“千人千面”的分发体系,使产品价值最大化。每期20分钟,修炼推荐硬功夫。课程目录第一期推荐场景化构建与业务价值第二期智能推荐在电商的经典打法与实践第三期智能推荐电商行业2.0发布,算法模板再升级第四期7天搭建电商个性化推荐场景和最佳实践第五期0-1激活推荐系统,解锁冷启动难题第六期智能推荐内容行业2.0发布第七期详解内容行业典型案例,直击标题党和推荐时效性第八期智能推荐新闻行业2.0升级与最佳实践第九期智能推荐AIRec功能使用指南第十期课程总结与交流问答加入社群扫码入群,了解更多资讯,获取课程资料
智能推荐系列公开课——推荐场景化构建与业务价值
在信息过载、碎片化的时代,个性化推荐成为提升用户浏览/转化率的核心手段之一。而在实际应用中,怎样满足本行业的信息分发需求,精准匹配海量用户偏好,提高运营效率,仍是一个待解之题。此次,阿里巴巴搜索推荐产品团队带来系列公开课,聊聊怎样结合实际场景,嵌入智能推荐,搭建“千人千面”的分发体系,使产品价值最大化。每期20分钟,10课时,修炼推荐硬功夫。【讲师介绍】栀露,阿里巴巴搜索推荐事业部产品经理扫码加入钉钉技术交流群,进行提问咨询,获取第一手资料【本期概要】本次直播将分享个性化推荐作为一种提升用户浏览/转化率的技术手段,如何优化用户体验、提升分发效率,从而驱动业务增长。【更多课程预告】友盟大数据加持,助力新客留存提升新版电商算法模版的应用指南快速数据对接,0-1搭建个性化推荐内容行业标题党、推荐时效的解决新思路运营 + 算法合力破解新物品冷启动难题多样兴趣点试探直击回音壁问题
【Elasticsearch入门公开课 】20 | 多字段特性及Mapping中配置自定义Analyzer
Elasticsearch 是一款非常强大的开源搜索及分析引擎,在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外,结合生态 Kibana、Logstash和Beats,Elasticsearch还被广泛运用在大数据近实时分析场景中,包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手,并穿插底层技术讲解及教学实操,让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做,阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G,1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件:新注册用户付费模式:包年包月服务选择:商业通用版,3节点1核2G版本【讲师简介】阮一鸣,eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群,包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索,商品推荐,日志管理,风险控制,IT运维,安全监控等多个领域钉钉扫码加入ES交流群,获取课程资料【课程收益】1、从概念到实操,轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES(3节点1核2G )1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念:索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念:节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】
【Elasticsearch入门公开课 】19 | 显式Mapping设置与常见参数介绍
Elasticsearch 是一款非常强大的开源搜索及分析引擎,在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外,结合生态 Kibana、Logstash和Beats,Elasticsearch还被广泛运用在大数据近实时分析场景中,包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手,并穿插底层技术讲解及教学实操,让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做,阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G,1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件:新注册用户付费模式:包年包月服务选择:商业通用版,3节点1核2G版本【讲师简介】阮一鸣,eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群,包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索,商品推荐,日志管理,风险控制,IT运维,安全监控等多个领域钉钉扫码加入ES交流群,获取课程资料【课程收益】1、从概念到实操,轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES(3节点1核2G )1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念:索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念:节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】
【Elasticsearch入门公开课 】15 | URI Search详解
Elasticsearch 是一款非常强大的开源搜索及分析引擎,在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外,结合生态 Kibana、Logstash和Beats,Elasticsearch还被广泛运用在大数据近实时分析场景中,包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手,并穿插底层技术讲解及教学实操,让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做,阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G,1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件:新注册用户付费模式:包年包月服务选择:商业通用版,3节点1核2G版本【讲师简介】阮一鸣,eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群,包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索,商品推荐,日志管理,风险控制,IT运维,安全监控等多个领域钉钉扫码加入ES交流群,获取课程资料【课程收益】1、从概念到实操,轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES(3节点1核2G )1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念:索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念:节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】
【Elasticsearch入门公开课 】09 | 基本概念:索引、文档和REST API
Elasticsearch 是一款非常强大的开源搜索及分析引擎,在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外,结合生态 Kibana、Logstash和Beats,Elasticsearch还被广泛运用在大数据近实时分析场景中,包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手,并穿插底层技术讲解及教学实操,让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做,阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G,1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件:新注册用户付费模式:包年包月服务选择:商业通用版,3节点1核2G版本【讲师简介】阮一鸣,eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群,包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索,商品推荐,日志管理,风险控制,IT运维,安全监控等多个领域钉钉扫码加入ES交流群,获取课程资料【课程收益】1、从概念到实操,轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES(3节点1核2G )1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念:索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念:节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】
The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍陈玉兆,Apache Calcite PMC,Apache Flink Contributor,阿里巴巴高级开发工程师更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
基于Flink构建CEP引擎的挑战和实践 | 企业实践专场
企业实践专场企业实践专场将邀请知名企业一线技术专家,分享大数据及人工智能最新技术进展和实践,详细解读Apache Flink在各行业的应用与落地,包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验,并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍韩鹏,奇安信集团高级总监,网络安全技术专家更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场
Apache Flink 在网易的实践 | 企业实践专场
企业实践专场企业实践专场将邀请知名企业一线技术专家,分享大数据及人工智能最新技术进展和实践,详细解读Apache Flink在各行业的应用与落地,包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验,并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍吴良波,网易JAVA技术专家更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场
Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场
Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍崔星灿,Apache Flink Committer,York University 博士后更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场
开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍章剑锋Apache Member,阿里巴巴高级技术专家孙金城Apache Flink PMC,阿里巴巴高级技术专家更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
OPPO基于Apache Flink 的实时数仓实践 | 实时数仓专场
实时数仓专场数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战。实时数仓专场将聚焦Flink实时数仓在数据链路中扮演的角色与在智能商业中的重要价值,由一线大厂大数据专家分享实时数仓的应用实践及平台智能化的探索与思考。讲师介绍张俊,Apache Flink Contributor,OPPO大数据平台研发负责人更多直播信息实时数仓专场>>>美团点评基于Apache Flink 的实时数仓平台实践 | 实时数仓专场小米流式平台架构演进与实践 | 实时数仓专场Netflix:Evolving Keystone to an Open Collaborative Real-time ETL Platform | 实时数仓专场菜鸟供应链实时数据技术架构的演进 | 实时数仓专场OPPO基于Apache Flink 的实时数仓实践 | 实时数仓专场
阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场
Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍唐云,Apache Flink Contributor,阿里巴巴高级开发工程师更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
基于Apache Flink的机器学习算法平台实践与开源 | 人工智能专场
人工智能专场人工智能是未来十年最重要的技术革命与驱动力,在各行各业产生者日益重要的作用。人工智能专场将集中介绍Flink在机器学习上的新技术与新应用,为参会者呈现Flink机器学习的具体应用实践与最新技术落地案例。讲师介绍杨旭,阿里巴巴资深算法专家更多直播信息人工智能专场>>>基于Apache Flink的机器学习算法平台实践与开源 | 人工智能专场携程实时智能检测平台实践 | 人工智能专场Apache Flink AI生态系统工作 | 人工智能专场
Stateful Functions | Apache Flink 核心技术专场
Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍Tzu-Li(Gordon)Tai,Apache Flink PMC,Ververica Software Engineer更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
实时数仓建设以及典型场景应用
本次分享会介绍实时数仓的思路以及一些实践,包括SparkStreaming SQL引擎,以及对Delta/Kudu/Druid/阿里云多种存储组件的深度整合;同时会在这个基础上介绍一些典型案例应用讲师介绍宋军,花名嵩林 阿里云EMR高级技术专家。从事Spark内核优化,对SparkCore/SprakSQL有深入了解,Spark Contributor
(第二部分)从Python 到Java ,Pyboot加速大数据和AI的融合
Python 代表机器学习生态,而以 Hadoop/Spark 为核心的开源大数据则以 Java 为主。前者拥有数不清的算法库和程序,后者承载着海量数据和大量的企业应用。除了 SQL 这个标准方式和各种五花八门的协议接口,还有没有更高效的一手数据通道,将两个生态对接起来,乃至深度融合?Pyboot 是我们在这个方向上的探索。有兴趣的同学欢迎现场观摩演示和技术交流。嘉宾介绍郑锴,花名铁杰,阿里巴巴高级技术专家,Apache Hadoop PMC,Apache Kerby 创立者。深耕分布式系统开发和开源大数据多年,目前专注于在阿里云上提供更好用更有弹性的 Hadoop/Spark 大数据平台;孙大鹏,花名诚历,阿里巴巴计算平台事业部 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面的工作;
Tablestore结合Spark的云上流批一体大数据架构
传统Lambda架构组件多运维复杂,如何使用一套存储和一套计算来实现流批架构充分享受技术红利?以Delta Lake为代表的新型数据湖方案越来越流行,传统的Lambda架构如何向数据湖架构进行扩展?以及结构化数据结合Delta Lake的最佳解决方案是什么。本次分享将会结合理论讲解和实际场景为您一一解答。讲师介绍王卓然, 花名琸然 阿里云存储服务技术专家
使用分布式自动机器学习进行时间序列分析
对于时间序列预测搭建机器学习应用的过程非常繁琐且需要大量经验。为了提供一个简单易用的时间序列预测工具,我们将自动机器学习应用于时间序列预测,将特征生成,模型选择和超参数调优等过程实现自动化。我们的工具基于Ray(UC Berkeley RISELab开源的针对高级AI 应用的分布式框架,并作为Analytics zoo(由intel开源的统一的大数据分析和人工智能平台)的一部分功能提供给用户。嘉宾介绍喻杉,Intel大数据分析团队软件工程师。她目前专注于在analytics-zoo大数据和人工智能平台上开发自动机器学习组件。在加入intel前,她在浙江大学获得了学士和硕士学位。
【云上大数据的一种高性能数据湖存储方案】
大数据上云是业界普遍共识,存储和计算分离的趋势日益显著,如何为云上蓬勃发展的大数据处理和分析引擎提供坚实的存储基础?这个 session 会主要讨论 EMR 技术团队重磅推出的一种新型混合存储解决方案,该方案基于云平台和云存储,面向新的存储硬件和计算发展趋势,为 EMR 弹性计算量身打造,在成本,弹性和性能上追求极佳平衡。技术上是如何实现的?性能如何?覆盖了哪些典型场景,最佳实践是什么?敬请期待!主讲人殳鑫鑫(辰石),阿里巴巴计算平台事业部EMR团队技术专家,目前从事大数据存储以及Spark相关方面的工作。徐铖, Intel大数据团队软件开发经理
大数据与机器学习
大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。