Flink Forward 核心技术 “StateBackend performance improvement with TerakDB”

Flink Forward 核心技术 “StateBackend performance improvement with TerakDB”李明字节跳动架构工程师王义字节跳动基础架构工程师

1477 0
来自: 实时计算 Flink  版块

Flink Forward 数据集成“Flink CDC & MongoDB 联合实时数仓的探索实践”

Flink Forward 数据集成“Flink CDC & MongoDB 联合实时数仓的探索实践”孙家宝Xtransfer基础架构团队

52439 2
来自: 实时计算 Flink  版块

Flink Forward 实时湖仓“OceanBase+Flink:构建高效的实时计算解决方案”

Flink Forward 实时湖仓“OceanBase+Flink:构建高效的实时计算解决方案”周跃跃 OceanBase架构师

645 0
来自: 实时计算 Flink  版块

Flink Forward 实时湖仓“Apache Flink x Apache Doris 构建极速易用的实时湖仓架构”

Flink Forward 实时湖仓“Apache Flink x Apache Doris 构建极速易用的实时湖仓架构”王磊 SelectDB 资深大数据研发专家

50337 0
来自: 实时计算 Flink  版块

Flink Forward 实时湖仓“Flink Table Store 0.3 构建流式数仓最佳实践”

Flink Forward 实时湖仓“Flink Table Store 0.3 构建流式数仓最佳实践”李劲松 Flink PMC

786 0
来自: 实时计算 Flink  版块

Flink Forward 平台建设“字节跳动Flink大规模云原生化实践”

Flink Forward 平台建设“字节跳动Flink大规模云原生化实践”刘畅 字节跳动基础架构工程师

559 0
来自: 实时计算 Flink  版块

Flink Forward 实时湖仓“快手基于Apache Flink 的实时数仓建设实践”

Flink Forward 实时湖仓“快手基于Apache Flink 的实时数仓建设实践”羊艺超 快手实时数据开发工程师冯立 快手实时数据开发工程师

636 0
来自: 实时计算 Flink  版块

Flink Forward 实时湖仓“flink x Hologres 构建企业级Steaming Warehouse”

Flink Forward 实时湖仓“flink x Hologres 构建企业级Steaming Warehouse”姜伟华(果贝) 阿里云Hologres负责人

53102 0
来自: 实时计算 Flink  版块

阿里云数创先锋大数据实战营专场(第二场)

阿里云数创先锋大数据实战营专场(第二场)

643 47
来自: 大数据计算 MaxCompute  版块

Flink Forward Asia 2022 数据集成 11.26 下午

云原生为数据集成领域注入了全新生命力,本专场邀请小红书、小米、科杰科技、易车、京东、顺丰、XTransfer、阿里等技术专家分享基于 Flink 的数据集成系统探索与实践。讲师/嘉宾简介徐榜江|阿里云技术专家, Apache Flink Commiter & Flink CDC Maintainer阮航|阿里云高级开发工程师,Apache Flink Contributor & Flink CDC Maintainer袁奎|小红书高级开发工程师胡焕|小米计算平台高级工程师张军|科杰科技大数据架构师,Apache Flink、Iceberg、StreamPark Contributor

5091 0
来自: 实时计算 Flink  版块

Flink Forward Asia 2022 平台建设 11.27 上午

平台建设专场由来自爱奇艺、知乎、Dinky 社区、货拉拉、美团、联通、小米、StreamPark、阿里巴巴、蚂蚁集团的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介周凯波|阿里云高级技术专家,Apache Flink Contributor李志刚|蚂蚁集团 高级技术专家、蚂蚁集团流计算平台负责人李恒|爱奇艺资深研发工程师贾承昆|知乎大数据架构负责人亓文凯|开源 Dinky Maintainer

3140 2
来自: 实时计算 Flink  版块

Flink Forward Asia 2022 行业案例 11.27 上午

快手、美团、字节跳动、小米、运满满、蔚来汽车、中泰证券、中原银行、中信建投、中南电力设计院等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介连序全|中泰证券大数据中心实时计算架构师杜威科|中原银行流计算平台负责人尹春光|翼支付高级大数据开发工程师王若梦|中信建投证券实时数仓项目负责人宋宇航|中信建投证券流计算技术专家张兴|平安证券经纪大数据基础平台负责人

3869 0
来自: 实时计算 Flink  版块

Flink Forward Asia 2022 核心技术 11.27 下午

由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、华为、Shopee、bilibili、美团等公司的一线技术专家解析 Flink 技术动向与应用实践,回归技术本质,打造全方位技术盛宴。讲师/嘉宾简介俞航翔|Apache Flink Contributor范瑞|Tech Lead of Shopee Flink Runtime Team,Apache StreamPark Committer & Flink/Hadoop/HBase/RocksDB Contributor张杨|bilibili 资深开发工程师李明|字节跳动基础架构工程师王义|字节跳动基础架构工程师王非凡|美团数据平台计算引擎工程师,Apache Flink Contributor

13963 0
来自: 实时计算 Flink  版块

阿里云数据湖技术交流会

数据湖无疑是近几年大数据领域最火热的一个方向,那到底什么是数据湖?数据湖的架构和核心技术有哪些?企业应该如何构建、管理和使用数据湖?阿里云的开源大数据团队在数据湖领域有多年的深耕和实战经验。7月17日,09:00-12:40,DataFun将联合阿里云开源大数据团队举办DataFunTalk技术交流会:阿里云数据湖技术专场,将邀请到来自阿里云数据湖存储、数据湖计算、数据湖构建和管理团队的技术专家给大家做一次从数据湖架构到核心技术到平台构建的全方位介绍与分享。讲师/嘉宾简介陈鑫伟(熙康)- 数据湖概念及架构简介熊佳树(履霜)- 数据湖统一元数据与权限杨庆苇(轻为)- 数据湖管理及优化孙大鹏(诚历)- JindoData新一代数据湖存储加速毕岩(寻径)- 基于DeltaLake构建数据湖仓体系范佚伦(子灼) - 基于Spark的云原生数据湖分析实践陈玉兆(玉兆) - 实时数据湖

1703 0
来自: 实时计算 Flink  版块

基于Elasticsearch+Flink的日志全观测最佳实践

如何通过云上ELK+Flink的能力解决全观测—日志场景的痛点讲师/嘉宾简介沐泽 阿里云高级产品经理

1852 50

Flink Forward Asia 2021 机器学习

人工智能专场由来自阿里巴巴、京东、360 等技术专家呈现 Flink 机器学习的最新进展、具体应用实践与最新技术落地案例。讲师/嘉宾简介1.《Alink 新功能与典型案例》杨旭 - 阿里巴巴资深算法专家2.《Alink、Tensorflow on Flink 在京东的应用》张颖 - 京东搜索推荐算法工程师刘露 - 京东搜索推荐算法工程师3.《基于 Flink AI Flow 的机器学习工作流最佳实践》姜鑫 - 阿里巴巴高级工程师蒋晓峰 - 阿里巴巴技术专家,Apache RocketMQ & Apache ShardingSphere & SOFAJRaft Committer,Apache Flink Contributor4.《伯努利:结构化的工业级流式机器学习系统@阿里妈妈》姜碧野 - 阿里妈妈算法平台与效能架构团队高级算法专家5.《Clink:A C/C++ online feature serving solution for Flink》李志丽 - 360 服务端开发

3332 0
来自: 实时计算 Flink  版块

Flink Forward Asia 2021 流批一体

字节跳动、美团、京东、小米的技术专家分享流批一体的生产实践,另有来自阿里巴巴的技术专家手把手教你如何构建流批一体数仓。讲师/嘉宾简介1.《Flink 流批一体在字节推荐系统的实践》胡家煊 - 字节跳动推荐架构基础服务研发工程师2.《美团基于流批一体构建增量数仓生产实践》刘迪珊 - 美团数据平台工程师3.《流批一体在京东的探索与实践》韩飞 - 京东高级技术专家,Apache Flink Contributor4.《基于 Flink Dynamic Table 构建流批一体数仓》李劲松 - 阿里巴巴技术专家,Apache Flink & Iceberg Committer5.《Flink 流批一体在小米的探索和实践》金风 - 小米软件开发工程师

9259 0
来自: 实时计算 Flink  版块

Flink Forward Asia 2021 核心技术 1

核心技术专场,由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、快手、美团等一线技术专家解析 Flink 技术动向与应用实践。讲师/嘉宾简介1.《Flink SQL 在快手的落地和扩展》张静 - 快手实时计算团队技术专家,Apache Flink Committer张芒 - 快手实时计算团队技术专家2.《Flink State-Backend Improvements and Evolution in 2021》李钰 - 阿里巴巴资深技术专家,ASF Member,Apache Flink & HBase PMC唐云 - 阿里巴巴技术专家,Apache Flink committer3.《Powering HTAP at ByteDance with Apache Flink》刘洋 - 字节跳动基础架构工程师,Apache Flink Contributor邹丹 - 字节跳动基础架构工程师,Apache Flink Contributor4.《深入解析 Flink 细粒度资源管理》郭旸泽 - 阿里巴巴高级开发工程师,Apache Flink Committer5.《Flink Join 算子优化》孙梦瑶 - 美团资深开发工程师

68393 2
来自: 实时计算 Flink  版块

SaaS模式云数据仓库 MaxCompute 应用场景实践 ——基于Delta lake、Hudi格式的湖仓一体方案

Delta Lake 和 Hudi 是流行的开放格式的存储层,为数据湖同时提供流式和批处理的操作,这允许我们在数据湖上直接运行 BI 等应用,让数据分析师可以即时查询新的实时数据,从而对您的业务产生即时的洞察。MaxCompute 在湖仓一体架构中,通过支持 Delta Lake 和 Hudi 在数据湖中提供数据仓库性能。讲师简介孟硕 阿里云智能 产品专家

652 0
来自: 大数据计算 MaxCompute  版块

如何快速搭建云原生企业级数据湖架构及实践分享

众所周知,数据湖技术在大数据领域炙手可热,随着在云上的广泛部署和应用,其业务价值逐渐获得业界共识。如何快搭建数据湖架构被越来越多的企业探讨。本次演讲主要分享快速搭建云原生企业级数据湖架构及实践分享。讲师简介王震 -- 阿里云计算平台事业部 开源大数据平台 技术专家

1220 0

开源大数据社区 & 阿里云 E-MapReduce 系列直播 第12期

此次课程是继上一节“ Spark 大数据处理最佳实践 ” 课后,大数据最佳实践课程的第二课。主要讲一下 flink 流计算的最佳实践。讲师根据自己多年经验总结的方法论,从 flink 学习框架入手,配合一些非常落地的最佳实践,带你有章法的学习 flink ,摆脱技术小白称号!讲师简介简锋 阿里云 EMR 数据开发平台 负责人

918 0

Hologres系列课程(六)透明加速MaxCompute最佳实践

MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务。Hologres与MaxCompute高度融合,能以外表方式加速查询MaxCompute数据。本次主要介绍加速查询MaxCompute原理,以及如何建外表加速查询,导入内表最佳实践。讲师简介王奇(慧青),阿里巴巴技术专家,长期从事Hologres引擎开发工作

3209 2
来自: 实时数仓 Hologres  版块

Hologres系列课程(十三)Datahub实时写入Hologres最佳实践

本次主要介绍Datahub写入Hologres原理,并实操演示数据从DTS到Datahub再写入Hologres的最佳实践讲师简介胡一博(上唐),阿里巴巴技术专家, 长期从事Hologres数据集成生态开发工作。

3273 1
来自: 实时数仓 Hologres  版块

Hologres系列课程(十六)性能调优手段总结

本次主要介绍在Hologres中外表、内表常用的性能调优手段,提升自助化调优能力,实现资源更高效利用讲师简介余骏(清芬),阿里巴巴技术专家,多年分布式系统经历,对系统调优有丰富的经验

2126 1
来自: 实时数仓 Hologres  版块

Hologres系列课程(十八)监控与告警最佳实践

本次主要介绍详解Hologres监控指标含义,对接云监控最佳实践,实现企业级自助运维能力讲师简介胡求,阿里巴巴开发工程师,从事于Hologres引擎开发工作

1832 57
来自: 实时数仓 Hologres  版块

开源大数据社区 & 阿里云 E-MapReduce 系列直播 第9期

EMR on ACK是企业级半托管的开源大数据平台,为阿里云E-MapReduce(EMR)提供了一个部署选项,允许您在阿里云容器服务Kubernetes版 (ACK) 上运行开源大数据框架。 目前支持Spark引擎的部署,结合自研的Remote shuffle service(RSS)服务组件,提供用户高稳定、高性价比、灵活的弹性计算服务。RSS解决了计算存储分离和混合架构下的shuffle稳定性和性能问题。本次直播将重点展开RSS的使用和性能展示。讲师介绍吴雪扬(枢木),阿里云高级开发工程师

2260 0

Apache Flink Meetup · 北京站

问题与互动页面(戳我进入)5月22日,Apache Flink 社区 1.13 新版本发布 Meetup 来啦!本次Apahce Flink Meetup 分为上下两场,嘉宾分别来自阿里巴巴、字节跳动、快手、爱奇艺和小红书。上半场将由 4 位技术专家带来 Flink 1.13 版本新功能的深入解读。例如 Winddow TVF,DataStream & Table API 交互等;下半场将另有 4 位资深行业技术专家分享 Flink 在互娱行业中的实践应用。全方位解析包括精准推荐、实时数仓、数据分析等在内的行业面临的典型问题。活动亮点超多实用干货,一方面第一时间 get 到 1.13 版本新 feature 和功能提升;另一方面也可以学习到如何探索 Flink 在互娱场景中的实践应用,例如今日头条,抖音背后的核心 - 基于 Flink 的推荐特征体系;活动形式多样化,线下线上同步开启,同城可参与线下 Meetup 面对面交流,异地也可在线观看直播,精彩内容不错过;丰富周边等你拿,报名参加就有机会获得超多 Flink 社区定制的精美周边!Meetup 技术交流群:合作伙伴

20013 0
来自: 实时计算 Flink  版块

开放搜索教育搜题能力和实践

开放搜索(Opensearch)是一站式智能搜索业务开发平台。结合达摩院先进的NLP技术,打造定制化的全链路搜题解决方案。本次直播将分享如何通过行业搜索能力和算法工程提升在线教育搜题准确率,帮助企业技术提升核心竞争力。讲师介绍讲师:徐光伟花名:昆卡阿里云达摩院算法专家

2214 0
来自: 智能搜索推荐  版块

第二节课:EMR 产品入门

本节主要内容有 EMR 核心组件简介和使用、常用引擎使用示例、数据开发等讲师:孙大鹏,花名诚历,阿里巴巴 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面的工作。

945 0

《数据湖存储架构选型》

数据湖技术在大数据领域炙手可热,随着在云上的广泛部署和应用,其业务价值逐渐获得业界共识。传统的大数据平台如何基于数据湖架构进行平台升级,享受新一轮的技术发展红利?郑老师着重跟大家分享了数据湖架构和应用在存储上面临的主要挑战,以及方案选型和最佳实践。嘉宾简介:郑锴,花名铁杰,阿里巴巴高级技术专家,Apache Hadoop PMC。深耕分布式系统开发和开源大数据多年,目前专注于在阿里云上研发业界领先的 Hadoop/Spark 大数据平台和数据湖解决方案产品。

1010 0

Intel MLlib:构建平台优化的Spark机器学习

Intel MLlib是一个为Apache Spark MLlib优化的软件包。它在保持和Spark MLlib兼容的同时,在底层利用原生算法库来实现在CPU和GPU上的最优化算法,同时使用Collective Communication来实现效率更高的节点间通信。我们的初步结果表明,该软件包在最小化应用改动的基础上,可以极大地提升MLlib算法的性能。讲师介绍吴晓昶英特尔亚太研发有限公司大数据部门的高级软件工程师,主要研究方向为并行计算,大数据系统和机器学习,CPU和GPU的性能优化。目前关注Spark和机器学习的系统性能优化。

1301 0

利用持久内存提速Spark

主要探讨如何在Spark上使用持久内存这一新技术来进一步提速性能。具体会介绍基于Plasma的共享内存方案来提速SQL数据源访问的性能以及利用持久内存扩展Spark现有内存磁盘存储层级来提速RDD cache在迭代式计算中的效果。讲师介绍:纪琨尚,英特尔亚太研发有限公司大数据部门的软件工程师,专注于Spark计算框架上基于Optane PMEM的优化叶宇强,英特尔亚太研发有限公司大数据部门的资深软件工程师,专注于Spark计算框架上基于Optane PMEM的优化

1392 0

智能搜索技术在电商行业的最佳实践

针对电商行业特点和面临的问题,分析在具体的技术实践中,针对多元化商品形态、多样的用户行为,如何做到搜索的智能化和效果评测等。讲师介绍:项招贵(项公)-阿里巴巴技术专家

1206 0
来自: 智能搜索推荐  版块

飞天大数据产品价值解读 — 一站式高搜索质量开放搜索

分享人:吴世龙 阿里云智能 高级产品专家本次直播将为您重点介绍OpenSearch核心能力、搜索体验与价值的评估以及典型案例。

1125 57
来自: 大数据计算 MaxCompute  版块

飞天大数据产品价值解读 — 最好用的数据湖管理平台 E-MapReduce


分享人:王晓平 阿里云智能 高级产品经理本次直播将为您介绍最好用的数据湖管理平台 E-MapReduce,包含数据湖典型场景、JindoFS,存储加速及数据分层存储方案及部分典型案例。

1347 45
来自: 大数据计算 MaxCompute  版块

飞天大数据产品价值解读 — SaaS模式云数据仓库 MaxCompute

分享人:曲宁 阿里云智能 产品专家本次直播将为您介绍SaaS模式云数据仓库MaxCompute核心能力及优势,并结合用户画像分析、高级分析、联邦查询、数据湖分析等多个经典场景,为您介绍MaxCompute为企业带来的业务敏捷性、TCO显著降低等关键业务价值。

1024 0
来自: 大数据计算 MaxCompute  版块

智能推荐系列公开课——详解内容行业典型案例,直击标题党和推荐时效性

在信息过载、碎片化的时代,个性化推荐成为提升用户浏览/转化率的核心手段之一。而在实际应用中,怎样满足本行业的信息分发需求,精准匹配海量用户偏好,提高运营效率,仍是一个待解之题。此次,阿里巴巴搜索推荐产品团队带来系列公开课,聊聊怎样结合实际场景,嵌入智能推荐,搭建“千人千面”的分发体系,使产品价值最大化。每期20分钟,修炼推荐硬功夫。课程目录第一期推荐场景化构建与业务价值第二期智能推荐在电商的经典打法与实践第三期智能推荐电商行业2.0发布,算法模板再升级第四期7天搭建电商个性化推荐场景和最佳实践第五期0-1激活推荐系统,解锁冷启动难题第六期智能推荐内容行业2.0发布第七期详解内容行业典型案例,直击标题党和推荐时效性第八期智能推荐新闻行业2.0升级与最佳实践第九期智能推荐AIRec功能使用指南第十期课程总结与交流问答加入社群扫码入群,了解更多资讯,获取课程资料

3839 0
来自: 智能搜索推荐  版块

大规模文件元数据下的耗时操作优化

本次直播主要介绍大数据生态中常见的元数据服务部署形态,并分析大规模文件元数据下在生产环境中可能遇到的问题,以及针对这些问题如何进行优化和调整。讲师介绍孙大鹏,花名诚历,阿里巴巴计算平台事业部 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面的工作。

1400 0

智能推荐系列公开课——0-1激活推荐系统,解锁冷启动难题

在信息过载、碎片化的时代,个性化推荐成为提升用户浏览/转化率的核心手段之一。而在实际应用中,怎样满足本行业的信息分发需求,精准匹配海量用户偏好,提高运营效率,仍是一个待解之题。此次,阿里巴巴搜索推荐产品团队带来系列公开课,聊聊怎样结合实际场景,嵌入智能推荐,搭建“千人千面”的分发体系,使产品价值最大化。每期20分钟,修炼推荐硬功夫。课程目录第一期推荐场景化构建与业务价值第二期智能推荐在电商的经典打法与实践第三期智能推荐电商行业2.0发布,算法模板再升级第四期7天搭建电商个性化推荐场景和最佳实践第五期0-1激活推荐系统,解锁冷启动难题第六期智能推荐内容行业2.0发布第七期详解内容行业典型案例,直击标题党和推荐时效性第八期智能推荐新闻行业2.0升级与最佳实践第九期智能推荐AIRec功能使用指南第十期课程总结与交流问答加入社群扫码入群,了解更多资讯,获取课程资料

1548 2
来自: 智能搜索推荐  版块

【Elasticsearch入门公开课 】16 | Request Body与Query DSL简介

Elasticsearch 是一款非常强大的开源搜索及分析引擎,在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外,结合生态 Kibana、Logstash和Beats,Elasticsearch还被广泛运用在大数据近实时分析场景中,包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手,并穿插底层技术讲解及教学实操,让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做,阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G,1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件:新注册用户付费模式:包年包月服务选择:商业通用版,3节点1核2G版本【讲师简介】阮一鸣,eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群,包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索,商品推荐,日志管理,风险控制,IT运维,安全监控等多个领域钉钉扫码加入ES交流群,获取课程资料【课程收益】1、从概念到实操,轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES(3节点1核2G )1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念:索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念:节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】

2362 0

【Elasticsearch入门公开课 】08 | Logstash安装与导入数据

Elasticsearch 是一款非常强大的开源搜索及分析引擎,在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外,结合生态 Kibana、Logstash和Beats,Elasticsearch还被广泛运用在大数据近实时分析场景中,包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手,并穿插底层技术讲解及教学实操,让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做,阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G,1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件:新注册用户付费模式:包年包月服务选择:商业通用版,3节点1核2G版本【讲师简介】阮一鸣,eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群,包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索,商品推荐,日志管理,风险控制,IT运维,安全监控等多个领域钉钉扫码加入ES交流群,获取课程资料【课程收益】1、从概念到实操,轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES(3节点1核2G )1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念:索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念:节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】

3740 1

【Elasticsearch入门公开课 】06 | Kibanan的安装与界面快速浏览

Elasticsearch 是一款非常强大的开源搜索及分析引擎,在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外,结合生态 Kibana、Logstash和Beats,Elasticsearch还被广泛运用在大数据近实时分析场景中,包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手,并穿插底层技术讲解及教学实操,让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做,阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G,1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件:新注册用户付费模式:包年包月服务选择:商业通用版,3节点1核2G版本【讲师简介】阮一鸣,eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群,包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索,商品推荐,日志管理,风险控制,IT运维,安全监控等多个领域钉钉扫码加入ES交流群,获取课程资料【课程收益】1、从概念到实操,轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES(3节点1核2G )1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念:索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念:节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】

4766 1

使用Apache SuperSet和EMR Spark打造交互式的数据探索平台

本次分享主要介绍如何结合Apache SuperSet和EMR Spark,利用EMR Spark提供的JindoCube高级特性在SuperSet进行秒级响应,交互式的可视化数据探索。讲师介绍李呈祥,花名司麟,阿里云智能EMR团队高级技术专家,Apache Hive Committer, Apache Flink Committer,目前主要专注于EMR产品中开源计算引擎的优化工作。

1569 0

The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场

开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍陈玉兆,Apache Calcite PMC,Apache Flink Contributor,阿里巴巴高级开发工程师更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场

1528 0
来自: 实时计算 Flink  版块

实时计算在贝壳的实践 | 企业实践专场

企业实践专场企业实践专场将邀请知名企业一线技术专家,分享大数据及人工智能最新技术进展和实践,详细解读Apache Flink在各行业的应用与落地,包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验,并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍刘力云,贝壳找房 资深工程师更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场

1229 0
来自: 实时计算 Flink  版块

Delivering stream data reliably with Pravega | 开源大数据生态专场

开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍Flavio Junqueira,Apache Member,Apache Zookeeper PMC,Senior Destinguished Engineer at Dell Technologies滕昱,戴尔科技集团 软件开发总监更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场

1195 0
来自: 实时计算 Flink  版块

YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场

开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍杨巍威,Cloudera 资深软件工程师杨弢,阿里巴巴技术专家更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场

2241 0
来自: 实时计算 Flink  版块

基于Apache Flink的机器学习算法平台实践与开源 | 人工智能专场

人工智能专场人工智能是未来十年最重要的技术革命与驱动力,在各行各业产生者日益重要的作用。人工智能专场将集中介绍Flink在机器学习上的新技术与新应用,为参会者呈现Flink机器学习的具体应用实践与最新技术落地案例。讲师介绍杨旭,阿里巴巴资深算法专家更多直播信息人工智能专场>>>基于Apache Flink的机器学习算法平台实践与开源 | 人工智能专场携程实时智能检测平台实践 | 人工智能专场Apache Flink AI生态系统工作 | 人工智能专场

2130 0
来自: 实时计算 Flink  版块
|
大数据
|

首席技术官大数据专享会

13:30-14:10阿里经济体大数据平台的建设与思考关涛(观涛) 阿里云智能计算平台事业部 研究员14:10-14:50解密淘宝推荐实战,打造“比你还懂你”的个性化APP欧文武(三桐) 阿里巴巴搜索推荐事业部 资深算法专家14:50-15:05茶歇 15:05-15:45阿里风控大脑关于大数据应用的探索与实践丁明峰(山蜂) 阿里巴巴新零售技术事业群 高级数据技术专家15:45-16:25可闭环 可沉淀 可持续的企业级数据赋能体系--友盟云数据中台产品实践林鸣晖(默飞) 阿里巴巴新零售技术事业群 资深产品专家

2603 0

云上大数据的存储方案设计和选择

上云拐点已来,开源大数据上云是业界共识。如何满足在云上低成本存储海量数据的同时又实现高效率弹性计算的潜在需求?放眼业界,都有哪些成熟存储方案和选择?各自适用的存储和计算场景是什么?背后的技术关键和考虑因素都有哪些?欢迎大数据技术爱好者面对面交流和探讨!嘉宾介绍姚舜扬,花名辰山,阿里巴巴计算平台事业部 EMR 高级开发工程师,目前从事大数据存储方面的开发和优化工作;苏昆辉,花名抚月,阿里巴巴计算平台事业部 EMR 高级工程师, 曾就职于华为、网易. Apache HDFS committer. 对Hadoop、HBase等有深入研究, 对分布式存储、高性能优化有丰富经验. 目前从事大数据云化相关工作.

1813 46

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
67647
内容
128
活动
439476
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务