生活服务---MaxCompute在高德大数据上的应用
高德对数据平台的要求不仅是数据集成、开发、运维中心、数据质量、数据地图、数据安全以及数据服务等全链路All in One,还希望能以可视化的方式进行用户交互,以提高开发效率。以运维中心为例,希望所使用的工具能够将调度节点可视化,方便进行不同时间粒度的任务依赖。同时,还希望拥有可视化的数据地图用于管理元数据信息,方便上下游即时查看。MaxCompute正是符合高德数据业务诉求的给力产品。不仅具有零学习成本和完善的IDE等优势,更具备超高弹性,让高德得以轻松应对国庆假期的超高流量。同时,基于MaxCompute等阿里云产品,让高德内部迄今为止最大的公共项目“魔方”得以实现,为用户提供更优质的出行服务。
ElasticSearch AI Assistant 系列 1 —— AI 助手配置教程
本视频介绍了如何在Elastic平台上配置AI助手以兼容并连接阿里巴巴的通义千问的第一部分——AI 助手配置。 帮助大家更直观的体验阿里云 ElasticSearch 企业级的功能——AI助手带来的可观测帮助。
2024FFA分论坛-数据集成1
FFA2024数据集成专场由Apache Flink核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展,讨论实时技术如何提升数据处理的全链路时效性,分析如何基于 Flink 设计实时数据集成框架,以及实时数据集成技术在不同业务领域的最佳实践。
2024FFA分论坛-生产实践3
FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来,将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。
2024FFA分论坛-流批一体2
FFA2024流批一体专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、蚂蚁金服、Shopee等公司的一线技术专家聚焦于流批一体数仓的最新进展与实践,涵盖从理论探索到实际应用的全方位内容。
2024FFA分论坛-生产实践1
FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来,将聚焦于在生产中使用和部署Flink的痛点和经验以及最佳实践, 共同探讨如何在真实环境中更高效,安全,敏捷地落地实时数据处理框架。
Havenask入门课程第7节:集群扩分片
Havenask是阿里巴巴自主研发的大规模分布式搜索引擎,主要专注于智能搜索和海量数据实时检索,其核心能力广泛应用于阿里巴巴内部的众多业务,如淘宝、天猫商品搜索,盒马搜索,菜鸟物流订单实时检索等。并于2022年11月对外正式开源,具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们,为大家全面讲解Havenask的相关知识,通过课程可以了解到产品能力、架构原理、安装部署等内容,同时还有详细的操作演示,帮助大家更好了解和使用产品。 课程介绍:此视频为Havenask入门课程第7节《集群扩分片》,将对Havenask的扩分片进行介绍。 我们期望通过课程可以帮助您更好的使用Havenask,欢迎广大开发者加入项目开发,共建高质量的搜索引擎,共同推进国产化开源搜索引擎技术快速发展,普惠更多的开发者和企业。 此外,对于有使用需求的企业级开发者,我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch,欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch 官网地址:https://havenask.net/ Github:https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群:
流式湖仓专场(三)
流式湖仓专场邀请阿里云智能、联通、同程旅行、汽车之家、OPPO、网易、滴滴、镜舟科技、广联达、平安证券、快手等企业技术专家解读基于 Flink + Paimon 构建流式数据湖相关问题,更有基于 Paimon + StarRocks、Flink + Paimon + Hologres、Paimon + Spark 的流式湖仓最佳应用实践与分析。
自动化AutoTalk第三期-自动化实践Tips
云上自动化的四个层次; 自动化实践过程的关键点; 不同规模企业如何规划自动化; 自动化时间过程中的角色责任; 自动化实践过程中的工作流程。
FY24阿里云暑期夏令营“学生说”第一集
听一听参与夏令营的同学们怎么说,阿里云在这里期待迎接更多优秀的同学们!了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
FY23阿里云暑期夏令营总回顾(下)
学生们在为期5天的夏令营中,通过探索阿里云文化、实践云上场景,了解前沿科技、感受科技魅力、探究数字经济发展趋势、快速提升创新实践能力。了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
FY23阿里云暑期夏令营精彩瞬间(下)
来自全国不同高校的学生们相聚在阿里云园区,一声同学,一份关切,情意绵长,美好永在!了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
在现场!2023世界人工智能大会
打卡2023世界人工智能大会# 除了马斯克的机器人,大模型无疑是最热的话题,本次大会将有30多款大模型亮相,我们明天下午将走进《以模型为中心的AI开发新范式 》论坛,看看模型对人工智能行业发展到底有什么意义!欢迎关注我们!
Flink Forward 行业实践 “Flink在新能源场站运维的应用”
Flink Forward 行业实践 “Flink在新能源场站运维的应用”姚远工程师,注册测绘师
Flink Forward 核心技术 “基于Log的通用增量Checkpoint在美团的进展”
Flink Forward 核心技术 “基于Log的通用增量Checkpoint在美团的进展”王非凡美团数据平台计算引擎工程师
Flink Forward 行业实践“Apache Flink 在翼支付的实践应用”
Flink Forward 行业实践“Apache Flink 在翼支付的实践应用”尹春光 翼支付高级大数据开发工程师
Flink Forward 平台建设“Dinky 在 Flink 开发模式的开源探索实践”
Flink Forward 平台建设“Dinky 在 Flink 开发模式的开源探索实践”亓文凯 开源 Dinky Maintainer
Flink Forward 核心技术“Flink Connector 社区新动向与开发指南”
Flink Forward 核心技术“Flink Connector 社区新动向与开发指南”罗根 阿里云技术专家任庆盛 阿里云开发工程师
实时数仓workshop北京站"从ELK到EFK—结合Flink和Elasticsearch新特性重构全观测方案"
实时数仓workshop北京站"从ELK到EFK—结合Flink和Elasticsearch新特性重构全观测方案"朱杰Elastic资深解决方案架构师赵弘扬阿里云高级产品专家
实时数仓workshop北京站"淘菜菜-基于Flink和Hologres的高可用实时数仓构架升级之路"
实时数仓workshop北京站"淘菜菜-基于Flink和Hologres的高可用实时数仓构架升级之路"汪宇阿里巴巴淘菜菜事业部数据技术专家
《开源大数据热力报告 2022》解读
11 月 5 日,开放原子开源基金会、X-lab 开放实验室、阿里巴巴开源联合发布了《开源大数据热力报告 2022》。该报告收集了2015 年至 2022 年的相关公开数据进行关联分析,研究开源大数据进入“后 Hadoop 时代”的技术趋势,以及开源社区的运作模式对技术走向的助推作用。 本周四,我们将以直播的方式,就《开源大数据热力报告 2022》的结论进行延申,讨论应如何提高开源开发者活跃度,提升开源项目热力。讲师/嘉宾简介赵生宇(X-lab开放实验室核心成员、开源社成员、同济大学计算机在读博士生、OpenDigger开源项目发起人)燕青(Apache Kyuubi PPMC、Apache Spark Committer、Apache Submarine Committer、网易技术专家)、赵恒(StarRocks PMC、StarRocks产品负责人)徐榜江(雪尽)(Flink CDC Maintainer、Apache Flink Committer、阿里云技术专家)、徐昱(StarRocks Active Contributor,Apache Hudi Contributor,华米科技高级大数据工程师 )
Lakehouse Meetup “整合Pulsar和Lakehouse数据:使用Connector将Pulsar Topic中的数据Sink到Lakehouse storage”
Lakehouse Meetup “整合Pulsar和Lakehouse数据:使用Connector将Pulsar Topic中的数据Sink到Lakehouse storage”张勇 StreamNative 高级工程师Apache Pulsar Committer
Lakehouse Meetup “Apache Pulsar 的湖仓一体方案:Pulsar 的 Lakehouse 分层存储集成详解”
Lakehouse Meetup “Apache Pulsar 的湖仓一体方案:Pulsar 的 Lakehouse 分层存储集成详解”陈航StreamNative 高级工程师Apache Pulsar PMC member
Flink Forward Asia 2022 平台建设 11.27 上午
平台建设专场由来自爱奇艺、知乎、Dinky 社区、货拉拉、美团、联通、小米、StreamPark、阿里巴巴、蚂蚁集团的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介周凯波|阿里云高级技术专家,Apache Flink Contributor李志刚|蚂蚁集团 高级技术专家、蚂蚁集团流计算平台负责人李恒|爱奇艺资深研发工程师贾承昆|知乎大数据架构负责人亓文凯|开源 Dinky Maintainer
阿里云云原生一体化数仓 — 湖仓一体新能力解读
介绍如何通过湖仓一体,打通 MaxCompute 与 Hadoop、DLF/OSS 数据湖,以及 Hologres、MySQL 等数据平台,并通过 DataWorks 做统一数据开发和治理。讲师/嘉宾简介孟硕 阿里云智能 产品专家
阿里云数据湖技术交流会
数据湖无疑是近几年大数据领域最火热的一个方向,那到底什么是数据湖?数据湖的架构和核心技术有哪些?企业应该如何构建、管理和使用数据湖?阿里云的开源大数据团队在数据湖领域有多年的深耕和实战经验。7月17日,09:00-12:40,DataFun将联合阿里云开源大数据团队举办DataFunTalk技术交流会:阿里云数据湖技术专场,将邀请到来自阿里云数据湖存储、数据湖计算、数据湖构建和管理团队的技术专家给大家做一次从数据湖架构到核心技术到平台构建的全方位介绍与分享。讲师/嘉宾简介陈鑫伟(熙康)- 数据湖概念及架构简介熊佳树(履霜)- 数据湖统一元数据与权限杨庆苇(轻为)- 数据湖管理及优化孙大鹏(诚历)- JindoData新一代数据湖存储加速毕岩(寻径)- 基于DeltaLake构建数据湖仓体系范佚伦(子灼) - 基于Spark的云原生数据湖分析实践陈玉兆(玉兆) - 实时数据湖
阿里云云原生一体化数仓 — 离线实时一体化新能力解读
介绍MaxCompute+Hologres离线和实时数仓一体化优于之前有离线、有在线、有很多不同的引擎的实现方案,通过用实时的引擎做预处理,实现离线实时数据入仓后做更加实时的服务化BI分析实践。讲师/嘉宾简介隆志强 阿里云智能 高级产品专家
阿里云EMR StarRocks 线上发布会
2022年5月11日14:00,阿里云EMR StarRocks 产品线上发布会重磅开启,精彩不容错过!阿里云EMR-StarRocks 是 StarRocks 授权阿里云的一款新一代开源OLAP产品,致力于构建极速统一分析体验,满足企业用户的多种数据分析场景。讲师/嘉宾简介本次发布会邀请到了来自阿里云、StarRocks、众安保险的产品技术专家,详细介绍 EMR StarRocks 的功能优势、应用场景以及落地实践,揭秘 StarRocks 极速数据湖分析能力背后的技术支撑和未来规划。
如何使用Delta Lake构建批流一体数据仓库【Databricks 数据洞察公开课】
从场景痛点、实践操作介绍如何使用Delta Lake同时处理批作业和流作业,快速搭建批流一体数据仓库。讲师/嘉宾简介讲师:佳亮,阿里云开源大数据平台技术工程师
Delta Lake数据湖基础介绍(开源版)【Databricks 数据洞察公开课】
公开课第四讲:本期公开课针对社区版本Delta Lake提供的几大核心特性进行讲解,并通过示例演示如何使用这些特性。产品技术咨询https://survey.aliyun.com/apps/zhiliao/VArMPrZOR加入技术交流群下期预告《Delta Lake数据湖基础介绍(商业版)》讲师/嘉宾简介筱龙阿里云开源大数据平台技术专家
基于Elasticsearch+Flink的日志全观测最佳实践
如何通过云上ELK+Flink的能力解决全观测—日志场景的痛点讲师/嘉宾简介沐泽 阿里云高级产品经理
Flink Forward Asia 2021 机器学习
人工智能专场由来自阿里巴巴、京东、360 等技术专家呈现 Flink 机器学习的最新进展、具体应用实践与最新技术落地案例。讲师/嘉宾简介1.《Alink 新功能与典型案例》杨旭 - 阿里巴巴资深算法专家2.《Alink、Tensorflow on Flink 在京东的应用》张颖 - 京东搜索推荐算法工程师刘露 - 京东搜索推荐算法工程师3.《基于 Flink AI Flow 的机器学习工作流最佳实践》姜鑫 - 阿里巴巴高级工程师蒋晓峰 - 阿里巴巴技术专家,Apache RocketMQ & Apache ShardingSphere & SOFAJRaft Committer,Apache Flink Contributor4.《伯努利:结构化的工业级流式机器学习系统@阿里妈妈》姜碧野 - 阿里妈妈算法平台与效能架构团队高级算法专家5.《Clink:A C/C++ online feature serving solution for Flink》李志丽 - 360 服务端开发
Flink Forward Asia 2021 平台建设 3
平台建设专场由来自字节跳动、腾讯新闻、网易、小红书、京东、滴滴、bilibili、汽车之家、移动、联通、BIGO、蚂蚁金服、翼支付的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介1.《Flink 在移动云实时计算的实践》谢磊 - 移动软件开发工程师2.《Apache Flink 在翼支付的实践应用》曹劼 - 翼支付高级大数据工程师尹春光 - 翼支付高级大数据工程师3.《蚂蚁金服实时计算引擎建设》闵文俊 - 阿里巴巴技术专家,Apache Flink Contributor4.《网易云音乐实时场景应用及优化实践》赵荣生 - 网易云音乐资深平台工程师,Apache Spark/Pulsar Contributor
开源大数据社区 & 阿里云 E-MapReduce 系列直播 第12期
此次课程是继上一节“ Spark 大数据处理最佳实践 ” 课后,大数据最佳实践课程的第二课。主要讲一下 flink 流计算的最佳实践。讲师根据自己多年经验总结的方法论,从 flink 学习框架入手,配合一些非常落地的最佳实践,带你有章法的学习 flink ,摆脱技术小白称号!讲师简介简锋 阿里云 EMR 数据开发平台 负责人
Hologres系列课程(五)通过JDBC/COPY实现高性能写入
本次主要介绍在Hologres中通过JDBC/COPY命令写入最佳实践,实现高性能批量写入。讲师简介陈嘉雯(瑚桃),阿里巴巴开发工程师,长期从事Hologers引擎开发工作
Hologres系列课程(二十)使用最佳实践总结
本次主要总结Hologres各项功能的使用最佳实践,了解Hologres的开发体系、优化体系和运维体系,助力快速搭建企业级一站式实时数仓讲师简介胡求,阿里巴巴开发工程师,从事于Hologres引擎开发工作
大数据与机器学习
大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。