TalkingData的Spark On Kubernetes实践 | 5月23日云栖夜读

本文涉及的产品
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
简介: 在本刊开篇文章中,讲述了:talkingdata云架构师徐蓓的分享,介绍了Spark On Kubernetes在TalkingData的实践。

点击订阅云栖夜读日刊,专业的技术干货,不容错过!

阿里专家原创好文

1.TalkingData的Spark On Kubernetes实践

本文整理自talkingdata云架构师徐蓓的分享,介绍了Spark On Kubernetes在TalkingData的实践。阅读更多》》

2.IP应用加速技术详解:如何提升动静混合站点的访问速率?

本文讲述:K全站加速(DCDN)-IPA是阿里云自主研发四层加速产品,它基于TCP/UDP的私有协议提供加速服务,包括解决跨运营商网络不稳定、单线源站、突发流量、网络拥塞等诸多因素导致的延迟高、服务不稳定的问题,提升传输性能和用户体验。阅读更多》》

3.阿里技术男的成长史:越想证明自己死得越快……

要不要折腾一下?2008年5月的一天钱磊对新婚的妻子说,想去杭州发展,那里有个公司叫阿里巴巴……一篇精彩好文,值得一读!阅读更多》》

4.对话亲历者|鲁肃:我在支付宝“拧螺丝“的日子

他是支付宝技术平台的奠基人之一,但是他总说“这还不是我心中最完美的架构”;他行事低调但却有着“此时此地,非我莫属”的豪气;他曾无数次充当救火大队长,但自评只是“没有掉队的那个人”。阅读更多》》

5.异常检测的N种方法,阿里工程师都盘出来了

互联网黑产盛行,其作弊手段层出不穷,导致广告效果降低,APP推广成本暴增。精准识别作弊是互联网公司和广告主的殷切期望。今天我们将从时间序列、统计、距离、线性方法、分布、树、图、行为序列、有监督机器学习和深度学习模型等多个角度探讨异常检测。阅读更多》》

视频课程及PPT下载

HBase系列课第一季

3.1.1 JanusGraph —Distributed graph database with HBase
视频地址:https://yq.aliyun.com/live/997
PTT下载地址:https://yq.aliyun.com/download/2929
3.1.2 Graph图数据库基础介绍及场景
视频地址:https://yq.aliyun.com/live/805
PTT下载地址:https://yq.aliyun.com/download/3270
3.2.1 HTAP DB —System : ApsaraDB HBase Phoenix and Spark
视频地址:https://yq.aliyun.com/live/1041
PTT下载地址:https://yq.aliyun.com/download/3064
3.2.2 阿里云分析引擎Spark On多数据源介绍
视频地址:https://yq.aliyun.com/live/1062
PTT下载地址:https://yq.aliyun.com/download/3313
3.2.3 基于HBase和Spark构建企业级数据处理平台
视频地址:https://yq.aliyun.com/live/1064
PTT下载地址:https://yq.aliyun.com/download/3363
3.3 Kylin:Apache Kylin on HBase
视频地址:https://yq.aliyun.com/live/1070
PTT下载地址:https://yq.aliyun.com/download/2926
3.4.1 HBase和OpenTSDB在华为的实战
视频地址:https://yq.aliyun.com/live/1076
PTT下载地址:https://yq.aliyun.com/download/3057
3.4.2 云HBase之OpenTSDB时序引擎压缩优化
视频地址:https://yq.aliyun.com/live/1080
PTT下载地址:待上传
3.5 GeoMesa时空基础及应用场景
视频地址:https://yq.aliyun.com/live/793
PTT下载地址:https://yq.aliyun.com/download/3266
3.6.1 Phoenix全局索引原理与实践
视频地址:https://yq.aliyun.com/live/843
PTT下载地址:https://yq.aliyun.com/download/3300

更多精彩直播

热门话题

1.菜鸟进阶 | 程序员必备装备有哪些?(有奖话题)

  • 那么,大家都用过哪些神装备?拉出来遛一遛哇~Show Time !!!

点此进入回答赢取礼物

2.阿里开发者招聘节 | 面试题21-28:假如给你一个新产品,你将从哪些方面来保障它的质量?(有奖话题)

  • 请评估一下程序的执行结果?
  • 如何用socket编程实现ftp协议?
  • 假如给你一个新产品,你将从哪些方面来保障它的质量?
  • 给定一个整数数组和一个整数,返回两个数组的索引,这两个索引指向的数字的加和等于指定的整数。需要最优的算法,分析算法的空间和时间复杂度。
  • 如果让你来设计一个支持数据库、NOSQL和大数据之间数据实时流动的数据流及处理的系统,你会考虑哪些问题?如何设计?
  • 如果让你设计一个通用的、支持各种数据库秒级备份和恢复的系统,你会如何设计?
  • 删除链表的倒数第N个节点
  • 最大频率栈

点此进入回答赢取礼物

往期精彩回顾

开发函数计算的正确姿势 —— Fun validate 语法校验排错指南 | 5月22日云栖夜读

点击订阅云栖夜读日刊,专业的技术干货,不容错过!

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
目录
相关文章
|
4月前
|
分布式计算 Java Serverless
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
本文以 ECS 连接 EMR Serverless Spark 为例,介绍如何通过 EMR Serverless spark-submit 命令行工具进行 Spark 任务开发。
394 7
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
|
3月前
|
分布式计算 Serverless 数据处理
EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
Apache Airflow 是一个强大的工作流程自动化和调度工具,它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark 为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过 Apache Airflow 的 Livy Operator 实现自动化地向 EMR Serverless Spark 提交任务,以实现任务调度和执行的自动化,帮助您更有效地管理数据处理任务。
201 0
|
4月前
|
分布式计算 Hadoop Serverless
数据处理的艺术:EMR Serverless Spark实践及应用体验
阿里云EMR Serverless Spark是基于Spark的全托管大数据处理平台,融合云原生弹性与自动化,提供任务全生命周期管理,让数据工程师专注数据分析。它内置高性能Fusion Engine,性能比开源Spark提升200%,并有成本优化的Celeborn服务。支持计算存储分离、OSS-HDFS兼容、DLF元数据管理,实现一站式的开发体验和Serverless资源管理。适用于数据报表、科学项目等场景,简化开发与运维流程。用户可通过阿里云控制台快速配置和体验EMR Serverless Spark服务。
|
5月前
|
分布式计算 运维 Serverless
通过Serverless Spark提交PySpark流任务的实践体验
EMR Serverless Spark服务是阿里云推出的一种全托管、一站式的数据计算平台,旨在简化大数据计算的工作流程,让用户更加专注于数据分析和价值提炼,而非基础设施的管理和运维。下面就跟我一起通过Serverless Spark提交PySpark流任务吧。
228 1
|
5月前
|
分布式计算 Kubernetes Spark
大数据之spark on k8s
大数据之spark on k8s
191 2
|
5月前
|
分布式计算 Spark 大数据
深入探究Apache Spark在大数据处理中的实践应用
【6月更文挑战第2天】Apache Spark是流行的开源大数据处理框架,以其内存计算速度和低延迟脱颖而出。本文涵盖Spark概述、核心组件(包括Spark Core、SQL、Streaming和MLlib)及其在数据预处理、批处理分析、交互式查询、实时处理和机器学习中的应用。通过理解Spark内部机制和实践应用,可提升大数据处理效率,发挥其在各行业的潜力。
|
6月前
|
分布式计算 Shell 开发工具
Spark编程实验二:RDD编程初级实践
Spark编程实验二:RDD编程初级实践
223 1
|
6月前
|
分布式计算 Kubernetes 监控
容器服务Kubernetes版产品使用合集之怎么实现把 spark 跑在k8s
容器服务Kubernetes版,作为阿里云提供的核心服务之一,旨在帮助企业及开发者高效管理和运行Kubernetes集群,实现应用的容器化与微服务化。以下是关于使用这些服务的一些建议和合集,涵盖基本操作、最佳实践、以及一些高级功能的使用方法。
|
6月前
|
分布式计算 Kubernetes Java
spark on k8s native
spark on k8s native
|
14天前
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成:Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代,能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统,ClickHouse 在大数据分析领域展现出了卓越的能力。然而,为了充分利用ClickHouse的优势,将其与现有的大数据处理框架(如Apache Spark和Apache Flink)进行集成变得尤为重要。本文将从我个人的角度出发,探讨如何通过这些技术的结合,实现对大规模数据的实时处理和分析。
46 2
ClickHouse与大数据生态集成:Spark & Flink 实战