腾讯云高级工程师程力理解的“The Apache Way”:Open, collaboration and Win-win.

本文涉及的产品
对象存储 OSS,标准 - 本地冗余存储 20GB 3个月
对象存储 OSS,标准 - 同城冗余存储 20GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 腾讯云高级工程师程力理解的“The Apache Way”:Open, collaboration and Win-win.

Open, collaboration and Win-win.

———程力

ApacheCon 是 Apache 软件基金会(ASF)的官方全球系列大会。作为久负盛名的开源盛宴,ApacheCon 在开源界备受关注,也是开源运动早期的知名活动之一。

早在 1998 年,在 ASF 成立之前,ApacheCon 已经吸引了各个层次的参与者,在 300 多个 Apache 项目及其不同的社区中探索 "明天的技术"。也是在这一届上,开发 HTTPD 服务的开发者们欢聚一堂,并决定成立 Apache 软件基金会。

ApacheCon 每年举办一次,一般在欧洲或北美举行,是 Apache 开发者们线下交流、讨论、见面的绝佳机会,也是分享想法、思想激荡的难得的场合。通过动手实作、主题演讲、实际案例研究、培训、黑客松活动等方式,展示 Apache 项目的最新发展和新兴创新。

今年,为了更好地服务于亚太快速增长的 Apache 用户和贡献者,ApacheCon 组委会以及 Apache 软件基金会很高兴地宣布,首次针对亚太地区时区的 ApacheCon 在线会议 ApacheCon Asia 大会将于 2021 年 8 月 6 日至 8 日在线举行。

为了让大家进一步了解开源、了解 ApacheCon Asia,SegmentFault 思否将采访部分 Track Chair 或大会讲师,让你了解大会筹备的背后,和这些专家大牛们的故事。

今天,我们为大家带来的是,我们对腾讯云高级工程师程力的访谈。


以下为 SegmentFault 思否对程力的访谈内容:

关于程力

我是Apache Ozone社区PMC,Hadoop社区Committer,目前在腾讯云对象存储团队工作。曾经在AWS S3,华为存储等团队工作过。


程力初次接触开源的故事

第一次大规模的投入开源是2019年,hadoop孵化对象存储项目Ozone,作为一个开源新人,投入Ozone项目中,跟随项目一起成长,主导设计交付了MultiRaft,SCM HA等重大特性后,在社区中担任了更重要的角色,同时也伴随了Ozone成为了Apache顶级项目。


在参与开源并且为 Apache 社区做贡献的时候,个人及公司有哪些收获?

首先从参加Apache开源社区开始,我个人本身的代码规范,代码质量,到与社区成员合作沟通,共同协作的能力都有了明显的增长。更理解了开源社区,合作开放共赢的意义,同时伴随着Ozone项目成为Apache顶级项目和腾讯公司的在Hadoop和Ozone项目上的持续投入,在公司内外部的大数据项目中,也交付了一些内外部的客户使用场景,利用Ozone这个存储项目,帮助腾讯公司在私有化高密度存储设备的使用上找到了解决方案,实现了外部客户的实际价值。


程力理解的“The Apache Way”?

Open, collaboration and Win-win.


程力与 ApacheCon Asia

这次我有两个talk:

Big Data

腾讯云基于Hadoop-COS搭建的三层透明加速,助力数据湖

腾讯云对象存储COS在2019年提交Hadoop-COS文件系统插件到Hadoop社区后,融入了云原生存储的场景中,承载了大数据、AI、容器等应用EB级别的数据量。

今年腾讯云COS对于Hadoop-COS做了全面升级,增加了数据湖三层加速的功能特性,加速数据湖的构建和发展,同时助力大数据和AI的架构融合。本次演讲主要分享:

  1. 云原生生态下的Hadoop-COS存算分离
  2. Hadoop-COS三层透明加速
  3. 大数据和AI下的数据湖架构

此次演讲中,讲师主要分享腾讯云基于对象存储COS推出的湖仓三层加速方案,能达到最高10倍的读写加速提速,并且基于Hadoop-COS做到了Schema透明加速。

同时分享者也将介绍腾讯云如何基于Hadoop-COS三层透明加速,融入大数据+AI的统一数据湖架构。

期待听众对于腾讯云的数据湖加速方案有所了解,理解数据湖在大数据和AI场景下目前的具体使用案例。

Big Data

Apache Ozone如何利用Raft协议完成高可用方案和吞吐性能大幅提升

Apache Ozone在2020年正式成为Apache顶级项目,Ozone支持对象、HCFS,fuse等多种访问方式,腾讯工程师在Ozone社区中表现突出。

腾讯云团队在Ozone社区领导开发多个重要特性,此次演讲将重点分享其中两大特性,MultiRaft和Ozone High Availability,这两个Ozone社区的关键特性都是基于Raft协议完成的。

本次演讲主要分享:

  1. 如何利用Java Reflection和Raft协议完成Ozone元数据的强一致同步,完成Ozone高可用性建设
  2. 如何利用Multi-Raft特性,提升Ozone DataNode的单节吞吐能力
  3. 如何Multi-Raft特性,适配高密度硬盘机型,将Ozone融入私有化数据湖方案

观众可以从演讲中获取腾讯团队巧妙运用Raft和Java reflection解决Ozone一致性难题,同时也能从Multi-Raft实现和配合高密度磁盘机型的案例中获取优化DataNode写性能的新思路。

期待用户深入了解Ozone项目如何通过Raft实现元数据高可用和数据节点性能优化。

            </div>
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
测试技术 应用服务中间件 Apache
后端工程师如何使用apache ab性能测试工具进行系统压力测试(比LoadRunner简单多了)
作为后端工程师,除了实现业务需求之外,需要考虑的就是自己写的服务,在大并发下是否能正常运行了。但是,在一般开发情况下,没那么多大并发情况让你测试,那该怎么办呢? 这时候,我们就可以用到apache的压力测试工具了,apache bench简称ab。
后端工程师如何使用apache ab性能测试工具进行系统压力测试(比LoadRunner简单多了)
|
Apache
【实施工程师】Wampserver64橙色无法启动【apache】问题
【实施工程师】Wampserver64橙色无法启动【apache】问题
271 0
【实施工程师】Wampserver64橙色无法启动【apache】问题
|
存储 人工智能 分布式计算
腾讯云高级工程师程力理解的“The Apache Way”:Open, collaboration and Win-win.
腾讯云高级工程师程力理解的“The Apache Way”:Open, collaboration and Win-win.
|
16天前
|
人工智能 数据处理 API
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
Apache Flink Agents 是由阿里云、Ververica、Confluent 与 LinkedIn 联合推出的开源子项目,旨在基于 Flink 构建可扩展、事件驱动的生产级 AI 智能体框架,实现数据与智能的实时融合。
187 6
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
|
存储 Cloud Native 数据处理
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享,深入解析 Flink 状态管理系统的发展历程,从核心设计到 Flink 2.0 存算分离架构,并展望未来基于流批一体的通用增量计算方向。
202 0
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
|
3月前
|
SQL 人工智能 数据挖掘
Apache Flink:从实时数据分析到实时AI
Apache Flink 是实时数据处理领域的核心技术,历经十年发展,已从学术项目成长为实时计算的事实标准。它在现代数据架构中发挥着关键作用,支持实时数据分析、湖仓集成及实时 AI 应用。随着 Flink 2.0 的发布,其在流式湖仓、AI 驱动决策等方面展现出强大潜力,正推动企业迈向智能化、实时化的新阶段。
364 9
Apache Flink:从实时数据分析到实时AI
|
3月前
|
SQL 人工智能 API
Apache Flink 2.1.0: 面向实时 Data + AI 全面升级,开启智能流处理新纪元
Apache Flink 2.1.0 正式发布,标志着实时数据处理引擎向统一 Data + AI 平台迈进。新版本强化了实时 AI 能力,支持通过 Flink SQL 和 Table API 创建及调用 AI 模型,新增 Model DDL、ML_PREDICT 表值函数等功能,实现端到端的实时 AI 工作流。同时增强了 Flink SQL 的流处理能力,引入 Process Table Functions(PTFs)、Variant 数据类型,优化流式 Join 及状态管理,显著提升作业稳定性与资源利用率。
291 0
|
2月前
|
人工智能 运维 Java
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
本文基于Apache Flink PMC成员宋辛童在Community Over Code Asia 2025的演讲,深入解析Flink Agents项目的技术背景、架构设计与应用场景。该项目聚焦事件驱动型AI智能体,结合Flink的实时处理能力,推动AI在工业场景中的工程化落地,涵盖智能运维、直播分析等典型应用,展现其在AI发展第四层次——智能体AI中的重要意义。
818 27
Flink Agents:基于Apache Flink的事件驱动AI智能体框架

推荐镜像

更多
下一篇
开通oss服务