腾讯云高级工程师程力理解的“The Apache Way”:Open, collaboration and Win-win.

本文涉及的产品
对象存储 OSS,20GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 腾讯云高级工程师程力理解的“The Apache Way”:Open, collaboration and Win-win.

Open, collaboration and Win-win.

———程力

ApacheCon 是 Apache 软件基金会(ASF)的官方全球系列大会。作为久负盛名的开源盛宴,ApacheCon 在开源界备受关注,也是开源运动早期的知名活动之一。

早在 1998 年,在 ASF 成立之前,ApacheCon 已经吸引了各个层次的参与者,在 300 多个 Apache 项目及其不同的社区中探索 "明天的技术"。也是在这一届上,开发 HTTPD 服务的开发者们欢聚一堂,并决定成立 Apache 软件基金会。

ApacheCon 每年举办一次,一般在欧洲或北美举行,是 Apache 开发者们线下交流、讨论、见面的绝佳机会,也是分享想法、思想激荡的难得的场合。通过动手实作、主题演讲、实际案例研究、培训、黑客松活动等方式,展示 Apache 项目的最新发展和新兴创新。

今年,为了更好地服务于亚太快速增长的 Apache 用户和贡献者,ApacheCon 组委会以及 Apache 软件基金会很高兴地宣布,首次针对亚太地区时区的 ApacheCon 在线会议 ApacheCon Asia 大会将于 2021 年 8 月 6 日至 8 日在线举行。

为了让大家进一步了解开源、了解 ApacheCon Asia,SegmentFault 思否将采访部分 Track Chair 或大会讲师,让你了解大会筹备的背后,和这些专家大牛们的故事。

今天,我们为大家带来的是,我们对腾讯云高级工程师程力的访谈。


以下为 SegmentFault 思否对程力的访谈内容:

关于程力

我是Apache Ozone社区PMC,Hadoop社区Committer,目前在腾讯云对象存储团队工作。曾经在AWS S3,华为存储等团队工作过。


程力初次接触开源的故事

第一次大规模的投入开源是2019年,hadoop孵化对象存储项目Ozone,作为一个开源新人,投入Ozone项目中,跟随项目一起成长,主导设计交付了MultiRaft,SCM HA等重大特性后,在社区中担任了更重要的角色,同时也伴随了Ozone成为了Apache顶级项目。


在参与开源并且为 Apache 社区做贡献的时候,个人及公司有哪些收获?

首先从参加Apache开源社区开始,我个人本身的代码规范,代码质量,到与社区成员合作沟通,共同协作的能力都有了明显的增长。更理解了开源社区,合作开放共赢的意义,同时伴随着Ozone项目成为Apache顶级项目和腾讯公司的在Hadoop和Ozone项目上的持续投入,在公司内外部的大数据项目中,也交付了一些内外部的客户使用场景,利用Ozone这个存储项目,帮助腾讯公司在私有化高密度存储设备的使用上找到了解决方案,实现了外部客户的实际价值。


程力理解的“The Apache Way”?

Open, collaboration and Win-win.


程力与 ApacheCon Asia

这次我有两个talk:

Big Data

腾讯云基于Hadoop-COS搭建的三层透明加速,助力数据湖

腾讯云对象存储COS在2019年提交Hadoop-COS文件系统插件到Hadoop社区后,融入了云原生存储的场景中,承载了大数据、AI、容器等应用EB级别的数据量。

今年腾讯云COS对于Hadoop-COS做了全面升级,增加了数据湖三层加速的功能特性,加速数据湖的构建和发展,同时助力大数据和AI的架构融合。本次演讲主要分享:

  1. 云原生生态下的Hadoop-COS存算分离
  2. Hadoop-COS三层透明加速
  3. 大数据和AI下的数据湖架构

此次演讲中,讲师主要分享腾讯云基于对象存储COS推出的湖仓三层加速方案,能达到最高10倍的读写加速提速,并且基于Hadoop-COS做到了Schema透明加速。

同时分享者也将介绍腾讯云如何基于Hadoop-COS三层透明加速,融入大数据+AI的统一数据湖架构。

期待听众对于腾讯云的数据湖加速方案有所了解,理解数据湖在大数据和AI场景下目前的具体使用案例。

Big Data

Apache Ozone如何利用Raft协议完成高可用方案和吞吐性能大幅提升

Apache Ozone在2020年正式成为Apache顶级项目,Ozone支持对象、HCFS,fuse等多种访问方式,腾讯工程师在Ozone社区中表现突出。

腾讯云团队在Ozone社区领导开发多个重要特性,此次演讲将重点分享其中两大特性,MultiRaft和Ozone High Availability,这两个Ozone社区的关键特性都是基于Raft协议完成的。

本次演讲主要分享:

  1. 如何利用Java Reflection和Raft协议完成Ozone元数据的强一致同步,完成Ozone高可用性建设
  2. 如何利用Multi-Raft特性,提升Ozone DataNode的单节吞吐能力
  3. 如何Multi-Raft特性,适配高密度硬盘机型,将Ozone融入私有化数据湖方案

观众可以从演讲中获取腾讯团队巧妙运用Raft和Java reflection解决Ozone一致性难题,同时也能从Multi-Raft实现和配合高密度磁盘机型的案例中获取优化DataNode写性能的新思路。

期待用户深入了解Ozone项目如何通过Raft实现元数据高可用和数据节点性能优化。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
测试技术 应用服务中间件 Apache
后端工程师如何使用apache ab性能测试工具进行系统压力测试(比LoadRunner简单多了)
作为后端工程师,除了实现业务需求之外,需要考虑的就是自己写的服务,在大并发下是否能正常运行了。但是,在一般开发情况下,没那么多大并发情况让你测试,那该怎么办呢? 这时候,我们就可以用到apache的压力测试工具了,apache bench简称ab。
后端工程师如何使用apache ab性能测试工具进行系统压力测试(比LoadRunner简单多了)
|
Apache
【实施工程师】Wampserver64橙色无法启动【apache】问题
【实施工程师】Wampserver64橙色无法启动【apache】问题
262 0
【实施工程师】Wampserver64橙色无法启动【apache】问题
|
存储 人工智能 分布式计算
腾讯云高级工程师程力理解的“The Apache Way”:Open, collaboration and Win-win.
腾讯云高级工程师程力理解的“The Apache Way”:Open, collaboration and Win-win.
169 0
|
25天前
|
人工智能 运维 Java
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
本文基于Apache Flink PMC成员宋辛童在Community Over Code Asia 2025的演讲,深入解析Flink Agents项目的技术背景、架构设计与应用场景。该项目聚焦事件驱动型AI智能体,结合Flink的实时处理能力,推动AI在工业场景中的工程化落地,涵盖智能运维、直播分析等典型应用,展现其在AI发展第四层次——智能体AI中的重要意义。
329 27
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
|
10月前
|
存储 人工智能 大数据
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024 上海站主论坛开场的分享,今年正值 Flink 开源项目诞生的第 10 周年,借此时机,王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年 Flink 路向何方。
686 33
The Past, Present and Future of Apache Flink
|
12月前
|
SQL Java API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布,这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进,包括存算分离状态管理、物化表、批作业自适应执行等,同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈,但不建议在生产环境中使用。
1495 13
Apache Flink 2.0-preview released
|
12月前
|
存储 缓存 算法
分布式锁服务深度解析:以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中,多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性,我们需要一种机制来协调这些进程或节点的访问,避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制,确保同一时间只有一个进程或节点能够访问和操作共享资源。
408 3

热门文章

最新文章

推荐镜像

更多