12月16日,“AutoMQ 云原生创新论坛”圆满落幕了,本次论坛不仅有 AutoMQ 新特性宣发和技术白皮书首次发布,还有阿里云、亚马逊云云厂商们的最佳实践,技术大咖关于“上云与下云的决策”及其核心挑战的圆桌精彩对话。
现场也吸引了众多技术爱好者参加,大家探讨氛围热烈。下面就让我们来回顾本次论坛的精彩内容。
一、引领云原生创新之路——AutoMQ 新特性宣发
AutoMQ 联合创始人 & CTO 周新宇老师讲解了 AutoMQ 云原生理念、云原生架构、新特性宣发、未来规划等方面。
他首先讲解了云服务的成熟度从 Cloud-Hosted 到 MultiCloud-Native 四个阶段,引出了云原生,重点讲解了云原生的能力:服务化的产品、弹性、API 三个方面;表达了所有的基础软件都值得基于云原生重新设计的观点。
同时给大家讲解了 AutoMQ 云原生架构设计目标即用云用到极致,把云的最好的能力释放。包含尽可能发挥出云的弹性能力、数据放在 S3 上、使用 Spot 实例、利用 EBS 的持久性和容灾能力四个方面。
他对 AutoMQ 云原生整体架构进行了介绍,重点介绍了 S3 Stream 、Delta WAL 的组件,也将 AutoMQ 产品与 Apache RocketMQ、Apache Kafka 进行技术架构优势对比,AutoMQ 产品 100% 协议兼容 Apache RocketMQ,Apache Kafka,同时在弹性、Partition 迁移、按量付费、无状态、“单副本”高可用具有较强的优势。
AutoMQ 新特性宣发:
AutoMQ Kafka RC 版本发布了全新特性,包括多云兼容性适配,Spot 实例强制回收容灾、裸设备 WAL 等。
也带来了新版本的全新指标,新版本除了有十倍的成本优势外,支持 4 分钟内完成从 0 到 1 GiB/s 的极致弹性,同时在追赶读的场景下有读写隔离的天然优势。最后,AutoMQ 即将发布完整的基准测试白皮书,将会揭秘更多的技术指标。
AutoMQ RocketMQ Beta 版本发布,为社区带来了全功能兼容的 Beta 版本。同时,创新性地解决了 Apache RocketMQ 队列与 Broker 节点耦合的问题,能够支持秒级的 Topic 迁移,对客户端完全无感。
RocketMQ Copilot GA 版本发布了三个重要特性,包括报警通知、集群级大盘以及容量规划等功能,进一步简化运维 Apache Kafka 的成本。同时,Apache RocketMQ 的作者王小瑞将其 10 年的生产经验,沉淀为电子书《 RocketMQ 实战精粹》,将包含 100 个生产案例,也即将在 AutoMQ 的公众号上进行发布。
最后他讲解了 AutoMQ 产品未来的规划,包括 AutoMQ Kafka 将在多云市场上发布,RocketMQ 也即将进入 GA 状态。最重磅的是,RocketMQ Copilot 即将包含 Dashboard 的全部功能,包括元数据管理、消费者管理、消息查询和轨迹查询等。
二、如何打造低成本高性能的对象存储 - 阿里云 OSS 技术揭秘
阿里云对象存储资深技术专家闫卫斌老师从更低成本、更好性能两个方面对阿里云 OSS 产品进行技术解密。
他首先提到阿里云 OSS 在 2023 年两个重要成果:发布“预留空间”和“无地域属性预留空间”;对象存储默认吞吐提升 10x。然后他给大家介绍了 OSS 成本优化的手段以及技术架构。
接下来给大家详细解读了“性能优化”的几个方面:分离小 IO & 聚合写入;写入缓冲;EC 算法。并对“性能优化”进行了总结:即通过综合优化,高效利用 HDD 的吞吐&IOPS 能力,承接更多业务类型。同时他对“超大资源池”也进行了详细的讲解:单集群规模的 trade-off;实现机制;迁移技术等方面。
最后他对阿里云 OSS 更低成本&更好性能总结了三个方面:成本优化;性能优化;超大资源池。
三、探寻EC2背后的奥秘 - 亚马逊云科技Nitro系统剖析
亚马逊云科技解决方案架构师胡凯老师介绍了亚马逊云科技 EC2 服务的不断创新,深入介绍了亚马逊云科技云计算服务中 EC2(弹性计算云)底层技术平台的创新—— Nitro 系统。该平台旨在将虚拟化管理程序从 VM 或 Hypervisor 层面移到硬件层面,以提高云服务的性能和效率。他着重讨论了 Nitro 系统在网络、存储和加密方面的工作,包括网络的 offload、加密功能和高性能网络适配器的应用。通过 Bypass 内核和 SRD 多路径协议,在 Nitro 系统下应用程序如 HPC 和机器学习可以实现高达 6400 Gbps 的带宽,解决了网络 IO 问题导致性能下降的挑战。此外,他还介绍了对亚马逊云科技块存储(EBS)的存储 IO 优化,以及虚拟化平台的演进,包括轻量级的 hypervisor、Nitro card 和安全芯片的使用。最后,他总结了 Nitro 系统的发展历程,强调了其在提高计算性能和降低资源消耗方面的重要性,展望了未来云计算领域的可能发展趋势。
圆桌对话:上云还是下云,最大挑战是什么?
在这次圆桌对话中,AutoMQ联合创始人兼 CEO 王小瑞作为主持嘉宾,与AutoMQ 联合创始人及首席战略官章文嵩、贝联珠贯创始人兼 CEO 林昊(毕玄)共同探讨了上云与下云的趋势之争,深入分析了云计算的市场现状和经济效益。
- 章文嵩老师强调,上云是大势所趋,云计算本质上是资源聚合和复用的经济效益。预计未来五六年中国云计算渗透率将逐步提高。毕玄老师则认为云计算灵活、可扩展、成本效益显著,对大中小企业都有吸引力,预测技术演进将进一步降低云计算的成本。
- 对于云计算巨头的故障,两位老师认为故障不可避免。章文嵩老师提出了对软件bug的处理预案,比如提前演练。毕玄老师认为云厂商的故障次数相对较少,尽管影响面大,但总体来说更可靠。
- 成本治理方面,毕玄老师强调了实时监控账单和优化策略的重要性,章文嵩老师补充将成本与业务结合分析,他以淘宝、滴滴等平台为例,提出通过将每笔交易的 IT 支出与业务结合,计算每秒钟每笔交易的成本,从而更清晰地了解成本结构。
- 在确保系统最终成本与业务一致的问题上,章文嵩老师提出弹性是关键,而毕玄老师分享了阿里云的降低成本经验,强调弹性、简单透明的成本模型,以及分享了在处理 spot 实例和混合部署时的挑战。
最后,对于自建机房带来的成本,章文嵩老师强调了云服务商应提供有竞争力的价格和优惠,以吸引更多企业选择上云,毕玄老师详细讲解了自建云服务的挑战。
圆桌对话环节在意犹未尽中画上圆满的句号,三位大咖的对话全面涵盖了云计算领域的多个层面,为业界提供了深刻的见解和实践经验。
现场精彩瞬间
杭州降温也没有阻挡大家参与讨论的热情,在茶歇时间,自发的交流也热火朝天。专家们详细地解答了大家的踊跃提问,AutoMQ 还为提问者都送上了精心准备的小礼品。期待更多小伙伴参与下次活动!
资源分享
- 活动直播录屏已经在B站和视频号发布
- 在AutoMQ公众号后台回复“论坛”可获得本次 AutoMQ 云原生创新论坛讲师 PPT 链接