目前市面上大数据查询分析引擎层出不穷,但在业务使用过程中,大多含有性能瓶颈的SQL,主要集中在数据倾斜与数据膨胀问题中。本文结合业界对大数据SQL的使用与优化,尝试给出相对系统性的解决方案。
本文介绍的实现方式属于应用级限制,应用级限流方式只是单应用内的请求限流,不能进行全局限流。要保证系统的抗压能力,限流是一个必不可少的环节,虽然可能会造成某些用户的请求被丢弃,但相比于突发流量造成的系统宕机来说,这些损失一般都在可以接受的范围之内。
性能优化是降低成本的手段之一,每年大促前业务平台都会组织核心链路上的应用做性能优化,一方面提升系统性能,另外一方面对腐化的代码进行清理。本文结合业务平台性能优化的经验,探讨一下性能优化的思路及常用工具及手段。
全栈可观测App提供了一套完整的分析工具,从数据统计分析能力到数据关联,再到具备智能化和自动化特性的相关工具,以解决人们在可观测性方面所遇到的问题。未来,我们将持续提供更加丰富和强大的分析工具来满足用户的需求。
AutoMQ[1] 是新一代基于共享存储架构实现的云原生 Kafka。得益于其存算分离的共享存储架构,通过和阿里云合作,深度使用阿里云可靠、先进的云服务如对象存储OSS、块存储 ESSD、弹性伸缩ESS以及抢占式实例实现了相比 Apache Kafka 10倍的成本优势并且提供了自动弹性的能力。
随着云计算的普及,越来越多的传统企业客户也在选择把IDC的业务系统搬到公共云上,实现更大的弹性、更强的灵活性、更高的性价比。但与泛互联网型企业的轻资产相比,传统企业的云下IT规模较大,有比较沉重历史包袱重,以及各种行业安全规范的约束,所以对于网络的规划设计、部署使用、运维管理都有自己的要求,仅仅具备云产品的初级使用能力已不能满足实际使用需求。企业级云上网络架构的重点是帮助企业用户更高效地搭建安全可靠的云上网络架构,本文主要针对企业客户在云上的南北向流量(访问internet/被internet用户访问)和东西向流量(企业内部VPC互访)的互访、安全、管理等多方面需求,利用CEN-TR(云企业网企业版)实现云上东西向+南北向流量安全和统一公网出口的最佳实践。