带你读《2022技术人的百宝黑皮书》——移动域全链路可观测架构和关键技术(1)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 带你读《2022技术人的百宝黑皮书》——移动域全链路可观测架构和关键技术(1)

移动域全链路可观测架构和关键技术

image.png作者:执水

image.png出品:大淘宝技术

 

 

本文侧重阐述团队对移动领域全链路技术理念的原创性引入,整篇约1.2万字、阅读需要15分钟,读者将收获移动技术域体验优化的思路转变,以及软件定义体验的沉淀和研发实践。

 

App现有架构挑战

 

2013年开始All in无线到如今,集团移动技术发展十余年,历经几个关键阶段,

 

image.pngimage.png第一阶段,解决大规模业务并发研发的痛点,定义了Atlas(容器化框架, 提供组件解耦、动态性等支持)架构; 第二阶段,建设ACCS(淘宝无线全双工、低延时、高安全的通道服务)长连双工加密网络能力,补齐端到端互 操作移动服务能力追赶行业;

image.png第三阶段,面向业务特性建设Weex、小程序等动态化研发框架,移动技术进入动态化跨平台时期。

 

中后期通过移动小组机制进行各BU拉通和能力共建。自此,移动基础设施基本成型,各个领域各自沉淀若干组做到能力复用,App基本形成上层业务、中间研发框架或容器、基础能力三层的架构。我们团队作为无线端侧基础设施的承建方,过去重点是负责集团移动端的基础能力建设,近年来,团队重点深入淘宝业务场景展开性能优化,通过体验优化项目横向剖析App架构和及相关调用链路,感受到集团App普遍存在如下共性问题:

 

image.png

 

(图1 淘宝App架构挑战)

 

 

 

image.png运维排查效率低下:首先是监控阶段,多数问题无监控或者监控上报后的信息无法支撑更有效的分析,需要依赖日志进行问题排查;其次是没有日志的问题,发生异常时并不会主动上传日志,需要手动捞取,用户不在线更是拉取不到日志;拉取到日志后,还会继续遇到日志读不懂的问题问题;跟服务端有关的链路,还会遇到服务端鹰眼日志只保存5分钟的问题,经过这样一轮下来,基本时间已经过去半天...

 

image.png端到端追踪不完整:一个完整的业务链路,流量会穿越端到端多层,以一次下单为例,通过客户端所触发的网络请求到达服务器之后,会经过若干客户端模块处理、触发N次后端应用调用以及历经移动网络的不稳定性,试想一下,这些调用中有哪些出问题会影响这次下单交易,有哪些步骤会拖慢整个处理流程、请求没返回不清楚是服务端问题还是网络问题,假如各调用全链路性能定义不清,意味着各层问题得不到充分暴露,这些因素都是需要考虑的,加上端侧天然异步调用,导致各阶段度量和全链路打通存在重大挑战,目前现状就是客户端各层没有统一调用规范,并且缺乏拓扑结构,无法还原调用链路,导致端到端无法追踪。

 

image.png优化缺少统一口径:过去因为各研发框架性能口径自闭环,不管是客户端原生技术,还是跨平台技术都是面向技术视角统一采集通用的技术口径,这种情况会天然导致各业务实现和表现差异巨大,通俗说就是不接近用户体感,会导致线上的数据难以反应真实情况及优劣趋势,长久以来,淘宝的体验也一直在劣化,每年基本都要靠运动式方式来搞体验优化,无法常态化保持。

 

image.png移动Paas流程赋能成本:大量的SDK组件输出集团各BU后,基础能力嵌入到不同的App宿主环境后,同样会遇   到上面提到的几类问题,对各BU同学来说,基础设施更是黑盒,如果问题涉及到基础设施,排查过程更加艰辛, 加上没有现有的工具可以自助诊断问题在哪,遇到问题只能过来咨询,各种拉群拉人,导致答疑成本居高不下。

 

以上是从APP结构的角度对当前客户端在运维排查、度量监控、全链路优化等方面的不足进行的一些思考,也是我们后续的发力方向。

 

带你读《2022技术人的百宝黑皮书》——移动域全链路可观测架构和关键技术(2)https://developer.aliyun.com/article/1340967?groupCode=taobaotech

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
相关文章
|
7天前
|
人工智能 自然语言处理 安全
AI助教系统:基于大模型与智能体架构的新一代教育技术引擎
AI助教系统融合大语言模型、教育知识图谱、多模态交互与智能体架构,实现精准学情诊断、个性化辅导与主动教学。支持图文语音输入,本地化部署保障隐私,重构“教、学、评、辅”全链路,推动因材施教落地,助力教育数字化转型。(238字)
|
18天前
|
数据采集 监控 JavaScript
移动端性能监控探索:鸿蒙 NEXT 探针架构与技术实现
阿里云 ARMS 团队倾力打造的鸿蒙 NEXT SDK,为鸿蒙应用提供了业界领先的全链路监控解决方案。这不仅仅是一个 SDK,更是您洞察用户体验、优化应用性能的智能伙伴。
232 23
|
3天前
|
Java Linux 虚拟化
【Docker】(1)Docker的概述与架构,手把手带你安装Docker,云原生路上不可缺少的一门技术!
1. Docker简介 1.1 Docker是什么 为什么docker会出现? 假定您在开发一款平台项目,您的开发环境具有特定的配置。其他开发人员身处的环境配置也各有不同。 您正在开发的应用依赖于您当前的配置且还要依赖于某些配置文件。 您的企业还拥有标准化的测试和生产环境,且具有自身的配置和一系列支持文件。 **要求:**希望尽可能多在本地模拟这些环境而不产生重新创建服务器环境的开销 问题: 要如何确保应用能够在这些环境中运行和通过质量检测? 在部署过程中不出现令人头疼的版本、配置问题 无需重新编写代码和进行故障修复
61 1
|
2月前
|
机器学习/深度学习 存储 人工智能
RAG系统文本检索优化:Cross-Encoder与Bi-Encoder架构技术对比与选择指南
本文将深入分析这两种编码架构的技术原理、数学基础、实现流程以及各自的优势与局限性,并探讨混合架构的应用策略。
176 10
RAG系统文本检索优化:Cross-Encoder与Bi-Encoder架构技术对比与选择指南
|
1月前
|
JSON 供应链 监控
1688商品详情API技术深度解析:从接口架构到数据融合实战
1688商品详情API(item_get接口)可通过商品ID获取标题、价格、库存、SKU等核心数据,适用于价格监控、供应链管理等场景。支持JSON格式返回,需企业认证。Python示例展示如何调用接口获取商品信息。
|
1月前
|
数据可视化 前端开发 数据管理
什么是低代码?一文看懂:低代码技术的发展历程及技术架构
低代码开发平台通过可视化界面与组件化设计,大幅降低编程门槛,使开发者无需大量编码即可快速构建应用。它具备可视化开发、预制组件、低技术门槛及全流程支持等核心特征,适用于业务流程自动化、数据管理、客户关系管理等多种场景。自萌芽期至今,低代码不断演进,成为企业数字化转型的重要工具,显著提升开发效率、降低成本,并推动全民开发者时代的到来。
323 0
什么是低代码?一文看懂:低代码技术的发展历程及技术架构
|
1月前
|
前端开发 Java 开发者
MVC 架构模式技术详解与实践
本文档旨在全面解析软件工程中经典且至关重要的 MVC(Model-View-Controller) 架构模式。内容将深入探讨 MVC 的核心思想、三大组件的职责与交互关系、其优势与劣势,并重点分析其在现代 Web 开发中的具体实现,特别是以 Spring MVC 框架为例,详解其请求处理流程、核心组件及基本开发实践。通过本文档,读者将能够深刻理解 MVC 的设计哲学,并掌握基于该模式进行 Web 应用开发的能力。
200 1
|
1月前
|
Kubernetes Java 微服务
Spring Cloud 微服务架构技术解析与实践指南
本文档全面介绍 Spring Cloud 微服务架构的核心组件、设计理念和实现方案。作为构建分布式系统的综合工具箱,Spring Cloud 为微服务架构提供了服务发现、配置管理、负载均衡、熔断器等关键功能的标准化实现。本文将深入探讨其核心组件的工作原理、集成方式以及在实际项目中的最佳实践,帮助开发者构建高可用、可扩展的分布式系统。
259 0
|
2月前
|
机器学习/深度学习 人工智能 Java
Java 技术支撑下 AI 与 ML 技术融合的架构设计与落地案例分析
摘要: Java与AI/ML技术的融合为智能化应用提供了强大支持。通过选用Deeplearning4j、DJL等框架解决技术适配问题,并结合Spring生态和JVM优化提升性能。在金融风控、智能制造、医疗影像等领域实现了显著效果,如审批效率提升3倍、设备停机减少41%、医疗诊断延迟降低80%。这种技术融合推动了多行业的智能化升级,展现了广阔的应用前景。
167 0