开发者小助手_LS_社区达人页

2021年09月

• 09.28 17:31:52
  发表了文章 2021-09-28 17:31:52

  深入前端研发效能治理：数据化运营思路及其实践

  数据中台前端研发无不让人厚重真实地感受到“唯一不变的是变化”。拿集团的数据资产服务平台来说，业务上经过两年的发展，已由单一的数据管理和使用平台发展成了集团具有一定规模和影响力的全域数据要素交易所，而从前端技术侧，仅从代码提交报表就能明显看到，今年的代码提交量平均是去年的 2-3 倍，可见其业务扩张速度之快。

  
• 09.27 16:58:36
  发表了文章 2021-09-27 16:58:36

  深入理解云计算OpenAPI体系

  就云计算的API来看，当前并没有类似POSIX这样的API标准，基本上各大厂商各自为政。当然，有一些业界主流标准例如OAS获得多数云厂商的支持，但云厂商本身的API却往往由于历史原因、技术路线原因百花齐放，例如AWS的OpenAPI属于RPC风格，而Azure则是WebService风格，GCP则是基于gRPC为主流。技术方面的论述很多，本文更想从客户体验、研发效能的角度来阐述OpenAPI对云计算整体竞争力的重要性。

  
• 09.26 17:28:52
  发表了文章 2021-09-26 17:28:52

  ICBU可控文本生成技术详解

  文本生成（Text Generation）是自然语言处理（Natural Language Processing，NLP）领域的一项重要且具有挑战的任务。顾名思义，文本生成任务的目的是生成近似于自然语言的文本序列，但仍可以根据输入数据进行分类。本文我们聚焦于输入文本生成文本的 Text-to-Text 任务，具体地包括神经机器翻译、智能问答、生成式文本摘要等。

  
• 09.24 16:22:53
  发表了文章 2021-09-24 16:22:53

  TSDB时序数据库时序数据压缩解压技术浅析

  目前，物联网、工业互联网、车联网等智能互联技术在各个行业场景下快速普及应用，导致联网传感器、智能设备数量急剧增加，随之而来的海量时序监控数据存储、处理问题，也为时序数据库高效压缩、存储数据能力提出了更高的要求。对于通量愈加庞大的物联网时序大数据存储，尽管标准压缩方法还能发挥其价值，但某些场景对时序数据压缩解压技术效率、性能提出了新的需求。本文介绍了现有的时序数据压缩解压技术，分类介绍了不同算法的特点和优劣势。

  
• 09.23 17:42:34
  发表了文章 2021-09-23 17:42:34

  MYSQL深潜 - 剖析Performance Schema内存管理

  本文主要是通过对PFS引擎的内存管理的源码的阅读，解读PFS内存分配及释放原理，深入剖析其中存在的一些问题，以及一些改进思路。本文源代码分析基于Mysql-8.0.24版本。

  
• 09.22 17:43:49
  发表了文章 2021-09-22 17:43:49

  如何促合作共赢？技术人的一点经验分享

  本文作者将通过与詹韦团队一起合作的《树懒平台》，分享在工作过程中，我们什么情况下会有合作诉求？有了合作诉求之后，如何寻找对的人？锁定候选人之后，如何打动对方促成合作？合作谈成之后，就是最大力度发挥各自优势，融合各自诉求，有计划分节奏地去落地了。

  
• 09.17 17:59:27
  发表了文章 2021-09-17 17:59:27

  前后端、多语言、跨云部署，全链路追踪到底有多难？

  链路追踪的价值在于“关联”，终端用户、后端应用、云端组件（数据库、消息等）共同构成了链路追踪的轨迹拓扑大图。这张拓扑覆盖的范围越广，链路追踪能够发挥的价值就越大。而全链路追踪就是覆盖全部关联 IT 系统，能够完整记录用户行为在系统间调用路径与状态的最佳实践方案。

  
• 09.17 17:45:45
  发表了文章 2021-09-17 17:45:45

  Effective Java 在工作中的应用总结

  《Effective Java》是一本经典的 Java 学习宝典，值得每位 Java 开发者阅读。笔者将书中和平日工作较密切的知识点做了部分总结。

  
• 09.16 17:58:06
  发表了文章 2021-09-16 17:58:06

  庖丁解牛-图解MySQL 8.0优化器查询转换篇

  在《庖丁解牛-图解MySQL 8.0优化器查询解析篇》一文中我们重点介绍了MySQL最新版本8.0.25关于SQL基本元素表、列、函数、聚合、分组、排序等元素的解析、设置和转换过程，本篇我们继续来介绍更为复杂的子查询、分区表和JOIN的复杂转换过程。

  
• 09.14 17:35:40
  发表了文章 2021-09-14 17:35:40

  云原生大数据架构中实时计算维表和结果表的选型实践

  随着互联网技术的日渐发展、数据规模的扩大与复杂的需求场景的产生，传统的大数据架构无法承载。

  
• 09.13 18:06:38
  发表了文章 2021-09-13 18:06:38

  菜鸟积分系统稳定性建设 - 分库分表&百亿级数据迁移

  拆库&数据迁移说白了，考验的不是一个人的技术功底，而是一个人干活的细致程度，以及抗压能力。无论在哪个公司，数据库迁移的机会都不会太多，因此，我也是非常珍惜这次历练，用阿里的一句老话来说就是 “因人成事，借事修人”。写这篇文章的目的主要是自己进行一个总结，也希望能给需要的同学们一些参考。

  
• 09.10 16:47:36
  发表了文章 2021-09-10 16:47:36

  如何将一棵LSM-Tree塞进NVM

  随着非易失内存产品的商业化推广，我们对于其在云原生数据库中大规模推广的潜力越来越有兴趣。X-Engine是阿里云数据库产品事业部PolarDB新型存储引擎团队研发的一个LSM-tree存储引擎，目前在阿里云PolarDB产品上提供对外服务。我们以X-Engine为基础结合非易失内存的优势与限制，重新设计并实现了存储引擎的主要内存数据结构、事务处理和持久化内存分配器等基础组件，最终实现了不需要记录预写式日志的高性能事务处理，降低了整体系统的写入放大并提高了存储引擎的故障恢复速度。

  
• 09.09 18:16:19
  发表了文章 2021-09-09 18:16:19

  庖丁解牛-图解MySQL 8.0优化器查询解析篇

  SQL优化器本质上是一种高度抽象化的数据接口的实现，经过该设计，客户可以使用更通用且易于理解的SQL语言，对数据进行操作和处理，而不需要关注和抽象自己的数据接口，极大地解放了客户的应用程序。

  
• 09.08 17:35:44
  发表了文章 2021-09-08 17:35:44

  表格存储 SQL 查询多元索引

  多元索引是表格存储产品中一个重要的功能，多元索引使用倒排索引技术为表格存储提供了非主键列上的快速检索功能，另外也提供了统计聚合功能。表格存储近期开放了SQL查询功能，SQL引擎默认从原始表格中读取数据，非主键列上的查询需要扫描全表。

  
• 09.07 17:22:53
  发表了文章 2021-09-07 17:22:53

  技术人员的一点产品思维思考

  作为一线的开发人员，大家是不是都经历过和产品吵得不可开焦，甚至最后谁也无法说服谁，最后只能由老板出面解决的经历。而大多数情况老板还真能以某种方法去解决，并且是一个双方都能接受的方案。然而这不全是因为老板的权威，地位所决定的，更多的是各个老板们有比一线开发更强的产品力，能够听懂对方的诉求和抓住矛盾点并且给出解决方案，这其实就是一种产品思维的方式。

  
• 09.07 14:18:03
  发表了文章 2021-09-07 14:18:03

  如何避免出现SQL注入漏洞

  本文将针对开发过程中依旧经常出现的SQL编码缺陷，讲解其背后原理及形成原因。并以几个常见漏洞存在形式，提醒技术同学注意相关问题。最后会根据原理，提供解决或缓解方案。

  
• 09.03 17:21:47
  发表了文章 2021-09-03 17:21:47

  Alibaba at Interspeech 2021 | 达摩院语音实验室9篇入选论文解读

  INTERSPEECH是由国际语音通讯协会创办的语音信号处理领域顶级旗舰国际会议。继去年11篇论文入选INTERSPEECH 2020之后，本次INTERSPEECH 2021阿里巴巴达摩院语音实验室再度有9篇论文被接收，包括语音识别，语音合成，后处理技术，前端信号处理技术等研究方向。本文我们将对这些论文进行解读。

  
• 09.02 15:03:15
  发表了文章 2021-09-02 15:03:15

  基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-架构篇

  本文简要介绍了基于 MySQL 结合 Tablestore 的大规模订单系统方案。这种方案支持大数据存储、高性能数据检索、SQL搜索、实时与全量数据分析，且部署简单、运维成本低。

  
• 09.01 15:48:45
  发表了文章 2021-09-01 15:48:45

  云上应用系统数据存储架构演进

  回顾过去二十年的技术发展，整个应用形态和技术架构发生了很大的升级换代，而任何技术的发展都与几个重要的变量相关。本文将会给大家分享应用系统数据架构的演进以及云上的架构最佳实践。

  

2021年08月

• 08.31 15:23:08
  发表了文章 2021-08-31 15:23:08

  PostgreSQL数据目录深度揭秘

  PostgreSQL是一个功能非常强大的、源代码开放的客户/服务器关系型数据库管理系统（RDBMS），被业界誉为“先进的开源数据库”，支持NoSQL数据类型，主要面向企业复杂查询SQL的OLTP业务场景，提供PostGIS地理信息引擎、阿里云自研多维多模时空信息引擎等。本文着重介绍PostgreSQL的数据目录，其中保存着配置文件、数据文件、事务日志和WAL日志等重要文件，所有客户创建的数据文件和初始配置文件都可以在数据目录中找到，因此数据目录是重要的客户价值所在。

  
• 08.30 17:58:44
  发表了文章 2021-08-30 17:58:44

  当设计模式遇上 Hooks

  数据结构与设计模式能够指导我们在开发复杂系统中寻得一条清晰的道路，既然都说 Hooks 难以维护，那就尝试让「神」来拯救这混乱的局面。对于「设计模式是否有助于我们写出更优雅的 Hooks 」这个问题，看完本文，相信你心中也会有自己的答案。

  
• 08.27 16:36:55
  发表了文章 2021-08-27 16:36:55

  Pull or Push？监控系统如何选型

  对于建设一套公司内部使用的监控系统平台，相对来说可选的方案还是非常多的，无论是用开源方案自建还是使用商业的SaaS化产品，都有比较多的可选项。但无论是开源方案还是商业的SaaS产品，真正实施起来都需要考虑如何将数据给到监控平台，或者说监控平台如何获取到这些数据。这里就涉及到数据获取方式的选型：Pull（拉）还是Push（推）模式？

  
• 08.26 16:08:22
  发表了文章 2021-08-26 16:08:22

  从技术到科学，中国AI向何处去？

  如果从达特茅斯会议起算，AI已经走过65年历程，尤其是近些年深度学习兴起后，AI迎来了空前未有的繁荣。不过，最近两年中国AI热潮似乎有所回落，在理论突破和落地应用上都遇到了挑战，外界不乏批评质疑的声音，甚至连一些AI从业者也有些沮丧。本篇文章是作者将以个人视角回顾AI的发展，审视我们当下所处的历史阶段，以及探索AI的未来究竟在哪里。

  
• 08.25 15:37:47
  发表了文章 2021-08-25 15:37:47

  一文详解Redis中BigKey、HotKey的发现与处理

  在Redis的使用过程中，我们经常会遇到BigKey（下文将其称为“大key”）及HotKey（下文将其称为“热key”）。大Key与热Key如果未能及时发现并进行处理，很可能会使服务性能下降、用户体验变差，甚至引发大面积故障。

  
• 08.24 15:11:39
  发表了文章 2021-08-24 15:11:39

  开源自建/托管与商业化自研 Trace，如何选择？

  随着微服务架构的兴起，服务端的调用依赖愈加复杂，为了快速定位异常组件与性能瓶颈，接入分布式链路追踪 Trace 已经成为 IT 运维领域的共识。但是，开源自建、开源托管或商业化自研 Trace 产品之间到底有哪些差异，我该如何选择？这是许多用户在调研 Trace 方案时都会遇到的疑问，也是最容易混淆的误区。

  
• 08.23 18:12:25
  发表了文章 2021-08-23 18:12:25

  MySQL 深潜 - 一文详解 MySQL Data Dictionary

  在 MySQL 8.0 之前，Server 层和存储引擎（比如 InnoDB）会各自保留一份元数据（schema name, table definition 等），不仅在信息存储上有着重复冗余，而且可能存在两者之间存储的元数据不同步的现象。不同存储引擎之间（比如 InnoDB 和 MyISAM）有着不同的元数据存储形式和位置(.FRM, .PAR, .OPT, .TRN and .TRG files)，造成了元数据无法统一管理。此外，将元数据存放在不支持事务的表和文件中，使得 DDL 变更不会是原子的，crash recovery 也会成为一个问题。

  
• 08.23 11:56:42
  发表了文章 2021-08-23 11:56:42

  Go 调用 Java 方案和性能优化分享

  一个基于 Golang 编写的日志收集和清洗的应用需要支持一些基于 JVM 的算子。

  
• 08.19 11:04:07
  发表了文章 2021-08-19 11:04:07

  提升代码质量的方法：领域模型、设计原则、设计模式

  我们可以列举出非常多质量差的代码的表现现象，其中最影响代码质量的两个表现是命名名不副实、逻辑可扩展性差，当一个新人阅读代码时，有时发现方法命名与实际逻辑对不上，这就让人感到非常疑惑，这种现象在平时工作并不少见；另一个就是逻辑扩展性差，一个新业务需求提出来后，发现要在多处改动，需要回归的业务逻辑比较多，造成研发效率不高。

  
• 08.18 11:40:50
  发表了文章 2021-08-18 11:40:50

  如何玩转 WebGL 并行计算

  如今在 Web 端使用 WebGL 进行高性能计算已有不少实践，例如在端智能领域中的 tensorflow.js，再比如可视化领域中的 Stardust.js。

  
• 08.17 10:53:18
  发表了文章 2021-08-17 10:53:18

  解密万亿参数M6模型预训练背后的分布式框架Whale

  最近，阿里云PAI团队和达摩院智能计算实验室一起发布“低碳版”巨模型M6，大幅降低万亿参数超大模型训练能耗。借助我们自研的Whale框架仅使用480卡GPU，即训练出了规模达人类神经元10倍的万亿参数多模态大模型M6，与传统海外公司实现万亿参数规模相比，能耗降低超八成、效率提升近11倍。

  
• 08.16 11:33:41
  发表了文章 2021-08-16 11:33:41

  首发｜Forrester云原生开发者洞察白皮书，低代码概念缔造者又提出新的开发范式

  云原生时代的到来为开发者群体带来了前所未有的机遇，让开发者可以更加专注业务价值创造与创新，并使得人人成为开发者成为现实。广大开发者如何转型成为云原生开发者？运维等专业人员在云原生时代如何避免边缘化的囧境？阿里云委托Forrester对中国开发者群体进行了研究并出了答案。

  
• 08.12 17:37:55
  发表了文章 2021-08-12 17:37:55

  如何避免 Go 命令行执行产生“孤儿”进程？

  在 Go 程序当中，如果我们要执行命令时，通常会使用 exec.Command ，也比较好用，通常状况下，可以达到我们的目的，如果我们逻辑当中，需要终止这个进程，则可以快速使用 cmd.Process.Kill() 方法来结束进程。但当我们要执行的命令会启动其他子进程来操作的时候，会发生什么情况？

  
• 08.11 16:08:48
  发表了文章 2021-08-11 16:08:48

  探究 Java 应用的启动速度优化

  Java 的执行效率非常高，约为最快的C语言的一半。这在主流的编程语言中，仅次于C、Rust 和 C++。但在高性能的背后，Java 的启动性能差也令人印象深刻，大家印象中的 Java 笨重缓慢的印象也大多来源于此。高性能和快启动速度似乎有一些相悖，本文将和大家一起探究两者是否可以兼得。

  
• 08.10 16:14:50
  发表了文章 2021-08-10 16:14:50

  高效研发运维体系构建的流程和方法论

  云计算产品大多都会与云原生发生关联，云原生正在重塑整个软件的生命周期。但到底什么是云原生？云原生带来的最大技术创新和未来机会是什么？围绕云原生，是否可以构建出一套云上的开发&运维体系，打造新一代研发平台，实现研发效率的最大化？

  
• 08.09 16:17:14
  发表了文章 2021-08-09 16:17:14

  Spring Boot参数校验以及分组校验的使用

  做web开发基本上每个接口都要对参数进行校验，如果参数比较少，还比较容易处理，一但参数比较多了的话代码中就会出现大量的if-else语句。虽然这种方式简单直接，但会大大降低开发效率和代码可读性。所以我们可以使用validator组件来代替我们进行不必要的coding操作。本文将基于validator的介绍资料，同时结合作者自己在项目中的实际使用经验进行了总结。

  
• 08.09 10:33:14
  发表了文章 2021-08-09 10:33:14

  一文读懂阿里云直播技术是如何实现的

  东京奥运会已落下帷幕。比赛期间，全球亿万观众蜂拥至各大转播平台观看奥运赛事，平台直播能力显的尤为重要。阿里云作为视频直播平台的技术提供商，凭借在产品技术、资源带宽、服务保障等方面优势，可为各大转播平台提供全链路技术支持和保障，确保极致观赛体验。本文分享阿里云视频直播技术是如何实现的。

  
• 08.06 10:14:28
  发表了文章 2021-08-06 10:14:28

  云原生引领全云开发时代

  云原生是近几年最火爆的技术热词之一，几乎所有的云计算产品都会或多或少跟云原生发生关联，云原生正在重塑整个软件的生命周期。但到底什么是云原生？云原生带来的最大的技术创新和未来机会是什么？以及，围绕云原生，是否可以构建出一套云上的开发和运维体系，打造新一代研发平台，实现研发效率的最大化？

  
• 08.05 11:51:38
  发表了文章 2021-08-05 11:51:38

  如何避免JS内存泄漏？

  很多开发者可能平时并不关心自己维护的页面是否存在内存泄漏，原因可能是刚开始简单的页面内存泄漏的速度很缓慢，在造成严重卡顿之前可能就被用户刷新了，问题也就被隐藏了，但是随着页面越来越复杂，尤其当你的页面是 SAP 方式交互时，内存泄漏的隐患便越来越严重，直到突然有一天用户反馈说：“操作一会儿页面就卡住不动了，也不知道为什么，以前不这样的呀”。这篇文章通过一些简单的例子介绍内存泄漏的调查方法、总结内存泄漏出现的原因和常见情况，并针对每种情况总结如何避免内存泄漏。希望能对大家有所帮助。

  
• 08.04 10:47:22
  发表了文章 2021-08-04 10:47:22

  体验有奖 | 1 分钟 Serverless 部署掌上游戏机，“一行命令”找回小时候的乐趣！

  夏日大作战，体验极速部署的乐趣！

  
• 08.04 10:24:53
  发表了文章 2021-08-04 10:24:53

  获国际架构顶会ATC2021最佳论文！Fuxi2.0去中心化的调度架构详解

  近日，在国际体系架构顶会USENIX ATC2021上，阿里云飞天伏羲团队与香港中文大学合作的一篇论文《Scaling Large Production Clusters with Partitioned Synchronization》不仅成功被大会录取，而且被大会专家组评定为三篇最佳论文之一（Best Paper Award）。

  
• 08.03 11:48:53
  发表了文章 2021-08-03 11:48:53

  Java对象转换方案分析与mapstruct实践

  随着系统模块分层不断细化，在Java日常开发中不可避免地涉及到各种对象的转换，如：DO、DTO、VO等等，编写映射转换代码是一个繁琐重复且还易错的工作，一个好的工具辅助，减轻了工作量、提升开发工作效率的同时还能减少bug的发生

  
• 08.02 10:37:47
  发表了文章 2021-08-02 10:37:47

  快速界定故障：Socket Tracer网络监控实践

  Socket Tracer定位是传输层(Socket&TCP)的指标采集工具，通过补齐网络监控的这部分盲区，来达到快速界定网络问题的目标。

  

2021年07月

• 07.30 10:26:14
  发表了文章 2021-07-30 10:26:14

  慢SQL治理分享

  这里的慢SQL指的是MySQL慢查询，是运行时间超过long_query_time值的SQL。真实的慢SQL通常会伴随着大量的行扫描、临时文件排序或者频繁的磁盘flush，直接影响就是磁盘IO升高，让正常的SQL变成了慢SQL，大面积执行超时。本文将和大家分享慢SQL的治理过程。

  
• 07.29 10:27:32
  发表了文章 2021-07-29 10:27:32

  阿里仿真灰度变更测试简介

  基础网络产品的生命周期大致包含研发、架构、交付、优化和运营等几个环节，每一个环节的质量保证都涉及重要的一环，即预期验证测试。本文将重点讲解一下如何在仿真测试平台进行灰度变更测试，从而保证变更的稳定性。

  
• 07.28 11:33:22
  发表了文章 2021-07-28 11:33:22

  云上资源编排的思与悟

  在传统软件架构下，撇开业务层代码，都需要部署计算节点、存储资源、网络资源，然后安装、配置操作系统等。而云服务本质上是实现 IT 架构软件化和 IT 平台智能化，通过软件的形式定义这些硬件资源，充分抽象并封装其操作接口，任何资源均可直接调用相关 API 完成创建、删除、修改、查询等操作。

  
• 07.27 11:26:42
  发表了文章 2021-07-27 11:26:42

  设计模式在业务系统中的应用

  本文的重点在于说明工作中所使用的设计模式，为了能够更好的理解设计模式，首先简单介绍一下业务场景。使用设计模式，可以简化代码、提高扩展性、可维护性和复用性。有哪些设计模式，这里就不再介绍了，网上很多，本文只介绍所用到设计模式。

  
• 07.23 17:30:59
  发表了文章 2021-07-23 17:30:59

  MySQL 8.0 Server层最新架构详解

  本文基于MySQL 8.0.25源码进行分析和总结。这里MySQL Server层指的是MySQL的优化器、执行器部分。我们对MySQL的理解还建立在5.6和5.7版本的理解之上，更多的是对比PostgreSQL或者传统数据库。然而从MySQL 8.0开始，持续每三个月的迭代和重构工作，使得MySQL Server层的整体架构有了质的飞越。下面来看下MySQL最新的架构。

  
• 07.22 17:01:47
  发表了文章 2021-07-22 17:01:47

  淘宝小部件：全新的开放卡片技术！

  淘宝的开放技术目前主要有两种形态，第一种是小程序，第二种是今天的主角小部件。它是基于小程序技术体系，面向标准化、轻量化、高性能的开放卡片场景。本文我们将通过技术设计策略、核心技术设施、业务场景接入、技术演进路线，这四个方面和大家分享它。

  
• 07.21 17:19:59
  发表了文章 2021-07-21 17:19:59

  iOS 端容器之 WKWebView 那些事

  本文主要是关于在端容器设计开发过程中，WKWebView 使用上遇到的一些问题和解决办法。

  
• 07.20 14:28:45
  发表了文章 2021-07-20 14:28:45

  谈谈C++新标准带来的属性（Attribute）

  从C++11开始，标准引入了一个新概念“属性(attribute)”，本文将简单介绍一下目前在C++标准中已经添加的各个属性以及常用属性的具体应用。