灵圣_个人页

2023年02月

• 02.23 14:04:47
  发表了文章 2023-02-23 14:04:47

  数据密集型系统的云原生架构与稳定性保障

  本文是参加QCon全球软件开发大会（2023·北京站）专题分享后的一些总结。参加此次大会的最大感受是疫情后的快速恢复，到现场的听众座无虚席，一些场次甚至出现无座。同时也学习了其他多个专题分享，总体感觉是整个大会专业度很高，无论是从专题分享的内容、还是Q&A环节的听众互动。

  

2022年08月

• 08.10 18:23:21
  发表了文章 2022-08-10 18:23:21

  数据基础设施：数据处理语言概览

  为了让数据能够发挥其价值，需要对其进行一系列处理：查询检索、计算与转换、统计与分析。 从使用者的角度来说，优秀数据处理引擎需要保证两个方面的优势：性能、易用性。在易用性方面一个趋势是从以前的传统的数据仓库可视化拖拖拽拽完成数据编排与处理，转变到现在云上数据平台更好的支持可编程方便开发者，可编程包括平台本身的API和数据处理过程的用户接口语言。在创造编程语言这件事情上，大家总是乐此不疲，在数据处理领域亦是如此，每个数据处理引擎出于特定场景易用性、生态集成等等原因，都会提供一种接口语言，统称为DSL（Domain Specific Language）。

  

2022年06月

• 06.06 20:24:12
  发表了文章 2022-06-06 20:24:12

  从50家值得关注的数据领域创业公司，简单解读“最新数据基础设施”

  一起学习a16z最近的几篇文章，了解最新数据领域的技术动态和分析其中所包含2020年至今的一些发展趋势。

  

2022年05月

• 05.29 23:10:28
  发表了文章 2022-05-29 23:10:28

  SLS数据加工2021年技术总结

  过去一年，SLS团队持续对数据加工服务进行了各方面迭代升级，本文总结了相关功能与技术上的进展。

  

2022年03月

• 03.23 12:15:23
  发表了文章 2022-03-23 12:15:23

  区块链数据探索：Bitcoin公链数据ETL

  Bitcoin 公链可以理解为是一个公共的数据库，里面存储的是Bitcoin发布至今的所有转账记录，并且任何人只要接入到其网络中都可以获取，并不需要任何交易、挖矿、持币等相关操作。 本文主要主题的是将原始的Bitcoin公链数据进行清洗规整，写入到阿里云SLS，然后做一些有趣的数据处理，比如实现简洁的区块链浏览器、数据分析、交易链路追踪等。

  
• 03.14 11:55:00
  发表了文章 2022-03-14 11:55:00

  阿里云 SLS 数据加工中使用 Python 数据编码

  数据编码在大数据处理的基础操作，本文讨论了 Python3 中的数据编码方案，以及在 SLS 数据加工中内置的数据编解码函数使用。

  

2021年12月

• 12.27 00:25:41
  发表了文章 2021-12-27 00:25:41

  SLS 数据加工“数据编码、解码”实践

  在数据的生命周期基本可以概括为生成、传输、计算、存储、展示这么几个流程，每个流程可能会重复执行。在这整周期中，为了便捷性、安全性、执行效率等各个方面的考量，我们会引入各种各样的编码方式，比如图片的JPEG格式、文本的UTF-8编码、访问网址参数需要URL编码等。

  

2021年11月

• 11.28 16:05:56
  发表了文章 2021-11-28 16:05:56

  PB级日志数据实时加工原理与实践

  本文是参加2021 K+全球软件研发行业创新峰会专题分享后的一些总结。同时也学习了其他多个专题分享，总体感觉是整个大会的分享专题覆盖面特别广，专业度都很高。此次专题分享我希望带给听众对于整个日志数据处理场景的现状、常规解决方案，以及带大家深入了解我们团队自研的数据加工服务的技术架构、核心技术难点等。另外就是数据加工的场景实践，以及对未来发展的简述。

  

2021年10月

• 10.08 14:17:30
  发表了文章 2021-10-08 14:17:30

  多模式日志数据流的实时加工与集散

  日志处理是一个极其繁琐的过程，究其原因是日志的边界情况特别多，而且可能随时在变。阿里云 SLS 数据加工服务是专门针对日志规整、富化、集散等处理场景。本文主要介绍在多模式混杂的日志集散场景下，如何快速使用 SLS 数据加工服务完成需求。

  

2021年03月

• 03.19 13:25:54
  发表了文章 2021-03-19 13:25:54

  【新发布】SLS数据加工增值内容服务

  【数据加工】是一个可托管、高可用、可扩展的数据处理服务，广泛适用于数据的规整、富化、分发、汇总、重建索引等场景。这里详细介绍如何通过数据加工实现数据的分发与汇总，从而实现统一存储管理或分类精细化查询分析，以及存储成本优化等目的。

2020年12月

• 12.11 19:41:22
  发表了文章 2020-12-11 19:41:22

  SLS【数据加工】实现数据汇总与分发

  【数据加工】是一个可托管、高可用、可扩展的数据处理服务，广泛适用于数据的规整、富化、分发、汇总、重建索引等场景。这里详细介绍如何通过数据加工实现数据的分发与汇总，从而实现统一存储管理或分类精细化查询分析，以及存储成本优化等目的。

  

2020年10月

• 10.28 10:24:28
  发表了文章 2020-10-28 10:24:28

  SLS 基于访问日志实现用户画像

  阿里云 SLS 是云上一站式大数据处理、分析平台，其目标是“让用户专注在数据价值上，把数据系统部署、运维、扩容的工作交给 SLS”

  

2020年09月

• 09.21 00:42:33
  发表了文章 2020-09-21 00:42:33

  SLS 数据加工 vs 自建 Logstash

  阿里云 SLS 是云上一站式大数据处理、分析平台。SLS 数据加工功能则是一个可托管、高可用、可扩展的数据处理服务，广泛适用于数据的规整、富化、分发、汇总、重建索引等场景。

  
• 09.17 23:56:15
  发表了文章 2020-09-17 23:56:15

  SLS【数据加工】调试手册

  SLS 数据加工提供了预览功能，以便用户可以在发布运行之前，对 DSL 脚本进行调试，保证 DSL 的正确性和完整性。数据加工提供了2种预览方式，快速预览和高级预览。

  

2020年08月

• 08.17 17:05:13
  发表了文章 2020-08-17 17:05:13

  SLS【数据加工】授权配置

  SLS【数据加工】功能已经广泛用于数据的内容规整、信息富化、分发和汇总、索引重建等业务场景。因为其免运维、易扩展的特性，使其成为目前 SLS 上数据处理的首选。我们使用数据加工的时候，需如何为其授权呢，这里就给大家纤细介绍。