云雷_个人页

2023年01月

• 01.17 17:54:08
  发表了文章 2023-01-17 17:54:08

  关系代数和SQL语法

  OLAP计算引擎是一架机器，而操作这架机器的是编程语言。使用者通过特定语言告诉计算引擎，需要读取哪些数据、以及需要进行什么样的计算。编程语言有很多种，任何人都可以设计出一门编程语言，然后设计对应的编译器做解析。SQL语言从发明出来到现在已经经历了近半个世纪，是什么让SQL持续的焕发青春呢？本文将介绍SQL的理论基础和各种高端玩法。

  

2022年08月

• 08.12 16:54:25
  发表了文章 2022-08-12 16:54:25

  Pandas+ SLS SQL：融合灵活性和高性能的数据透视

  Pandas是一个十分强大的python数据分析工具，也是各种数据建模的标准工具。Pandas擅长处理数字型数据和时间序列数据。Pandas的第一大优势在于，封装了一些复杂的代码实现过程，只需要调用接口就行了，避免了编写大量的代码。Pandas的第二大优势在于灵活性，可以实现自动化批量化处理复杂的逻辑，这些工作是Excel等工具是无法完成的。因而Pandas介于Excel和自主编写程序之间，兼具灵活性和简洁性的数据分析工具。

  

2022年05月

• 05.13 15:54:47
  发表了文章 2022-05-13 15:54:47

  数据洞察（2）：描述性数据分析在日志场景的落地

  随着互联网的极速发展，海量用户产生的海量日志，每天都在急剧膨胀。数据仓库就像一个个油井一样，我们都知道这里边有矿，但是怎么从矿里边挖出有价值的信息，一直是困扰矿主的最大问题。如果缺乏强大的分析工具，或者数据分析能力，积累再多的数据的数仓，都会变成数据坟墓：花了大力气采集过来数据，然后打包放到冷存仓库里边，一直没有任何访问，直到一天磁盘空间满了，把最老的数据清理掉。我们的决策，往往是依赖于个人的经验和直觉，而不是基于数据所呈现给我们的信息。而要从数据中挖掘出有用的信息辅助我们做决策，一方面需要强大的数据分析工具，一方面需要专业的数据分析经验。

2022年03月

• 03.01 11:16:05
  发表了文章 2022-03-01 11:16:05

  如何写出高性能的SQL Join: join实现和最佳实践

  Join是数据库和数仓中最常用的一个感念了。在关系型数据库的数据模型中，为了避免数据冗余存储，不同的数据往往放在不同的表中，分为事实表和维度表，这样做可以极大的节省数据存储空间。但是在分析数据时，则需要通过join把多表关联起来分析。可以说，做数据分析，绕不开的一个话题就是join。而join有多种类型，在使用上有不同的使用方式，而在实现上也有不同的实现方式。不同的使用方式和实现方式，则会造成性能上的天差地别。本文尝试由表及里梳理join的使用和内部实现方式，通过了解内部实现，了解如何写出一个高性能的join SQL。

  

2021年10月

• 10.21 20:12:27
  发表了文章 2021-10-21 20:12:27

  酷！在终端上使用命令行可视化分析日志

  运维工程师在通过日志调查问题时，或者通过日志搭建监控系统时，不仅需要查看原始的日志内容，还需要把日志经多深度加工分析，例如计算每分钟的延时，每分钟的流量等等监控。这些数字指标，如果能够通过可视化的手段直观的展示出来，会更直观、有效的理解监控数据。今天我们介绍一种比较简洁、也比较酷的可视化方式，就是在终端上直接通过命令行可视化分析日志。

  

2020年07月

• 07.09 19:22:49
  发表了文章 2020-07-09 19:22:49

  自定义分析云账单

  成本管家是基于SLS强大的存储引擎和计算引擎，提供对阿里账单的分析能力。针对客户常见的分账需求，费用优化需求，给出通用的解决方案。成本管家内置了对原始账单的查询，一些内置的通用报表，告警，和定时报告功能。内置的报表包括了账单的月度总览，明细报表，ECS,OSS,SLS等常见的产品定制报表。成本管家内置的报表满足了通用的场景。但是对于一些客户一些定制话的需求，成本管家通过SQL语言，可以自由的分析账单，功能上不逊于excel，而计算能力上远超excel。

  

2019年11月

• 11.25 11:01:59
  发表了文章 2019-11-25 11:01:59

  0元开通成本管家:自动导入、AI预测、精细化管理您的云成本

  云时代对账单分析的强烈需求 对于传统的IT运维，通常上线机器，首先需要预估需求，然后申请预算，再发起采购单，等待采购完成，到最终上线，整个流程已经横跨几个月，甚至到1年。 云时代的到来，云厂商巨大的资源池，保证任何客户任意时刻都有足够的资源使用。
• 11.04 14:31:19
  发表了文章 2019-11-04 14:31:19

  AI赋能DevOps：数据驱动的全栈工程师实践

  DevOps是什么？ 对于传统的软件研发而言，开发，测试，运维，运营，有不同的岗位进行分工协作，以保证质量和专业度，同一件事情，依赖不同岗位的排期、沟通、协调，效率难免会有打折。而对于互联网业务来说，快速的迭代，对人力的需求非常强烈，不大可能有足够的人力支撑这么多岗位。

2019年06月

• 06.24 20:22:00
  发表了文章 2019-06-24 20:22:00

  基于日志服务的GrowthHacking(1):数据埋点和采集(APP、Web、邮件、短信、二维码埋点技术)

  数据质量决定运营分析的质量 在上文中，我们介绍了GrowthHacking的整体架构，其中数据采集是整个数据分析的基础，只有有了数据，才能进行有价值的分析；只有高质量的数据，才能驱动高质量的运营分析.可以说,数据质量决定了运营质量。
• 06.24 11:11:27
  发表了文章 2019-06-24 11:11:27

  云上的Growth hacking之路，打造产品的增长引擎

  增长关乎产品的存亡 增长！增长！增长！业务增长是每一个创业者每天面临的最大问题。无论你的产品是APP，还是web，或者是小程序，只能不断的维持用户的增长，才能向资本市场讲出一个好故事，融资活下去。活到最后的产品，才有机会盈利。