数据分析是近年来非常热门的话题，在金融、电商、制造等很多行业里面都需要用到数据分析。数据分析的工具多种多样，比如有些同学会用Excel做数据分析，在银行里面可能用SAS软件做数据分析，还有通过Python或R等编程语言来做数据分析。

本文想向大家展示一下在PolarDB里如何用纯SQL做数据分析，下文提到的PolarDB特指PolarDB for PG。

SQL是一门非常强大的数据分析语言，它围绕着二维表数据结构，除了提供增删改查这些基础功能之外，还提供了非常完整的数据操作、数据查询和数据处理的功能。此外，在本文里也会向大家展示通过PolarDB的插件，可以实现用SQL做数据可视化展示。

本文不是专业的数据分析入门教程，所以不需要大家有数据分析的背景；并且为了方便演示，数据分析的过程也会简化；过程中还会介绍一些SQL的简单语法，所以不需要有太多的背景知识。

本文由三个部分组成：

1.首先介绍如何搭建PolarDB的数据分析环境，包括安装PolarDB和相关插件。

2.然后介绍简单的数据分析知识，并通过两个案例展示如何用SQL做数据分析，过程中会穿插一些SQ的基础知识。

3.最后总结本文涉及到的数据库相关的知识点。

环境搭建

我们就先来看一下怎么去搭建一个数据分析的环境。

（一）选择一款支持sixel图片格式的终端软件

我们最终是在命令行环境下，通过PSQL命令行来运行数据分析的SQL，以及做数据可视化的展示，因此需要终端软件能支持sixel这种图片格式。上图中罗列了几款常见操作系统中能支持显示图片的终端软件：

·如果用的是MacOS操作系统，推荐使用iTerm2；

·如果用的是Linux操作系统，可以使用xTerm；

·如果用的是Windows，可以试一下Mintty。

（二）安装PolarDB及插件

环境搭建的方法有两种，第一种是从源码开始一步一步的手工编译，选择这种方式的同学可以上图中的链接，分别去编译安装PolarDB和编译安装插件。第二种办法比较简单也比较推荐，如果电脑上面有安装Docker的话，可以直接使用预先编译好的Docker容器。

（三）测试运行

环境搭建好了之后，启动PSQL进入到运行SQL的环境。大家可以试一试运行上图的SQL：`select show_logo()`，如果能在屏幕上面看到PolarDB的logo图片，那就说明已经安装成功了。

数据分析简介

环境搭建好之后，我们就可以开始动手做数据分析了。一般情况下做数据分析要有很多的工作要做，整个过程比较繁琐并且冗长，但是我们可以大致把它分成以下四个步骤。

1.获取数据：把数据加载到数据分析工具里，即先获得要分析的数据，再将数据导入到工具中。这些待分析的数据可能是散落在互联网上，也可能是在某个文件里面，总而言之我们得先获得想要分析的数据。但是，刚拿到手的数据，格式通常是五花八门的，比如下载的网页格式通常是HTML，有些数据是XML格式，也有些是JSON格式，甚至还有一些数据格式是自定义的，不是通用的格式。为了能分析这些数据，得先把这些数据做格式转换，转换成方便处理的结构化格式（例如CSV、JSON等），然后导入到分析工具中。

2.处理数据：提取特征数据。在真实的工作场景中，除了数据格式不统一，数据的内容往往也参差不齐，很少能直接拿到一份干净又完整的数据。比如有些样本数据会缺失部分特征、有些数据是明显的异常数据。所以在开始分析之前，还需要对数据做进一步的处理，比如用默认值填充缺失的值、过滤掉明显重复的或者异常的数据，这个步骤一般也叫“特征工程”，需要耗费比较长的时间才能把数据整理好。

3.分析数据：有了干净整齐的数据，才能真正开始分析数据。到目前为止，数据分析的工作还是非常依赖人工的，需要大家根据自己的经验来观察数据。此时，通常会把数据以各种图表的形式展示出来，人工观察并总结一些特征，再根据这些特征选择复杂度合适的模型，然后开始训练并不断调优。

4.预测数据：最后，等模型训练出来后，就可以拿它来预测新的数据，然后根据结果不断优化和升级模型。看到这里大家可能会有个疑问，这好像是做机器学习的模型训练。没错，因为机器学习的本质其实就是通过数学建模来理解数据和分析数据，机器学习就是一种数据分析的方法。在后文的案例演示中，也会用到一些机器学习的算法，来帮助我们更好地理解和分析数据。

鸢尾花聚类分析案例

鸢尾花数据集是一个非常经典的数据集，通常是会用来做聚类或分类问题的入门数据。它包含150个样本，包括了三种鸢尾花，分别是山鸢尾、变色鸢尾和维吉尼亚鸢尾。每种花分别有50个样本，并且每个样本都包含花萼的长度与宽度，还有花瓣的长度与宽度，总共有四个特征，以及它属于哪种花。

如上图所示，第一个表格的第一行山鸢尾的花萼长度是5.1、花萼宽度是3.5、花瓣长度是1.4、花瓣宽度是0.2，这些信息我们拿到手之后，就可以基于它们去做一些分析，总结出这四个特征与鸢尾花品种的关系。

鸢尾花的数据大家可以在互联网上下载到，如果已经根据前面的安装指南成功安装了PolarDB以及相关插件，插件里面已经包含这份数据。

《PolarDB for PostgreSQL源码与应用实战》——PolarDB for PostgreSQL用SQL做数据分析（2） https://developer.aliyun.com/article/1232910?groupCode=polardbforpg