Linux下搭建数据分析平台 superset

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 安装环境:Cent os 7 软件:Anaconda3-4.4.0-Linux-x86_64.sh 汉化文件:messages.mo1.首先需要在linux下安装Anaconda, 直接在anaconda软件目录下使用 bash Anaconda3-4.4.0-Linux-x86_64.sh 安装。

安装环境:Cent os 7
软件:Anaconda3-4.4.0-Linux-x86_64.sh
汉化文件:messages.mo

1.首先需要在linux下安装Anaconda,
直接在anaconda软件目录下使用 bash Anaconda3-4.4.0-Linux-x86_64.sh 安装。
安装过程中需要输入‘y’,使得python环境变量被添加到系统中,
接下来还需要配置conda的环境变量。只需要在具体的系统环境变量中添加如下内容即可,具体路径根据实际情况调整。

export CONDA_HOME=“anconda的安装目录”
export PATH=$CONDA_HOME/bin:$PATH

2.修改Anaconda 的镜像文件
在安装Anaconda用户的家目录下创建 ‘.condarc’文件,并添加如下内容:

channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
show_channel_urls: true

3.使用pip安装superset之前需要在系统中添加如下依赖:

    a)  yum upgrade python-setuptools
    b)  yum install gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel libsasl2-devel openldap-devel

4.为了避免依赖冲突,创建superset的虚拟环境(因为之前conda环境变量已配好,所以可以直接使用如下命令)。

conda create -n superset python=3.4

5.进入superset环境,使用 source activate superset,(退出时使用source deactivate superset即可)
然后安装 pip 和setuptools最新版,命令如下:

pip install --upgrade setuptools pip

6.接下来使用pip安装superset,命令如下:

pip install superset

安装完成后进行如下设置,具体命令如下:

//创建一个admin 用户:

fabmanager create-admin --app superset

//初始化数据库

superset db upgrade

//加载一些使用的实例

superset load_examples

//创建默认的角色和初始化权限

superset init

//启动superset 的web server,端口号为8088,使用-p参数可以即时绑定当diy端口。

superset runserver

7.接下来,如果感兴趣可以实现界面的部分汉化:
(a)使用vim编辑器打开

    anaconda/envs/superset/lib/python3.4/site-packages/superset/目录下的config.py文件,需要改动的地方有两处:

1)找到Setup default language这一行,修改变量。BABEL_DEFAULT_LOCALE调整为‘zh',这样界面默认为中文。
2)将LANGUAGES字典中zh前面的注释#去掉。保存后退出。

(b)在anaconda/envs/superset/lib/python3.4/site-packages/superset/目录下执行如下命令

mkdir -p translations/zh/LC_MESSAGES

(c)进入刚创建的目录中执行如下命令即可:

wget 'https://github.com/apache/incubator-superset/blob/master/superset/translations/zh/LC_MESSAGES/messages.mo'

8.打开浏览器输入

http://ip:8088即可访问,输入6步骤中创建的用户名和密码即可进入。

9.一个小的测试:
点击数据源,(mysql数据源)
需要使用pip安装pymysql命令如下

pip install pymysql

,然后填写数据库相关信息,具体填充内容如下图示例所示。

这里写图片描述

 1)其中mysql是数据库类型,pymysql是驱动程序,表示用pymysql连接mysql数据库,+号不能省略
 2)bymain为mysql数据库的username, ‘:’后面是password,后面。localhost是数据库地址,因为我的是本地环境,所以localhost即可,也可以是127.0.0.1。3306是端口,一般默认这个。mahout是需要连接的数据库,也是我自己设的名字。后面带参数charset=utf8,表示编码,因为表里面有中文。
 3)点击测试,提示 seems ok表示连接成功!,然后点击保存即可。
 4)然后点击右上角的SQL工具箱,里面的SQL编辑器。左边选择数据库,表后,在右边既可以进行数据sql查询,如下所示。

这里写图片描述
接着选择对应维度后,就可以出BI报表图了。效果示例如下:

这里写图片描述

10.更多的功能需要大家去学习,例如kylin+superset, 数据源用redis等等。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
4月前
|
数据挖掘 Linux 数据处理
Linux命令shuf详解:随机排序与数据分析的得力助手
`shuf`是Linux的命令行工具,用于随机排序和抽样数据。它能对文件或标准输入进行随机处理,适用于数据测试、播放列表和样本选择。主要参数包括:-e处理命令行输入,-i指定数字范围,-n选择行数,-o输出到文件,-r允许重复,-z用NULL分隔。结合其他命令使用能增强其功能。注意输出重定向和随机性的保证。是数据分析的有力助手。
|
12天前
|
SQL 存储 数据挖掘
快速入门:利用AnalyticDB构建实时数据分析平台
【10月更文挑战第22天】在大数据时代,实时数据分析成为了企业和开发者们关注的焦点。传统的数据仓库和分析工具往往无法满足实时性要求,而AnalyticDB(ADB)作为阿里巴巴推出的一款实时数据仓库服务,凭借其强大的实时处理能力和易用性,成为了众多企业的首选。作为一名数据分析师,我将在本文中分享如何快速入门AnalyticDB,帮助初学者在短时间内掌握使用AnalyticDB进行简单数据分析的能力。
23 2
|
23天前
|
NoSQL Ubuntu Linux
Linux平台安装MongoDB
10月更文挑战第11天
26 5
|
21天前
|
Linux API 开发工具
FFmpeg开发笔记(五十九)Linux编译ijkplayer的Android平台so库
ijkplayer是由B站研发的移动端播放器,基于FFmpeg 3.4,支持Android和iOS。其源码托管于GitHub,截至2024年9月15日,获得了3.24万星标和0.81万分支,尽管已停止更新6年。本文档介绍了如何在Linux环境下编译ijkplayer的so库,以便在较新的开发环境中使用。首先需安装编译工具并调整/tmp分区大小,接着下载并安装Android SDK和NDK,最后下载ijkplayer源码并编译。详细步骤包括环境准备、工具安装及库编译等。更多FFmpeg开发知识可参考相关书籍。
66 0
FFmpeg开发笔记(五十九)Linux编译ijkplayer的Android平台so库
|
2月前
|
编解码 Linux 开发工具
Linux平台x86_64|aarch64架构RTMP推送|轻量级RTSP服务模块集成说明
支持x64_64架构、aarch64架构(需要glibc-2.21及以上版本的Linux系统, 需要libX11.so.6, 需要GLib–2.0, 需安装 libstdc++.so.6.0.21、GLIBCXX_3.4.21、 CXXABI_1.3.9)。
|
3月前
|
Kubernetes 并行计算 数据挖掘
构建高可用的数据分析平台:Dask 集群管理与部署
【8月更文第29天】随着数据量的不断增长,传统的单机数据分析方法已无法满足大规模数据处理的需求。Dask 是一个灵活的并行计算库,它能够帮助开发者轻松地在多核 CPU 或分布式集群上运行 Python 代码。本文将详细介绍如何搭建和管理 Dask 集群,以确保数据分析流程的稳定性和可靠性。
209 3
|
3月前
|
安全 Linux 图形学
Linux平台Unity下RTMP|RTSP低延迟播放器技术实现
本文介绍了在国产操作系统及Linux平台上,利用Unity实现RTMP/RTSP直播播放的方法。通过设置原生播放模块的回调函数,可将解码后的YUV数据传递给Unity进行渲染,实现低延迟播放。此外,还提供了播放器启动、参数配置及停止的相关代码示例,并概述了如何在Unity中更新纹理以显示视频帧。随着国产操作系统的发展,此类跨平台直播解决方案的需求日益增长,为开发者提供了灵活高效的开发方式。
|
3月前
|
自然语言处理 数据挖掘 BI
ChatGPT 等相关大模型问题之将现有的数据分析平台与大模型结合如何解决
ChatGPT 等相关大模型问题之将现有的数据分析平台与大模型结合如何解决
|
3月前
|
编解码 算法 Linux
Linux平台下RTSP|RTMP播放器如何跟python交互投递RGB数据供视觉算法分析
在对接Linux平台的RTSP播放模块时,需将播放数据同时提供给Python进行视觉算法分析。技术实现上,可在播放时通过回调函数获取视频帧数据,并以RGB32格式输出。利用`SetVideoFrameCallBackV2`接口设定缩放后的视频帧回调,以满足算法所需的分辨率。回调函数中,每收到一帧数据即保存为bitmap文件。Python端只需读取指定文件夹中的bitmap文件,即可进行视频数据的分析处理。此方案简单有效,但应注意控制输出的bitmap文件数量以避免内存占用过高。
|
3月前
|
机器学习/深度学习 前端开发 数据挖掘
基于Python Django的房价数据分析平台,包括大屏和后台数据管理,有线性、向量机、梯度提升树、bp神经网络等模型
本文介绍了一个基于Python Django框架开发的房价数据分析平台,该平台集成了多种机器学习模型,包括线性回归、SVM、GBDT和BP神经网络,用于房价预测和市场分析,同时提供了前端大屏展示和后台数据管理功能。