Linux下搭建数据分析平台 superset

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 安装环境:Cent os 7 软件:Anaconda3-4.4.0-Linux-x86_64.sh 汉化文件:messages.mo1.首先需要在linux下安装Anaconda, 直接在anaconda软件目录下使用 bash Anaconda3-4.4.0-Linux-x86_64.sh 安装。

安装环境:Cent os 7
软件:Anaconda3-4.4.0-Linux-x86_64.sh
汉化文件:messages.mo

1.首先需要在linux下安装Anaconda,
直接在anaconda软件目录下使用 bash Anaconda3-4.4.0-Linux-x86_64.sh 安装。
安装过程中需要输入‘y’,使得python环境变量被添加到系统中,
接下来还需要配置conda的环境变量。只需要在具体的系统环境变量中添加如下内容即可,具体路径根据实际情况调整。

export CONDA_HOME=“anconda的安装目录”
export PATH=$CONDA_HOME/bin:$PATH

2.修改Anaconda 的镜像文件
在安装Anaconda用户的家目录下创建 ‘.condarc’文件,并添加如下内容:

channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
show_channel_urls: true

3.使用pip安装superset之前需要在系统中添加如下依赖:

    a)  yum upgrade python-setuptools
    b)  yum install gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel libsasl2-devel openldap-devel

4.为了避免依赖冲突,创建superset的虚拟环境(因为之前conda环境变量已配好,所以可以直接使用如下命令)。

conda create -n superset python=3.4

5.进入superset环境,使用 source activate superset,(退出时使用source deactivate superset即可)
然后安装 pip 和setuptools最新版,命令如下:

pip install --upgrade setuptools pip

6.接下来使用pip安装superset,命令如下:

pip install superset

安装完成后进行如下设置,具体命令如下:

//创建一个admin 用户:

fabmanager create-admin --app superset

//初始化数据库

superset db upgrade

//加载一些使用的实例

superset load_examples

//创建默认的角色和初始化权限

superset init

//启动superset 的web server,端口号为8088,使用-p参数可以即时绑定当diy端口。

superset runserver

7.接下来,如果感兴趣可以实现界面的部分汉化:
(a)使用vim编辑器打开

    anaconda/envs/superset/lib/python3.4/site-packages/superset/目录下的config.py文件,需要改动的地方有两处:

1)找到Setup default language这一行,修改变量。BABEL_DEFAULT_LOCALE调整为‘zh',这样界面默认为中文。
2)将LANGUAGES字典中zh前面的注释#去掉。保存后退出。

(b)在anaconda/envs/superset/lib/python3.4/site-packages/superset/目录下执行如下命令

mkdir -p translations/zh/LC_MESSAGES

(c)进入刚创建的目录中执行如下命令即可:

wget 'https://github.com/apache/incubator-superset/blob/master/superset/translations/zh/LC_MESSAGES/messages.mo'

8.打开浏览器输入

http://ip:8088即可访问,输入6步骤中创建的用户名和密码即可进入。

9.一个小的测试:
点击数据源,(mysql数据源)
需要使用pip安装pymysql命令如下

pip install pymysql

,然后填写数据库相关信息,具体填充内容如下图示例所示。

这里写图片描述

 1)其中mysql是数据库类型,pymysql是驱动程序,表示用pymysql连接mysql数据库,+号不能省略
 2)bymain为mysql数据库的username, ‘:’后面是password,后面。localhost是数据库地址,因为我的是本地环境,所以localhost即可,也可以是127.0.0.1。3306是端口,一般默认这个。mahout是需要连接的数据库,也是我自己设的名字。后面带参数charset=utf8,表示编码,因为表里面有中文。
 3)点击测试,提示 seems ok表示连接成功!,然后点击保存即可。
 4)然后点击右上角的SQL工具箱,里面的SQL编辑器。左边选择数据库,表后,在右边既可以进行数据sql查询,如下所示。

这里写图片描述
接着选择对应维度后,就可以出BI报表图了。效果示例如下:

这里写图片描述

10.更多的功能需要大家去学习,例如kylin+superset, 数据源用redis等等。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2月前
|
数据挖掘 Linux 数据处理
Linux命令shuf详解:随机排序与数据分析的得力助手
`shuf`是Linux的命令行工具,用于随机排序和抽样数据。它能对文件或标准输入进行随机处理,适用于数据测试、播放列表和样本选择。主要参数包括:-e处理命令行输入,-i指定数字范围,-n选择行数,-o输出到文件,-r允许重复,-z用NULL分隔。结合其他命令使用能增强其功能。注意输出重定向和随机性的保证。是数据分析的有力助手。
|
9天前
|
Kubernetes 并行计算 数据挖掘
构建高可用的数据分析平台:Dask 集群管理与部署
【8月更文第29天】随着数据量的不断增长,传统的单机数据分析方法已无法满足大规模数据处理的需求。Dask 是一个灵活的并行计算库,它能够帮助开发者轻松地在多核 CPU 或分布式集群上运行 Python 代码。本文将详细介绍如何搭建和管理 Dask 集群,以确保数据分析流程的稳定性和可靠性。
33 3
|
25天前
|
安全 Linux 图形学
Linux平台Unity下RTMP|RTSP低延迟播放器技术实现
本文介绍了在国产操作系统及Linux平台上,利用Unity实现RTMP/RTSP直播播放的方法。通过设置原生播放模块的回调函数,可将解码后的YUV数据传递给Unity进行渲染,实现低延迟播放。此外,还提供了播放器启动、参数配置及停止的相关代码示例,并概述了如何在Unity中更新纹理以显示视频帧。随着国产操作系统的发展,此类跨平台直播解决方案的需求日益增长,为开发者提供了灵活高效的开发方式。
|
23天前
|
自然语言处理 数据挖掘 BI
ChatGPT 等相关大模型问题之将现有的数据分析平台与大模型结合如何解决
ChatGPT 等相关大模型问题之将现有的数据分析平台与大模型结合如何解决
|
25天前
|
编解码 算法 Linux
Linux平台下RTSP|RTMP播放器如何跟python交互投递RGB数据供视觉算法分析
在对接Linux平台的RTSP播放模块时,需将播放数据同时提供给Python进行视觉算法分析。技术实现上,可在播放时通过回调函数获取视频帧数据,并以RGB32格式输出。利用`SetVideoFrameCallBackV2`接口设定缩放后的视频帧回调,以满足算法所需的分辨率。回调函数中,每收到一帧数据即保存为bitmap文件。Python端只需读取指定文件夹中的bitmap文件,即可进行视频数据的分析处理。此方案简单有效,但应注意控制输出的bitmap文件数量以避免内存占用过高。
|
25天前
|
编解码 Linux 数据安全/隐私保护
Linux平台x86_64|aarch64架构如何实现轻量级RTSP服务
为满足在Linux平台(x86_64与aarch64架构)上实现轻量级RTSP服务的需求,我们开发了一套解决方案。该方案通过调用`start_rtsp_server()`函数启动RTSP服务,并设置端口号及认证信息。支持AAC音频和H.264视频编码,可推送纯音频、纯视频或音视频流。此外,还支持X11屏幕采集、部分V4L2摄像头采集、帧率/GOP/码率调整、摄像头设备选择与预览等功能。对于音频采集,支持alsa-lib和libpulse接口。整体设计旨在提供150-400ms的低延迟体验,适用于多种应用场景。
|
1月前
|
机器学习/深度学习 前端开发 数据挖掘
基于Python Django的房价数据分析平台,包括大屏和后台数据管理,有线性、向量机、梯度提升树、bp神经网络等模型
本文介绍了一个基于Python Django框架开发的房价数据分析平台,该平台集成了多种机器学习模型,包括线性回归、SVM、GBDT和BP神经网络,用于房价预测和市场分析,同时提供了前端大屏展示和后台数据管理功能。
|
25天前
|
编解码 Linux 开发工具
Linux平台x86_64(麒麟|统信UOS)|aarch64(飞腾)如何实现摄像头|屏幕和麦克风|扬声器采集推送RTMP服务或轻量级RTSP服务
国产化操作系统的发展,减少了外部依赖,更符合国家安全标准,并可提升自主研发能力,促进产业链发展,满足定制开发能力,减少了外部技术封锁的风险,提高了国际竞争力,推动了产业升级。目前大牛直播SDK针对Linux平台x86_64架构和aarch64架构的RTMP推送模块和轻量级RTSP服务模块
|
2月前
|
数据挖掘 大数据 Linux
探索Linux中的snice命令:一个虚构但启发性的数据分析工具
`snice`是一个想象中的Linux命令,用于低优先级地从大数据集中抽样数据。它结合`nice`和`sampling`,支持多种抽样策略,如随机和分层。参数包括指定样本数、策略、输入输出文件和进程优先级。示例:`snice -n 1000 -s random -i large_log.txt -o sample_log.txt`。使用时注意资源管理、数据完整性及权限,并与其它工具结合使用。虽然虚构,但体现了Linux工具在数据分析中的潜力。
|
2月前
|
存储 Java 数据挖掘
构建基于Spring Boot的数据分析平台
构建基于Spring Boot的数据分析平台

热门文章

最新文章

下一篇
DDNS