Python大数据之PySpark(二)PySpark安装

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: Python大数据之PySpark(二)PySpark安装

PySpark安装

  • 1-明确PyPi库,Python Package Index 所有的Python包都从这里下载,包括pyspark

  • 2-为什么PySpark逐渐成为主流?
  • http://spark.apache.org/releases/spark-release-3-0-0.html
  • Python is now the most widely used language on Spark. PySpark has more than 5 million monthly downloads on PyPI, the Python Package Index.
  • 记住如果安装特定的版本需要使用指定版本,pip install pyspark2.4.5
  • 本地安装使用pip install pyspark 默认安装最新版

PySpark Vs Spark

Python作为Spark的主流开发语言

PySpark安装

1-如何安装PySpark?

  • 首先安装anconda,基于anaconda安装pyspark
  • anaconda是数据科学环境,如果安装了anaconda不需要安装python了,已经集成了180多个数据科学工具
  • 注意:anaconda类似于cdh,可以解决安装包的版本依赖的问题

Linux的Anaconda安装

2-如何安装anconda?

  • 去anaconda的官网下载linux系统需要文件 Anaconda3-2021.05-Linux-x86_64.sh
  • 上传到linux中,执行安装sh Anaconda3-2021.05-Linux-x86_64.sh或bash Anaconda3-2021.05-Linux-x86_64.sh
  • 直接Enter下一步到底,完成
  • 配置环境变量,参考课件

3-Anaconda有很多软件

  • IPython 交互式Python,比原生的Python在代码补全,关键词高亮方面都有明显优势
  • jupyter notebook:以Web应用启动的交互式编写代码交互式平台(web平台)
  • 180多个工具包
  • conda和pip什么区别?
  • conda和pip都是安装python package
  • conda list可以展示出package的版本信息
  • conda 可以创建独立的沙箱环境,避免版本冲突,能够做到环境独立
  • conda create -n pyspark_env python==3.8.8

4-Anaconda中可以利用conda构建虚拟环境

  • 这里提供了多种方式安装pyspark
  • (掌握)第一种:直接安装 pip install pyspark
  • (掌握)第二种:使用虚拟环境安装pyspark_env中安装,pip install pyspark
  • 第三种:在PyPi上下载下来对应包执行安装

5-如何查看conda创建的虚拟环境?

  • conda env list
  • conda create -n pyspark_env python==3.8.8
  • pip install pyspark

PySpark安装

  • 1-使用base的环境安装
  • 2-使用pyspark_env方式安装
  • 查看启动结果

  • 简单的代码演示

  • 在虚拟环境下的补充

  • webui

  • 注意:
  • 1-1个Spark的Applicaition下面有很多Job
  • 2-1个Job下面有很多Stage

Jupyter环境设置

监控页面

  • 4040的端口

运行圆周率

  • 回顾Hadoop中可以使用
  • hadoop jar xxxx.jar 100
  • yarn jar xxxx.jar 1000
  • 跑的mr的任务
  • Spark中也有对应的提交任务的代码
  • spark-submit 提交圆周率的计算代码 */examples/src/main/python/pi.py*
  • 提交的命令:

         

bin/spark-submit --master local[2] /export/server/spark/examples/src/main/python/pi.py 10

或者

# 基于蒙特卡洛方法求解的Pi,需要参数10,或100代表的次数
bin/spark-submit \
--master local[2] \
/export/server/spark/examples/src/main/python/pi.py  \
10


  • 蒙特卡洛方法求解PI

  • 采用的扔飞镖的方法,在极限的情况下,可以用落入到圆内的次数除以落入正方形内的次数
  • hadoop jar /export/server/hadoop-3.3.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar pi 10 10
  • hadoop提交任务中使用 第一个10代表是map任务,第二10代表每个map任务投掷的次数
  • spark-submit的提交的参数10的含义是投掷的次数
  • 简单的py代码
def pi(times): # times的意思是落入到正方形的次数
x_time = 0
for i in range(times):
# 有多少落入到圆内
x = random.random()
y = random.random()
if x * x + y * y <= 1:
x_time += 1
return x_time / times * 4.0
print(pi(10000000))#3.1410412


环境搭建-Standalone

  • 完成了Spark的local环境搭建
  • 完成了Spark的PySpark的local环境搭建
  • 基于PySpark完成spark-submit的任务提交

Standalone 架构

  • 如果修改配置,如何修改?
  • 1-设定谁是主节点,谁是从节点
  • node1是主节点,node1,node2,node3是从节点
  • 2-需要在配置文件中声明,
  • 那个节点是主节点,主节点的主机名和端口号(通信)
  • 那个节点是从节点,从节点的主机名和端口号
  • 3-现象:进入到spark-shell中或pyspark中,会开启4040的端口webui展示,但是一旦交互式命令行退出了,wenui无法访问了,需要具备Spark的历史日志服务器可以查看历史提交的任务

角色分析

Master角色,管理节点, 启动一个名为Master的进程, *Master进程有且仅有1个*(HA模式除外)

Worker角色, 干活节点,启动一个名为 Worker的进程., Worker进程****最少1个, 最多不限制****

Master进程负责资源的管理, 并在有程序运行时, 为当前程序创建管理者Driver

Driver:驱动器,使用SparkCOntext申请资源的称之为Driver,告诉任务需要多少cpu或内存

Worker进程负责干活, 向Master汇报状态, 并听从程序Driver的安排,创建Executor干活

在Worker中有Executor,Executor真正执行干活

集群规划

谁是Master 谁是Worker

node1:master/worker

node2:slave/worker

node3:slave/worker

为每台机器安装Python3

安装过程

  • 1-配置文件概述
  • spark-env.sh 配置主节点和从节点和历史日志服务器
  • workers 从节点列表
  • spark-default.conf spark框架启动默认的配置,这里可以将历史日志服务器是否开启,是否有压缩等写入该配置文件
  • 2-安装过程
  • 2-1 修改workers的从节点配置文件
  • 2-2 修改spark-env.sh配置文件
  • hdfs dfs -mkdir -p /sparklog/
  • 2-3 修改spark-default.conf配置文件
  • 2-4 配置日志显示级别(省略)

测试


  • WebUi

  • (1)Spark-shell
  • bin/spark-shell --master spark://node1:7077

  • (2)pyspark
  • 前提:需要在三台机器上都需要安装Anaconda,并且安装PySpark3.1.2的包
  • 步骤:
  • 如果使用crt上传文件一般使用rz命令,yum install -y lrzsz
  • 1-在3台虚拟机上准备anconda
  • 2-安装anaconda,sh anaconda.sh
  • 3-安装pyspark,这里注意环境变量不一定配置,直接进去文件夹也可以
  • 4-测试
  • 调用:bin/pyspark --master spark://node1:7077


  • (3)spark-submit

• 1
• 1
#基于Standalone的脚本
#driver申请作业的资源,会向--master集群资源管理器申请
#执行计算的过程在worker中,一个worker有很多executor(进程),一个executor下面有很多task(线程)
bin/spark-submit \
--master spark://node1:7077 \
--driver-memory 512m \
--executor-memory 512m \
--conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3" \
--conf "spark.pyspark.python=/root/anaconda3/bin/python3" \
/export/server/spark/examples/src/main/python/pi.py  \
10
* 完毕

         

         

Spark 应用架构

  • 两个基础driver和executor

  • 用户程序从最开始的提交到最终的计算执行,需要经历以下几个阶段:

1)、用户程序创建 SparkContext 时,新创建的 SparkContext 实例会连接到 ClusterManager。 Cluster Manager 会根据用户提交时设置的 CPU 和内存等信息为本次提交分配计算资源,启动 Executor。

2)、Driver会将用户程序划分为不同的执行阶段Stage,每个执行阶段Stage由一组完全相同Task组成,这些Task分别作用于待处理数据的不同分区。在阶段划分完成和Task创建后, Driver会向Executor发送 Task;

3)、Executor在接收到Task后,会下载Task的运行时依赖,在准备好Task的执行环境后,会开始执行Task,并且将Task的运行状态汇报给Driver;

4)、Driver会根据收到的Task的运行状态来处理不同的状态更新。 Task分为两种:一种是Shuffle Map Task,它实现数据的重新洗牌,洗牌的结果保存到Executor 所在节点的文件系统中;另外一种是Result Task,它负责生成结果数据;

5)、Driver 会不断地调用Task,将Task发送到Executor执行,在所有的Task 都正确执行或者超过执行次数的限制仍然没有执行成功时停止;

环境搭建StandaloneHA

  • 回顾:Spark的Standalone独立部署模式,采用Master和Worker结构进行申请资源和执行计算
  • 问题:如果Master出问题了,整个Spark集群无法工作,如何处理?
  • 解决:涉及主备,需要一个主节点,需要一个备用节点,通过ZK选举,如果主节点宕机备份节点可以接替上主节点继续执行计算

高可用HA

  • 架构图

基于Zookeeper实现HA

  • 如何实现HA的配置?
  • 1-需要修改spark-env.sh中的master的ip或host,注释掉,因为依靠zk来选择
  • 2-开启zk,zkServer.sh status
  • 3-需要在原来的基础上启动node2的master的命令 start-master.sh
  • 4-重启Spark的Standalone集群,然后执行任务
  • sbin/stop-all.sh
  • sbin/start-all.sh
  • webUI

测试运行

spark-shell

pyspark

  • bin/pyspark --master spark://node1:7077,node2:7077

spark-submit

#基于StandaloneHA的脚本

bin/spark-submit

–master spark://node1:7077,node2:7077

–conf “spark.pyspark.driver.python=/root/anaconda3/bin/python3”

–conf “spark.pyspark.python=/root/anaconda3/bin/python3”

/export/server/spark/examples/src/main/python/pi.py

10

  • 测试:目前node1是主节点,node2是standby备用主节点,这时候将node1 的master进程干掉,然后看node2的master是否能够接替node1的master的作用,成为active的master


  • 如果一个master节点宕机另外一个master启动需要1-2分钟
  • 完毕
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
目录
相关文章
|
1月前
|
PyTorch Linux 算法框架/工具
pytorch学习一:Anaconda下载、安装、配置环境变量。anaconda创建多版本python环境。安装 pytorch。
这篇文章是关于如何使用Anaconda进行Python环境管理,包括下载、安装、配置环境变量、创建多版本Python环境、安装PyTorch以及使用Jupyter Notebook的详细指南。
253 1
pytorch学习一:Anaconda下载、安装、配置环境变量。anaconda创建多版本python环境。安装 pytorch。
|
1月前
|
XML 数据格式 Python
Python实用记录(五):labelImg安装和使用-----看这篇就够了!
这篇文章介绍了在Windows 10系统中使用Anaconda3安装labelImg工具的方法,包括通过pip安装相关包和从GitHub下载配置,以及一些使用技巧,如修改预定义类别和自动保存功能。
181 3
|
1月前
|
网络协议 Java Linux
PyAV学习笔记(一):PyAV简介、安装、基础操作、python获取RTSP(海康)的各种时间戳(rtp、dts、pts)
本文介绍了PyAV库,它是FFmpeg的Python绑定,提供了底层库的全部功能和控制。文章详细讲解了PyAV的安装过程,包括在Windows、Linux和ARM平台上的安装步骤,以及安装中可能遇到的错误和解决方法。此外,还解释了时间戳的概念,包括RTP、NTP、PTS和DTS,并提供了Python代码示例,展示如何获取RTSP流中的各种时间戳。最后,文章还提供了一些附录,包括Python通过NTP同步获取时间的方法和使用PyAV访问网络视频流的技巧。
191 4
PyAV学习笔记(一):PyAV简介、安装、基础操作、python获取RTSP(海康)的各种时间戳(rtp、dts、pts)
|
8天前
|
并行计算 数据挖掘 大数据
Python数据分析实战:利用Pandas处理大数据集
Python数据分析实战:利用Pandas处理大数据集
|
1月前
|
Python
Python 三方库下载安装
Python 三方库下载安装
28 1
|
1月前
|
机器学习/深度学习 缓存 PyTorch
pytorch学习一(扩展篇):miniconda下载、安装、配置环境变量。miniconda创建多版本python环境。整理常用命令(亲测ok)
这篇文章是关于如何下载、安装和配置Miniconda,以及如何使用Miniconda创建和管理Python环境的详细指南。
355 0
pytorch学习一(扩展篇):miniconda下载、安装、配置环境变量。miniconda创建多版本python环境。整理常用命令(亲测ok)
|
1月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
55 1
|
1月前
|
Python
【python从入门到精通】-- 第一战:安装python
【python从入门到精通】-- 第一战:安装python
49 0
|
6月前
|
机器学习/深度学习 人工智能 大数据
AI时代Python金融大数据分析实战:ChatGPT让金融大数据分析插上翅膀
AI时代Python金融大数据分析实战:ChatGPT让金融大数据分析插上翅膀
322 6
|
Web App开发 SQL Python
书籍:Python金融大数据分析 Python for Finance_ Mastering Data-Driven Finance 2nd - 2019.pdf
简介 金融业最近以极高的速度采用了Python,一些最大的投资银行和对冲基金使用它来构建核心交易和风险管理系统。 针对Python 3进行了更新,本手册的第二版帮助您开始使用该语言,指导开发人员和定量分析师通过Python库和工具构建财务应用程序和交互式财务分析。