Spark修炼之道(基础篇)——Linux大数据开发基础:第三节:用户和组

简介: 本节主要内容理解用户和组的概念用户管理组管理权限分配1. 理解用户和组的概念在第一讲中我们提到,linux是一种多任务、多用户的操作系统,在讲ls -l命令行我们看到如下文件详细信息:root@ubuntu:/home/xtwy# ls -ltotal 48drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31

本节主要内容

  1. 理解用户和组的概念
  2. 用户管理
  3. 组管理
  4. 权限分配

1. 理解用户和组的概念

在第一讲中我们提到,linux是一种多任务、多用户的操作系统,在讲ls -l命令行我们看到如下文件详细信息:

root@ubuntu:/home/xtwy# ls -l
total 48
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Desktop
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Documents
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Downloads
-rw-r--r-- 1 xtwy xtwy  179 2015-08-20 21:53 examples.desktop
-rw-r--r-- 1 root root   30 2015-08-22 17:28 hello1.txt
-rw-r--r-- 1 root root   48 2015-08-22 17:29 hello.txt
drwxr-xr-x 3 root root 4096 2015-08-22 16:51 literature
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Music
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Pictures
drwxr-xr-x 3 xtwy xtwy 4096 2015-08-22 15:52 Public
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Templates
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Videos

这其中便涉及到用户和组的权限问题,在讲这部分内容之前呢,先来理解一下用户和组的概念

在Linux中,用户是能够获取系统资源的权限的集合,组是权限的容器。

Linux用户类型

部分内容来源于:http://www.2cto.com/os/201404/293172.html

用户类型 描述
管理员 root 具有使用系统所有权限的用户,其UID 为0
普通用户 即一般用户,其使用系统的权限受限,其UID为500-60000之间.
系统用户 保障系统运行的用户,一般不提供密码登录系统,其UID为1-499之间

与Linux用户信息相关的文件有两个,分别是/etc/passwd, /etc/shadow
/etc/passwd文件内容如下:

root@ubuntu:/home/xtwy# more /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:2:2:bin:/bin:/bin/sh
........................
xtwy:x:1000:1000:Ubuntu-10.04,,,:/home/xtwy:/bin/bash

/etc/passwd文件内容格式为:

account:password:UID:GID:GECOS:diretory:shell

account: 用户名或帐号
password :用户密码占位符
UID:用户的ID号
GID:用户所在组的ID号
GECOS:用户的详细信息(如姓名,年龄,电话等)
diretory:用户所的主目录
shell:用户所在的编程环境

/etc/shadow文件内容格式为:

root:$1$.TZS2yur$uQ3.5XLbdEhLkak9HKqZx/:16042:0:99999:7:空白:空白:空白
 1           2                            3   4   5   6  7    8   9
 |           |                            |   |   |   |  |    |   |--保留字段,目前为空
 |           |                            |   |   |   |  |    |--用户过期日期(单位/天),此字段指定了用户作废的天数(从1970年的1月1日至今天数)
 |           |                            |   |   |   |  |--在口令过期之后多少天禁用此用户
 |           |                            |   |   |   |--提前多少天警告用户口令将过期
 |           |                            |   |   |--两次修改口令间隔最多的天数
 |           |                            |   |--两次修改口令间隔最少的天数
 |           |                            |--上次修改密码的时间(单位/天),自1970年01月01日至今天数
 |           |--用户密码(对应/etc/passwd文件内的密码占位符),如果密码添加“!!”表示禁用该用户
 |--用户名(对应/etc/passwd文件内的用户名)
 注:其中字段4、5、6、7、8的值为空时,账号可永久使用

Linux用户组类型

用户组类型 描述
普通用户组 可以加入多个用户
系统组 一般加入一些系统用户
私有组(也称基本组) 当创建用户时,如果没有为其指明所属组,则就为其定义一个私有的用户组,起名称与用户名同名,当把其他用户加入到该组中,则其就变成了普通组

前面我提到,组是权限的容器,如普通用户 user1,user2, user3所属组group,则它们会继承组group的权限,与group相关的文件包括/etc/group /etc/gshadow

下面给出的是/etc/group文件内容及格式含义

root:x:0:root
 |   | |  |--额外组(可以多个用“,”隔开)
 |   | |--组ID(GID)
 |   |--组密码占位符
 |--组名

下面给出的是/etc/gshadow文件内容及格式含义

root:空白:空白:root
 |    |    |    |--以逗号分隔的小组成员
 |    |    |--以逗号分隔的组管理员
 |    |--加密的密码
 |--组名

2. 用户管理

Linux中的用户管理主要涉及到用户账号的添加、删除和修改。所有操作都影响/etc/passwd中的文件内容

(1)添加用户 useradd

useradd [options] username
options:
    1.-u :UID
    2.-g :GID
    3.-d :指定用户家目录,默认是/home/username
    4.-s :指定用户所在的shell环境
    5.-G:指定用户的附加组

例子:
root@ubuntu:/home/xtwy# useradd -u 1988 -g 1000 john
root@ubuntu:/home/xtwy# tail -1 /etc/passwd
john:x:1988:1000::/home/john:/bin/sh
添加完成后可以采用下列命令进行用户john密码的修改
xtwy@ubuntu:~$ sudo passwd john
[sudo] password for xtwy: 
Enter new UNIX password: 
Retype new UNIX password: 
passwd: password updated successfully

注销用户,重新到登录界面时,便会出现john用户的登录选项
这里写图片描述

(2)修改用户 usermod

usermod  [options] username
options:
    1.-u :UID
    2.-g :GID
    3-d :指定用户家目录,默认是/home/username
            -m 与-b 一起用表示把用户家目录的内容也移走
    4-s :指定用户所在的shell环境
    5.-G:指定用户的附加组
 使用示例:
 //将前面的/bin/sh,改/bin/bash
 root@ubuntu:/home/john# usermod -s /bin/bash john

(3)删除用户 userdel

删除用户时,用户不能处于登录状态:

userdel   [options]username
 options
 1.-r :连同主目录一起删除

使用示例:
root@ubuntu:/home/xtwy# userdel -r john
root@ubuntu:/home/xtwy# cd ..
root@ubuntu:/home# ls

3. 组管理

前面我们知道,组是权限的集合。在linux系统中,每个用户都有一个用户组,没有指定时都默认为私有组,私有组名同用户名一致,建立用户组的好处是系统能对一个用户组中的所有用户的操作权限进行集中管理。组管理涉及组的添加、删除和修改。组的增加、删除和修改实际上就对/etc/group文件的更新。

(1)新增用户组

groupadd [options] 用户组名
options:
 1 -g GID:指定新用户组的组标识号(GID)。

使用示例:
//创建用户组前的/etc/group文件内容
oot@ubuntu:/home# tail /etc/group
.....................
xtwy:x:1000:
sambashare:x:122:xtwy
//使用默认增加用户组
root@ubuntu:/home# groupadd john
//添加用户组后得到的/etc/group文件内容
//可以看到默认用户组gid是自增长的
root@ubuntu:/home# tail /etc/group
.................
xtwy:x:1000:
sambashare:x:122:xtwy
john:x:1001:
//指定gid
root@ubuntu:/home# groupadd -g 1011 john1
root@ubuntu:/home# tail /etc/group
................
john:x:1001:
john1:x:1011:

(2)修改用户组

groupmod [options] 用户组名
options:
 1 -g GID: 为用户组指定新的组标识号。
 2 -n : 将用户组的名字改为新名字

使用示例:
root@ubuntu:/home# groupmod -g 1002 -n john2 john1
root@ubuntu:/home# tail /etc/group
.....................
john:x:1001:
john2:x:1002:

(3)删除用户组

groupdel 用户组名

使用示例:
root@ubuntu:/home# groupdel john2
root@ubuntu:/home# tail /etc/group
....................
xtwy:x:1000:
sambashare:x:122:xtwy
john:x:1001:

4. 权限分配 ##

(1)权限说明

在本节第一节,我们提到ls -l命令显示的文件或目录详细信息具有如下格式

root@ubuntu:/home/xtwy# ls -l
total 48
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Desktop
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Documents
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Downloads
-rw-r--r-- 1 xtwy xtwy  179 2015-08-20 21:53 examples.desktop
-rw-r--r-- 1 root root   30 2015-08-22 17:28 hello1.txt
-rw-r--r-- 1 root root   48 2015-08-22 17:29 hello.txt
drwxr-xr-x 3 root root 4096 2015-08-22 16:51 literature

现在我们对ls -l显示的内容进行分解,首先来看前半部分
这里写图片描述
首先是文件类型,-表示文本文件,d表示目录,除此之外还有下列几种文件(不常见):

code File Type
- Standard file
d Standard directory
l Symbolic link (a shortcut to another file)
s Socket (a file designed to send and receive data over a network)
c Character device (a hardware device driver, usually found in /dev)
b Block device (a hardware device driver, usually found in /dev)

后面紧跟着的是用户权限、组权限及其它权限,其中r表示读权限,w表示写权限,x表示可执行权限,

再后面的数字表示的是链接数,这个放到下一节中介绍
紧接着是文件或目录的所属者,所属用户组,文件大小(字节数),文件最后访问时间,文件名。

下面具体说明:

//hello1.txt是一个普通文件
//root用户具有读写权限,但不能执行
//用户组root具有读权限,无写和执行权限
//其它用户只有读权限,无写和执行权限
-rw-r--r-- 1 root root   30 2015-08-22 17:28 hello1.txt

//下面的代码演示了前面的内容
xtwy@ubuntu:~$ ls
Desktop    Downloads         hello1.txt  literature  Pictures  Templates
Documents  examples.desktop  hello.txt   Music       Public    Videos
xtwy@ubuntu:~$ more hello1.txt
hello linux
hello linux linux
xtwy@ubuntu:~$ echo "test permission" >> hello1.txt
bash: hello1.txt: Permission denied
//Desktop是一个目录
//用户xtwy具有读写和执行权限,这里面的执行权限x表示可以访问目录
//用用组xtwy具有读和执行权限,无写权限
//其它用户具有读和执行权限,无写权限
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Desktop

(2)修改文件或目录权限

1 增加权限

//chmod命令,a表示所有,包括用户、组及其它用户都有增加写权限
root@ubuntu:/home/xtwy# chmod a+w hello1.txt
root@ubuntu:/home/xtwy# ls -l
total 48
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Desktop
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Documents
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Downloads
-rw-r--r-- 1 xtwy xtwy  179 2015-08-20 21:53 examples.desktop
-rw-rw-rw- 1 root root   30 2015-08-22 17:28 hello1.txt
-rw-r--r-- 1 root root   48 2015-08-22 17:29 hello.txt
drwxr-xr-x 3 root root 4096 2015-08-22 16:51 literature
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Music
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Pictures
drwxr-xr-x 3 xtwy xtwy 4096 2015-08-22 15:52 Public
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Templates
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Videos

2 减小权限

//减小权限,用减号表示
root@ubuntu:/home/xtwy# chmod a-w hello1.txt
root@ubuntu:/home/xtwy# ls -l
total 48
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Desktop
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Documents
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Downloads
-rw-r--r-- 1 xtwy xtwy  179 2015-08-20 21:53 examples.desktop
-r--r--r-- 1 root root   30 2015-08-22 17:28 hello1.txt
-rw-r--r-- 1 root root   48 2015-08-22 17:29 hello.txt
drwxr-xr-x 3 root root 4096 2015-08-22 16:51 literature
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Music
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Pictures
drwxr-xr-x 3 xtwy xtwy 4096 2015-08-22 15:52 Public
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Templates
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Videos

3 给当前用户增加权限

//不加all表示作用于当前用户
root@ubuntu:/home/xtwy# chmod +w hello1.txt
root@ubuntu:/home/xtwy# ls -l
total 48
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Desktop
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Documents
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Downloads
-rw-r--r-- 1 xtwy xtwy  179 2015-08-20 21:53 examples.desktop
-rw-r--r-- 1 root root   30 2015-08-22 17:28 hello1.txt
-rw-r--r-- 1 root root   48 2015-08-22 17:29 hello.txt
drwxr-xr-x 3 root root 4096 2015-08-22 16:51 literature
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Music
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Pictures
drwxr-xr-x 3 xtwy xtwy 4096 2015-08-22 15:52 Public
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Templates
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Videos

4 灵活设置权限,采用数字方式

读、写、运行三项权限可以用数字表示,就是r=4,w=2,x=1

//用户具有读写权限
//用户组和其它用户具有执行权限,无读写权限
root@ubuntu:/home/xtwy# chmod 611 hello1.txt
root@ubuntu:/home/xtwy# ls -l
total 48
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Desktop
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Documents
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Downloads
-rw-r--r-- 1 xtwy xtwy  179 2015-08-20 21:53 examples.desktop
-rw---x--x 1 root root   30 2015-08-22 17:28 hello1.txt
-rw-r--r-- 1 root root   48 2015-08-22 17:29 hello.txt
drwxr-xr-x 3 root root 4096 2015-08-22 16:51 literature
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Music
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Pictures
drwxr-xr-x 3 xtwy xtwy 4096 2015-08-22 15:52 Public
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Templates
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Videos

5 改变用户 chown

将root拥有改xtwy用户拥有

-rw---x--x 1 root root   30 2015-08-22 17:28 hello1.txt
root@ubuntu:/home/xtwy# chown xtwy hello1.txt
-rw---x--x 1 xtwy root   30 2015-08-22 17:28 hello1.txt

//修改完成后可以对文件中的内容进行修改
root@ubuntu:/home/xtwy# su xtwy
xtwy@ubuntu:~$ echo "test permissions" >> hello1.txt

6 改变用户组 chgrp

-rw---x--x 1 xtwy root   30 2015-08-22 17:28 hello1.txt
xtwy@ubuntu:~$ chgrp xtwy hello1.txt
-rw---x--x 1 xtwy xtwy   47 2015-08-22 23:43 hello1.txt

添加公众微信号,可以了解更多最新Spark、Scala相关技术资讯
这里写图片描述

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
9月前
|
人工智能 分布式计算 大数据
大数据≠大样本:基于Spark的特征降维实战(提升10倍训练效率)
本文探讨了大数据场景下降维的核心问题与解决方案,重点分析了“维度灾难”对模型性能的影响及特征冗余的陷阱。通过数学证明与实际案例,揭示高维空间中样本稀疏性问题,并提出基于Spark的分布式降维技术选型与优化策略。文章详细展示了PCA在亿级用户画像中的应用,包括数据准备、核心实现与效果评估,同时深入探讨了协方差矩阵计算与特征值分解的并行优化方法。此外,还介绍了动态维度调整、非线性特征处理及降维与其他AI技术的协同效应,为生产环境提供了最佳实践指南。最终总结出降维的本质与工程实践原则,展望未来发展方向。
446 0
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成:Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代,能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统,ClickHouse 在大数据分析领域展现出了卓越的能力。然而,为了充分利用ClickHouse的优势,将其与现有的大数据处理框架(如Apache Spark和Apache Flink)进行集成变得尤为重要。本文将从我个人的角度出发,探讨如何通过这些技术的结合,实现对大规模数据的实时处理和分析。
1077 2
ClickHouse与大数据生态集成:Spark & Flink 实战
|
12月前
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
597 79
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
326 0
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
297 0
|
消息中间件 存储 分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
359 0
|
人工智能 DataWorks 大数据
大数据AI一体化开发再加速:DataWorks 支持GPU类型资源
大数据开发治理平台 DataWorks 的Serverless资源组支持GPU资源类型,以免运维、按需付费、弹性伸缩的Serverless架构,将大数据处理与AI开发能力无缝融合。面向大数据&AI协同开发场景,DataWorks提供了交互式开发和分析工具Notebook。开发者在创建个人开发环境时,可以选择GPU类型的资源作为Notebook运行环境,以支持进行高性能的计算工作。本教程将基于开源多模态大模型Qwen2-VL-2B-Instruct,介绍如何使用 DataWorks Notebook及LLaMA Factory训练框架完成文旅领域大模型的构建。
830 24
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
547 1
|
SQL 机器学习/深度学习 分布式计算
Spark快速上手:揭秘大数据处理的高效秘密,让你轻松应对海量数据
【10月更文挑战第25天】本文全面介绍了大数据处理框架 Spark,涵盖其基本概念、安装配置、编程模型及实际应用。Spark 是一个高效的分布式计算平台,支持批处理、实时流处理、SQL 查询和机器学习等任务。通过详细的技术综述和示例代码,帮助读者快速掌握 Spark 的核心技能。
625 6
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
644 2