Spark修炼之道(基础篇)——Linux大数据开发基础:第三节:用户和组

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 本节主要内容理解用户和组的概念用户管理组管理权限分配1. 理解用户和组的概念在第一讲中我们提到,linux是一种多任务、多用户的操作系统,在讲ls -l命令行我们看到如下文件详细信息:root@ubuntu:/home/xtwy# ls -ltotal 48drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31

本节主要内容

  1. 理解用户和组的概念
  2. 用户管理
  3. 组管理
  4. 权限分配

1. 理解用户和组的概念

在第一讲中我们提到,linux是一种多任务、多用户的操作系统,在讲ls -l命令行我们看到如下文件详细信息:

root@ubuntu:/home/xtwy# ls -l
total 48
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Desktop
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Documents
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Downloads
-rw-r--r-- 1 xtwy xtwy  179 2015-08-20 21:53 examples.desktop
-rw-r--r-- 1 root root   30 2015-08-22 17:28 hello1.txt
-rw-r--r-- 1 root root   48 2015-08-22 17:29 hello.txt
drwxr-xr-x 3 root root 4096 2015-08-22 16:51 literature
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Music
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Pictures
drwxr-xr-x 3 xtwy xtwy 4096 2015-08-22 15:52 Public
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Templates
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Videos

这其中便涉及到用户和组的权限问题,在讲这部分内容之前呢,先来理解一下用户和组的概念

在Linux中,用户是能够获取系统资源的权限的集合,组是权限的容器。

Linux用户类型

部分内容来源于:http://www.2cto.com/os/201404/293172.html

用户类型 描述
管理员 root 具有使用系统所有权限的用户,其UID 为0
普通用户 即一般用户,其使用系统的权限受限,其UID为500-60000之间.
系统用户 保障系统运行的用户,一般不提供密码登录系统,其UID为1-499之间

与Linux用户信息相关的文件有两个,分别是/etc/passwd, /etc/shadow
/etc/passwd文件内容如下:

root@ubuntu:/home/xtwy# more /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:2:2:bin:/bin:/bin/sh
........................
xtwy:x:1000:1000:Ubuntu-10.04,,,:/home/xtwy:/bin/bash

/etc/passwd文件内容格式为:

account:password:UID:GID:GECOS:diretory:shell

account: 用户名或帐号
password :用户密码占位符
UID:用户的ID号
GID:用户所在组的ID号
GECOS:用户的详细信息(如姓名,年龄,电话等)
diretory:用户所的主目录
shell:用户所在的编程环境

/etc/shadow文件内容格式为:

root:$1$.TZS2yur$uQ3.5XLbdEhLkak9HKqZx/:16042:0:99999:7:空白:空白:空白
 1           2                            3   4   5   6  7    8   9
 |           |                            |   |   |   |  |    |   |--保留字段,目前为空
 |           |                            |   |   |   |  |    |--用户过期日期(单位/天),此字段指定了用户作废的天数(从1970年的1月1日至今天数)
 |           |                            |   |   |   |  |--在口令过期之后多少天禁用此用户
 |           |                            |   |   |   |--提前多少天警告用户口令将过期
 |           |                            |   |   |--两次修改口令间隔最多的天数
 |           |                            |   |--两次修改口令间隔最少的天数
 |           |                            |--上次修改密码的时间(单位/天),自1970年01月01日至今天数
 |           |--用户密码(对应/etc/passwd文件内的密码占位符),如果密码添加“!!”表示禁用该用户
 |--用户名(对应/etc/passwd文件内的用户名)
 注:其中字段4、5、6、7、8的值为空时,账号可永久使用

Linux用户组类型

用户组类型 描述
普通用户组 可以加入多个用户
系统组 一般加入一些系统用户
私有组(也称基本组) 当创建用户时,如果没有为其指明所属组,则就为其定义一个私有的用户组,起名称与用户名同名,当把其他用户加入到该组中,则其就变成了普通组

前面我提到,组是权限的容器,如普通用户 user1,user2, user3所属组group,则它们会继承组group的权限,与group相关的文件包括/etc/group /etc/gshadow

下面给出的是/etc/group文件内容及格式含义

root:x:0:root
 |   | |  |--额外组(可以多个用“,”隔开)
 |   | |--组ID(GID)
 |   |--组密码占位符
 |--组名

下面给出的是/etc/gshadow文件内容及格式含义

root:空白:空白:root
 |    |    |    |--以逗号分隔的小组成员
 |    |    |--以逗号分隔的组管理员
 |    |--加密的密码
 |--组名

2. 用户管理

Linux中的用户管理主要涉及到用户账号的添加、删除和修改。所有操作都影响/etc/passwd中的文件内容

(1)添加用户 useradd

useradd [options] username
options:
    1.-u :UID
    2.-g :GID
    3.-d :指定用户家目录,默认是/home/username
    4.-s :指定用户所在的shell环境
    5.-G:指定用户的附加组

例子:
root@ubuntu:/home/xtwy# useradd -u 1988 -g 1000 john
root@ubuntu:/home/xtwy# tail -1 /etc/passwd
john:x:1988:1000::/home/john:/bin/sh
添加完成后可以采用下列命令进行用户john密码的修改
xtwy@ubuntu:~$ sudo passwd john
[sudo] password for xtwy: 
Enter new UNIX password: 
Retype new UNIX password: 
passwd: password updated successfully

注销用户,重新到登录界面时,便会出现john用户的登录选项
这里写图片描述

(2)修改用户 usermod

usermod  [options] username
options:
    1.-u :UID
    2.-g :GID
    3-d :指定用户家目录,默认是/home/username
            -m 与-b 一起用表示把用户家目录的内容也移走
    4-s :指定用户所在的shell环境
    5.-G:指定用户的附加组
 使用示例:
 //将前面的/bin/sh,改/bin/bash
 root@ubuntu:/home/john# usermod -s /bin/bash john

(3)删除用户 userdel

删除用户时,用户不能处于登录状态:

userdel   [options]username
 options
 1.-r :连同主目录一起删除

使用示例:
root@ubuntu:/home/xtwy# userdel -r john
root@ubuntu:/home/xtwy# cd ..
root@ubuntu:/home# ls

3. 组管理

前面我们知道,组是权限的集合。在linux系统中,每个用户都有一个用户组,没有指定时都默认为私有组,私有组名同用户名一致,建立用户组的好处是系统能对一个用户组中的所有用户的操作权限进行集中管理。组管理涉及组的添加、删除和修改。组的增加、删除和修改实际上就对/etc/group文件的更新。

(1)新增用户组

groupadd [options] 用户组名
options:
 1 -g GID:指定新用户组的组标识号(GID)。

使用示例:
//创建用户组前的/etc/group文件内容
oot@ubuntu:/home# tail /etc/group
.....................
xtwy:x:1000:
sambashare:x:122:xtwy
//使用默认增加用户组
root@ubuntu:/home# groupadd john
//添加用户组后得到的/etc/group文件内容
//可以看到默认用户组gid是自增长的
root@ubuntu:/home# tail /etc/group
.................
xtwy:x:1000:
sambashare:x:122:xtwy
john:x:1001:
//指定gid
root@ubuntu:/home# groupadd -g 1011 john1
root@ubuntu:/home# tail /etc/group
................
john:x:1001:
john1:x:1011:

(2)修改用户组

groupmod [options] 用户组名
options:
 1 -g GID: 为用户组指定新的组标识号。
 2 -n : 将用户组的名字改为新名字

使用示例:
root@ubuntu:/home# groupmod -g 1002 -n john2 john1
root@ubuntu:/home# tail /etc/group
.....................
john:x:1001:
john2:x:1002:

(3)删除用户组

groupdel 用户组名

使用示例:
root@ubuntu:/home# groupdel john2
root@ubuntu:/home# tail /etc/group
....................
xtwy:x:1000:
sambashare:x:122:xtwy
john:x:1001:

4. 权限分配 ##

(1)权限说明

在本节第一节,我们提到ls -l命令显示的文件或目录详细信息具有如下格式

root@ubuntu:/home/xtwy# ls -l
total 48
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Desktop
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Documents
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Downloads
-rw-r--r-- 1 xtwy xtwy  179 2015-08-20 21:53 examples.desktop
-rw-r--r-- 1 root root   30 2015-08-22 17:28 hello1.txt
-rw-r--r-- 1 root root   48 2015-08-22 17:29 hello.txt
drwxr-xr-x 3 root root 4096 2015-08-22 16:51 literature

现在我们对ls -l显示的内容进行分解,首先来看前半部分
这里写图片描述
首先是文件类型,-表示文本文件,d表示目录,除此之外还有下列几种文件(不常见):

code File Type
- Standard file
d Standard directory
l Symbolic link (a shortcut to another file)
s Socket (a file designed to send and receive data over a network)
c Character device (a hardware device driver, usually found in /dev)
b Block device (a hardware device driver, usually found in /dev)

后面紧跟着的是用户权限、组权限及其它权限,其中r表示读权限,w表示写权限,x表示可执行权限,

再后面的数字表示的是链接数,这个放到下一节中介绍
紧接着是文件或目录的所属者,所属用户组,文件大小(字节数),文件最后访问时间,文件名。

下面具体说明:

//hello1.txt是一个普通文件
//root用户具有读写权限,但不能执行
//用户组root具有读权限,无写和执行权限
//其它用户只有读权限,无写和执行权限
-rw-r--r-- 1 root root   30 2015-08-22 17:28 hello1.txt

//下面的代码演示了前面的内容
xtwy@ubuntu:~$ ls
Desktop    Downloads         hello1.txt  literature  Pictures  Templates
Documents  examples.desktop  hello.txt   Music       Public    Videos
xtwy@ubuntu:~$ more hello1.txt
hello linux
hello linux linux
xtwy@ubuntu:~$ echo "test permission" >> hello1.txt
bash: hello1.txt: Permission denied
//Desktop是一个目录
//用户xtwy具有读写和执行权限,这里面的执行权限x表示可以访问目录
//用用组xtwy具有读和执行权限,无写权限
//其它用户具有读和执行权限,无写权限
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Desktop

(2)修改文件或目录权限

1 增加权限

//chmod命令,a表示所有,包括用户、组及其它用户都有增加写权限
root@ubuntu:/home/xtwy# chmod a+w hello1.txt
root@ubuntu:/home/xtwy# ls -l
total 48
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Desktop
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Documents
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Downloads
-rw-r--r-- 1 xtwy xtwy  179 2015-08-20 21:53 examples.desktop
-rw-rw-rw- 1 root root   30 2015-08-22 17:28 hello1.txt
-rw-r--r-- 1 root root   48 2015-08-22 17:29 hello.txt
drwxr-xr-x 3 root root 4096 2015-08-22 16:51 literature
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Music
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Pictures
drwxr-xr-x 3 xtwy xtwy 4096 2015-08-22 15:52 Public
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Templates
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Videos

2 减小权限

//减小权限,用减号表示
root@ubuntu:/home/xtwy# chmod a-w hello1.txt
root@ubuntu:/home/xtwy# ls -l
total 48
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Desktop
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Documents
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Downloads
-rw-r--r-- 1 xtwy xtwy  179 2015-08-20 21:53 examples.desktop
-r--r--r-- 1 root root   30 2015-08-22 17:28 hello1.txt
-rw-r--r-- 1 root root   48 2015-08-22 17:29 hello.txt
drwxr-xr-x 3 root root 4096 2015-08-22 16:51 literature
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Music
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Pictures
drwxr-xr-x 3 xtwy xtwy 4096 2015-08-22 15:52 Public
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Templates
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Videos

3 给当前用户增加权限

//不加all表示作用于当前用户
root@ubuntu:/home/xtwy# chmod +w hello1.txt
root@ubuntu:/home/xtwy# ls -l
total 48
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Desktop
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Documents
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Downloads
-rw-r--r-- 1 xtwy xtwy  179 2015-08-20 21:53 examples.desktop
-rw-r--r-- 1 root root   30 2015-08-22 17:28 hello1.txt
-rw-r--r-- 1 root root   48 2015-08-22 17:29 hello.txt
drwxr-xr-x 3 root root 4096 2015-08-22 16:51 literature
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Music
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Pictures
drwxr-xr-x 3 xtwy xtwy 4096 2015-08-22 15:52 Public
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Templates
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Videos

4 灵活设置权限,采用数字方式

读、写、运行三项权限可以用数字表示,就是r=4,w=2,x=1

//用户具有读写权限
//用户组和其它用户具有执行权限,无读写权限
root@ubuntu:/home/xtwy# chmod 611 hello1.txt
root@ubuntu:/home/xtwy# ls -l
total 48
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Desktop
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Documents
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Downloads
-rw-r--r-- 1 xtwy xtwy  179 2015-08-20 21:53 examples.desktop
-rw---x--x 1 root root   30 2015-08-22 17:28 hello1.txt
-rw-r--r-- 1 root root   48 2015-08-22 17:29 hello.txt
drwxr-xr-x 3 root root 4096 2015-08-22 16:51 literature
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Music
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Pictures
drwxr-xr-x 3 xtwy xtwy 4096 2015-08-22 15:52 Public
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Templates
drwxr-xr-x 2 xtwy xtwy 4096 2015-08-20 23:31 Videos

5 改变用户 chown

将root拥有改xtwy用户拥有

-rw---x--x 1 root root   30 2015-08-22 17:28 hello1.txt
root@ubuntu:/home/xtwy# chown xtwy hello1.txt
-rw---x--x 1 xtwy root   30 2015-08-22 17:28 hello1.txt

//修改完成后可以对文件中的内容进行修改
root@ubuntu:/home/xtwy# su xtwy
xtwy@ubuntu:~$ echo "test permissions" >> hello1.txt

6 改变用户组 chgrp

-rw---x--x 1 xtwy root   30 2015-08-22 17:28 hello1.txt
xtwy@ubuntu:~$ chgrp xtwy hello1.txt
-rw---x--x 1 xtwy xtwy   47 2015-08-22 23:43 hello1.txt

添加公众微信号,可以了解更多最新Spark、Scala相关技术资讯
这里写图片描述

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成:Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代,能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统,ClickHouse 在大数据分析领域展现出了卓越的能力。然而,为了充分利用ClickHouse的优势,将其与现有的大数据处理框架(如Apache Spark和Apache Flink)进行集成变得尤为重要。本文将从我个人的角度出发,探讨如何通过这些技术的结合,实现对大规模数据的实时处理和分析。
168 2
ClickHouse与大数据生态集成:Spark & Flink 实战
|
3月前
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
80 0
|
3月前
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
54 0
|
3月前
|
消息中间件 存储 分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
110 0
|
2月前
|
SQL 机器学习/深度学习 分布式计算
Spark快速上手:揭秘大数据处理的高效秘密,让你轻松应对海量数据
【10月更文挑战第25天】本文全面介绍了大数据处理框架 Spark,涵盖其基本概念、安装配置、编程模型及实际应用。Spark 是一个高效的分布式计算平台,支持批处理、实时流处理、SQL 查询和机器学习等任务。通过详细的技术综述和示例代码,帮助读者快速掌握 Spark 的核心技能。
112 6
|
2月前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
139 2
|
2月前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
100 1
|
2月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
2月前
|
分布式计算 大数据 OLAP
AnalyticDB与大数据生态集成:Spark & Flink
【10月更文挑战第25天】在大数据时代,实时数据处理和分析变得越来越重要。AnalyticDB(ADB)是阿里云推出的一款完全托管的实时数据仓库服务,支持PB级数据的实时分析。为了充分发挥AnalyticDB的潜力,将其与大数据处理工具如Apache Spark和Apache Flink集成是非常必要的。本文将从我个人的角度出发,分享如何将AnalyticDB与Spark和Flink集成,构建端到端的大数据处理流水线,实现数据的实时分析和处理。
78 1
|
3月前
|
分布式计算 大数据 Apache
利用.NET进行大数据处理:Apache Spark与.NET for Apache Spark
【10月更文挑战第15天】随着大数据成为企业决策和技术创新的关键驱动力,Apache Spark作为高效的大数据处理引擎,广受青睐。然而,.NET开发者面临使用Spark的门槛。本文介绍.NET for Apache Spark,展示如何通过C#和F#等.NET语言,结合Spark的强大功能进行大数据处理,简化开发流程并提升效率。示例代码演示了读取CSV文件及统计分析的基本操作,突显了.NET for Apache Spark的易用性和强大功能。
71 1