与 SAS 的比较
译文:
pandas.pydata.org/docs/getting_started/comparison/comparison_with_sas.html
对于来自SAS的潜在用户,本页面旨在演示如何在 pandas 中执行不同的 SAS 操作。
如果您是 pandas 的新手,您可能首先想通过阅读 10 分钟入门 pandas 来熟悉该库。
惯例上,我们导入 pandas 和 NumPy 如下:
In [1]: import pandas as pd In [2]: import numpy as np
数据结构
一般术语翻译
pandas | SAS |
DataFrame |
数据集 |
列 | 变量 |
行 | 观察 |
groupby | BY-group |
NaN |
. |
DataFrame
pandas 中的DataFrame
类似于 SAS 数据集 - 一个具有标记列的二维数据源,可以是不同类型。正如本文档所示,几乎可以使用 SAS 的DATA
步骤对数据集应用的任何操作,也可以在 pandas 中完成。
Series
Series
是表示DataFrame
的一列的数据结构。SAS 没有单独的数据结构用于单列,但一般来说,使用Series
类似于在DATA
步骤中引用列。
Index
每个DataFrame
和Series
都有一个Index
- 这些是数据的行上的标签。SAS 没有完全类似的概念。数据集的行基本上是无标签的,除了在DATA
步骤中可以访问的隐式整数索引(_N_
)。
在 pandas 中,如果没有指定索引,默认也会使用整数索引(第一行 = 0,第二行 = 1,依此类推)。使用标记的Index
或MultiIndex
可以实现复杂的分析,并最终是理解 pandas 的重要部分,但在这个比较中,我们将基本上忽略Index
,只将DataFrame
视为列的集合。请参阅索引文档以了解如何有效使用Index
。
复制 vs. 原地操作
大多数 pandas 操作返回Series
/DataFrame
的副本。要使更改“生效”,您需要将其分配给一个新变量:
sorted_df = df.sort_values("col1")
或覆盖原始变量:
df = df.sort_values("col1")
注意
您会看到一些方法可用的inplace=True
或copy=False
关键字参数:
df.replace(5, inplace=True)
有关废弃和删除inplace
和copy
的活跃讨论,适用于大多数方法(例如dropna
),除了一小部分方法(包括replace
)。在写时复制的情况下,这两个关键字将不再必要。提案可以在这里找到。
数据输入/输出
从值构建 DataFrame
可以通过在datalines
语句后放置数据并指定列名来从指定值构建 SAS 数据集。
data df; input x y; datalines; 1 2 3 4 5 6 ; run;
可以以多种不同的方式构建 pandasDataFrame
,但对于少量值,通常将其指定为 Python 字典是方便的,其中键是列名,值是数据。
In [1]: df = pd.DataFrame({"x": [1, 3, 5], "y": [2, 4, 6]}) In [2]: df Out[2]: x y 0 1 2 1 3 4 2 5 6
读取外部数据
与 SAS 类似,pandas 提供了从多种格式读取数据的实用程序。在 pandas 测试中找到的tips
数据集(csv)将在接下来的许多示例中使用。
SAS 提供PROC IMPORT
来将 csv 数据读入数据集。
proc import datafile='tips.csv' dbms=csv out=tips replace; getnames=yes; run;
pandas 方法是read_csv()
,工作方式类似。
In [3]: url = ( ...: "https://raw.githubusercontent.com/pandas-dev/" ...: "pandas/main/pandas/tests/io/data/csv/tips.csv" ...: ) ...: In [4]: tips = pd.read_csv(url) In [5]: tips Out[5]: total_bill tip sex smoker day time size 0 16.99 1.01 Female No Sun Dinner 2 1 10.34 1.66 Male No Sun Dinner 3 2 21.01 3.50 Male No Sun Dinner 3 3 23.68 3.31 Male No Sun Dinner 2 4 24.59 3.61 Female No Sun Dinner 4 .. ... ... ... ... ... ... ... 239 29.03 5.92 Male No Sat Dinner 3 240 27.18 2.00 Female Yes Sat Dinner 2 241 22.67 2.00 Male Yes Sat Dinner 2 242 17.82 1.75 Male No Sat Dinner 2 243 18.78 3.00 Female No Thur Dinner 2 [244 rows x 7 columns]
像PROC IMPORT
一样,read_csv
可以接受多个参数来指定数据应如何解析。例如,如果数据实际上是制表符分隔的,并且没有列名,那么 pandas 命令将是:
tips = pd.read_csv("tips.csv", sep="\t", header=None) # alternatively, read_table is an alias to read_csv with tab delimiter tips = pd.read_table("tips.csv", header=None)
除了文本/csv,pandas 还支持多种其他数据格式,如 Excel、HDF5 和 SQL 数据库。这些都可以通过pd.read_*
函数读取。更多详情请参阅 IO 文档。
限制输出
默认情况下,pandas 会截断大型DataFrame
的输出,以显示第一行和最后一行。可以通过更改 pandas 选项,或使用DataFrame.head()
或DataFrame.tail()
来覆盖此行为。
In [1]: tips.head(5) Out[1]: total_bill tip sex smoker day time size 0 16.99 1.01 Female No Sun Dinner 2 1 10.34 1.66 Male No Sun Dinner 3 2 21.01 3.50 Male No Sun Dinner 3 3 23.68 3.31 Male No Sun Dinner 2 4 24.59 3.61 Female No Sun Dinner 4
SAS 中的等效操作为:
proc print data=df(obs=5); run;
导出数据
在 SAS 中,PROC IMPORT
的反向操作是PROC EXPORT
。
proc export data=tips outfile='tips2.csv' dbms=csv; run;
类似地,在 pandas 中,read_csv
的相反操作是to_csv()
,其他数据格式遵循类似的 api。
tips.to_csv("tips2.csv")
数据操作
列操作
在DATA
步骤中,可以对新列或现有列使用任意数学表达式。
data tips; set tips; total_bill = total_bill - 2; new_bill = total_bill / 2; run;
pandas 通过在DataFrame
中指定各个Series
来提供矢量化操作。新列可以以相同的方式分配。DataFrame.drop()
方法从DataFrame
中删除列。
In [1]: tips["total_bill"] = tips["total_bill"] - 2 In [2]: tips["new_bill"] = tips["total_bill"] / 2 In [3]: tips Out[3]: total_bill tip sex smoker day time size new_bill 0 14.99 1.01 Female No Sun Dinner 2 7.495 1 8.34 1.66 Male No Sun Dinner 3 4.170 2 19.01 3.50 Male No Sun Dinner 3 9.505 3 21.68 3.31 Male No Sun Dinner 2 10.840 4 22.59 3.61 Female No Sun Dinner 4 11.295 .. ... ... ... ... ... ... ... ... 239 27.03 5.92 Male No Sat Dinner 3 13.515 240 25.18 2.00 Female Yes Sat Dinner 2 12.590 241 20.67 2.00 Male Yes Sat Dinner 2 10.335 242 15.82 1.75 Male No Sat Dinner 2 7.910 243 16.78 3.00 Female No Thur Dinner 2 8.390 [244 rows x 8 columns] In [4]: tips = tips.drop("new_bill", axis=1)
过滤
在 SAS 中,使用if
或where
语句对一个或多个列进行过滤。
data tips; set tips; if total_bill > 10; run; data tips; set tips; where total_bill > 10; /* equivalent in this case - where happens before the DATA step begins and can also be used in PROC statements */ run;
可以通过多种方式对数据框进行过滤;其中最直观的是使用布尔索引。
In [1]: tips[tips["total_bill"] > 10] Out[1]: total_bill tip sex smoker day time size 0 14.99 1.01 Female No Sun Dinner 2 2 19.01 3.50 Male No Sun Dinner 3 3 21.68 3.31 Male No Sun Dinner 2 4 22.59 3.61 Female No Sun Dinner 4 5 23.29 4.71 Male No Sun Dinner 4 .. ... ... ... ... ... ... ... 239 27.03 5.92 Male No Sat Dinner 3 240 25.18 2.00 Female Yes Sat Dinner 2 241 20.67 2.00 Male Yes Sat Dinner 2 242 15.82 1.75 Male No Sat Dinner 2 243 16.78 3.00 Female No Thur Dinner 2 [204 rows x 7 columns]
上述语句只是将一系列True
/False
对象传递给 DataFrame,返回所有具有True
的行。
In [2]: is_dinner = tips["time"] == "Dinner" In [3]: is_dinner Out[3]: 0 True 1 True 2 True 3 True 4 True ... 239 True 240 True 241 True 242 True 243 True Name: time, Length: 244, dtype: bool In [4]: is_dinner.value_counts() Out[4]: time True 176 False 68 Name: count, dtype: int64 In [5]: tips[is_dinner] Out[5]: total_bill tip sex smoker day time size 0 14.99 1.01 Female No Sun Dinner 2 1 8.34 1.66 Male No Sun Dinner 3 2 19.01 3.50 Male No Sun Dinner 3 3 21.68 3.31 Male No Sun Dinner 2 4 22.59 3.61 Female No Sun Dinner 4 .. ... ... ... ... ... ... ... 239 27.03 5.92 Male No Sat Dinner 3 240 25.18 2.00 Female Yes Sat Dinner 2 241 20.67 2.00 Male Yes Sat Dinner 2 242 15.82 1.75 Male No Sat Dinner 2 243 16.78 3.00 Female No Thur Dinner 2 [176 rows x 7 columns]
if/then 逻辑
在 SAS 中,可以使用 if/then 逻辑来创建新列。
data tips; set tips; format bucket $4.; if total_bill < 10 then bucket = 'low'; else bucket = 'high'; run;
在 pandas 中,可以使用numpy
的where
方法来执行相同的操作。
In [1]: tips["bucket"] = np.where(tips["total_bill"] < 10, "low", "high") In [2]: tips Out[2]: total_bill tip sex smoker day time size bucket 0 14.99 1.01 Female No Sun Dinner 2 high 1 8.34 1.66 Male No Sun Dinner 3 low 2 19.01 3.50 Male No Sun Dinner 3 high 3 21.68 3.31 Male No Sun Dinner 2 high 4 22.59 3.61 Female No Sun Dinner 4 high .. ... ... ... ... ... ... ... ... 239 27.03 5.92 Male No Sat Dinner 3 high 240 25.18 2.00 Female Yes Sat Dinner 2 high 241 20.67 2.00 Male Yes Sat Dinner 2 high 242 15.82 1.75 Male No Sat Dinner 2 high 243 16.78 3.00 Female No Thur Dinner 2 high [244 rows x 8 columns]
日期功能
SAS 提供了多种函数来对日期/时间列进行操作。
data tips; set tips; format date1 date2 date1_plusmonth mmddyy10.; date1 = mdy(1, 15, 2013); date2 = mdy(2, 15, 2015); date1_year = year(date1); date2_month = month(date2); * shift date to beginning of next interval; date1_next = intnx('MONTH', date1, 1); * count intervals between dates; months_between = intck('MONTH', date1, date2); run;
下面显示了等效的 pandas 操作。除了这些功能外,pandas 还支持 Base SAS 中不可用的其他时间序列功能(例如重新采样和自定义偏移)-有关更多详细信息,请参阅 timeseries 文档。
In [1]: tips["date1"] = pd.Timestamp("2013-01-15") In [2]: tips["date2"] = pd.Timestamp("2015-02-15") In [3]: tips["date1_year"] = tips["date1"].dt.year In [4]: tips["date2_month"] = tips["date2"].dt.month In [5]: tips["date1_next"] = tips["date1"] + pd.offsets.MonthBegin() In [6]: tips["months_between"] = tips["date2"].dt.to_period("M") - tips[ ...: "date1" ...: ].dt.to_period("M") ...: In [7]: tips[ ...: ["date1", "date2", "date1_year", "date2_month", "date1_next", "months_between"] ...: ] ...: Out[7]: date1 date2 date1_year date2_month date1_next months_between 0 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds> 1 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds> 2 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds> 3 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds> 4 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds> .. ... ... ... ... ... ... 239 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds> 240 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds> 241 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds> 242 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds> 243 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds> [244 rows x 6 columns]
选择列
SAS 在DATA
步骤中提供关键字来选择、删除和重命名列。
data tips; set tips; keep sex total_bill tip; run; data tips; set tips; drop sex; run; data tips; set tips; rename total_bill=total_bill_2; run;
下面以 pandas 表达相同的操作。
保留某些列
In [1]: tips[["sex", "total_bill", "tip"]] Out[1]: sex total_bill tip 0 Female 14.99 1.01 1 Male 8.34 1.66 2 Male 19.01 3.50 3 Male 21.68 3.31 4 Female 22.59 3.61 .. ... ... ... 239 Male 27.03 5.92 240 Female 25.18 2.00 241 Male 20.67 2.00 242 Male 15.82 1.75 243 Female 16.78 3.00 [244 rows x 3 columns]
删除列
In [2]: tips.drop("sex", axis=1) Out[2]: total_bill tip smoker day time size 0 14.99 1.01 No Sun Dinner 2 1 8.34 1.66 No Sun Dinner 3 2 19.01 3.50 No Sun Dinner 3 3 21.68 3.31 No Sun Dinner 2 4 22.59 3.61 No Sun Dinner 4 .. ... ... ... ... ... ... 239 27.03 5.92 No Sat Dinner 3 240 25.18 2.00 Yes Sat Dinner 2 241 20.67 2.00 Yes Sat Dinner 2 242 15.82 1.75 No Sat Dinner 2 243 16.78 3.00 No Thur Dinner 2 [244 rows x 6 columns]
重命名列
In [3]: tips.rename(columns={"total_bill": "total_bill_2"}) Out[3]: total_bill_2 tip sex smoker day time size 0 14.99 1.01 Female No Sun Dinner 2 1 8.34 1.66 Male No Sun Dinner 3 2 19.01 3.50 Male No Sun Dinner 3 3 21.68 3.31 Male No Sun Dinner 2 4 22.59 3.61 Female No Sun Dinner 4 .. ... ... ... ... ... ... ... 239 27.03 5.92 Male No Sat Dinner 3 240 25.18 2.00 Female Yes Sat Dinner 2 241 20.67 2.00 Male Yes Sat Dinner 2 242 15.82 1.75 Male No Sat Dinner 2 243 16.78 3.00 Female No Thur Dinner 2 [244 rows x 7 columns]
按值排序
在 SAS 中通过PROC SORT
实现排序
proc sort data=tips; by sex total_bill; run;
pandas 有一个DataFrame.sort_values()
方法,它接受要排序的列的列表。
In [1]: tips = tips.sort_values(["sex", "total_bill"]) In [2]: tips Out[2]: total_bill tip sex smoker day time size 67 1.07 1.00 Female Yes Sat Dinner 1 92 3.75 1.00 Female Yes Fri Dinner 2 111 5.25 1.00 Female No Sat Dinner 1 145 6.35 1.50 Female No Thur Lunch 2 135 6.51 1.25 Female No Thur Lunch 2 .. ... ... ... ... ... ... ... 182 43.35 3.50 Male Yes Sun Dinner 3 156 46.17 5.00 Male No Sun Dinner 6 59 46.27 6.73 Male No Sat Dinner 4 212 46.33 9.00 Male No Sat Dinner 4 170 48.81 10.00 Male Yes Sat Dinner 3 [244 rows x 7 columns]
字符串处理
查找字符串的长度
SAS 使用LENGTHN和LENGTHC函数确定字符字符串的长度。LENGTHN
排除尾随空格,LENGTHC
包括尾随空格。
data _null_; set tips; put(LENGTHN(time)); put(LENGTHC(time)); run;
您可以使用Series.str.len()
找到字符字符串的长度。在 Python 3 中,所有字符串都是 Unicode 字符串。len
包括尾随空格。使用len
和rstrip
来排除尾随空格。
In [1]: tips["time"].str.len() Out[1]: 67 6 92 6 111 6 145 5 135 5 .. 182 6 156 6 59 6 212 6 170 6 Name: time, Length: 244, dtype: int64 In [2]: tips["time"].str.rstrip().str.len() Out[2]: 67 6 92 6 111 6 145 5 135 5 .. 182 6 156 6 59 6 212 6 170 6 Name: time, Length: 244, dtype: int64
查找子字符串的位置
SAS 使用FINDW函数确定字符串中字符的位置。FINDW
接受由第一个参数定义的字符串,并搜索您提供的第二个参数作为子字符串的第一个位置。
data _null_; set tips; put(FINDW(sex,'ale')); run;
您可以使用Series.str.find()
方法在字符串列中找到字符的位置。find
搜索子字符串的第一个位置。如果找到子字符串,则该方法返回其位置。如果未找到,则返回-1
。请记住,Python 索引是从零开始的。
In [1]: tips["sex"].str.find("ale") Out[1]: 67 3 92 3 111 3 145 3 135 3 .. 182 1 156 1 59 1 212 1 170 1 Name: sex, Length: 244, dtype: int64
根据位置提取子字符串
SAS 根据位置从字符串中提取子字符串,使用SUBSTR函数。
data _null_; set tips; put(substr(sex,1,1)); run;
使用 pandas,您可以使用[]
符号通过位置位置从字符串中提取子字符串。请记住,Python 索引是从零开始的。
In [1]: tips["sex"].str[0:1] Out[1]: 67 F 92 F 111 F 145 F 135 F .. 182 M 156 M 59 M 212 M 170 M Name: sex, Length: 244, dtype: object
提取第 n 个单词
SAS 的SCAN函数从字符串中返回第 n 个单词。第一个参数是您要解析的字符串,第二个参数指定要提取的单词。
data firstlast; input String $60.; First_Name = scan(string, 1); Last_Name = scan(string, -1); datalines2; John Smith; Jane Cook; ;;; run;
在 pandas 中提取单词的最简单方法是通过空格拆分字符串,然后通过索引引用单词。请注意,如果需要,还有更强大的方法。
In [1]: firstlast = pd.DataFrame({"String": ["John Smith", "Jane Cook"]}) In [2]: firstlast["First_Name"] = firstlast["String"].str.split(" ", expand=True)[0] In [3]: firstlast["Last_Name"] = firstlast["String"].str.rsplit(" ", expand=True)[1] In [4]: firstlast Out[4]: String First_Name Last_Name 0 John Smith John Smith 1 Jane Cook Jane Cook
更改大小写
SAS 的UPCASE LOWCASE和PROPCASE函数改变参数的大小写。
data firstlast; input String $60.; string_up = UPCASE(string); string_low = LOWCASE(string); string_prop = PROPCASE(string); datalines2; John Smith; Jane Cook; ;;; run;
等效的 pandas 方法是Series.str.upper()
,Series.str.lower()
和Series.str.title()
。
In [1]: firstlast = pd.DataFrame({"string": ["John Smith", "Jane Cook"]}) In [2]: firstlast["upper"] = firstlast["string"].str.upper() In [3]: firstlast["lower"] = firstlast["string"].str.lower() In [4]: firstlast["title"] = firstlast["string"].str.title() In [5]: firstlast Out[5]: string upper lower title 0 John Smith JOHN SMITH john smith John Smith 1 Jane Cook JANE COOK jane cook Jane Cook
合并
下表将用于合并示例:
In [1]: df1 = pd.DataFrame({"key": ["A", "B", "C", "D"], "value": np.random.randn(4)}) In [2]: df1 Out[2]: key value 0 A 0.469112 1 B -0.282863 2 C -1.509059 3 D -1.135632 In [3]: df2 = pd.DataFrame({"key": ["B", "D", "D", "E"], "value": np.random.randn(4)}) In [4]: df2 Out[4]: key value 0 B 1.212112 1 D -0.173215 2 D 0.119209 3 E -1.044236
在 SAS 中,数据必须在合并之前明确排序。使用in=
虚拟变量来跟踪是否在一个或两个输入框架中找到匹配来实现不同类型的连接。
proc sort data=df1; by key; run; proc sort data=df2; by key; run; data left_join inner_join right_join outer_join; merge df1(in=a) df2(in=b); if a and b then output inner_join; if a then output left_join; if b then output right_join; if a or b then output outer_join; run;
pandas 的 DataFrame 有一个merge()
方法,提供类似的功能。数据不必事先排序,不同的连接类型通过how
关键字实现。
In [1]: inner_join = df1.merge(df2, on=["key"], how="inner") In [2]: inner_join Out[2]: key value_x value_y 0 B -0.282863 1.212112 1 D -1.135632 -0.173215 2 D -1.135632 0.119209 In [3]: left_join = df1.merge(df2, on=["key"], how="left") In [4]: left_join Out[4]: key value_x value_y 0 A 0.469112 NaN 1 B -0.282863 1.212112 2 C -1.509059 NaN 3 D -1.135632 -0.173215 4 D -1.135632 0.119209 In [5]: right_join = df1.merge(df2, on=["key"], how="right") In [6]: right_join Out[6]: key value_x value_y 0 B -0.282863 1.212112 1 D -1.135632 -0.173215 2 D -1.135632 0.119209 3 E NaN -1.044236 In [7]: outer_join = df1.merge(df2, on=["key"], how="outer") In [8]: outer_join Out[8]: key value_x value_y 0 A 0.469112 NaN 1 B -0.282863 1.212112 2 C -1.509059 NaN 3 D -1.135632 -0.173215 4 D -1.135632 0.119209 5 E NaN -1.044236
Pandas 2.2 中文官方教程和指南(五)(2)https://developer.aliyun.com/article/1510584