6.1 时间序列数据基础
时间序列数据是在连续时间点或者时间段上收集的数据点，常用于分析趋势、做出预测等。
6.1.1 基础知识
- 时间戳和时间间隔: 时间戳代表某一具体的瞬间，而时间间隔则表示一段时间。
- 解析时间数据: 通常需要将字符串格式的时间数据转换成 Python 的 datetime 对象以便处理。
- 设置时间索引: 在 Pandas 中，将时间数据设置为 DataFrame 的索引可以方便地进行时间序列分析。
6.1.2 重点案例：股票市场分析
假设你有一份股票市场的历史数据，包含日期和当日的收盘价，你需要分析股价随时间的变化趋势。
数据准备
import pandas as pd # 示例股票市场数据 stock_data = { 'date': ['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04'], 'close_price': [100, 105, 103, 108] } stock_df = pd.DataFrame(stock_data)
处理时间序列数据
# 将字符串日期转换为 datetime 对象 stock_df['date'] = pd.to_datetime(stock_df['date']) # 将日期设置为索引 stock_df.set_index('date', inplace=True)
6.1.3 拓展案例一：温度变化分析
假设你有一份每日温度记录数据，需要分析温度随时间的变化。
数据准备
# 示例温度记录数据 temperature_data = { 'date': ['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04'], 'temperature': [22, 23, 21, 24] } temperature_df = pd.DataFrame(temperature_data)
处理时间序列数据
# 将字符串日期转换为 datetime 对象并设置为索引 temperature_df['date'] = pd.to_datetime(temperature_df['date']) temperature_df.set_index('date', inplace=True)
6.1.4 拓展案例二：电商平台日销售额分析
分析一份电商平台每日销售额数据，观察销售额随时间的变化。
数据准备
# 示例电商平台销售数据 sales_data = { 'date': ['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04'], 'daily_sales': [2000, 3000, 2500, 3200] } sales_df = pd.DataFrame(sales_data)
处理时间序列数据
# 将日期转换为 datetime 对象并设置为索引 sales_df['date'] = pd.to_datetime(sales_df['date']) sales_df.set_index('date', inplace=True)
通过这些案例，我们展示了如何处理和分析时间序列数据。从股市趋势分析到温度变化观察，再到电商销售额的时间分析，掌握时间序列数据的基础操作是进行这些分析的关键。
6.2 日期与时间功能
在时间序列分析中，处理和操作日期与时间是常见的需求。Pandas 提供了丰富的日期与时间功能，使得这些操作变得简单。
6.2.1 基础知识
- Datetime 类型: Pandas 使用
datetime64类型来处理日期和时间。可以使用pd.to_datetime()将字符串转换成datetime64类型。 - 时间索引: 设置时间索引后，可以使用时间索引来选择、过滤和重采样数据。
- 时间偏移和频率: Pandas 允许使用时间偏移和频率来进行日期计算，如加减天数、找到下一个月的开始等。
6.2.2 重点案例：活动日志分析
假设你有一份网站的活动日志，记录了每次活动的日期和时间，你需要分析特定时间段内的活动。
数据准备
import pandas as pd # 示例活动日志数据 log_data = { 'timestamp': ['2023-01-01 12:00', '2023-01-01 12:30', '2023-01-02 13:00', '2023-01-02 14:00'], 'activity': ['login', 'view', 'purchase', 'logout'] } log_df = pd.DataFrame(log_data)
处理时间序列数据
# 将字符串转换为 datetime 对象 log_df['timestamp'] = pd.to_datetime(log_df['timestamp']) # 设置时间索引 log_df.set_index('timestamp', inplace=True) # 选择特定日期的活动 activities_on_first = log_df['2023-01-01']
6.2.3 拓展案例一：工作日计算
计算一个时间范围内的工作日总数。
数据准备
# 定义一个时间范围 date_range = pd.date_range(start='2023-01-01', end='2023-01-31')
计算工作日
# 计算工作日 workdays = date_range.to_series().map(lambda x: 0 if x.weekday() >= 5 else 1).sum()
6.2.4 拓展案例二：股票市场交易日数据重采样
假设你有一份股票市场的日交易数据，需要按周计算平均交易量。
数据准备
# 示例股票市场交易数据 trade_data = { 'date': pd.date_range(start='2023-01-01', periods=30), 'volume': pd.np.random.randint(1000, 5000, size=30) } trade_df = pd.DataFrame(trade_data).set_index('date')
重采样计算周平均交易量
# 按周重采样并计算平均交易量 weekly_avg_volume = trade_df.resample('W').mean()
通过这些案例，我们展示了如何利用 Pandas 的日期与时间功能进行分析，从处理具体的活动日志到计算工作日总数，再到重采样股票市场交易数据。掌握这些技巧，你可以更灵活地处理时间序列数据，提取有价值的时间维度信息。
6.3 时间序列的高级应用
探索时间序列数据的高级应用可以帮助我们深入理解数据的时间维度，从而做出更准确的分析和预测。
6.3.1 基础知识
- 时间序列缺失数据处理: 时间序列数据可能会有缺失值，处理方法包括填充和插值。
- 重采样和频率转换: 通过改变时间序列的频率（如从日到月），可以更好地分析趋势。
- 滚动窗口和扩展窗口操作: 滚动窗口（rolling window）操作允许我们计算如移动平均等统计量，扩展窗口（expanding window）则从时间序列起点累积到当前点。
6.3.2 重点案例：金融市场趋势分析
假设你有一份金融市场的每日股价数据，需要分析股价的移动平均趋势。
数据准备
import pandas as pd import numpy as np # 示例股价数据 date_range = pd.date_range(start='2023-01-01', periods=90) stock_prices = np.random.normal(100, 10, size=90).cumsum() stock_df = pd.DataFrame({'price': stock_prices}, index=date_range)
处理时间序列数据
# 计算7日移动平均 stock_df['7_day_avg'] = stock_df['price'].rolling(window=7).mean() # 计算30日移动平均 stock_df['30_day_avg'] = stock_df['price'].rolling(window=30).mean()
6.3.3 拓展案例一：能源消耗季节性分析
分析一份每小时记录的能源消耗数据，观察消耗量的季节性变化。
数据准备
# 示例能源消耗数据 hours_in_year = pd.date_range(start='2023-01-01', periods=8760, freq='H') energy_consumption = np.random.normal(50, 15, size=8760).cumsum() energy_df = pd.DataFrame({'consumption': energy_consumption}, index=hours_in_year)
季节性分析
# 按月重采样计算平均能源消耗 monthly_avg_consumption = energy_df.resample('M').mean()
6.3.4 拓展案例二：零售销售的扩展窗口分析
假设你有一份零售商每日销售额的数据，需要分析自年初以来销售额的累计总和。
数据准备
# 示例零售销售数据 days_in_year = pd.date_range(start='2023-01-01', periods=365) daily_sales = np.random.randint(1000, 5000, size=365) sales_df = pd.DataFrame({'sales': daily_sales}, index=days_in_year)
扩展窗口分析
# 计算累计销售额 sales_df['cumulative_sales'] = sales_df['sales'].expanding().sum()
通过这些案例，我们展示了时间序列数据分析的高级应用，包括处理缺失数据、重采样、以及滚动和扩展窗口操作。这些技巧可以帮助我们深入理解数据的时间维度，从而做出更准确的分析和预测。
