LikeShop 单商户 PHP 版用户数据一键导出与隐私合规功能二开
一、为什么“一键导出”不能真的“一键同步导出”
“用户数据一键导出”听起来像一个按钮的事,但在 LikeShop 单商户 PHP 版上直接实现“点击 → 查库 → 生成文件 → 下载”的同步链路,会同时踩中两个雷区。
第一个雷区是内存与性能。 ThinkPHP 的 Db::select() 会把整张表的结果集加载到内存中,PhpSpreadsheet 再在内存里构建表格结构,一个几万行用户数据的导出就能让 PHP-FPM 进程内存翻倍。如果多个管理员同时点导出,CPU 和内存会直接被拉满。搜索材料明确指出:HTTP 请求里同步执行导出,本质是把数据库 IO、Excel 生成、文件写入全塞进一个 PHP 进程,多人一并发,CPU 和内存就直接拉满。
第二个雷区是合规。 《个人信息保护法》第45条要求个人信息处理者应当为个人提供查阅、复制其个人信息的途径。但“提供导出”不等于“允许任意导出”。如果导出的 CSV 中包含完整的手机号、身份证、地址等明文信息,一旦文件泄露,平台将承担不可逆的合规责任。搜索材料中有一个明确的信号:根据《个人信息保护法》,未经用户同意,任何系统均不得擅自导出客户联系方式。
因此,LikeShop 单商户 PHP 版上“一键导出”的正确形态是:用户点击后创建异步导出任务并立即返回任务 ID,后台消费者流式生成文件,完成后通过站内信或下载链接告知;导出内容必须经过脱敏或加密,且全程留痕审计。 LikeShop 官方在近期安全升级中也已将“隐私合规”列为五大防护维度之一,包括脱敏、验签等机制。
二、合规基线:导出不是“想导就导”
2.1 《个人信息保护法》对导出的约束
导出功能涉及三个层面的合规要求:
查阅与复制权(第45条) :用户有权查阅、复制其个人信息。这意味着平台必须提供导出能力,不能以“系统不支持”为由拒绝。
最小必要与授权边界:导出行为本身是个人信息处理行为。向内部员工开放导出权限时,必须限定在“履行工作职责所必需”的范围内。搜索材料指出,PIPL 强调“最小必要”原则,敏感信息的处理需要更严格的授权。
删除权的技术实现:如果系统只做软删除(delete_time 标记),数据行仍然留在库里、仍可被导出。《个人信息保护法》第47条要求的“删除”包括不可逆匿名化,仅打标记不构成合规删除。因此,导出功能在设计时必须考虑:已注销/已删除的用户,其数据是否还应该出现在导出结果中。
2.2 技术侧的合规动作清单
在 LikeShop 的 PHP 架构下,导出模块需要内建以下合规动作:
| 合规要求 | 技术实现 |
|---|---|
| 用户本人可导出 | 小程序/H5 端提供“下载我的数据”入口,仅导出当前用户自己的数据 |
| 后台导出需授权 | 导出接口挂载后台权限节点,仅特定角色可调用 |
| 导出内容脱敏 | 手机号、身份证等字段掩码或哈希化,不输出明文 |
| 导出行为可审计 | 记录操作人、导出范围、时间、IP、文件哈希 |
| 导出文件有时效 | 生成的文件在 N 小时后自动删除,下载链接过期失效 |
LikeShop 后台本身有 RBAC 权限体系,导出接口应当注册为一个独立的权限节点,而不是复用“用户列表查看”的权限。“能看到用户列表”和“能把用户数据带走”是两回事。
三、异步导出架构:任务队列 + 流式生成
3.1 为什么不走同步链路
在 ThinkPHP 中,同步导出的典型错误写法是在 Controller 里直接调用 Db::select() 再交给 PhpSpreadsheet 生成文件。这会导致每个 HTTP 请求启动一个完整的导出流程,PHP-FPM 进程独占 CPU 和内存。对于 LikeShop 单商户版,用户表的数据量可能在几万到几十万级别,同步导出必然超时或 OOM。
正确的架构是“提交任务 → 异步执行 → 轮询/通知取结果”:
Controller 接收导出请求
↓
权限校验 + 参数校验(时间范围、导出字段、脱敏策略)
↓
创建导出任务记录(status = 排队中),返回 task_id
↓
推送轻量消息到队列(仅含 task_id 和必要参数)
↓
[HTTP 请求结束,用户看到“任务已提交”]
↓
队列消费者(CLI 进程)执行导出
↓
流式查询 + 逐行写入 + 脱敏处理
↓
生成文件 → 上传至私有存储 → 更新任务状态为“已完成”
↓
用户端轮询任务状态,完成后获得下载链接
3.2 导出任务表
新建 ls_user_export_task:
CREATE TABLE `ls_user_export_task` (
`id` int UNSIGNED NOT NULL AUTO_INCREMENT,
`task_no` varchar(64) NOT NULL COMMENT '任务编号',
`admin_id` int NOT NULL COMMENT '发起导出的管理员/用户ID',
`export_type` varchar(30) NOT NULL COMMENT 'user_list / user_order / user_behavior',
`export_scope` varchar(500) DEFAULT '' COMMENT '导出范围JSON(时间、用户ID区间等)',
`mask_policy` varchar(50) DEFAULT 'default' COMMENT '脱敏策略标识',
`status` tinyint NOT NULL DEFAULT '0' COMMENT '0-排队中 1-执行中 2-已完成 3-失败',
`file_path` varchar(500) DEFAULT '' COMMENT '生成的文件路径',
`file_hash` varchar(64) DEFAULT '' COMMENT '文件SHA256,用于完整性校验',
`row_count` int DEFAULT '0',
`error_msg` varchar(500) DEFAULT '',
`expire_time` int UNSIGNED DEFAULT '0' COMMENT '文件过期时间',
`create_time` int UNSIGNED DEFAULT '0',
`update_time` int UNSIGNED DEFAULT '0',
PRIMARY KEY (`id`),
UNIQUE KEY `uk_task_no` (`task_no`),
KEY `idx_admin_status` (`admin_id`, `status`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
file_hash 用于下载时的完整性校验,expire_time 控制文件生命周期。过期后文件应从存储中删除,任务记录保留但下载链接失效。
3.3 队列消息的轻量化
消息体只包含 task_no,不传任何查询结果或大对象。搜索材料强调:只发轻量消息,不传数据、不传对象、不查库。消费者根据 task_no 重新查询任务记录和导出参数,自主完成查询。
// 生产者(Controller 中)
Queue::instance()
->do('fire')
->job(UserExportJob::class)
->data(['task_no' => $taskNo])
->push();
return $this->success('导出任务已提交', ['task_no' => $taskNo]);
四、流式生成:CSV 优先,避免全量加载
4.1 为什么优先用 CSV
搜索材料的结论非常明确:绝大多数业务导出不需要样式、公式、多 Sheet,就不该用 .xlsx。CSV 是纯文本,fputcsv() 配合 php://output 可以做到边查边写、内存恒定在几百 KB。如果必须输出 .xlsx(需要冻结窗格、数字格式等),应使用 PHP-XLSWriter 或 Spout 这类流式引擎,而不是 PhpSpreadsheet 的全量加载模式。
对于 LikeShop 单商户版的用户数据导出,CSV 完全够用。后台管理员拿到的文件可以用 Excel 打开,小程序用户拿到的也是通用格式。
4.2 游标查询与逐行写入
class UserExportLogic
{
public static function execute(string $taskNo): void
{
$task = UserExportTaskModel::where('task_no', $taskNo)->find();
if (!$task || $task['status'] != 0) return;
// 抢占任务,防止重复执行
$affected = UserExportTaskModel::where('id', $task['id'])
->where('status', 0)
->update(['status' => 1, 'update_time' => time()]);
if (!$affected) return;
$filePath = runtime_path() . 'export/' . $taskNo . '.csv';
$fp = fopen($filePath, 'wb');
try {
// 表头
fputcsv($fp, ['用户ID', '昵称', '手机号', '注册时间', '会员等级']);
// 游标查询,逐行处理
$query = UserModel::field('id,nickname,mobile,create_time,level')
->where('delete_time', 0);
if (!empty($task['export_scope'])) {
$scope = json_decode($task['export_scope'], true);
if (isset($scope['start_time'])) {
$query->where('create_time', '>=', $scope['start_time']);
}
if (isset($scope['end_time'])) {
$query->where('create_time', '<=', $scope['end_time']);
}
}
$rowCount = 0;
foreach ($query->cursor() as $user) {
// 脱敏处理
$mobile = self::maskMobile($user['mobile']);
fputcsv($fp, [
$user['id'],
$user['nickname'],
$mobile,
date('Y-m-d H:i:s', $user['create_time']),
$user['level'],
]);
$rowCount++;
// 每 1000 行刷新一次
if ($rowCount % 1000 == 0) {
fflush($fp);
gc_collect_cycles();
}
}
fclose($fp);
// 上传至私有存储
$fileHash = hash_file('sha256', $filePath);
$storagePath = StorageServer::uploadPrivate($filePath, "export/{$taskNo}.csv");
UserExportTaskModel::where('id', $task['id'])->update([
'status' => 2,
'file_path' => $storagePath,
'file_hash' => $fileHash,
'row_count' => $rowCount,
'expire_time' => time() + 86400 * 3,
'update_time' => time(),
]);
@unlink($filePath);
} catch (\Exception $e) {
@unlink($filePath);
UserExportTaskModel::where('id', $task['id'])->update([
'status' => 3,
'error_msg' => mb_substr($e->getMessage(), 0, 500),
]);
}
}
}
cursor() 返回 PDOStatement,逐行 fetch,不会把全量结果集加载到内存。每处理一定行数后 fflush 和 gc_collect_cycles,控制内存增长。
五、脱敏与加密:导出内容的合规处理
5.1 脱敏策略的分级
不同角色导出的数据,脱敏级别应该不同。在 ls_user_export_task.mask_policy 中记录策略标识,消费者按策略执行:
| 策略 | 手机号 | 身份证 | 地址 | 适用场景 |
|---|---|---|---|---|
default |
138****1234 |
不导出 | 省+市 | 常规后台导出 |
full_masked |
哈希化 | 哈希化 | 不导出 | 外部分析/测试 |
user_self |
明文(本人) | 明文(本人) | 明文(本人) | 用户本人下载自己的数据 |
用户本人导出自己的数据时,可以返回明文,这是第45条查阅复制权的体现。但后台管理员批量导出他人数据时,默认必须脱敏。
private static function maskMobile(string $mobile): string
{
if (strlen($mobile) !== 11) return $mobile;
return substr($mobile, 0, 3) . '****' . substr($mobile, 7);
}
5.2 敏感字段的加密存储与导出
如果业务要求导出文件中必须包含可用的敏感信息(比如客服需要回拨用户),不能直接输出明文 CSV。方案是导出加密的 ZIP 包:CSV 中的敏感字段用 AES 加密,ZIP 包设置独立密码,密码通过站内信单独发送给有权限的操作人。
LikeShop 的存储配置支持本地和对象存储,导出文件应上传到私有 Bucket,通过带签名的临时 URL 下载,而不是公开可访问的路径。
六、下载与生命周期管理
6.1 下载接口的鉴权
下载接口不能只靠文件路径的不可猜测性来保护。必须校验:
发起人匹配:task.admin_id 必须等于当前登录用户 ID(用户本人导出)或当前管理员有对应权限。
状态校验:status = 2 且 expire_time > now。
哈希校验:下载时可选校验 file_hash,确保文件未被篡改。
6.2 过期清理任务
LikeShop 的 crontab 定时任务机制每分钟执行一次,可以新增一个清理子任务,每小时扫描过期导出文件并从存储中删除:
public function cleanExpiredExport(): void
{
$expired = UserExportTaskModel::where('status', 2)
->where('expire_time', '<', time())
->where('file_path', '<>', '')
->limit(50)
->select();
foreach ($expired as $task) {
StorageServer::deletePrivate($task['file_path']);
UserExportTaskModel::where('id', $task['id'])->update([
'file_path' => '',
'status' => 4, // 4-已过期清理
]);
}
}
文件删除后,任务记录保留(用于审计追溯),但下载入口失效。这符合“导出完成后应对导入导出通道缓存的数据进行删除”的合规要求。
七、审计留痕:导出行为必须可追溯
每一次导出都是一次个人信息处理行为。审计表 ls_user_export_audit 记录:
CREATE TABLE `ls_user_export_audit` (
`id` bigint UNSIGNED NOT NULL AUTO_INCREMENT,
`task_no` varchar(64) NOT NULL,
`operator_id` int NOT NULL,
`operator_type` varchar(20) NOT NULL COMMENT 'admin/user',
`export_type` varchar(30) NOT NULL,
`row_count` int DEFAULT '0',
`mask_policy` varchar(50) DEFAULT '',
`ip` varchar(45) DEFAULT '',
`user_agent` varchar(255) DEFAULT '',
`file_hash` varchar(64) DEFAULT '',
`create_time` int UNSIGNED NOT NULL,
PRIMARY KEY (`id`),
KEY `idx_task` (`task_no`),
KEY `idx_operator` (`operator_id`, `create_time`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
审计表只增不改不删。如果后续需要追溯“谁在什么时候导出了多少条用户数据”,这张表是唯一依据。搜索材料指出,数据导出终端、用户或服务组件的访问控制与身份真实性保证是合规审计的重点。
八、用户本人“下载我的数据”入口
除了后台管理员的批量导出,面向 C 端用户的“下载我的数据”是第45条查阅复制权的直接落地。入口放在小程序/H5 的“个人中心 → 隐私与数据 → 下载我的数据”。
用户提交请求后,同样走异步任务流程,但导出范围被严格限定为当前登录用户自己的数据,且脱敏策略为 user_self(明文)。任务完成后通过模板消息或站内信通知用户,下载链接绑定用户会话,不可分享。
注销用户的处理:如果用户已经注销(数据被软删除或匿名化),导出结果中不应再包含该用户的个人信息。如果系统只做了软删除,注销用户的数据仍然可能被导出,这在合规上是一个需要修复的缺口。二开导出模块时,应在查询条件中排除 delete_time > 0 且未完成匿名化的用户,或者对注销用户的数据做物理删除/不可逆匿名化后再允许导出。
九、二开避坑清单
坑一:在 Controller 里同步执行导出。 多人同时点导出会直接把 PHP-FPM 进程打满,CPU 和内存飙升。必须走异步队列,Controller 只负责任务创建和参数校验。
坑二:用 Db::select() 全量加载用户数据。 几万行数据就会导致内存溢出。必须用 cursor() 逐行流式处理,CSV 优先。
坑三:导出文件放在公开可访问的目录。 任何人拿到 URL 就能下载全量用户数据。必须上传到私有存储,下载走签名 URL 和身份校验。
坑四:脱敏策略一刀切。 用户本人导出自己的数据应该返回明文,后台批量导出必须脱敏。用 mask_policy 区分场景,而不是全局掩码或全局明文。
坑五:导出行为没有审计记录。 “谁导了、导了多少、什么时候导的”无法追溯,一旦发生数据泄露无法定位责任。审计表必须与导出任务同步写入。
坑六:导出文件永不过期。 文件长期留在服务器上,增加了泄露面。设置 expire_time,由定时任务自动清理,过期后下载链接失效。
坑七:注销用户的数据仍然被导出。 如果系统只做软删除,导出查询没有排除已注销用户,会在合规审计中被认定为“未实现删除权”。导出条件必须与注销/匿名化逻辑对齐。
十、总结
LikeShop 单商户 PHP 版用户数据一键导出与隐私合规的二开,核心是三条线:
异步架构:Controller 只创建导出任务并推送轻量消息,消费者用 cursor() 流式生成 CSV,避免同步导出拖垮 PHP-FPM。这是性能层面的底线。
脱敏与分级:后台批量导出默认掩码手机号等敏感字段,用户本人导出自己的数据可以返回明文。导出文件上传到私有存储,通过签名 URL 下载,过期自动清理。
审计与生命周期:每次导出写入审计表,记录操作人、范围、行数、文件哈希。导出文件设置有效期,由 crontab 定时任务清理,确保数据不会在服务器上无限期留存。
守住三条底线:不将全量数据加载进内存、不输出未脱敏的批量明文、不留下无审计的导出行为。这样既满足《个人信息保护法》对查阅复制权和删除权的技术要求,又不会让导出功能成为 LikeShop 系统新的数据泄露入口。