SLS 脱敏函数实践:构建 LLM 应用数据输出的安全防线

简介: AI 处理海量用户咨询,日志怎么保安全?我们用 SLS 脱敏函数实现“写入即打码”,运维能查、运营能看、安全能审!

作者:孙玉梅


注:本文数据都为模拟生成。


引言


过去两年,电商客服、工单、物流等环节的自动化正急速推进。一个智能助手可以同时处理上百条退款请求、物流查询、账单追踪;它不知疲倦地与用户对话,也在后台不停调用接口、记录日志、汇总报表。在这些自动化交互中,隐藏着大量敏感数据:


  • 用户咨询里可能出现手机号、订单号、收货地址;
  • 后端业务日志中常常包含银行卡号、接口 IP、账户 ID;
  • 工单流转过程中甚至会附带内部 Token、用户名。


这些信息若在系统内未经处理地流转、存储或导出,不仅违反数据最小化原则,更可能在调试、共享或导出日志时意外泄露。然而,现实场景中我们又无法简单地“少打日志”或“去掉字段”。日志是运维排障的工具,是运营分析的基础,也是安全审计的依据。

1764053076848_f3426cd8a69d4d44917f8da47c78b3cc.png

本文将以一个电商 Copilot Demo 为例,展示如何借助阿里云日志服务(SLS)的脱敏函数,在不改变业务逻辑的前提下,确保系统中的敏感数据隐私安全。


方案全景:智能化与数据安全的融合


整体设计

1764053107007_b4aef3eb0dbb42c1a07efb52d1858e79.png

系统的上层编排由 Dify 平台完成,Dify 负责协调用户输入、意图识别、调用后端服务以及生成回复,是整个 Copilot 系统的中枢。

1764053129195_227e99132db344b5b6514fb81754c463.png

但在实践中发现一个关键问题,Dify 自身的数据链路观测并不细粒度,主要体现在


  • 平台主要提供节点级执行日志;
  • 但对下游 API 调用、异常堆栈、耗时分布的观测有限;
  • 出现故障时,Dify 内置日志往往不足以支撑排障与审计。


因此,选择在 Dify 服务部署侧通过 LoongCollector 采集服务日志,通过 LoongCollector 将日志统一推送到 SLS LogStore。


  • 数据流:采集来源统一,同时采集 Dify 编排日志、后端服务日志、系统标准输出,并以固定的日志格式输出,完整的数据流转时序图如下:

1764053144296_827dec6048ad4bdeb4461c6c537dfbf2.png

  • 写入脱敏通过写入处理器配置 SPL 脱敏(mask)函数,确保敏感字段在入库时已被打码。
  • 使用层:不管是运维、运营或者安全同学,都可以基于脱敏的 Logstore 数据做可以做相关业务分析。


日志链路

数据采集

LoongCollector[1]作为一款轻量级日志采集工具,支持采集主机文本日志、Kubernetes 集群容器日志、HTTP 数据等不同的数据源,当前 Copilot Demo 日志以 JSON 格式打印在主机日志目录中,此处接入单行文本日志即可:

1764053470370_c996c9ed2e0646e0bd7fe629b512f59a.png

配置日志所在的文件路径:

1764053489423_0d58d96ef9a0490a831431da23b93248.png

写入脱敏

SLS 提供的 mask(脱敏)函数,支持内置和关键字匹配两种模式,能高效、精准地识别并脱敏日志中的敏感信息:


  • 内置匹配(buildin):mask 函数开箱即用,内置了对常见 6 种敏感信息(如手机号、身份证、邮箱、IP 地址、座机电话、银行卡号)的识别能力。
  • 关键字匹配(keyword)智能识别任意文本中符合 "key":"value"、'key':'value' 或 key=value 等常见 KV 对格式的敏感信息。


针对文中电商 copilot 日志,在对应的 project 中新建数据处理器(配置下图 SPL 配置),即可智能识别并对 IP 地址、邮箱等敏感内容进行脱敏。其中手机号、身份证号、信用卡号、姓名以及地址信息,定制化地保留前后缀。详细配置介绍可参见《无需复杂正则:SLS 新脱敏函数让隐私保护更简单高效

1764053511277_9607c4f434dd433ba60b2aa6a341b771.png

  • 配置写入处理器使任务生效:选择待应用的 logstore,在写入处理器 tab 中应用上面新建的处理任务。

1764053525307_c5790f53aa67486cbd9d73203e9db10b.png

脱敏前后日志对比


1764053535846_7f744ac6684e458297db233f0a5a08b7.png


对比脱敏前的数据可以看到:


  • 按需保留,安全与可用性兼顾针对不同敏感字段,可定制化保留前后缀字符。手机号保留前三后四位,既保护了用户隐私,又方便运维人员进行问题排查和用户身份核验,在保障安全的同时兼顾了数据可用性。
  • 配置极简,无需正则关键字匹配模式下,即使数据嵌套多层 JSON 结构,也只需配置最内层的 Key 即可精准匹配 Value 进行脱敏,同时无需编写复杂的正则表达式来兼容各种 key:value 对格式,大大降低了配置难度。
  • 中文精准脱敏姓名与地址精确按照配置的规则进行打码,避免因编码问题导致脱敏失效。


此外,mask 函数相较于使用正则表达式进行脱敏,在性能上具有显著优势,可有效降低日志处理延迟,提升整体性能。尤其是在复杂或者数据量巨大的场景下,性能优势更为明显。


使用层日志分析

数据脱敏让同一份日志呈现出三种“视角”:


  • 运维看到调用链与性能瓶颈,却看不到隐私;
  • 运营看到趋势、效率与体验,却看不到个体;
  • 安全看到策略执行与留痕证据,却无需担心遗漏。


在这套体系中,数据不再是一座孤岛,而是一套有边界的智能资产,数据合规、分析、排障三者可以并行。

运维工程师:定位

对于运维团队来说,以往排障往往依赖包含用户手机号、地址、账户号的明文日志,这在合规上存在高风险。现在,脱敏后的日志让这一过程从源头安全化,在问题定位场景中通过 trace_id 检索即可复原整个调用链:


  • 从 Copilot 的意图识别开始;
  • 到订单服务 → 退款服务 → 第三方支付网关;
  • 再到返回结果与耗时。


需要核对用户身份时,日志里只保留了脱敏后的银行卡号、手机号等信息,足以和业务侧“同一用户”比对,而不会暴露原值。即便是跨团队协查,也能直接在脱敏日志上定位问题,避免泄露风险。

1764053580208_ae0b33cdc77e431c9c42202c81657205.png

运营团队:分析

报表的价值在于发现整体趋势,而非窥探个人信息。在脱敏运营报表中,用户信息已匿名化处理,仅保留关键业务指标,助力团队从数据中挖掘洞察。

1764053627071_9ffcabb9e61b41f2af4839f0e866192b.png

从这份报表中,运营团队可以快速了解:


  • 整体概况:UV、PV 等关键指标,Copilot 交互次数,以及咨询总量,快速掌握运营概况。
  • 咨询分类:退款、商品、物流咨询占比,清晰了解用户关注点。
  • 问题分类:掌握用户提问的侧重点,如功能、价格、规格等。
  • 重复咨询率:衡量服务质量,快速定位需要优化的环节。
  • 用户行为:咨询后购买转化漏斗,以及热门咨询关键词,助力优化产品和营销策略。
  • 重点用户:Top 10 咨询用户,虽然用户信息脱敏,但可通过 VIP 等级和咨询次数,制定差异化服务策略。


此外,报表中所有用户信息都经过脱敏处理,电话号码、姓名等个人信息均被掩码,确保无法反推到具体用户,充分保障用户隐私。

安全与合规团队:审计

对安全与合规团队而言,日志的最大风险在于“存量明文”。本文中的脱敏方案将脱敏前置:数据在写入前已被处理,这从根本上消除了敏感数据脱敏覆盖不全与导出明文数据的可能。此外,SLS 还提供完善的合规支撑能力:


  • 数据存储:支持自定义日志存储时间,对网络审计相关日志设置>180 天的存储天数,满足安全审计要求。

1764053670753_c22aa48e84de4a56a6e0d309db2a254e.png

  • 数据操作审计:日志使用过程中会存在用户级操作行为,这些不管是管控层面的控制台操作、OpenAPI 调用,或者数据面的业务日志使用,任何人查看、分析、导出日志,都只在授权范围内看到应当看到的内容。同时 CloudLens for SLS[2]还提供 Project、Logstore 的资产使用监控


小结


当 LoongCollector 的日志采集与 LogStore 的数据脱敏连成闭环,日志在落库同时完成安全转化。运维能定位,运营能分析,安全能审计。这不是一次性的加固,而是一条可复用的路径:写入侧脱敏 + 默认脱敏落库 + 角色化访问。以此为基线,企业能放心扩展 Copilot 的业务覆盖,让“效率红利”与“合规确定性”并行存在。


相关链接:

[1] LoongCollector
https://help.aliyun.com/zh/sls/what-is-sls-loongcollector

[2] CloudLens for SLS
https://help.aliyun.com/zh/sls/cloudlens-for-sls/

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
9月前
|
运维 监控 数据可视化
故障发现提速 80%,运维成本降 40%:魔方文娱的可观测升级之路
魔方文娱携手阿里云构建全栈可观测体系,实现故障发现效率提升 80%、运维成本下降 40%,并融合 AI 驱动异常检测,迈向智能运维新阶段。
709 82
|
9月前
|
SQL 存储 监控
SLS 物化视图来了:大规模日志查询提速 100 倍,资源消耗直降 90%
阿里云日志服务推出物化视图,通过智能预计算 + 自动查询改写,实现监控看板秒级响应、资源开销大幅降低,彻底解决‘查得慢、扛不住、不准’三大难题。
547 67
|
9月前
|
监控 Java C语言
Java内存排查太难?阿里云操作系统控制台上线「内存诊断」新利器
帮助用户结合应用和操作系统的角度,快速揪出 Java 应用内存占用的元凶。
|
存储 安全 开发工具
oss加密存储
阿里云OSS为数据安全提供多种加密机制,包括服务器端的SSE-S3(AES-256透明加密)、SSE-C(用户管理密钥)和CSE-KMS(结合KMS进行密钥管理)。此外,OSS支持客户端加密SDK和HTTPS传输加密,确保数据在传输和存储时的安全。通过ACL、Bucket策略和访问密钥身份验证,实现权限控制与身份验证,全方位保障用户数据的安全性和隐私。用户可按需选择适合的加密方式。
1259 2
|
10月前
|
数据采集 监控 API
移动端性能监控探索:iOS RUM SDK 技术架构与实践
阿里云 RUM SDK 作为一款性能体验监控采集工具,可以作为辅助 App 运维的强有力助手,提升您的问题排查效率。
509 75
|
9月前
|
运维 监控 数据可视化
故障发现提速 80%,运维成本降 40%:魔方文娱的可观测升级之路
魔方文娱集团携手阿里云构建全链路可观测体系,突破高并发场景下监控盲区、告警风暴等难题,实现故障发现效率提升80%、运维成本降低40%,推动运维从被动响应向智能预防演进。
342 10
故障发现提速 80%,运维成本降 40%:魔方文娱的可观测升级之路
|
9月前
|
人工智能 编解码 数据可视化
构建AI智能体:三十、精雕细琢:驾驭关键词的细微差别,解锁高质量提示词编排与视觉表征
《AI图像生成中的提示词工程艺术》摘要:文章系统阐述了人工智能图像生成中的提示词工程(Prompt Engineering)技术。通过具体案例对比,展示了细微的提示词差异如何导致图像质量的巨大分野,详细解析了提示词的核心要素、语法结构及编排方法。文章提出专业级提示词的多维描述矩阵和权重控制语法,强调精准描述与AI沟通的重要性。同时指出,提示词工程是艺术与科学的结合,需要不断练习和实验才能掌握这项数字时代的关键创造力技能。
983 11
|
5月前
|
存储 人工智能 自然语言处理
全生命周期管理:开源知识库的技术架构升级
企业知识管理数字化转型中,传统知识库存在结构化低、检索弱、AI融合浅等痛点。AI驱动的开源知识库系统以大模型赋能为核心,依托模块化架构、全栈AI集成、多源异构数据处理等技术,为多场景知识管理提供端到端解决方案。本文从技术框架、功能实现、跨领域案例、使用心得四大维度,结合非技术领域实践,剖析开源知识库系统的工程化设计本质,补充核心技术框架与专业术语。
743 3
|
9月前
|
监控 算法 开发工具
用户说“App 卡死了”,你却查不到原因?可能是监控方式错了
iOS 卡顿难复现?传统监控抓不到根因?本文深入剖析 iOS 主流卡顿监控方案,重点揭秘生产级可用的 RunLoop 监控实现:如何在不影响性能的前提下,精准捕获主线程阻塞、提取耗时堆栈,并通过退火算法避免重复上报——现已集成于阿里云 ARMS iOS SDK。
795 65

热门文章

最新文章