阿里云日志服务数据加工实现日志加密解密

简介: AES加密解密

背景

为了保证数据的安全性,在做网络数据传输时,往往会对原始数据进行加密操作。加密算法多种多样,而AES加密则是我们最常见的加密算法,是对称加密算法,其运算速度快,安全性高且内存需求低。本期来学习一下阿里云日志服务数据加工提供的AES加密及解密教程

AES加密

  • 原始数据
{"name": "aliyun", "age": "18", "content": "content"}

现在对name字段进行加密,设置的密钥为"ieuwnsjdkjkixxpo",iv可以不填,会随机生成一个iv向量,输出的格式有bytes、base64和十六进制格式字符串。

  • 加工语法
e_set("aes_name", aes_encrypt(v("name"), key="ieuwnsjdkjkixxpo", output_format="base64"))

这里我们设置输出格式为base64。

  • 加工结果
aes_name:f7NmJfUrcZQsZ8MSS7g/5g==
age:18
content:content
name:aliyun

可以看到,aes_name字段为name字段经过aes加密后的base64格式的字符串。接下来再来学习下AES解密函数。

AES解密

aes加密与aes解密参数大致相同。aes加密默认输入为bytes格式字符串,输出十六进制字符串。而aes解密默认输入为十六进制,输出为bytes格式。看如下案例。

  • 原始日志
{"name":"Alice","email":"93810392x@qq.com","phone":"1Om5HaeQHAi9f8i3Msj6fw=="}
  • 加工语法
e_set("phoneNum",(aes_decrypt(v("phone"),"aoielscshgdhhhsj",iv=b"owpejskdnhtesyun",input_format="base64",)),)
  • 加工结果
email:93810392x@qq.com
name:Alice
phone:1Om5HaeQHAi9f8i3Msj6fw==
phoneNum:029-8873145*

常见问题及注意事项

  1. aes_decrypt默认输出为bytes格式,可以根据output_encoding参数进行解码。SLS默认会把bytes格式转换为字符串,有可能会出现信息缺失。
  2. 密钥key的字节长度必须为16、24或32。
  3. iv向量必须是bytes格式,如果不设置的话,会随机生成。
相关文章
|
5月前
|
SQL 人工智能 监控
SLS Copilot 实践:基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践,展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
1079 81
|
5月前
|
数据采集 运维 监控
不重启、不重写、不停机:SLS 软删除如何实现真正的“无感数据急救”?
SLS 全新推出的「软删除」功能,以接近索引查询的性能,解决了数据应急删除与脏数据治理的痛点。2 分钟掌握这一数据管理神器。
360 41
|
6月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。
815 1
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
4303 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
9月前
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
954 54
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
434 9
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
1425 3
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
926 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
|
12月前
|
存储 缓存 关系型数据库
图解MySQL【日志】——Redo Log
Redo Log(重做日志)是数据库中用于记录数据页修改的物理日志,确保事务的持久性和一致性。其主要作用包括崩溃恢复、提高性能和保证事务一致性。Redo Log 通过先写日志的方式,在内存中缓存修改操作,并在适当时候刷入磁盘,减少随机写入带来的性能损耗。WAL(Write-Ahead Logging)技术的核心思想是先将修改操作记录到日志文件中,再择机写入磁盘,从而实现高效且安全的数据持久化。Redo Log 的持久化过程涉及 Redo Log Buffer 和不同刷盘时机的控制参数(如 `innodb_flush_log_at_trx_commit`),以平衡性能与数据安全性。
663 5
图解MySQL【日志】——Redo Log

相关产品

  • 日志服务