开发者社区> GuoYu> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

SLS数据加工实现Hashids库对数据进行编码

简介: Hashids是一个非常小巧的跨语言的开源库,它可以将数字编码成一个简短、唯一、非顺序的ID。
+关注继续查看

阿里云日志服务介绍

日志服务(Log Service,简称SLS)是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升您在研发、运维、运营、安全等场景的数字化能力。

image

数据加工服务是阿里云SLS推出的面向日志ETL处理的服务,主要解决数据加工过程中转换、过滤、分发、富化等场景。
image

Hashids是什么

背景

Hashids是一个非常小巧的跨语言的开源库,它可以将数字编码成一个简短、唯一、非顺序的ID。比如347这样的数字转换为“yr8”这样的字符串,或将[27986]这样的数字数组转换为“3kTMd”。拿论坛来说,一般帖子在数据库里的id都是顺序递增的,但是你可能不想在url上直接把id暴露出来,以免爬虫直接遍历id爬取你的内容,给你带来损失。那现在你就可以使用Hashids把这个id打乱,让它失去顺序性,无法直接遍历,这样就可以直接提高了爬虫的门槛。

特点

Hashids是一个将数字转化为长度较短、唯一且不连续的值的库。特点是:

  • 对非负整数都可以生成唯一短id
  • 可以设置不同的盐,具有保密性
  • 递增的输入产生的输出无法预测
  • 代码较短,且不依赖于第三方库

Hashids不同于md5这种算法这种单向映射,Hashids除了编码还会解码。hashids不仅可以编码一个整数,还可以一次编码多个整数,这对于将多个参数捆绑到一个参数中或简单地将它们用作短UID很有用。解码的时候不需要对字符串进行分割,可以直接解码成多个整数。(如下文示例二场景)这在存储一个数据时给我们多了一种选择,一般我们使用json打包多个id放在数据表的一个字段里,现在我们就可以使用hashids把它们编码成一个字符串塞进去了,可以节省一定的存储空间。

场景应用

比如在博文《Generating YouTube-like IDs in Postgres using PL/V8 and Hashids》所讨论的场景里,想在 RESTful 路由中公开一个资源,但是不希望 URL 容易被猜到。换句话说,我们的标准是将诸如 https://example.com/products/1https://example.com/products/2https://example.com/products 之类的 URL /3显示出来,这是很容易猜到的,因为我们将数据库的自动递增整数主键公开为资源 ID。为了防止人们编写一个超级简单的脚本来抓取我的整个产品目录,如果我们可以使 URL 不易被猜测,同时仍然对认识它们的人保持公开访问,那就太好了。

一个简单的方案是直接使用UUID,但是像 https://example.com/products/3bc95fb9-f0c1-4af8-989e-6ea8467879d3 这样的 URL 看起来很繁琐,特别是当你使用它们的嵌套子资源时附上自己的 UUID。这时候就会想到名为 Hashids 的库,它可以接受一个整数输入(例如我们的主键)和一个盐,并将它们混淆成类似 YouTube 的、简短的、不可猜测的 ID,如下所示:https://example .com/products/NVhttps://example.com/products/6mhttps://example.com/products/yD

image

下文具体来介绍SLS中是如何使用Hashids库对数据进行编码(hashids_encoding)和解码(hashids_decoding)。

SLS数据加工Hashids函数使用

hashids_encoding

使用Hashids库对数据进行编码

函数格式

hashids_encoding(value, salt="", min_length=0)

参数说明

参数名称

参数类型

是否必填

说明

value

Number、

List、

Tuple

被编码的数据,当value为数字时,不能小于0。

salt

String

加密数据使用的盐值,默认是空字符串。

min_length

Number

生成的哈希的最小长度,默认是0。

返回结果

返回加密后的字符串

hashids_decoding

对已有的Hashids库编码后的数据进行解码

函数格式

hashids_decoding(hashid, salt="", min_length=0)

参数说明

参数名称

参数类型

是否必填

说明

hashid

String

需要被解码的数据。

salt

String

解密数据使用的盐值,默认是空字符串。

min_length

Number

生成的哈希的最小长度,默认是0。

返回结果

返回解密后的数据

应用场景一

场景一:对一个整数进行编解码,默认盐值和哈希长度。

原始日志:

content:test

加工规则:

e_set("hashid", hashids_encoding(123))

e_set("value", hashids_decoding(v("hashid")))


加工结果:

content:test

hashid:Mj3

value:[123]

场景二:对多个整数(List类型)进行编解码,默认哈希长度,自定义盐值。

原始日志:

content:test

加工规则:

e_set("hashid", hashids_encoding([123, 456], salt="test"))

e_set("value", hashids_decoding(v("hashid"), salt="test"))

加工结果:

content:test

hashid:bpBHYO

value:[123, 456]

场景三:对多个整数(List类型)进行编码,自定义盐值和哈希长度。

原始日志:

content:test

加工规则:

e_set("hashid", hashids_encoding([123, 456,789,100], salt="test", min_length=32))

e_set("value", hashids_decoding(v("hashid"), salt="test", min_length=32))

加工结果:

content:test

hashid:xvrp2G1DnaQObsRoSEQI65zmYZP043Aj

value:[123, 456, 789, 100]

场景四:对多个整数(Tuple类型)进行编码,自定义盐值和哈希长度。

原始日志:

content:test

加工规则:

e_set("hashid", hashids_encoding((123, 456, 100, 200, 300), salt="test", min_length=32))

e_set("value", hashids_decoding(v("hashid"), salt="test", min_length=32))

加工结果:

content:test

hashid:G9LmrBnbWNe8IlEFVgC6NcBqzqNP4VEk

value:[123, 456, 100, 200, 300]


其他参考:

1、hashids官网:https://hashids.org/

2、《Generating YouTube-like IDs in Postgres using PL/V8 and Hashids》:https://abevoelker.com/generating-youtube-like-ids-in-postgres-using-plv8-and-hashids/

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
编写Java程序,实现从控制台输入对应个数的整数,输出对输入整数的从大到小显示
编写Java程序,实现从控制台输入对应个数的整数,输出对输入整数的从大到小显示
194 0
Cypress系列(64)- 数据驱动策略
Cypress系列(64)- 数据驱动策略
105 0
SLS【数据加工】实现数据汇总与分发
【数据加工】是一个可托管、高可用、可扩展的数据处理服务,广泛适用于数据的规整、富化、分发、汇总、重建索引等场景。这里详细介绍如何通过数据加工实现数据的分发与汇总,从而实现统一存储管理或分类精细化查询分析,以及存储成本优化等目的。
253 0
利用阿里云搭建WordPress网站 – 数据库缓存和管理
WordPress是一种非常流行的博客网站平台,也可以当作一个内容管理系统(CMS)来使用, 是世界上使用最广泛的博客系统之一。WordPress有非常多优秀的插件,使得这个开源产品变得非常容易扩展,满足不同的需求。
4414 0
《Java安全编码标准》一2.13 IDS12-J在不同的字符编码中无损转换字符串数据
本节书摘来自华章出版社《Java安全编码标准》一书中的第2章,第2.13节,作者 (美)Fred Long,Dhruv Mohindra,Robert C. Seacord,Dean F. Sutherland,David Svoboda,更多章节内容可以访问云栖社区“华章计算机”公众号查看
1045 0
HBase和HDFS数据互导程序
下面说说JAVA API 提供的这些类的功能和他们之间有什么样的联系。 1.HBaseConfiguration 关系:org.apache.hadoop.hbase.HBaseConfiguration 作用:通过此类可以对HBase进行配置 用法实例: Configuration config = HBaseConfiguration.create(); 说明: HBaseConf
2584 0
SaaS应用程序存安全隐患 或泄露敏感数据
据国外媒体报道,近期发表的一篇研究论文称,SaaS(软件即服务,Software-as-a-service)交付应用程序可能会导致数据的泄露。 这份由微软研究院和印第安纳大学学者发表的论文,提供了SaaS交付应用程序的操作细节及其如何通过网络导致“侧通道”泄露,并可能引发严重的安全隐患的过程:即使在SaaS加密的情况下,攻击者也可能获取到最敏感的数据。
915 0
+关注
GuoYu
学无止境
文章
问答
文章排行榜
最热
最新
相关电子书
更多
数据采集:日志数据上传
立即下载
数据无边界:非结构化数据在MaxCompute上的处理
立即下载
数据无边界:非结构化数据在MaxCompute上的处理
立即下载