海量智能元数据管理系统实现解析

本文涉及的产品
对象存储 OSS,20GB 3个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
日志服务 SLS,月写入数据量 50GB 1个月
简介: 一、方案背景 用户存储海量的文档、媒体文件等数据的同时,对文件元数据(Mate)的管理不可或缺。元数据拥有多维度的字段信息,基本信息包含文件大小、创建时间、用户等。随着人工智能的发展,通过AI技术提取文件核心要素也成为文件元数据的重要信息。
+关注继续查看

一、方案背景

用户存储海量的文档、媒体文件等数据的同时,对文件元数据(Meta)的管理不可或缺。元数据拥有多维度的字段信息,基本信息包含文件大小、创建时间、用户等。随着人工智能的发展,通过AI技术提取文件核心要素也成为文件元数据的重要信息。以图片为例:用户通过智能媒体服务,获取分析图片核心标签并为标签打分,用户还可提取人脸识别相关信息,以及地理位置等信息,提取的信息也需要存储到文件元数据信息中。因而文件元数据的信息量不断增加,格式、类型也不断呈现多元化。

需求场景

某智能媒体管理平台,为用户提供文件(图片、视频等)管理服务,用户通过自研(或售卖)的智能媒体分析工具,为目标文件进行分析。用分析后的信息丰富原有的元数据信息。因此,平台需要一套有效的元数据管理方案,为用户提供元数据信息的管理、分析、统计功能。例如:
用户A:【用户A的文件】*【近1年】*【标签含[开心]】*的所有图片,按标签分数排序
用户B:【用户B的文件】*【出现某某明星】*的所有视频,按明星相似度排序
......
管理系统样例,如下所示:__官网控制台地址:__项目样例

immDemo.gif | center | 827x490

技术点

对于智能元数据管理系统,通常需要考虑的技术点,包含以下方面:

  • 查询能力:具备强大的查询能力,如多类型索引、多维度组合查询等,同时具备排序、统计等功能;
  • 横向扩展(多字段):元数据的字段类型丰富,字段变动、增删频繁,数据库尽量schema free来保证横向扩展能力;
  • 纵向扩展(数据量):海量文件就会对应海量元数据,面对数据膨胀,数据库要满足易扩展、低成本等基本要求;
  • 服务性能:应对高并发请的同时,保证低延迟、强一致、高可用;
    20190107103121

二、表格存储(TableStore)方案

使用表格存储(TableStore)研发的多元索引(SearchIndex)方案,可以有效解决海量元数据的管理问题。TableStore具有即开即用,按量收费等特点。
TableStore作为阿里云提供的一款全托管、分布式NoSql型数据存储服务,具有【海量数据存储】、【热点数据自动分片】、【海量数据多维检索】等功能,天然地解决了数据大爆炸这一挑战;在应对数据横向、纵向扩展上,充分发乎其优势。多元索引随时创建,是Meta元数据管理的合适方案。
同时,SearchIndex功能在保证用户数据高可用的基础上,提供了数据多维度搜索、统计等能力。针对多种场景创建多种索引,实现多种模式的检索。用户可以仅在需要的时候创建、开通索引。由TableStore来保证数据同步的一致性,这极大的降低了用户的方案设计、服务运维、代码开发等工作量。

基于表格存储搭建的智能元数据管理系统页面一览

样例内嵌在表格存储控制台中,用户可登录控制台体验系统(若为表格存储的新用户,需要点击开通服务后体验,开通免费,Meta数据存储在公共实例中,体验不消耗用户存储、流量、Cu)。
注:该样例提供了【亿量级】文件元数据。官网控制台地址:项目样例

image.png | left | 827x465

image.png | left | 827x465

二、搭建准备

若您对于智能元数据管理系统感兴趣,希望开始自己系统的搭建之旅,只需按照如下步骤便可以着手搭建了:

1、开通表格存储

通过控制台开通表格存储服务,表格存储即开即用(后付费),采用按量付费方式,已为用户提供足够功能测试的免费额度。表格存储官网控制台免费额度说明

2、创建实例

通过控制台创建表格存储实例,选择支持多元索引的Region。(当前阶段SearchIndex功能尚未商业化,暂时开放北京,上海,杭州和深圳四地,其余地区将逐渐开放)

image | left

创建实例后,提交工单申请多元索引功能邀测(现多元索引功能已商业化,无需申请)。

image | left

3、SDK下载

使用具有多元索引(SearchIndex)的SDK,官网地址,暂时java、go、node.js三种SDK增加了新功能

java-SDK

<dependency>
    <groupId>com.aliyun.openservices</groupId>
    <artifactId>tablestore</artifactId>
    <version>4.8.0</version>
</dependency>

go-SDK

$ go get github.com/aliyun/aliyun-tablestore-go-sdk

Nodejs-SDK

$ npm install tablestore@4.1.0

4、表设计

表名:order_contract

列名
数据类型
索引类型
字段说明
_id(主键列)
String
MD5(fId)避免热点
fId
String
KEYWORD
文件编号
userId
String
KEYWORD
用户编号
tags
String
Nested: [{
  tag: String,
score: LONG
}]
多标签使用嵌套索引(数组字符串) '[{"tag":"表格存储","score":97.317251},{"score":50.770918,"tag":"沙漠"}]'
size
long
LONG
文件大小
createdAt
long
LONG
创建时间(时间戳)
url
String
KEYWORD
文件链接(存储于oss)
...
...
...
...

三、开始搭建(核心代码)

1、创建数据表

创建智能元数据表,用户仅需维护一个实例,按如下方式在实例下建表:
通过控制台创建、管理数据表(用户也可以通过SDK直接创建):

image.png | left | 827x323

2、创建数据表索引
TableStore自动做全量、增量的索引数据同步:用户可以通过控制台创建、管理SearchIndex(用户也可通过SDK创建):

image.png | left | 827x371

3、数据导入

插入部分测试数据(控制台样例中插入了1亿条数据,用户自己可以通过控制台插入少量测试数据);

文件编号 文件ID(md5主键) 用户编号 标签(数组字符串) 类型 链接 大小
f052535742 1bce.... u05254 [{"score":99.999999,"tag":"表格存储"},{"score":78.962224,"tag":"冰雹"},{"score":18.328385,"tag":"开心"},{"score":16.886812,"tag":"雪山"}] image https://prd-console-demo.oss-cn-hangzhou.aliyuncs.com/image/imm1.jpg 9022066

4、数据读取

数据读取分为两类:

主键读取

基于原生表格存储的主键列获取:getRow, getRange, batchGetRow等。主键读取用于索引(自动)反查,用户也可以提供主键(文件编号md5)的单条查询的页面,亿量级下查询速度保持在十毫秒量级。单主键查询方式不支持多维度检索;

索引读取

基于新SearchIndex功能Query:search接口。用户可以自由设计索引字段的多维度条件组合查询。通过设置选择不同的查询参数,构建不同的查询条件、不同排序方式;目前支持:精确查询、范围查询、前缀查询、匹配查询、通配符查询、短语匹配查询、分词字符串查询、嵌套查询、GEO查询,并通过布尔与、或组合。
如【标签为:表格存储,创建时间[2018-01-01, 2018-12-01)】文件的信息:(SDK与控制查询)

List<Query> mustQueries = new ArrayList<Query>();

//嵌套字段Query
TermQuery termQuery = new TermQuery();
termQuery.setFieldName("tags.tag");
termQuery.setTerm(ColumnValue.fromString("表格存储"));

NestedQuery nestedQuery = new NestedQuery();
nestedQuery.setPath("tags");
nestedQuery.setScoreMode(ScoreMode.Avg);
nestedQuery.setQuery(termQuery);
mustQueries.add(nestedQuery);

//范围Query
RangeQuery rangeQuery = new RangeQuery();
rangeQuery.setFieldName("createdAt");
rangeQuery.setFrom(ColumnValue.fromLong(1514793600000, true);
rangeQuery.setTo(ColumnValue.fromLong(1543651200000, false);
mustQueries.add(rangeQuery);

//精确Query
TermQuery termQuery = new TermQuery();
termQuery.setFieldName("type");
termQuery.setTerm(ColumnValue.fromString("image"));
mustQueries.add(termQuery);

BoolQuery boolQuery = new BoolQuery();
boolQuery.setMustQueries(mustQueries);

image.png | left | 747x394

四、欢迎加入

这样,系统的核心代码已经完成,基于表格存储搭建智能元数据管理系统,是不是很简单?
对表格存储(TableStore)感兴趣的用户,欢迎加入【表格存储公开交流群】,群号:11789671。

image | left

目录
相关文章
|
3月前
|
存储 人工智能 运维
阿里云存储受邀参加北京站「源创会」,解析智能存储基于大模型的产品能力提升
8 月 26 日,以 “AI 大模型与底层技术探索” 为主题的源创会北京站在北京中关村创业大街圆满举办。会上,阿里云智能高级技术专家马俊凯发表了《智能存储基于大模型的产品能力提升》主题演讲,详解了大语言模型对于智能存储的影响。
|
3月前
|
机器学习/深度学习 文字识别 自然语言处理
开启智能时代:深度解析智能文档分析技术的前沿与应用
开启智能时代:深度解析智能文档分析技术的前沿与应用
开启智能时代:深度解析智能文档分析技术的前沿与应用
|
4月前
|
存储 传感器 边缘计算
物联网体系架构解析:感知、通信与智能的融合
本篇深入剖析了物联网体系架构的关键要素,围绕感知、通信与应用层,以及边缘计算和云计算的角色进行了详细探讨。在感知层,各种传感器、执行器和物理设备的作用被阐述,它们负责采集环境数据和执行操作。传输层则负责数据传输和通信,确保感知层数据能够流畅传送。而应用层是物联网的最终目标,集成了各类应用和服务,通过分析传输层数据来实现智能化决策和控制。
111 0
|
4月前
|
人工智能 自然语言处理
精细解析中文公司名称:智能分词工具助力地名、品牌名、行业词和后缀提取
精细解析中文公司名称:智能分词工具助力地名、品牌名、行业词和后缀提取
 精细解析中文公司名称:智能分词工具助力地名、品牌名、行业词和后缀提取
|
5月前
|
机器学习/深度学习 资源调度 搜索推荐
协同过滤算法深入解析:构建智能推荐系统的核心技术
一、前言 随着互联网的高速发展,我们每天面临着海量信息的冲击,从而使得我们无法有效地筛选出感兴趣的信息。在这种背景下,推荐系统应运而生,成为帮助用户过滤信息,找到自己感兴趣内容的有效工具。协同过滤算法作为推荐系统中的一种核心技术,广泛应用于电商、社交媒体、音乐、电影等多个领域,极大地改善了用户体验。本文将对协同过滤算法进行深入解析,让我们一起探讨这一神奇的技术。
164 0
|
12月前
|
存储 SQL 网络协议
PolarDB for PostgreSQL 采用iprange和SPGiST index 实现超光速 - 全球化业务根据来源IP智能DNS路由就近分配本地机房访问, 提升用户体验
[《如何获得IP地址对应的地理信息库, 实现智能DNS解析? 就近路由提升全球化部署业务的访问性能》](../202211/20221124_09.md) 上一篇信息提到了如何获取IP地址段的地理信息库, 本篇信息将使用PolarDB for PostgreSQL来加速根据来源IP快速找到对应的IP地址段, 将用到PolarDB for PostgreSQL的SPGiST索引和inet数据类型. 相比于把IP地址段存储为2个int8字段作between and的匹配, SPGiST索引和inet数据类型至少可以提升20倍性能.
162 0
|
网络协议 开发者
智能解析 | 学习笔记
快速学习智能解析
49 0
|
域名解析 Kubernetes 网络协议
内网主从智能DNS从此不再烦恼
内网主从智能DNS从此不再烦恼
|
机器学习/深度学习 人工智能 算法
端智能研发核心套件,MNN 工作台深度解析
端智能研发核心套件,MNN 工作台深度解析
端智能研发核心套件,MNN 工作台深度解析
|
网络协议 调度 C++
阿里云DNS 新增云上线路的智能解析功能
企业在云上部署单元化架构或内部服务链路时,需要考虑让数据(单元)离用户更近,避免跨单元获取数据,以此来满足自身低延时的诉求。阿里云DNS 新增基于云上链路的调度功能,进一步优化DNS智能解析,给云上用户提供更精准的流量调度能力。
阿里云DNS 新增云上线路的智能解析功能
相关产品
推荐文章
更多
推荐镜像
更多