揭秘阿里知识图谱技术:每天千万级拦截量,亿级别全量智能审核

简介: 借助阿里知识图谱的建设,阿里电商平台管控从过去的“巡检”模式升级为发布端实时逐一检查。在海量的商品发布量的挑战下,最大可能地借助大数据、人工智能阻止坏人、问题商品进入阿里生态。同时面临问题商家实时的对弈、变异和恶意攻击等诸多挑战,知识图谱仍然保持着每天千万级别的拦截量,亿级别的全量智能审核次数,在滥

阿里知识图谱运用

阿里巴巴生态里积累了海量的商品数据,这些宝贵的商品数据来自于淘宝、天猫、1688、AliExpress等多个市场,同时品牌商、行业运营、治理运营、消费者、国家机构、物流商等多种角色参与其中,贡献着、校正着这样一个庞大的商品库。无论是知识产权保护,还是提升消费者购物体验,实现商品数据的标准化(商品规范的统一和商品信息的确定性), 以及与内外部数据之间的深度互联,意义都非常重大,阿里商品知识图谱承载着商品标准化这一基础性,根源性的工作。 基于此,我们才能知道哪些商品是同样一件产品,我们才能确切地知道一个品牌是否被授权,品牌下的产品卖到了哪些市场。

阿里知识图谱以商品、标准产品、 标准品牌、 标准条码、标准分类为核心, 利用实体识别、实体链指和语义分析技术,整合关联了例如舆情、百科、国家行业标准等9大类一级本体,包含了百亿级别的三元组,形成了巨大的知识网。

阿里知识图谱综合利用前沿的NLP、语义推理和深度学习等技术,打造全网商品智能服务体系,服务阿里生态中的各个角色。商品知识图谱广泛地应用于搜索、前端导购、平台治理、智能问答、品牌商运营等核心、创新业务。能够帮助品牌商透视全局数据,帮助平台治理运营发现问题商品,帮助行业基于确定的信息选品,做人货场匹配提高消费者购物体验等等。为新零售、国际化提供可靠的智能引擎。

▌引入机器学习算法搭建推理引擎

我们设计了一套框架来实现知识表示和推理。此外:知识图谱实体、关系、词林(同义词、上下位词)、垂直知识图谱(例如地理位置图谱、材质图谱)、机器学习算法模型等都纳入进来做统一的描述。

按照不同场景,我们把推理分为:上下位和等价推理;不一致性推理;知识发现推理;本体概念推理等。例如

1. 上下位和等价推理。检索父类时,通过上下位推理把子类的对象召回,同时利用等价推理(实体的同义词、变异词、同款模型等),扩大召回。 例如,为保护消费者我们需要拦截 “产地为某核污染区域的食品”,推理引擎翻译为 “找到产地为该区域,且属性项与“产地”同义,属性值是该区域下位实体的食品,以及与命中的食品是同款的食品”。

2. 不一致推理。在与问题卖家对弈过程中,我们需要对商品标题、属性、图片、商品资质、卖家资质中的品牌、材质、成分等基础信息,做一致性校验。比如说标题中的品牌是Nike而属性或者吊牌中品牌是Nake,如下图所示,左边描述了商品标题、属性、吊牌上的品牌信息是一致的,推理为一致。右边为吊牌和商品品牌不一致的商品,被推理引擎判断为有问题的商品。

1.jpg

3. 知识发现推理。一致性推理的目的是确保信息的确定性,例如通过一致性推理我们能确保数据覆盖到的食品配料表正确。但消费者购物时很少看配料表那些繁杂的数字。消费者真正关心的是无糖、无盐等强感知的知识点。为了提高消费者购物体验,知识发现推理通过底层配料表数据和国家行业标准例如:

无糖:碳水化合物≤ 0.5 g /100 g(固体)或100 mL(液体)
无盐:钠≤5mg /100 g 或100 mL

我们可以把配料表数据转化为“无糖”“无盐”等知识点。从而真正地把数据变成了知识。通过AB test验证,类似知识点在前端导购中极大地改善了消费者购物体验。

▌推理引擎背后技术框架

1.jpg

首先,推理引擎把自然语言通过语义解析(semantic parsing)转换为逻辑表达式(logical form)。语义解析采用了结合神经网络和符号逻辑执行的方式:自然语言经过句法、语法分析、 NER、 Entity Linking, 被编码为分布式表示(distributed representation),句子的分布式表示被进一步转义为逻辑表达式。

在分布式表示转换为逻辑表达式的过程中,我们首先面临表示和谓词逻辑(predicate)操作之间映射的问题。我们把谓词当做动作,通过训练执行symbolicoperation,类似neural programmer中利用attention机制选择合适的操作,即选择最有可能的谓词操作,最后根据分析的句法等把谓词操作拼接为可能的逻辑表达式,再把逻辑表达式转换为查询等。过程示意如下图所示。

1.jpg

其次,逻辑表达式会触发后续的逻辑推理和图推理。逻辑表达式在设计过程中遵循以下几个原则:逻辑表达式接近人的自然语言,同时便于机器和人的理解。表达能力满足知识图谱数据、知识表示的要求。应该易于扩展,能够非常方便的增加新的类、实体和关系,能够支持多种逻辑语言和体系,如Datalog、OWL等,即这些语言及其背后的算法模块是可插拔的,通过可插拔的功能,推理引擎有能力描述不同的逻辑体系。

以上下位和等价推理为例:“产地为中国的食品”,”

用逻辑表达式描述为:
∀x: 食物(x) ⊓ (∀ y: 同义词(y,产地)) (x, (∀ z: 包括下位实体(中国, z)))
随后找同款:
∀t, x: ($ c:属于产品(x, c) ⊓属于产品(t, c))

此外,推理引擎还用于知识库自动补全。我们基于embedding做知识库补全。主要思路是把知识库中的结构信息等加入embedding,考虑了Trans系列的特征,还包括边、相邻点、路径、实体的文本描述 (如详情)、图片等特征,用于新关系的预测和补全。

阿里知识图谱经过我们三年的建设,已经形成了巨大的知识图谱和海量的标准数据,同时与浙江大学陈华钧教授团队成立联合项目组,引入了前沿的自然语言处理、知识表示和逻辑推理技术,在阿里巴巴新零售、国际化战略下发挥着越来越重要的作用。

有关知识图谱技术交流,或有意加入我们,欢迎联系张伟 (览图):
lantu.zw@alibaba-inc.com

1.jpg

张伟 (花名:览图)博士, 阿里巴巴知识图谱团队负责人。博士毕业于新加坡国立大学,本科毕业于哈尔滨工业大学。曾任职新加坡资讯通信研究院自然语言处理应用实验室主任。

相关文章
|
机器学习/深度学习 数据采集 人工智能
阿里巴巴首次揭秘电商知识图谱AliCoCo!淘宝搜索原来这样玩!
电商技术进入认知智能时代,将给亿万用户带来更加智能的购物体验。经过两年的探索与实践,阿里巴巴的电商认知图谱 AliCoCo 已成体系规模,并在搜索推荐等电商核心业务场景上取得佳绩,关于 AliCoCo 的文章《AliCoCo: Alibaba E-commerce Cognitive Concept Net》也已被国际顶会 SIGMOD 接收,这是阿里巴巴首次正式揭秘领域知识图谱。 本文将通过介绍 AliCoCo 的背景、定义、底层设计、构建过程中的一些算法问题,以及在电商搜索和推荐上的广泛应用,分享 AliCoCo 从诞生到成为阿里巴巴核心电商引擎的基石这一路走来的思考。
20947 2
阿里巴巴首次揭秘电商知识图谱AliCoCo!淘宝搜索原来这样玩!
|
开发框架 移动开发 JavaScript
uniapp优缺点
UniApp 是一个跨平台的应用开发框架,基于 Vue.js 和 Webpack,可以将代码编译成多个平台的应用,如小程序、H5、App 等。
|
9月前
|
搜索推荐 算法 数据挖掘
《从操作轨迹到认知图谱:玩家专属游戏知识体系图谱的搭建路径》
本文聚焦玩家专属游戏知识图谱的动态织构技术,立足游戏个性化体验升级需求,提出以“微行为语义锚定”实现无感知行为数据萃取,通过三级节点体系搭建动态关联引擎,完成跨游戏、跨场景的数据语义互联。文章深入解构角色偏好与策略指纹的图谱化路径,阐述如何将碎片化操作转化为精准的认知资产,并详解图谱在个性化游戏推荐、队友匹配、策略优化等场景的赋能逻辑,构建“行为-图谱-体验”的闭环生态,为游戏行业的个性化体验创新提供了技术路径与实践方向。
310 9
|
人工智能 自然语言处理 知识图谱
Yuxi-Know:开源智能问答系统,基于大模型RAG与知识图谱技术快速构建知识库
Yuxi-Know是一个结合大模型RAG知识库与知识图谱技术的智能问答平台,支持多格式文档处理和复杂知识关系查询,具备多模型适配和智能体拓展能力。
4379 55
Yuxi-Know:开源智能问答系统,基于大模型RAG与知识图谱技术快速构建知识库
|
10月前
|
机器学习/深度学习 存储 弹性计算
阿里云服务器2核4G租用价格,最新实例收费标准与活动价格及选择参考
租用阿里云服务器2核4G配置多少钱?2025年,企业用户专享的通用算力型u1实例,2核4G配置、5M带宽及80G ESSD Entry云盘的组合,仅需199元即可使用一年,堪称性价比之选。此外,通用算力型u1、通用算力型u2i以及计算型c9i等实例也提供了2核4G配置的优惠,具体价格因带宽、系统盘种类及大小而异。本文将为大家详细梳理2025年阿里云最新活动中的2核4G配置价格,并解析阿里云服务器的公网带宽及系统盘收费标准,以供大家了解和参考。
1039 11
|
10月前
|
供应链 JavaScript 前端开发
云门诊his系统源码,采用 Spring Boot+ Vue.js 构建,易扩展,适合云门诊、云诊所项目的二次开发
云门诊HIS系统源码基于Spring Boot + Vue.js,前后端分离,支持多租户云端部署,集成预约挂号、门诊工作站、收费发药、库存管理、医保对接等功能。
494 3
|
存储 机器学习/深度学习 安全
阿里云服务器2核4G租用价格:最新收费标准、可选实例规格与活动价格参考
目前阿里云的活动中2核4G配置的云服务器经济型e、通用算力型u1、计算型c8i、计算型c9i和计算型c8y实例可选,其中u1实例2核4G5M带宽有特惠,价格为199元1年,且续费价格不变。选择不同实例规格和带宽价格不一样,本文为大家介绍阿里云服务器2核4G配置的最新月付及年付活动价格,以及选择参考。
|
算法 机器人 数据安全/隐私保护
四自由度SCARA机器人的运动学和动力学matlab建模与仿真
本课题深入研究SCARA机器人系统,提出其动力学与运动学模型,并基于MATLAB Robotics Toolbox建立四自由度SCARA机器人仿真对象。通过理论结合仿真实验,实现了运动学正解、逆解及轨迹规划等功能,完成系统实验和算法验证。SCARA机器人以其平面关节结构实现快速定位与装配,在自动生产线中广泛应用,尤其在电子和汽车行业表现优异。使用D-H参数法进行结构建模,推导末端执行器的位姿,建立了机器人的运动学方程。
|
JSON 程序员 C#
使用 C# 比较两个对象是否相等的7个方法总结
比较对象是编程中的一项基本技能,在实际业务中经常碰到,比如在ERP系统中,企业的信息非常重要,每一次更新,都需要比较记录更新前后企业的信息,直接比较通常只能告诉我们它们是否指向同一个内存地址,那我们应该怎么办呢?分享 7 个方法给你!
862 2
|
人工智能 自然语言处理 搜索推荐
【知识图谱】人工智能之知识图谱的详细介绍
知识图谱(Knowledge Graph)作为一种新型的知识表示和组织方式,正逐渐成为信息领域的研究热点。以下是对知识图谱的详细介绍
1967 1