利用标签平台创建群组并通过API查询群组数据

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: Dataphin的标签平台提供了 丰富强大的标签加工能力,支持多种类型标签开发,包括离线、实时等标签可视化加工。基于离线视图、实时视图、行为关系,可通过配置化的方式构建属性类、统计类标签、偏好类标签,以及与已有的标签创建衍生组合标签。通过构建及管理标签,形成良好的标签资产,可供上层的应用及业务系统使用。本文将介绍如何通过Dataphin OpenAPI圈选群组以及群组分页查询服务,让应用系统集成标签平台的标签及群组加工能力,进行群组的圈选、分析及投放。

Dataphin的标签平台提供了 丰富强大的标签加工能力,支持多种类型标签开发,包括离线、实时等标签可视化加工。基于离线视图、实时视图、行为关系,可通过配置化的方式构建属性类、统计类标签、偏好类标签,以及与已有的标签创建衍生组合标签。Dataphin也支持基于构建好的标签,进行群组的构建、分析及管理。在标签平台中沉淀良好的标签资产,可更好的进行数据资产的管理和运营。

1. 背景

企业已有CDP或其他的应用系统,但这些系统通常缺乏完善的标签资产加工及管理能力,也无多实体的标签管理能力,因此需要Dataphin的标签平台进行标签的管理,并利用标签平台的强大的数据加工能力进行标签和群组的加工。因此需要集成两个平台,进行能力的补充,形成完整的标签管理、群组权限、人群触达完整的链路。

2. 方案

Dataphin提供了丰富的开放接口,包括创建、管理、运维任务节点的API、用户及平台管理的API等,标签平台也开放了标签的查询、群组的创建与管理的API。在群组应用方面,标签平台也支持了群组分页查询服务。以下的方案将详细介绍如何利用Dataphin的OpenAPI、标签平台及群组分页查询服务进行端到端的群组创建、发布及数据查询。


2.1. 前提及准备

  1. 购买并部署了Dataphin OpenAPI;
  2. 购买并部署了Dataphin标签平台离线版及群组圈选;
  3. 已部署Elasticsearch用于群组的在线查询。

2.2. 技术架构概览

该技术架构涉及到以下的组件及系统:

  1. 标签工作台:负责标签的研发,群组的创建&上架管理。
  2. 市场:已上架标签的查询及类目管理;群组的查询、类目管理。
  3. 应用服务:可进行应用的管理,以及代理应用进行群组分页查询。
  4. Elasticsearch:用于群组分页查询的底层引擎。
  5. 应用系统:如CDP、QBI等应用系统。可在应用服务中为不同的应用系统或应用系统的不同的的场景创建相应的应用,代理管理应用的数据权限及服务。

2.3. 流程说明


以下,我们将说明如何通过不同的功能组件进行群组的圈选及查询。

在进行集成前,我们需要进行前置的对象创建:

  1. 创建市场,创建不同的市场用于隔离不同的使用场景
  1. 标签公共市场:用于公共标签的呈现、查找及申请
  2. 群组私有市场:将应用系统构建的群组发布到私有市场,用于后续的群组服务
  1. 创建标签:创建标签并将标签发布、上架到公共市场。
  2. 创建群组开发项目:创建标签项目,添加开发者角色的用户到该项目中。群组的创建将依赖该项目,且OpenAPI也将使用项目中也可使用该用户的AK进行对接(用于群组的创建、发布、上架、申请)
  3. 申请标签到群组开发项目:将所有可能需要的标签申请到该项目中,用于群组的创建。
  4. 创建群组服务应用:代理应用系统,可绑定上一步中的项目。
  5. 创建AccessKey:用在群组开发项目中具有开发者角色的用户登录,并在个人中心创建AccessKey。下载并保存AccessKey文件。

创建好所需的对象后,就可以开始通过OpenAPI及服务API进行集成了。

  1. 通过OpenAPI查询群组开发项目中已开发的或者已申请的标签。所需的API:
  1. ListApplyFeaturesInProject:查询项目已申请的标签
  2. ListFeaturesInProject:查询项目中开发的标签
  1. 编写群组圈选规则,创建群组,并进行提交、发布、上架到群组私有市场。所需的API:
  1. SaveGroup:创建群组
  2. SaveGroupVersion:更新群组并创建新的群组版本
  3. SubmitGroupVersion:提交群组的版本
  4. PublishGroup:发布群组
  5. PublishAndOnlineGroup:发布并上架群组到市场
  1. 对群组进行补数据,补数据后即可立即导出群组数据
  1. SupplementGroupData:对群组进行补数据
  1. 申请群组到群组服务应用。所需的API:
  1. BindGroupToApp:绑定群组到应用
  1. 申请将群组及其标签导出到Elasticsearch并通过数据服务提供群组分页查询API,将数据周期性的导入到Elasticsearch中
  1. CreateGroupPageQuery:创建群组分页查询服务
  2. OnlineGroupPageQuery:发布群组分布查询
  1. 通过群组分页查询的API进行群组的数据查询。
  1. 查询群组分页
  2. 使用群组分页查询API进行数据查询

3. 未来规划

未来,我们也会进一步简化链路,比如无需将群组上架到市场,即可提供离线导出服务或群组分页查询服务,进一步简化操作,缩短操作链路,也让系统集成更加方便。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
7天前
|
安全 Java 大数据
|
2天前
|
分布式计算 DataWorks 关系型数据库
DataWorks操作报错合集之在DataWorks同步数据时,遇到乱码问题,该怎么解决(rest api数据源)
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
8 0
|
2天前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之DataWorks数据地图中的数据发现相关api接口调用如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
13 0
|
3天前
|
存储 缓存 运维
DataWorks操作报错合集之DataWorks根据api,调用查询文件列表接口报错如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
12 1
|
4天前
|
机器学习/深度学习 人工智能 API
人工智能平台PAI产品使用合集之机器学习PAI-EAS部署好后,服务的公网API和URL怎么配置
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
8天前
|
SQL 关系型数据库 API
从API获取数据并将其插入到PostgreSQL数据库:步骤解析
使用Python处理从API获取的数据并插入到PostgreSQL数据库:安装`psycopg2`,建立数据库连接,确保DataFrame与表结构匹配,然后使用`to_sql`方法将数据插入到已存在的表中。注意数据准备、权限设置、性能优化和安全处理。
|
9天前
|
JSON JavaScript API
访问REST API:在Vue中消费和管理远程数据
【4月更文挑战第23天】本文探讨了在Vue应用中高效访问REST API的方法,包括选择合适的API、使用Axios或Fetch发送请求、封装API服务、处理响应和数据、错误管理及性能优化。关键点在于创建服务层封装请求,使用计算属性和方法处理数据,以及实施错误处理和性能提升策略。通过这些最佳实践,开发者能更好地管理和消费远程数据,构建出动态、响应式的Vue应用。
|
20天前
|
前端开发 API 数据库
Django(五):如何在Django中通过API提供数据库数据给前端
Django(五):如何在Django中通过API提供数据库数据给前端
|
21天前
|
API 监控 开发者
淘宝评论数据API接口:洞察消费者声音的关键工具
随着全球电商的快速发展,速卖通(AliExpress)作为知名的跨境电商平台,为卖家提供了广阔的销售渠道。为了更好地满足卖家的需求,速卖通提供了丰富的API接口,使卖家能够自动化、高效地管理商品、订单和用户数据。本文将围绕速卖通AliExpress API接口开发系列展开探讨,帮助卖家更好地理解和应用这些接口。
|
24天前
|
存储 监控 大数据
【Elasticsearch专栏 15】深入探索:Elasticsearch使用API删除旧数据
本文探讨了如何使用Elasticsearch API管理并删除旧数据。Elasticsearch提供RESTful API,支持按条件批量删除。删除策略可基于时间、文档数量或索引。通过`DELETE BY QUERY` API,可以根据时间戳范围删除数据,如删除早于30天的记录。为处理大量数据,建议分批次进行,使用`scroll`和`size`参数控制。监控删除进度可使用任务ID。合理运用这些方法能有效优化存储,适应不同业务需求。