利用标签平台创建群组并通过API查询群组数据

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: Dataphin的标签平台提供了 丰富强大的标签加工能力,支持多种类型标签开发,包括离线、实时等标签可视化加工。基于离线视图、实时视图、行为关系,可通过配置化的方式构建属性类、统计类标签、偏好类标签,以及与已有的标签创建衍生组合标签。通过构建及管理标签,形成良好的标签资产,可供上层的应用及业务系统使用。本文将介绍如何通过Dataphin OpenAPI圈选群组以及群组分页查询服务,让应用系统集成标签平台的标签及群组加工能力,进行群组的圈选、分析及投放。

Dataphin的标签平台提供了 丰富强大的标签加工能力,支持多种类型标签开发,包括离线、实时等标签可视化加工。基于离线视图、实时视图、行为关系,可通过配置化的方式构建属性类、统计类标签、偏好类标签,以及与已有的标签创建衍生组合标签。Dataphin也支持基于构建好的标签,进行群组的构建、分析及管理。在标签平台中沉淀良好的标签资产,可更好的进行数据资产的管理和运营。

1. 背景

企业已有CDP或其他的应用系统,但这些系统通常缺乏完善的标签资产加工及管理能力,也无多实体的标签管理能力,因此需要Dataphin的标签平台进行标签的管理,并利用标签平台的强大的数据加工能力进行标签和群组的加工。因此需要集成两个平台,进行能力的补充,形成完整的标签管理、群组权限、人群触达完整的链路。

2. 方案

Dataphin提供了丰富的开放接口,包括创建、管理、运维任务节点的API、用户及平台管理的API等,标签平台也开放了标签的查询、群组的创建与管理的API。在群组应用方面,标签平台也支持了群组分页查询服务。以下的方案将详细介绍如何利用Dataphin的OpenAPI、标签平台及群组分页查询服务进行端到端的群组创建、发布及数据查询。


2.1. 前提及准备

  1. 购买并部署了Dataphin OpenAPI;
  2. 购买并部署了Dataphin标签平台离线版及群组圈选;
  3. 已部署Elasticsearch用于群组的在线查询。

2.2. 技术架构概览

该技术架构涉及到以下的组件及系统:

  1. 标签工作台:负责标签的研发,群组的创建&上架管理。
  2. 市场:已上架标签的查询及类目管理;群组的查询、类目管理。
  3. 应用服务:可进行应用的管理,以及代理应用进行群组分页查询。
  4. Elasticsearch:用于群组分页查询的底层引擎。
  5. 应用系统:如CDP、QBI等应用系统。可在应用服务中为不同的应用系统或应用系统的不同的的场景创建相应的应用,代理管理应用的数据权限及服务。

2.3. 流程说明


以下,我们将说明如何通过不同的功能组件进行群组的圈选及查询。

在进行集成前,我们需要进行前置的对象创建:

  1. 创建市场,创建不同的市场用于隔离不同的使用场景
  1. 标签公共市场:用于公共标签的呈现、查找及申请
  2. 群组私有市场:将应用系统构建的群组发布到私有市场,用于后续的群组服务
  1. 创建标签:创建标签并将标签发布、上架到公共市场。
  2. 创建群组开发项目:创建标签项目,添加开发者角色的用户到该项目中。群组的创建将依赖该项目,且OpenAPI也将使用项目中也可使用该用户的AK进行对接(用于群组的创建、发布、上架、申请)
  3. 申请标签到群组开发项目:将所有可能需要的标签申请到该项目中,用于群组的创建。
  4. 创建群组服务应用:代理应用系统,可绑定上一步中的项目。
  5. 创建AccessKey:用在群组开发项目中具有开发者角色的用户登录,并在个人中心创建AccessKey。下载并保存AccessKey文件。

创建好所需的对象后,就可以开始通过OpenAPI及服务API进行集成了。

  1. 通过OpenAPI查询群组开发项目中已开发的或者已申请的标签。所需的API:
  1. ListApplyFeaturesInProject:查询项目已申请的标签
  2. ListFeaturesInProject:查询项目中开发的标签
  1. 编写群组圈选规则,创建群组,并进行提交、发布、上架到群组私有市场。所需的API:
  1. SaveGroup:创建群组
  2. SaveGroupVersion:更新群组并创建新的群组版本
  3. SubmitGroupVersion:提交群组的版本
  4. PublishGroup:发布群组
  5. PublishAndOnlineGroup:发布并上架群组到市场
  1. 对群组进行补数据,补数据后即可立即导出群组数据
  1. SupplementGroupData:对群组进行补数据
  1. 申请群组到群组服务应用。所需的API:
  1. BindGroupToApp:绑定群组到应用
  1. 申请将群组及其标签导出到Elasticsearch并通过数据服务提供群组分页查询API,将数据周期性的导入到Elasticsearch中
  1. CreateGroupPageQuery:创建群组分页查询服务
  2. OnlineGroupPageQuery:发布群组分布查询
  1. 通过群组分页查询的API进行群组的数据查询。
  1. 查询群组分页
  2. 使用群组分页查询API进行数据查询

3. 未来规划

未来,我们也会进一步简化链路,比如无需将群组上架到市场,即可提供离线导出服务或群组分页查询服务,进一步简化操作,缩短操作链路,也让系统集成更加方便。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
1天前
|
SQL 缓存 API
在API接口数据获取过程中,如何确保数据的安全性和隐私性?
在API接口数据获取过程中,确保数据的安全性和隐私性至关重要。本文介绍了身份认证与授权、防止SQL注入和XSS攻击、加密传输、API版本控制、限流与熔断、压力测试与性能优化、备份与恢复以及法律和伦理考量等关键措施,帮助开发者和管理者有效保护API接口的数据安全和隐私性。
|
8天前
|
前端开发 JavaScript API
探索GraphQL:如何构建高效的数据API
【10月更文挑战第25天】在现代Web开发中,API的效率和灵活性至关重要。本文探讨了如何利用GraphQL构建高效的数据API。GraphQL通过声明式查询方式,允许客户端精确指定所需数据,减少数据传输量,提高API效率。文章介绍了设置GraphQL服务器、设计API Schema、实现解析函数及调整前后端交互的具体步骤,展示了GraphQL的优势和应用场景。
23 2
|
13天前
|
缓存 监控 测试技术
获取API接口数据的最佳实践详解
在开发过程中,与API进行交互是获取数据和服务的关键步骤。本文详细介绍了10个最佳实践,包括明确需求和文档、错误处理、数据验证、性能优化、安全性、日志和监控、版本控制、代码复用和维护、测试以及遵守法律和道德规范,帮助开发者更高效地从API获取数据,确保数据的准确性、安全性和性能。
|
12天前
|
存储 数据可视化 API
API接口数据获取流程的细化
本文概述了API的基础知识、获取API访问权限的方法、编写代码调用API的步骤、数据处理与分析技巧以及数据安全与合规的重要性,并提供了社交媒体数据分析、天气预报应用和电商数据分析等API数据获取的应用实例,旨在帮助读者全面了解和实践API接口数据获取的流程。
|
12天前
|
缓存 监控 API
抖音抖店 API 请求获取宝贝详情数据的调用频率限制如何调整?
抖音抖店API请求获取宝贝详情数据的调用频率受限,需遵循平台规则。开发者可通过提升账号等级、申请更高配额、优化业务逻辑(如缓存数据、异步处理、批量请求)及监控调整等方式来应对。
|
13天前
|
API
淘宝API接口( item_detail - 淘宝商品详情查询)
淘宝商品详情查询 API(item_detail)用于获取淘宝商品的详细信息。请求参数包括商品唯一 ID(num_iid)和是否获取促销价(is_promotion)。响应参数包含商品标题、价格、库存、图片链接、品牌等详细信息。
|
14天前
|
缓存 负载均衡 API
抖音抖店API请求获取宝贝详情数据、原价、销量、主图等参数可支持高并发调用接入演示
这是一个使用Python编写的示例代码,用于从抖音抖店API获取商品详情,包括原价、销量和主图等信息。示例展示了如何构建请求、处理响应及提取所需数据。针对高并发场景,建议采用缓存、限流、负载均衡、异步处理及代码优化等策略,以提升性能和稳定性。
|
21天前
|
Prometheus 监控 Cloud Native
如何查看商品销量 API 接口的性能指标数据?
要查看商品销量 API 接口的性能指标数据,可以通过以下几种方法:1. 使用第三方或开源 API 监控工具,如 Datadog、New Relic、Prometheus 和 Grafana;2. 在代码中手动记录时间戳或使用性能测量库;3. 查看 API 提供商的文档和报告;4. 进行负载测试,使用工具如 Apache JMeter 和 Gatling。这些方法可以帮助你全面评估 API 的性能表现。
41 2
|
8天前
|
JSON 前端开发 JavaScript
API接口商品详情接口数据解析
商品详情接口通常用于提供特定商品的详细信息,这些信息比商品列表接口中的信息更加详细和全面。以下是一个示例的JSON数据格式,用于表示一个商品详情API接口的响应。这个示例假定API返回一个包含商品详细信息的对象。
|
8天前
|
存储 监控 安全
API接口数据获取全流程用户指南
本文介绍了从明确需求到数据存储与管理的API接口数据获取全流程。首先,明确业务需求和选择合适的数据源;接着,准备API接口,包括审查文档、申请密钥和安全存储;然后,构建与发送请求,处理响应与数据;最后,进行数据存储与管理,并持续监控与优化,确保数据的安全与合规。通过这些步骤,用户可以高效地获取和管理数据,为数据分析和业务优化提供支持。