实时数仓 Hologres产品使用合集之业级问答知识库该如何部署有教程吗

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。

问题一:Hologres计算组中 所有任务的资源都是共享的嘛?


Hologres计算组中 所有任务的资源都是共享的嘛?这个有没有办法做到任务之间的资源隔离。比如我分钟级定时调度的任务不能受到补数据任务的影响?


参考回答:

可以隔离的。

单实例资源组隔离(Beta)https://help.aliyun.com/zh/hologres/user-guide/isolate-computing-resources-in-a-hologres-instance?spm=a2c4g.11186623.0.i70

Hologres支持细粒度资源管理能力,通过为不同的用户账号分配不同的计算资源(即CU,包括CPU和内存),限制用户使用计算资源的上限,实现单实例多负载的隔离,保证了用户之间、应用之间作业的互不影响。本文为您介绍如何使用资源组管理Hologres实例内的计算资源,实现资源隔离。

背景信息

Hologres V1.0及以下版本支持在实例间进行资源隔离,不支持对于实例内部进行更细粒度的用户级别的资源隔离。但是在实际生产环境中,往往需要根据用户在实例内部进行资源隔离,限制每个用户使用的资源上限,以保证用户之间的作业互不影响。为满足上述细粒度的资源隔离诉求,Hologres新增支持使用资源组来助力您管理Hologres实例内的计算资源,实现资源隔离。目前由于技术的局限性,暂时无法做到所有类型的计算负载都可以通过资源组隔离,请谨慎将该技术用在生产环境。完善的资源隔离技术,推荐采用弹性计算组实例。

使用限制

仅Hologres V1.1及以上版本支持使用资源组管理Hologres实例内的计算资源,如果您的实例是V1.1以下版本,请您使用自助升级或加入Hologres钉钉交流群反馈,详情请参见如何获取更多的在线支持?。

仅限具备Superuser权限的用户使用资源组管理Hologres实例内计算资源,否则系统会提示权限不足。

计算资源属于实例级别,如果用户有多个数据库,所有数据库共享同一个实例的计算资源,所有数据库共享同一份资源分配方案。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568918


问题二:Hologres那一个计算实例不是能分多个计算组嘛。32cu的计算实例能分多个计算组嘛?


Hologres那一个计算实例不是能分多个计算组嘛。32cu的计算实例能分多个计算组嘛?


参考回答:

一个。。

每个实例最多可以创建10个计算组,每个计算组资源最小32CU,最大512CU。

https://help.aliyun.com/zh/hologres/user-guide/manage-virtual-warehouses?spm=a2c4g.11186623.0.i163


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568917


问题三:Hologres业级问答知识库 咋部署 有教程吗?


Hologres业级问答知识库 咋部署 有教程吗?


参考回答:

使用Hologres+PAI+LLaMA2搭建企业专属问答知识库https://help.aliyun.com/zh/hologres/use-cases/build-an-enterprise-specific-q-a-knowledge-base?spm=a2c4g.11186623.0.i125

本文为您介绍如何使用实时数仓Hologres、机器学习平台PAI以及大模型LLaMA2部署企业专属问答机器人。

背景信息

企业专属问答机器人部署需要如下组件或服务:

LangChain:是一个开源框架,可以将大模型、向量数据库、定制语料结合,高效完成专属问答知识库的搭建。Hologres现已被LangChain作为向量数据库集成,详情请参见LangChain-Hologres。通过开源框架LangChain完成企业专属问答知识库的搭建。

PAI-EAS:是阿里云的模型在线服务平台,支持用户将模型一键部署为在线推理服务或AI-Web应用,可以一键部署LLM推理、AIGC等热门服务应用。PAI-EAS 适用于实时推理、近实时异步推理等多种AI推理场景,具备Serverless自动扩缩容和完整运维监控体系能力。

Hologres:Hologres是一站式实时数仓引擎,与达摩院自研高性能向量计算软件库Proxima深度整合,支持高效、易用的向量计算能力,详情请参见Proxima向量计算。通过Hologres向量计算能力进行专属语料数据的检索并对大模型进行微调。

LLaMA-2:是新一代开源大模型,有7B、13B、70B多种参数版本,现已支持基于PAI进行部署。

Hologres自研工具帮助您进行专属问答知识库的部署,仅通过该工具即可将Hologres作为向量实时存储和检索引擎,将Hologres、PAI、大模型(LLaMA-2)、定制语料、LangChain串联,快速完成企业专属问答机器人的搭建,自研工具详情请参见GitHub。

部署LLaMA2大模型。

使用PAI-EAS模型在线服务即可快速部署LLaMA-2,详情请参见Llama2-WebUI基于PAI-EAS的一键部署。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568915


问题四:计算巢里Hologres+PAI 5分钟一键部署企业级问答知识库,这一步不支持用试用的那个产品吗?


计算巢里Hologres+PAI 5分钟一键部署企业级问答知识库,这一步不支持用试用的那个产品吗?


参考回答:

不可以的

基于计算巢5分钟部署Hologres+PAI+大模型对话知识库https://help.aliyun.com/zh/hologres/use-cases/deployment-of-enterprise-level-q-a-knowledge-base-based-on-compute-nest-with-a-few-clicks?spm=a2c4g.11186623.0.i176

创建计算巢服务实例

访问计算巢服务市场页面,选择Hologres+PAI一键部署企业级问答知识库,并单击正式创建。

在创建服务实例页面,配置以下参数。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568914


问题五:Hologres设置了这个dynamicPartition参数之后,自动创建的子表的名字规则是怎样?


Hologres设置了这个dynamicPartition参数之后,自动创建的子表的名字规则是怎样的?支持自动创建子表的时候自定义子表的名字吗?因为我想设置子表的命名规则是:主表名_时间


参考回答:

Hologres的dynamicPartition参数是用来实现动态分区的,当设置了这个参数后,Hologres会自动创建一系列的子表,子表的名字通常是由主表名加上一些特定的后缀构成的。

具体的命名规则可能会因Hologres的版本和配置的不同而有所不同,通常情况下,子表的名字是由主表名加上一些特定的时间戳或者日期戳构成。例如,如果你的主表名为my_table,那么Hologres可能会自动创建的子表名字可能是my_table_20220101my_table_20220102my_table_20220103等等。

至于是否支持自定义子表的名字,这可能需要你去查看Hologres的官方文档或者直接联系Hologres的技术支持获取更准确的信息。一般来说,大多数数据库系统都允许用户通过配置参数来自定义子表的名字,但是具体的方式可能会因数据库系统的不同而有所不同。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568913

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
相关文章
|
1月前
|
SQL 关系型数据库 Java
实时数仓 Hologres操作报错合集之遇到:Hologres query next from pg executor failed问题,该怎么处理
在使用阿里云实时数仓Hologres时,可能会遇到不同类型的错误。例如:1.内存超限错误、2.字符串缓冲区扩大错误、3.分区导入错误、4.外部表访问错误、5.服务未开通或权限问题、6.数据类型范围错误,下面是一些常见错误案例及可能的原因与解决策略的概览。
|
21天前
|
存储 SQL 消息中间件
Hologres+Flink企业级实时数仓核心能力介绍
通过Hologres+Flink构建易用、统一的企业级实时数仓。
|
1天前
|
存储 SQL 数据采集
DataWorks产品使用合集之如何调取Hologres生产的表?
摘要:DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
17小时前
|
分布式计算 大数据 数据挖掘
MaxCompute产品使用合集之如何解决MC通过外部表方式访问Hologres时,数据量达到3000万条左右导致查询速度慢
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
18天前
|
SQL 运维 DataWorks
DataWorks产品使用合集之在Hologres节点中,如何在表名后面拼接分区参数
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
48 3
|
18天前
|
机器学习/深度学习 存储 人工智能
人工智能平台PAI产品使用合集之选择使用Hologres作为在线特征存储,响应延时大概在多久
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
25天前
|
机器学习/深度学习 分布式计算 DataWorks
MaxCompute产品使用问题之如何将DataWorks中的Hologres表数据导入到MaxCompute
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
2天前
|
存储 SQL 分布式计算
|
2天前
|
存储 运维 监控
|
2天前
|
消息中间件 SQL 大数据
实时计算 Flink版产品使用问题之Flink+DataHub+Hologres相比于Flink+Hologres加入了DataHub组件,有什么优势
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

热门文章

最新文章

相关产品

  • 实时数仓 Hologres