实时数仓 Hologres产品使用合集之业级问答知识库该如何部署有教程吗

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。

问题一:Hologres计算组中 所有任务的资源都是共享的嘛?


Hologres计算组中 所有任务的资源都是共享的嘛?这个有没有办法做到任务之间的资源隔离。比如我分钟级定时调度的任务不能受到补数据任务的影响?


参考回答:

可以隔离的。

单实例资源组隔离(Beta)https://help.aliyun.com/zh/hologres/user-guide/isolate-computing-resources-in-a-hologres-instance?spm=a2c4g.11186623.0.i70

Hologres支持细粒度资源管理能力,通过为不同的用户账号分配不同的计算资源(即CU,包括CPU和内存),限制用户使用计算资源的上限,实现单实例多负载的隔离,保证了用户之间、应用之间作业的互不影响。本文为您介绍如何使用资源组管理Hologres实例内的计算资源,实现资源隔离。

背景信息

Hologres V1.0及以下版本支持在实例间进行资源隔离,不支持对于实例内部进行更细粒度的用户级别的资源隔离。但是在实际生产环境中,往往需要根据用户在实例内部进行资源隔离,限制每个用户使用的资源上限,以保证用户之间的作业互不影响。为满足上述细粒度的资源隔离诉求,Hologres新增支持使用资源组来助力您管理Hologres实例内的计算资源,实现资源隔离。目前由于技术的局限性,暂时无法做到所有类型的计算负载都可以通过资源组隔离,请谨慎将该技术用在生产环境。完善的资源隔离技术,推荐采用弹性计算组实例。

使用限制

仅Hologres V1.1及以上版本支持使用资源组管理Hologres实例内的计算资源,如果您的实例是V1.1以下版本,请您使用自助升级或加入Hologres钉钉交流群反馈,详情请参见如何获取更多的在线支持?。

仅限具备Superuser权限的用户使用资源组管理Hologres实例内计算资源,否则系统会提示权限不足。

计算资源属于实例级别,如果用户有多个数据库,所有数据库共享同一个实例的计算资源,所有数据库共享同一份资源分配方案。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568918


问题二:Hologres那一个计算实例不是能分多个计算组嘛。32cu的计算实例能分多个计算组嘛?


Hologres那一个计算实例不是能分多个计算组嘛。32cu的计算实例能分多个计算组嘛?


参考回答:

一个。。

每个实例最多可以创建10个计算组,每个计算组资源最小32CU,最大512CU。

https://help.aliyun.com/zh/hologres/user-guide/manage-virtual-warehouses?spm=a2c4g.11186623.0.i163


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568917


问题三:Hologres业级问答知识库 咋部署 有教程吗?


Hologres业级问答知识库 咋部署 有教程吗?


参考回答:

使用Hologres+PAI+LLaMA2搭建企业专属问答知识库https://help.aliyun.com/zh/hologres/use-cases/build-an-enterprise-specific-q-a-knowledge-base?spm=a2c4g.11186623.0.i125

本文为您介绍如何使用实时数仓Hologres、机器学习平台PAI以及大模型LLaMA2部署企业专属问答机器人。

背景信息

企业专属问答机器人部署需要如下组件或服务:

LangChain:是一个开源框架,可以将大模型、向量数据库、定制语料结合,高效完成专属问答知识库的搭建。Hologres现已被LangChain作为向量数据库集成,详情请参见LangChain-Hologres。通过开源框架LangChain完成企业专属问答知识库的搭建。

PAI-EAS:是阿里云的模型在线服务平台,支持用户将模型一键部署为在线推理服务或AI-Web应用,可以一键部署LLM推理、AIGC等热门服务应用。PAI-EAS 适用于实时推理、近实时异步推理等多种AI推理场景,具备Serverless自动扩缩容和完整运维监控体系能力。

Hologres:Hologres是一站式实时数仓引擎,与达摩院自研高性能向量计算软件库Proxima深度整合,支持高效、易用的向量计算能力,详情请参见Proxima向量计算。通过Hologres向量计算能力进行专属语料数据的检索并对大模型进行微调。

LLaMA-2:是新一代开源大模型,有7B、13B、70B多种参数版本,现已支持基于PAI进行部署。

Hologres自研工具帮助您进行专属问答知识库的部署,仅通过该工具即可将Hologres作为向量实时存储和检索引擎,将Hologres、PAI、大模型(LLaMA-2)、定制语料、LangChain串联,快速完成企业专属问答机器人的搭建,自研工具详情请参见GitHub。

部署LLaMA2大模型。

使用PAI-EAS模型在线服务即可快速部署LLaMA-2,详情请参见Llama2-WebUI基于PAI-EAS的一键部署。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568915


问题四:计算巢里Hologres+PAI 5分钟一键部署企业级问答知识库,这一步不支持用试用的那个产品吗?


计算巢里Hologres+PAI 5分钟一键部署企业级问答知识库,这一步不支持用试用的那个产品吗?


参考回答:

不可以的

基于计算巢5分钟部署Hologres+PAI+大模型对话知识库https://help.aliyun.com/zh/hologres/use-cases/deployment-of-enterprise-level-q-a-knowledge-base-based-on-compute-nest-with-a-few-clicks?spm=a2c4g.11186623.0.i176

创建计算巢服务实例

访问计算巢服务市场页面,选择Hologres+PAI一键部署企业级问答知识库,并单击正式创建。

在创建服务实例页面,配置以下参数。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568914


问题五:Hologres设置了这个dynamicPartition参数之后,自动创建的子表的名字规则是怎样?


Hologres设置了这个dynamicPartition参数之后,自动创建的子表的名字规则是怎样的?支持自动创建子表的时候自定义子表的名字吗?因为我想设置子表的命名规则是:主表名_时间


参考回答:

Hologres的dynamicPartition参数是用来实现动态分区的,当设置了这个参数后,Hologres会自动创建一系列的子表,子表的名字通常是由主表名加上一些特定的后缀构成的。

具体的命名规则可能会因Hologres的版本和配置的不同而有所不同,通常情况下,子表的名字是由主表名加上一些特定的时间戳或者日期戳构成。例如,如果你的主表名为my_table,那么Hologres可能会自动创建的子表名字可能是my_table_20220101my_table_20220102my_table_20220103等等。

至于是否支持自定义子表的名字,这可能需要你去查看Hologres的官方文档或者直接联系Hologres的技术支持获取更准确的信息。一般来说,大多数数据库系统都允许用户通过配置参数来自定义子表的名字,但是具体的方式可能会因数据库系统的不同而有所不同。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568913

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
相关文章
|
1月前
|
存储 运维 搜索推荐
实时数仓Hologres发展问题之Hologres在无人车送货场景中的应用如何解决
实时数仓Hologres发展问题之Hologres在无人车送货场景中的应用如何解决
36 2
|
1月前
|
SQL NoSQL 关系型数据库
实时数仓Hologres发展问题之实时数仓的类数据库化与HTAP数据库的差异如何解决
实时数仓Hologres发展问题之实时数仓的类数据库化与HTAP数据库的差异如何解决
41 2
|
1月前
|
数据采集 运维 双11
实时数仓Hologres发展问题之Hologres提升实时数仓的生产级高可用性如何解决
实时数仓Hologres发展问题之Hologres提升实时数仓的生产级高可用性如何解决
56 2
|
1月前
|
存储 边缘计算 运维
实时数仓Hologres发展问题之实时数仓对Lambda架构的问题如何解决
实时数仓Hologres发展问题之实时数仓对Lambda架构的问题如何解决
45 2
|
10天前
|
安全 数据挖掘 关系型数据库
体验《基于hologres搭建轻量OLAP分析平台》解决方案并进行部署
《基于HoloGres搭建轻量OLAP分析平台》解决方案详尽介绍了HoloGres基础、OLAP原理及平台架构设计等内容。涵盖数据模型设计、加载流程、查询优化及安全性能考虑等多方面,适合有一定背景知识的读者深入理解和实践。然而,对于初学者而言,可能需要更多概念解释。方案在数据迁移、高级查询优化及安全配置等方面提供了指导,但仍需注意潜在的环境兼容性、配置错误及性能瓶颈等问题。通过参考官方文档和社区资源,用户可以解决常见问题并根据实际需求进行调整优化,以实现高效的数据分析。
|
6天前
|
数据挖掘 关系型数据库 MySQL
《基于hologres搭建轻量OLAP分析平台》解决方案并进行部署评测
《基于hologres搭建轻量OLAP分析平台》解决方案并进行部署
|
30天前
|
消息中间件 关系型数据库 MySQL
实时计算 Flink版产品使用问题之使用CTAS同步MySQL到Hologres时出现的时区差异,该如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
1月前
|
存储 分布式计算 数据挖掘
实时数仓 Hologres 问题之适用于业务场景的实时数仓如何搭建
实时数仓 Hologres 问题之适用于业务场景的实时数仓如何搭建
|
1月前
|
数据采集 DataWorks 安全
DataWorks产品使用合集之hologres是否支持MERGE INTO语句
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1月前
|
Dragonfly Docker 容器
实时数仓Hologres容器镜像问题之优化私有化部署如何解决
容器镜像常遇问题包括:将过多组件打包至单一容器、使用systemd导致状态不一致、私有部署中传输未优化的镜像包及基础镜像频繁下发致网络拥堵。应采用轻量化基础镜像,明确镜像版本,并利用镜像层复用来优化。[了解更多](https://developer.aliyun.com/ask/666077)。 避免容器臃肿的方法是选用精简基础镜像,固定镜像版本,并通过镜像层复用来减少重复内容,实现高效部署。[查看详情](https://developer.aliyun.com/ask/666078)。
37 0

热门文章

最新文章

相关产品

  • 实时数仓 Hologres