实时数仓 Hologres产品使用合集之业级问答知识库该如何部署有教程吗

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。

问题一:Hologres计算组中 所有任务的资源都是共享的嘛?


Hologres计算组中 所有任务的资源都是共享的嘛?这个有没有办法做到任务之间的资源隔离。比如我分钟级定时调度的任务不能受到补数据任务的影响?


参考回答:

可以隔离的。

单实例资源组隔离(Beta)https://help.aliyun.com/zh/hologres/user-guide/isolate-computing-resources-in-a-hologres-instance?spm=a2c4g.11186623.0.i70

Hologres支持细粒度资源管理能力,通过为不同的用户账号分配不同的计算资源(即CU,包括CPU和内存),限制用户使用计算资源的上限,实现单实例多负载的隔离,保证了用户之间、应用之间作业的互不影响。本文为您介绍如何使用资源组管理Hologres实例内的计算资源,实现资源隔离。

背景信息

Hologres V1.0及以下版本支持在实例间进行资源隔离,不支持对于实例内部进行更细粒度的用户级别的资源隔离。但是在实际生产环境中,往往需要根据用户在实例内部进行资源隔离,限制每个用户使用的资源上限,以保证用户之间的作业互不影响。为满足上述细粒度的资源隔离诉求,Hologres新增支持使用资源组来助力您管理Hologres实例内的计算资源,实现资源隔离。目前由于技术的局限性,暂时无法做到所有类型的计算负载都可以通过资源组隔离,请谨慎将该技术用在生产环境。完善的资源隔离技术,推荐采用弹性计算组实例。

使用限制

仅Hologres V1.1及以上版本支持使用资源组管理Hologres实例内的计算资源,如果您的实例是V1.1以下版本,请您使用自助升级或加入Hologres钉钉交流群反馈,详情请参见如何获取更多的在线支持?。

仅限具备Superuser权限的用户使用资源组管理Hologres实例内计算资源,否则系统会提示权限不足。

计算资源属于实例级别,如果用户有多个数据库,所有数据库共享同一个实例的计算资源,所有数据库共享同一份资源分配方案。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568918


问题二:Hologres那一个计算实例不是能分多个计算组嘛。32cu的计算实例能分多个计算组嘛?


Hologres那一个计算实例不是能分多个计算组嘛。32cu的计算实例能分多个计算组嘛?


参考回答:

一个。。

每个实例最多可以创建10个计算组,每个计算组资源最小32CU,最大512CU。

https://help.aliyun.com/zh/hologres/user-guide/manage-virtual-warehouses?spm=a2c4g.11186623.0.i163


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568917


问题三:Hologres业级问答知识库 咋部署 有教程吗?


Hologres业级问答知识库 咋部署 有教程吗?


参考回答:

使用Hologres+PAI+LLaMA2搭建企业专属问答知识库https://help.aliyun.com/zh/hologres/use-cases/build-an-enterprise-specific-q-a-knowledge-base?spm=a2c4g.11186623.0.i125

本文为您介绍如何使用实时数仓Hologres、机器学习平台PAI以及大模型LLaMA2部署企业专属问答机器人。

背景信息

企业专属问答机器人部署需要如下组件或服务:

LangChain:是一个开源框架,可以将大模型、向量数据库、定制语料结合,高效完成专属问答知识库的搭建。Hologres现已被LangChain作为向量数据库集成,详情请参见LangChain-Hologres。通过开源框架LangChain完成企业专属问答知识库的搭建。

PAI-EAS:是阿里云的模型在线服务平台,支持用户将模型一键部署为在线推理服务或AI-Web应用,可以一键部署LLM推理、AIGC等热门服务应用。PAI-EAS 适用于实时推理、近实时异步推理等多种AI推理场景,具备Serverless自动扩缩容和完整运维监控体系能力。

Hologres:Hologres是一站式实时数仓引擎,与达摩院自研高性能向量计算软件库Proxima深度整合,支持高效、易用的向量计算能力,详情请参见Proxima向量计算。通过Hologres向量计算能力进行专属语料数据的检索并对大模型进行微调。

LLaMA-2:是新一代开源大模型,有7B、13B、70B多种参数版本,现已支持基于PAI进行部署。

Hologres自研工具帮助您进行专属问答知识库的部署,仅通过该工具即可将Hologres作为向量实时存储和检索引擎,将Hologres、PAI、大模型(LLaMA-2)、定制语料、LangChain串联,快速完成企业专属问答机器人的搭建,自研工具详情请参见GitHub。

部署LLaMA2大模型。

使用PAI-EAS模型在线服务即可快速部署LLaMA-2,详情请参见Llama2-WebUI基于PAI-EAS的一键部署。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568915


问题四:计算巢里Hologres+PAI 5分钟一键部署企业级问答知识库,这一步不支持用试用的那个产品吗?


计算巢里Hologres+PAI 5分钟一键部署企业级问答知识库,这一步不支持用试用的那个产品吗?


参考回答:

不可以的

基于计算巢5分钟部署Hologres+PAI+大模型对话知识库https://help.aliyun.com/zh/hologres/use-cases/deployment-of-enterprise-level-q-a-knowledge-base-based-on-compute-nest-with-a-few-clicks?spm=a2c4g.11186623.0.i176

创建计算巢服务实例

访问计算巢服务市场页面,选择Hologres+PAI一键部署企业级问答知识库,并单击正式创建。

在创建服务实例页面,配置以下参数。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568914


问题五:Hologres设置了这个dynamicPartition参数之后,自动创建的子表的名字规则是怎样?


Hologres设置了这个dynamicPartition参数之后,自动创建的子表的名字规则是怎样的?支持自动创建子表的时候自定义子表的名字吗?因为我想设置子表的命名规则是:主表名_时间


参考回答:

Hologres的dynamicPartition参数是用来实现动态分区的,当设置了这个参数后,Hologres会自动创建一系列的子表,子表的名字通常是由主表名加上一些特定的后缀构成的。

具体的命名规则可能会因Hologres的版本和配置的不同而有所不同,通常情况下,子表的名字是由主表名加上一些特定的时间戳或者日期戳构成。例如,如果你的主表名为my_table,那么Hologres可能会自动创建的子表名字可能是my_table_20220101my_table_20220102my_table_20220103等等。

至于是否支持自定义子表的名字,这可能需要你去查看Hologres的官方文档或者直接联系Hologres的技术支持获取更准确的信息。一般来说,大多数数据库系统都允许用户通过配置参数来自定义子表的名字,但是具体的方式可能会因数据库系统的不同而有所不同。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568913

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
1月前
|
人工智能 自然语言处理 API
利用Zyplayer-doc知识库部署企微智能客服
Zyplayer-doc 是一款支持私有化部署的 WIKI 知识库系统,适合个人和企业使用,支持在线文档管理,易上手且成本低。最新版本新增飞书、钉钉、企业微信等平台的 AI 问答接入功能,尤其可与企业微信客服对接,实现智能客服部署。
|
7月前
|
SQL 关系型数据库 数据库
【YashanDB知识库】OM仲裁节点故障后手工切换方案和yasom仲裁重新部署后重新纳管数据库集群方案
本文介绍了主备数据库集群的部署、OM仲裁故障切换及重新纳管的全过程。首先通过解压软件包并调整安装参数完成数据库集群部署,接着说明了在OM仲裁故障时的手动切换方案,包括关闭自动切换开关、登录备节点执行切换命令。最后详细描述了搭建新的yasom仲裁节点以重新纳管数据库集群的步骤,如生成配置文件、初始化进程、执行托管命令等,确保新旧系统无缝衔接,保障数据服务稳定性。
|
7月前
|
数据库
【YashanDB知识库】数据库一主一备部署及一主两备部署时,主备手动切换方法及自动切换配置
【YashanDB知识库】数据库一主一备部署及一主两备部署时,主备手动切换方法及自动切换配置
【YashanDB知识库】数据库一主一备部署及一主两备部署时,主备手动切换方法及自动切换配置
|
3月前
|
SQL DataWorks 关系型数据库
DataWorks+Hologres:打造企业级实时数仓与高效OLAP分析平台
本方案基于阿里云DataWorks与实时数仓Hologres,实现数据库RDS数据实时同步至Hologres,并通过Hologres高性能OLAP分析能力,完成一站式实时数据分析。DataWorks提供全链路数据集成与治理,Hologres支持实时写入与极速查询,二者深度融合构建离在线一体化数仓,助力企业加速数字化升级。
|
8月前
|
人工智能 资源调度 API
AnythingLLM:34K Star!一键上传文件轻松打造个人知识库,构建只属于你的AI助手,附详细部署教程
AnythingLLM 是一个全栈应用程序,能够将文档、资源转换为上下文,支持多种大语言模型和向量数据库,提供智能聊天功能。
6052 76
|
8月前
|
人工智能 关系型数据库 Serverless
【满血+高速+不限流+超长上下文+知识库+可定制+可分享】阿里云专属DeepSeek R1极速部署教程
本文教您在阿里云部署专属DS服务,实现满血、高速、不限流和超长上下文,支持知识库分享与客服等应用。基于阿里云百炼和云应用开发平台(CAP),通过AgentCraft平台一键部署,简单易用,适合普通用户。您可以轻松搭建家庭医生助理、行业动态机器人或图画工具等,享受高效AI服务。
【满血+高速+不限流+超长上下文+知识库+可定制+可分享】阿里云专属DeepSeek R1极速部署教程
|
8月前
|
数据库
【YashanDB 知识库】数据库一主一备部署及一主两备部署时,主备手动切换方法及自动切换配置
**数据库主备切换简介** 在数据库正常或异常情况下,实现主备切换至关重要。若配置不当,主节点故障将影响业务使用,尤其在23.2版本中。原因包括资源紧张或主节点异常。解决方法涵盖手动和自动切换: 1. **一主一备部署**: - **手动切换**:支持Switchover(同步正常时)和Failover(主库损坏时)。 - **自动切换**:启用yasom仲裁选主开关。 2. **一主两备部署**: - 默认最大保护模式,自动切换开启。 需检查并配置自动切换以确保高可用性。经验总结:一主一备默认关闭自动切换,需手动开启;一主两备默认开启。
|
9月前
|
SQL 存储 JSON
实时数仓 Hologres 产品介绍:一体化实时湖仓平台
本次方案的主题是实时数仓 Hologres 产品介绍:一体化实时湖仓平台,介绍了 Hologres 湖仓存储一体,多模式计算一体、分析服务一体和 Data+AI 一体四方面一体化场景,并对其运维监控方面及客户案例进行一定讲解。 1. Hologres :面向未来的一体化实时湖仓 2. 运维监控 3. 客户案例 4. 总结
604 14
|
8月前
|
SQL 数据库 数据安全/隐私保护
【YashanDB 知识库】YCP 高可用部署离线升级 -rpc 升级详细步骤
本文介绍了从版本 23.2.4.100 升级到 23.2.11.100 的详细步骤。首先,在主节点和两个备节点上执行备份操作,确保数据安全。备份命令包括数据库和配置文件的备份。接着,解压新版本安装包,并生成托管服务器的配置文件。然后,在主节点上执行升级命令,通过指定安装路径、配置文件和其他参数完成升级。升级过程中会停止相关进程,备份现有文件,安装新版本并更新配置。最后,在两个备节点上分别执行类似的升级操作。整个过程确保了系统的稳定性和数据的安全性。升级完成后,可以通过查看 `/opt/ycm/ycm/etc/upgrade/version.toml` 文件确认版本已成功

相关产品

  • 实时数仓 Hologres