数据仓库

AnalyticDB PostgreSQL企业数据智能平台是构建数据智能的全流程平台，提供可视化实时任务开发 + 实时数据洞察，让您轻松平移离线任务，使用SQL和简单配置即可完成整个实时数仓的搭建。

python链接hive数据库实现增删改查操作

AnalyticDB PostgreSQL版提供了实时物化视图功能，相较于普通（非实时）物化视图，实时物化视图无需手动调用刷新命令，即可实现数据更新时自动同步刷新物化视图。当基表发生变化时，构建在基表上的实时物化视图将会自动更新。AnalyticDB PostgreSQL企业数据智能平台是构建数据智能的全流程平台，提供可视化实时任务开发 + 实时数据洞察，让您轻松平移离线任务，使用SQL和简单配置即可完成整个实时数仓的搭建。

java链接hive数据库实现增删改查操作

在AI试衣间功能的背后，阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL提供了高维向量低延时的在线向量召回检索服务，下面将进行介绍。

云数据仓库AnalyticDB是阿里云提供的一种高性能、弹性扩展的云原生数据仓库解决方案；本合集将深入探讨ADB的架构、性能调优、数据管理和应用场景等，以及如何解决在使用过程中可能出现的问题，提高数据仓库的使用效率。

在本教程中，将通过以下方式设置 MinIO 的独立部署： - 在运行 Ubuntu 20.04 的服务器上安装 MinIO 服务器。 - 个人计算机上安装 MinIO 客户端并将其配置为与 MinIO 服务器通信。 - 设置数字证书以保护服务器和客户端之间的通信（包括通过 MinIO 控制台）。

【1月更文挑战第2天】linux安装Hive详细步骤

业务上需要实时数据分析，离线任务改造成本高？数据发生变更，难以像批处理任务那样修正？AnalyticDB for PostgreSQL 提供了真正的 Stream warehouse 解决方案，具备实时ETL、行列混合存储和高性能分析引擎，实时构建数仓。为了进一步提升上手易用性，AnalyticDB for PostgreSQL 发布了企业数据智能平台，提供可视化实时任务开发 + 实时数据洞察，让您轻松平移离线任务，使用SQL和简单配置即可完成整个实时数仓的搭建。并支持实时数据洞察，可对实时数仓任意表进行Ad-hoc查询、数据探索及图表分析，让您实时数据debug和快速进行业务洞察。

Apache Doris 2.0.3 版本已于 2023 年 12 月 14 日正式发布，该版本对复杂数据类型、统计信息收集、倒排索引、数据湖分析、分布式副本管理等多个功能进行了优化，欢迎大家下载体验。

Clickhouse是一个性能强大的OLAP数据库，在实际使用中会遇到各种各样的问题，同时也有很多可以调优的地方。诊断调优所用到的SQL查询必不可少。本文就是一个ClickHouse日常运维的常用SQL查询手册。这个手册本人就在用，非常实用。

云原生数据仓库AnalyticDB MySQL湖仓版架降价23%！持续提供高性价比的产品服务

2023年10月31日-11月2日，云栖大会在杭州举办，阿里云正式对外发布了云原生全托管产品——“阿里云数据库 SelectDB 版”，SelectDB 是基于 Apache Doris 内核打造的聚焦于企业大数据实时分析需求的企业级产品，通过深度融合云随需而用的特性，构建起云原生存算分离的全新架构，面向企业海量数据的实时分析需求提供极速实时、融合统一、简单易用的云上数仓服务。

本文介绍了如何使用ClickHouse进行向量搜索。总体来说，本文通俗易懂地介绍了如何使用ClickHouse进行向量搜索，包括概念、实现、高级功能和应用示例，对使用ClickHouse进行向量搜索提供了很好的概述。

依托于阿里云瑶池数据库AnalyticDB，推出一站式AIGC解决方案

在刚刚过去的北京Doris Summit Asia 2023，玖章算术技术副总裁陈长城受邀参加并做了《NineData面向Doris实时数仓集成的技术实践》报告。

对大模型应用跃跃欲试，但奈何技术栈复杂难以下手？已经进行试水，但缺乏调优手段无法保障召回率和问答准确度？自行搭建大模型、向量检索引擎、服务API等基础组件难以运维？大模型种类繁多，但缺乏行业模型和应用模板？阿里云百炼 x AnalyticDB向量引擎推出一站式企业专属大模型开发和应用平台，像搭积木一样轻松完成企业专属大模型应用的开发，提供应用API，可一键接入企业自己的业务应用对外提供服务。

平安人寿作为保险行业领军企业，坚持技术创新，以数据业务双轮驱动的理念和更加开放的思路来应对不断增长的数据分析和应用需求；以深挖数据价值、保障业务用数效率为目标持续升级大数据产品体系。自 2022 年起平安人寿开始引入开源实时数据仓库 Apache Doris 并基于此统一 OLAP 技术栈，通过统一的数据开发与服务打破了原有系统的数据“孤岛”、降低了需求的开发成本、加速了业务需求的交付周期，并满足了业务方更高数据时效性与查询响应度的要求，最终形成更开放、灵活、可扩展的企业级管理与分析大数据产品体系，实现数据价值的最大化释放，助力企业由“粗放型”业务增长转变为“精细化”效益提升。

本文介绍了向量搜索的概念，即使用数学向量来存储和检索数据。向量可以捕捉数据的语义关系，提高搜索效率。文章还提到了向量搜索在推荐、问题回答、图像/视频搜索等方面的应用。向量搜索可以应用于文本数据、图像数据、音频数据等不同类型的数据。最后，文章总结了向量搜索的挑战和现有技术，并展望了未来的研究方向。

在全球经济增长放缓的大背景之下，企业在加强数字化建设的过程中，降本增效成为一个绕不开的话题。云原生数仓AnalyticDB MySQL湖仓版（以下简称ADB MySQL） 在发布之初提供了定时弹性功能，帮助业务有规律的客户定时升降配计算资源以节省成本。时隔一年，ADB MySQL针对用户痛点，在今年云栖大会上重磅推出Multi-Cluster弹性资源模式，它具备贴合用户负载、自动配置、性能线性提升等优点，进一步帮用户节省成本，提高计算效率。

ClickHouse具有强大的工具，可以高效地存储和处理时序数据，并可用于简单的解决方案和数据发掘，以及支持PB级的实时分析应用。

建立数据仓库的基本准则

论文提出了一个动态信息传递框架，及一个基于信息流依赖的自适应调度器，来进行执行中长查询的智能优化，有效提升查询性能

使用AnalyticDB Spark替换自建CDHSpark，助力科脉降本增效

本文以构建AIGC落地应用ChatBot和构建AI Agent为例，从代码级别详细分享AI框架LangChain、阿里云通义大模型和AnalyticDB向量引擎的开发经验和最佳实践，给大家快速落地AIGC应用提供参考。

AnalyticDB MySQL诊断监控平台则是一套全自研的、从零开始搭建的并紧密贴合分析型系统特征的诊断平台，包含数据的采集（诊断日志和监控数据）、数据缓存（削峰填谷）、清洗转换以及存储等，最终以多种服务形式提供实时的告警、监控、负载洞察、查询分析和诊断等功能。

异步爬虫实战：实际应用asyncio和aiohttp库构建异步爬虫

飞轮科技与阿里云瑶池数据库已经达成战略合作关系，飞轮科技在9月25日的线上发布会上正式发布 SelectDB 全新产品形态

湖仓一体（LakeHouse）是大数据领域的重要发展方向，提供了流批一体和湖仓结合的新场景。阿里云AnalyticDB for MySQL基于 Apache Hudi 构建了新一代的湖仓平台，提供日志、CDC等多种数据源一键入湖，在离线计算引擎融合分析等能力。本文将主要介绍AnalyticDB for MySQL基于Apache Hudi实现多表CDC全增量入湖的经验与实践。

数据仓库搭建

ClickHouse监控系统Prometheus+Grafana

ClickHouse同步MySQL数据

ClickHouse物化视图

ClickHouse快速入门

以下是ClickHouse 23.8 (LTS) 版本一些亮点功能...这次发布涵盖了向量的算术运算、tuple的连接、cluster/clusterAllReplicas的默认参数、从元数据中计数（对于Parquet来说速度提高了5倍）、文件内跳数（对Parquet有巨大提升）、从对象存储中流式消费数据，等等

上海兰姆达数据科技有限公司，基于ADB MySQL 湖仓版降本30%的数据湖最佳实践

云数据库 ClickHouse 企业版是阿里云和 ClickHouse, Inc 战略合作打造的云原生ClickHouse 产品。企业版推出专属 SharedMergeTree 云原生引擎，支持存算分离，Serverless 秒级实时弹性，集群吞吐和查询效率线性扩展及 Lightweight update 实时更新能力。本文将详细揭秘 SharedMergeTree 实现机制，实时弹性扩展实现原理，lightweight update 技术实现原理，同时对企业版和开源版进行详细的性能测试对比。

10分钟快速构建云原生数据仓库（二）

10分钟快速构建云原生数据仓库（一）