云原生数据仓库使用问题之如何将数据设置为冷存储

问题一：数据治理中，查膨胀比的命令是啥？

各位大佬，

麻烦帮忙解答一下哇；

SELECT * FROM gp_toolkit.gp_bloat_diag;

这个命令是只会显示膨胀比大于3的表吗？

如果我要查询膨胀比大于1的表怎么写呢？

还有就是如果要查询膨胀比大于1，并且表数据大于1TB的表怎么写呢？

参考答案：

SELECT * FROM gp_toolkit.gp_bloat_diag; 这个命令会显示Greenplum数据库中所有存在膨胀（bloat）的表的信息，但并不一定只显示膨胀比大于3的表。膨胀比通常是通过 bdirelpages（实际占用的页面数）和 bdiexppages（预期需要的页面数）来判断的，当 bdirelpages / bdiexppages 的值大于某个阈值时认为表存在膨胀现象。

如果要查询膨胀比大于1的表，你可以按照以下方式编写SQL：

SELECT *
FROM gp_toolkit.gp_bloat_diag
WHERE bdirelpages > bdiexppages;

不过，为了更精确地计算膨胀比并筛选出膨胀比例大于1的表，应该这样写：

SELECT *
FROM gp_toolkit.gp_bloat_diag
WHERE bdirelpages / bdiexppages > 1;

至于同时要求表数据大小大于1TB，由于gp_toolkit视图中可能没有直接提供表数据大小的列，你可能需要结合其他系统视图或函数来估算表的数据量。假设我们可以获取到每个表的大致行数以及平均行长度来估计表大小，可以尝试构造如下查询（这里假设了一个名为 estimate_table_size 的自定义函数用于估算表大小）：

CREATE OR REPLACE FUNCTION estimate_table_size(schema_name text, table_name text)
RETURNS bigint AS $$
DECLARE
    row_count bigint;
    avg_row_length real;
BEGIN
    -- 获取表的行数与平均行长度，此处为示例，实际逻辑可能需要根据Greenplum的具体函数实现
    SELECT reltuples INTO row_count FROM pg_class WHERE relname = table_name AND relnamespace IN (
        SELECT oid FROM pg_namespace WHERE nspname = schema_name
    );
    -- 假设有一个函数可以计算平均行长度
    SELECT some_function_to_calculate_avg_row_length(table_name) INTO avg_row_length;
    RETURN row_count * avg_row_length / (1024 * 1024 * 1024 * 1024); -- 转换为GB
END;
$$ LANGUAGE plpgsql;
-- 查询膨胀比大于1且表大小估计超过1TB的表
SELECT *
FROM gp_toolkit.gp_bloat_diag gpd
JOIN (
    SELECT schemaname, tablename, estimate_table_size(schemaname, tablename) AS size_in_gb
    FROM pg_tables
    WHERE schemaname NOT LIKE 'pg_%' AND schemaname != 'information_schema'
) est ON gpd.bdirelname = quote_ident(est.schemaname) || '.' || quote_ident(est.tablename)
WHERE bdirelpages / bdiexppages > 1 AND size_in_gb > 1024; -- 转换成GB进行比较

请注意，上述查询仅为示例，实际上Greenplum中可能并没有现成的函数可以直接计算表的实际大小至GB级别，并且对于大规模分布式数据库，直接估算表大小可能会相当复杂，通常需要考虑行分布、压缩等因素

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/588619

问题二：云数据仓库ADB上原表改主键和外建，请问dts已经开启的了，ADB已经可以无缝兼容同步吗？怎么实现？

云数据仓库ADB上原表改主键和外建，请问dts已经开启的了，ADB已经可以无缝兼容同步吗？怎么实现？

参考答案：

AnalyticDB for MySQL（简称ADB）确实支持修改主键和外键。首先，需要确保主键没有被其他表的外键约束引用。如果存在这样的约束，那么您需要先删除或修改这些依赖于主键的外键约束。此外，ADB支持通过ALTER TABLE命令来修改表结构，包括主键和外键的定义。但要注意，不支持更改主键列的数据类型。

对于DTS，只要您确保了上述的主键和外键约束条件，并且正确地使用了ALTER TABLE命令，那么ADB应该可以无缝兼容同步数据的。但在实际操作中，建议在修改主键和外键之前先备份数据，以防万一出现不可预期的问题。

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/588101

问题三：云数据仓库ADB的表，可以加计算列吗？

云数据仓库ADB的表，可以加计算列吗？

参考答案：

云原生数据仓库AnalyticDB MySQL版（简称ADB）确实支持计算列的概念。计算列是一种特殊的列，它的值不是直接存储在表中的，而是通过某种计算表达式得到的。然而，AnalyticDB并不支持直接修改表结构来添加计算列，你需要通过创建一个新的视图来间接实现这个功能。例如，假设你有一个名为sales的表，其中包含quantity和price两个字段，你可以创建一个新视图，其中包含一个名为total_sales的计算列，该列的值是quantity和price的乘积。具体的操作方法，你可以参考ADB的开发手册或者联系阿里云的技术支持获取更详细的信息。

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/588095

问题四：云数据仓库ADB上怎么把ADB的数据，设置为冷存储？

云数据仓库ADB上怎么把ADB的数据，设置为冷存储？

参考答案：

在阿里云ADB数据库中，您可以设置数据冷热存储策略以优化存储成本。具体操作如下：

创建或修改表时，通过storage_policy参数指定冷热存储策略。例如，在创建表时使用CREATE TABLE ... storage_policy='策略名称';，对于已存在表则可通过ALTER TABLE table_name storage_policy='策略名称';进行修改。

ADB支持将热表调整为冷表，新写入的实时数据会先占用热存储空间并在Build完成后转为冷存储。用户可以购买存储资源包来降低成本，详情参见：[1]。

冷热分区数量变更会影响数据布局。增加热分区数（M>N）时，系统会从冷分区迁移相应数量的数据到热分区；减少热分区数（M<N）时，则会把相应数量的热分区数据迁移到冷分区。

table_usage表提供了关于冷热存储策略的详细信息，包括数据库名、表名、存储策略类型（HOT、COLD、MIXED）、热分区和冷分区的数量，以及实时和热分区数据的大小等信息。

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/588093

问题五：云数据仓库ADB中，数仓版，和湖仓版，怎么选择啊？另外湖仓版本，是基于Hudi开发的？

云数据仓库ADB中，数仓版，和湖仓版，怎么选择啊？另外湖仓版本，是基于Hudi开发的？

参考答案：

AnalyticDB MySQL版是阿里云推出的云原生数据仓库产品，它融合了数据库和大数据的技术特点，可以用于构建企业级报表系统、数据仓库等应用场景。 AnalyticDB具有高并发低延时查询的能力，高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准，这使得其能够对海量数据进行即时的多维分析透视和业务探索，快速构建企业云上数据仓库。

相比于云RDS MySQL和大数据的Hive等产品，AnalyticDB的优势在于其实时写入和同步更新的能力，以及实时计算和实时服务的特性。这些特性使得AnalyticDB在处理大量数据时，能够提供更高的效率和更低的延迟。此外，AnalyticDB还是业界性能全球第一（TPC-DS 10TB）的云数据仓库产品，这也是其的一大优势。

至于数仓版和湖仓版的选择，主要取决于您的具体需求。数仓版主要用于构建数据仓库，支持实时写入和同步更新、实时计算和实时服务；而湖仓版则是基于湖仓一体架构打造的实时数仓，除了支持毫秒级更新、亚秒级查询外，还具有更高的灵活性和扩展性。 湖仓版是基于Hudi开发的，这意味着它可以利用Hudi的一些高级功能，如增量更新和事务支持等。

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/588088