元数据库数据字典是什么?(2)
- 储了所有的表中索引的详细信息。
| FIELD | TYPE | ALLOW_NULL | PK | DEFAULT_VALUE | COMMENT |
| CLUSTER_NAME | varchar(16) | NO | PRI | NULL | 集群名称 |
| TABLE_SCHEMA | varchar(128) | NO | PRI | NULL | 所属SCHEMA |
| TABLE_GROUP | varchar(128) | YES | NULL | 所属表组 | |
| TABLE_NAME | varchar(128) | NO | PRI | NULL | 所属表名 |
| COLUMNS | varchar(255) | YES | NULL | 列名 | |
| INDEX_NAME | varchar(128) | NO | PRI | NULL | 索引名称 |
| INDEX_TYPE | int(11) | YES | NULL | 索引类型：3(HASH)、5(FULLTEXT) | |
| TYPE_NAME | varchar(128) | YES | NULL | 类型名称：HASH、FULLTEXT | |
| IS_PREFETCH | tinyint(1) | YES | NULL | 是否是PREFETCH | |
| COMMENT | varchar(255) | YES | NULL | 说明 | |
| CREATE_TIME | timestamp | NO | CURRENT_TIMESTAMP | 创建时间 | |
| UPDATE_TIME | timestamp | NO | 0000-00-0000:00:00 | 更新时间 |
- 如果希望了解某一个表的索引信息可以根据 TABLE_SCHEMA 、 TABLE_GROUP 、 TABLE_NAME查询该表下所涉及的索引信息情况。
STATISTICS
- 表存储了所有的表中索引使用情况的统计信息。
| FIELD | TYPE | ALLOW_NULL | PK | DEFAULT_VALUE | COMMENT |
| CLUSTER_NAME | varchar(16) | NO | PRI | NULL | 集群名称 |
| TABLE_CATALOG | varchar(64) | YES | NULL | CATALOG名称 | |
| TABLE_SCHEMA | varchar(64) | NO | PRI | NULL | 表的SCHEMA |
| TABLE_NAME | varchar(64) | NO | PRI | NULL | 表名 |
| NON_UNIQUE | tinyint(1) | YES | NULL | 是否是非唯一 | |
| INDEX_SCHEMA | varchar(64) | YES | NULL | 索引的SCHEMA | |
| INDEX_NAME | varchar(64) | NO | PRI | NULL | 索引名称 |
| SEQ_IN_INDEX | int(11) | YES | NULL | 索引中的位置 | |
| COLUMN_NAME | varchar(64) | NO | PRI | NULL | 列名 |
| COLLATION | varchar(64) | YES | NULL | 排序规则 | |
| CARDINALITY | bigint(20) | YES | NULL | 散列程度 |
- 如果希望了解某一个表中的索引使用信息，例如某一个表中包含了多少个索引，索引类型，某一个列在索引总的位置，索引的散列程度等，可以根据TABLE_SCHEMA 、 TABLE_GROUP 、 TABLE_NAME 查询该表的响应的信息。
JOB_INSTANCES
- 该表存储了所有任务的详细信息。
| FIELD | TYPE | ALLOW_NULL | PK | DEFAULT_VALUE | COMMENT |
| JOB_ID | varchar(255) | NO | PRI | NULL | 任务ID |
| JOB_NAME | varchar(255) | YES | NULL | 任务名称 | |
| JOB_TYPE | varchar(64) | YES | NULL | 任务类型 | |
| DEADLINE | timestamp | NO | CURRENT_TIMESTAMP | 截止日期 | |
| STARTING_LINE | timestamp | NO | 0000-00-00 | 00:00:00 | |
| STATE | varchar(64) | YES | NULL | 状态 | |
| PROGRESS | int(11) | YES | NULL | 进度 | |
| START_TIME | timestamp | NO | 0000-00-0000:00:00 | 开始时间 | |
| END_TIME | timestamp | NO | 0000-00-0000:00:00 | 结束时间 | |
| PREDICTED_START_TIME | timestamp | NO | 0000-00-0000:00:00 | 预计开始时间 | |
| PREDICTED_END_TIME | timestamp | NO | 0000-00-0000:00:00 | 预计结束时间 |
- 如果希望了解任务的运行情况，查看任务运行的状态和进度，可以根据JOB_ID查询这张表的信息。
TABLE_DATA_LOADS
- 该表存储了表数据加载情况的相关信息。
| FIELD | TYPE | ALLOW_NULL | PK | DEFAULT_VALUE | COMMENT |
| CLUSTER_NAME | varchar(16) | NO | PRI | NULL | 集群名称 |
| TABLE_SCHEMA | varchar(64) | NO | PRI | NULL | 表的SCHEMA |
| TABLE_NAME | varchar(64) | NO | PRI | NULL | 表名 |
| TABLE_PARTITION | varchar(255) | NO | PRI | NULL | 表的分区名 |
| DATA_VERSION | bigint(20) | NO | PRI | NULL | 数据版本 |
| DATA_SOURCE_TYPE | varchar(255) | YES | NULL | 数据源类型：odps、pangu | |
| DATA_SOURCE_PATH | varchar(255) | YES | NULL | 数据源路径在odps和pangu上的路径 | |
| COMMAND_SQL | text | YES | NULL | SQL | |
| JOB_INSTANCE_ID | varchar(255) | NO | PRI | NULL | 任务实例ID，关联到job_instances的JOB_ID |
| DATA_SOURCE_SIZE | bigint(20) | YES | NULL | 数据源大小 | |
| USER | varchar(64) | YES | NULL | 用户 | |
| USER_HOST | varchar(64) | YES | NULL | 用户主机 | |
| CREATE_TIME | timestamp | NO | CURRENT_TIMESTAMP | 创建时间 |
- 如果希望了解表中数据的装载信息可以根据 TABLE_SCHEMA 和 TABLE_NAME 查询相应信息。
- 通过 JOB_INSTANCE_ID 联合 job_instances 中的 JOB_ID 查询任务运行情况。
SERVERS
| FIELD | TYPE | ALLOW_NULL | PK | DEFAULT_VALUE | COMMENT |
| CLUSTER_NAME | varchar(16) | NO | PRI | NULL | 集群名称 |
| SCHEMA_NAME | varchar(128) | NO | PRI | NULL | SCHEMA名称 |
| CREATE_TIME | timestamp | NO | CURRENT_TIMESTAMP | 创建时间 | |
| UPDATE_TIME | timestamp | NO | 0000-00-0000:00:00 | 更新时间 | |
| ONLINE_SERVER_ID | varchar(255) | YES | NULL | ||
| SLB_PLAN_ENTRY_ID | varchar(255) | YES | NULL | ||
| SLB_INSTANCE_ID | varchar(255) | YES | NULL | ||
| SLB_RS_LIST | varchar(255) | YES | NULL | ||
| read_slb_instance_id | varchar(255) | YES | NULL | ||
| write_slb_instance_id | varchar(255) | YES | NULL |
MINUTE_DB_PROFILE
- 该表存储了按照分钟级别统计DB访问量的信息。
| FIELD | TYPE | ALLOW_NULL | PK | DEFAULT_VALUE | COMMENT |
| CLUSTER_NAME | varchar(16) | NO | PRI | NULL | 集群名称 |
| TABLE_SCHEMA | varchar(64) | NO | PRI | NULL | SCHEMA名称 |
| UPDATE_TIME | varchar(64) | NO | PRI | NULL | 更新时间 |
| SERVER_ID | varchar(64) | NO | PRI | NULL | SERVERID |
| QPS | int(11) | YES | NULL | 按照分钟级别统计的每秒查询数 | |
| PV | bigint(20) | YES | NULL | 按照分级级别统计的访问量 | |
| AVG_RT | int(11) | YES | NULL | 按照分支级别统计的平均响应时间 | |
| DATA_SIZE | bigint(20) | YES | NULL | 数据大小 |
- 如果希望了解某一个数据库分钟级别的统计信息包括QPS、PV、RT和数据大小信息可以根据 TABLE_SCHEMA 查询相应信息。
- 通过查询这些信息，可以了解数据库的当前使用情况，尤其是在数据库性能底下的时候可以通过这些信息发现性能瓶颈。
HOUR_DB_PROFILE
- 该表存储了按照小时级别统计DB访问量的信息。
| FIELD | TYPE | ALLOW_NULL | PK | DEFAULT_VALUE | COMMENT |
| CLUSTER_NAME | varchar(16) | NO | PRI | NULL | 集群名称 |
| TABLE_SCHEMA | varchar(64) | NO | PRI | NULL | SCHEMA名称 |
| THEDATE | int(11) | NO | PRI | NULL | |
| HOUR | int(11) | NO | PRI | NULL | 小时数 |
| TOTAL_PV | bigint(20) | YES | NULL | 总访问量 | |
| AVG_RT | int(11) | YES | NULL | 平均响应时间 | |
| MAX_RT | int(11) | YES | NULL | 最大响应时间 | |
| ZERO_RESULT | bigint(20) | YES | NULL | 零结果查询个数 | |
| TIME_OUT | bigint(20) | YES | NULL | 超时查询个数 | |
| CACHE_HIT_RATE | float | YES | NULL | 缓存访问率 | |
| RT_DIST | varchar(255) | YES | NULL |
- 如果希望了解某一个数据库小时级别的统计信息包括QPS、PV、RT、零结果查询、超时查询等信息可以根据 TABLE_SCHEMA 查询相应信息。
- 通过查询这些信息，可以了解数据库的当前使用情况，尤其是在数据库性能底下的时候可以通过这些信息发现性能瓶颈。
HOUR_DB_PROFILE
- 该表统计了小时级别的所有慢查询，以及相关的统计信息。
| FIELD | TYPE | ALLOW_NULL | PK | DEFAULT_VALUE | COMMENT |
| CLUSTER_NAME | varchar(16) | NO | PRI | NULL | 集群名称 |
| TABLE_SCHEMA | varchar(64) | NO | PRI | NULL | SCHEMA名称 |
| THEDATE | int(11) | NO | PRI | NULL | |
| HOUR | int(11) | NO | PRI | NULL | 小时数 |
| ORDER_IDX | int(11) | NO | PRI | NULL | |
| SQL | text | YES | NULL | 具体的SQL | |
| RT | int(11) | YES | NULL | 响应时间 | |
| PV | bigint(20) | YES | NULL | 访问量 | |
| LAST_QUERY_TIME | timestamp | NO | CURRENT_TIMESTAMP | 最后查询时间 |
CURRENT_JOB
- 数据批量导入任务或实时表的optimize table的任务信息，通常只保留最近24小时的任务
| FIELD | TYPE | ALLOW_NULL | PK | DEFAULT_VALUE | COMMENT |
| CLUSTER_NAME | varchar(16) | NO | PRI | NULL | 集群名称 |
| TABLE_SCHEMA | varchar(128) | NO | PRI | NULL | SCHEMA名称 |
| TABLE_GROUP | varchar(128) | YES | NULL | 表组名称 | |
| TABLE_NAME | varchar(128) | NO | PRI | NULL | 表名称 |
| DATA_VERSION | bigint(20) | NO | PRI | NULL | 数据版本 |
| JOB_ID | varchar(255) | NO | PRI | NULL | 任务ID，可以关联job_instances的JOB_ID |
| STATE | varchar(128) | YES | NULL | 任务状态 | |
| USER | varchar(128) | YES | NULL | 提交者 | |
| ONLINE_GROUP | varchar(255) | YES | NULL | 在线组 | |
| START_TIME | timestamp | NO | CURRENT_TIMESTAMP | 开始时间 | |
| FINISH_TIME | timestamp | NO | 0000-00-0000:00:00 | 结束时间 | |
| SOURCE_PATH | text | YES | NULL | 源在odps或者pangu上面的路径 | |
| PARTITION_PATH | varchar(255) | YES | NULL | 分区路径 | |
| PARAMETERS | text | YES | NULL | 运行时参数 | |
| DEADLINE | timestamp | NO | 0000-00-0000:00:00 | 截止日期 | |
| ERROR_CODE | varchar(128) | YES | NULL | 错误编码 | |
| ERROR_MSG | varchar(255) | YES | NULL | 错误信息 | |
| PRIORITY | int(11) | YES | NULL | 优先级 |
- 如果希望了解某一个数据库某一个表的数据上线任务信息，可以根据 TABLE_SCHEMA , TABLE_GROUP 和 TABLE_NAME查询相应信息。
CURRENT_TASK
- 如果希望了解某一个数据库某一个表的数据上线任务信息，可以根据 TABLE_SCHEMA , TABLE_GROUP 和 TABLE_NAME查询相应信息。
| FIELD | TYPE | ALLOW_NULL | PK | DEFAULT_VALUE | COMMENT |
| CLUSTER_NAME | varchar(16) | NO | PRI | NULL | 集群名称 |
| TABLE_SCHEMA | varchar(64) | NO | PRI | NULL | 表的SCHEMA |
| TABLE_NAME | varchar(64) | NO | PRI | NULL | 表名 |
| DATA_VERSION | bigint(20) | NO | PRI | NULL | 数据版本 |
| JOB_ID | varchar(255) | NO | PRI | NULL | JOB_ID |
| TASK_ID | varchar(255) | NO | PRI | NULL | TASK_ID |
| TABLE_GROUP | varchar(128) | YES | NULL | 表组名称 | |
| TASK_TYPE | varchar(64) | YES | NULL | TASK类型 | |
| USER | varchar(64) | YES | NULL | 创建者 | |
| TASK_STATE | varchar(64) | YES | NULL | TASK状态 | |
| START_TIME | timestamp | NO | CURRENT_TIMESTAMP | 开始时间 | |
| END_TIME | timestamp | NO | 0000-00-0000:00:00 | 结束时间 | |
| PREDICTED_START_TIME | timestamp | NO | 0000-00-0000:00:00 | 预计开始时间 | |
| PREDICTED_END_TIME | timestamp | NO | 0000-00-0000:00:00 | 预计结束时间 | |
| DEADLINE | timestamp | NO | 0000-00-0000:00:00 | 截止日期 | |
| PRIORITY | int(11) | YES | NULL | 优先级 | |
| INIT_TIME_COST | bigint(20) | YES | NULL | 初始化时间 | |
| RESOURCE_COST | int(11) | YES | NULL | 资源耗费 | |
| BUILD_ID | varchar(255) | YES | NULL | BUILD_ID | |
| PARTITION_PATH | varchar(255) | YES | NULL | 分区路径 | |
| ONLINE_GROUP | varchar(255) | YES | NULL | 在线分组 | |
| EXIGENT | varchar(255) | YES | NULL | 是否紧急 | |
| INPUT | text | YES | NULL | 输入参数 | |
| OUTPUT | text | YES | NULL | 输出参数 |
- 如果希望了解Build排队时间，取决于当前集群Build并发度、DB内Build并发度。例如：
- SELECT timestampdiff(second, a.end_time,b.start_time) FROM
- (select start_time,end_time from information_schema.current_task where job_id='LDDT-xxx' and task_type='CALLBACK') a
- JOIN
- (select start_time,end_time from information_schema.current_task where job_id='LDDT-xxx' and task_type='BUILID') b;
- 如果希望了解Build执行时间，取决于数据量大小、MR配置（如map/reduce个数及内存大小）、ODPS资源。例如：在ODPS资源充足、无排队情况下，Build构建索引的性能是单核5GB/h左右。MR的默认配置是100个reduce，每个reduce的默认cpucore数为1。
- SELECT timestampdiff(second, start_time,end_time)
- FROM information_schema.current_task
- WHERE job_id='LDDT-xxx' and task_type='BUILD';
- 查询任务状态。例如：
- SELECT state,error_code,error_msg
- FROM information_schema.current_job
- WHERE job_id='LDDT-xxx';
- 查询阶段任务状态。例如：
- SELECT task_type,task_state,start_time,end_time
- FROM information_schema.current_task
- WHERE job_id='LDDT-xxx';
BUILD_CURRENT_TASK
- 如果希望了解某一个数据库某一个表的数据上线任务信息，可以根据 TABLE_SCHEMA, TABLE_GROUP 和 TABLE_NAME查询相应信息。
| FIELD | TYPE | ALLOW_NULL | PK | DEFAULT_VALUE | COMMENT |
| CLUSTER_NAME | varchar(16) | NO | PRI | NULL | 集群名称 |
| TABLE_SCHEMA | varchar(128) | NO | PRI | NULL | SCHEMA名称 |
| TABLE_GROUP | varchar(128) | YES | NULL | 表组名称 | |
| TABLE_NAME | varchar(128) | NO | PRI | NULL | 表名称 |
| DATA_VERSION | bigint(20) | NO | PRI | NULL | 数据版本 |
| JOB_START_TIME | timestamp | NO | CURRENT_TIMESTAMP | JOB开始时间 | |
| JOB_ID | varchar(255) | YES | NULL | JOB_ID可以关联job_instances的JOB_ID | |
| SOURCE_PATH | varchar(255) | YES | NULL | 数据源路径 | |
| TASK_TYPE | varchar(128) | YES | NULL | TASK类型pangu、odps | |
| TASK_ID | varchar(255) | NO | PRI | NULL | TASK_ID关联current_task中的TASK_ID |
| TASK_STATE | varchar(128) | YES | NULL | TASK状态 | |
| INNER_STATE | varchar(128) | YES | NULL | BUILD内部状态 | |
| INCREMENTAL | varchar(128) | YES | NULL | true实时表，FALSE批量表 | |
| PROPERTIES | varchar(255) | YES | NULL | ||
| PARTITIONS | varchar(255) | YES | NULL | ||
| TASK_PREFIX | varchar(255) | YES | NULL | ||
| USER | varchar(128) | YES | NULL | ||
| RETRY_TIMES_REMAIN | varchar(255) | YES | NULL | 剩余重试次数 | |
| VIEW_PHYSICAL_TABLE | varchar(255) | YES | NULL | ||
| SPLIT_INSTANCE_ID | varchar(255) | YES | NULL | OPPS返回的SPLIT阶段的MapReduceID | |
| SPLIT_LOG_VIEW | text | YES | NULL | OPDS返回MapReduce的LOGVIEW连接 | |
| MERGE_INSTANCE_ID | varchar(255) | YES | NULL | OPPS返回的MERGE阶段的MapReduceID | |
| MERGE_LOG_VIEW | text | YES | NULL | OPDS返回MapReduce的LOGVIEW连接 | |
| SPLIT_START_TIME | timestamp | NO | 0000-00-0000:00:00 | BUILD中2个MR任务中的SPLIT阶段的开始时间 | |
| SPLIT_FINISH_TIME | timestamp | NO | 0000-00-0000:00:00 | BUILD中2个MR任务中的SPLIT阶段的结束时间 | |
| MERGE_START_TIME | timestamp | NO | 0000-00-0000:00:00 | BUILD中2个MR任务中的MERGE阶段的开始时间 | |
| MERGE_FINISH_TIME | timestamp | NO | 0000-00-0000:00:00 | BUILD中2个MR任务中的MERGE阶段的结束时间 | |
| CREATE_TIME | timestamp | NO | 0000-00-0000:00:00 | ||
| UPDATE_TIME | timestamp | NO | 0000-00-0000:00:00 | ||
| ERROR_CODE | varchar(128) | YES | NULL | ||
| ERROR_MSG | text | YES | NULL |
TABLE_DATA_REQUEST
| FIELD | TYPE | ALLOW_NULL | PK | DEFAULT_VALUE | COMMENT |
| CLUSTER_NAME | varchar(128) | NO | PRI | NULL | |
| TABLE_SCHEMA | varchar(128) | NO | PRI | NULL | |
| REQUEST_ID | varchar(128) | NO | PRI | NULL | |
| REQUEST_TYPE | varchar(128) | YES | NULL | ||
| SCHEMA_ID | bigint(20) | YES | NULL | ||
| TABLE_ID | bigint(20) | YES | NULL | ||
| TABLE_NAME | varchar(128) | YES | NULL | ||
| DATA_VERSION | bigint(20) | YES | NULL | ||
| REQUEST_NAME | varchar(128) | YES | NULL | ||
| STATE | varchar(128) | YES | NULL | ||
| CREATE_TIME | timestamp | NO | CURRENT_TIMESTAMP | ||
| UPDATE_TIME | timestamp | NO | 0000-00-0000:00:00 | ||
| ERROR_CODE | varchar(128) | YES | NULL | ||
| ERROR_MSG | varchar(255) | YES | NULL | ||
| INTERNAL_ERROR_CODE | varchar(128) | YES | NULL | ||
| INTERNAL_ERROR_MSG | varchar(255) | YES | NULL | ||
| user_name | varchar(128) | YES | NULL | ||
| user_id | varchar(128) | YES | NULL |
SERVICE_REQUEST
| FIELD | TYPE | ALLOW_NULL | PK | DEFAULT_VALUE | COMMENT |
| CLUSTER_NAME | varchar(128) | NO | PRI | NULL | |
| TABLE_SCHEMA | varchar(128) | NO | PRI | NULL | |
| RESOURCE_GROUP_NAME | varchar(128) | NO | PRI | NULL | |
| REQUEST_ID | varchar(128) | NO | PRI | NULL | |
| SCHEMA_ID | bigint(20) | YES | NULL | ||
| REQUEST_TYPE | varchar(128) | YES | NULL | ||
| WORKER_TYPE | varchar(128) | YES | NULL | ||
| PACKAGE_VERSION | varchar(128) | YES | NULL | ||
| CONF_VERSION | varchar(128) | YES | NULL | ||
| CREATE_TIME | timestamp | NO | CURRENT_TIMESTAMP | ||
| UPDATE_TIME | timestamp | NO | 0000-00-0000:00:00 | ||
| STATE | varchar(128) | YES | NULL | ||
| ERROR_CODE | varchar(128) | YES | NULL | ||
| ERROR_MSG | varchar(255) | YES | NULL | ||
| INTERNAL_ERROR_CODE | varchar(128) | YES | NULL | ||
| INTERNAL_ERROR_MSG | varchar(255) | YES | NULL |
HISTORY_JOB
| FIELD | TYPE | ALLOW_NULL | PK | DEFAULT_VALUE | COMMENT |
| CLUSTER_NAME | varchar(16) | NO | PRI | NULL | |
| JOB_DATE | date | NO | PRI | NULL | |
| TABLE_SCHEMA | varchar(128) | NO | PRI | NULL | |
| TABLE_GROUP | varchar(128) | NO | PRI | NULL | |
| TABLE_NAME | varchar(128) | NO | PRI | NULL | |
| DATA_VERSION | bigint(20) | NO | PRI | NULL | |
| JOB_ID | varchar(255) | NO | PRI | NULL | |
| STATE | varchar(128) | YES | NULL | ||
| USER | varchar(128) | YES | NULL | ||
| LOAD_START | timestamp | NO | CURRENT_TIMESTAMP | ||
| LOAD_FINISH | timestamp | NO | 0000-00-0000:00:00 | ||
| LOAD_STATE | varchar(128) | YES | NULL | ||
| BUILD_START | timestamp | NO | 0000-00-0000:00:00 | ||
| BUILD_FINISH | timestamp | NO | 0000-00-0000:00:00 | ||
| BUILD_STATE | varchar(128) | YES | NULL | ||
| ONLINE_START | timestamp | NO | 0000-00-0000:00:00 | ||
| ONLINE_FINISH | timestamp | NO | 0000-00-0000:00:00 | ||
| ONLINE_STATE | varchar(128) | YES | NULL | ||
| START_TIME | timestamp | NO | 0000-00-0000:00:00 | ||
| FINISH_TIME | timestamp | NO | 0000-00-0000:00:00 | ||
| SOURCE_PATH | text | YES | NULL | ||
| ERROR_CODE | varchar(128) | YES | NULL | ||
| ERROR_MSG | varchar(255) | YES | NULL | ||
| PARAMETERS | text | YES | NULL | ||
| ONLINE_GROUP | varchar(255) | YES | NULL | ||
| DEADLINE | varchar(255) | YES | NULL | ||
| PARTITION_PATH | varchar(255) | YES | NULL | ||
| PRIORITY | int(11) | YES | NULL |
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答