多表利用DIH批量导入数据并建立索引注意事项

简介:   如果希望同时对多个表进行全文检索,那我们该如何处理呢?利用DIH导入数据并建立索引时。schema.xml中配置了uniqueKey为id id   如果多表主键都为id的话索引会被覆盖   由于id是唯一键,如果id重复索引会被覆盖掉。

  如果希望同时对多个表进行全文检索,那我们该如何处理呢?利用DIH导入数据并建立索引时。schema.xml中配置了uniqueKey为id

<uniqueKey>id</uniqueKey>

  如果多表主键都为id的话索引会被覆盖

    <!--deltaImportQuery和deltaQuery为增量导入时使用。-->
    <entity name="case"  
      pk="id"
      query="SELECT id,title, summary, 'case' as type FROM case"
      deltaImportQuery="SELECT id, title, summary, 'case' as type from case WHERE id='${dih.delta.id}'"
      deltaQuery="SELECT id, title, summary, 'case' as type FROM case  WHERE create_time > '${dih.last_index_time}'"
      >
      <!--field用于配置schema.xml中field和数据库字段的对应关系。column:数据库中字段名称,name:schema.xml中配置的名称-->
      <field column="id" name="id"/>
      <field column="title" name="title"/>       
      <field column="summary" name="summary"/>  
    </entity>

    <!--deltaImportQuery和deltaQuery为增量导入时使用。-->
    <entity name="casetest"  
      pk="id"
      query="SELECT id,title, summary, 'case_test' as type FROM casetest"
      deltaImportQuery="SELECT id, title, summary, 'case_test' as type from casetest WHERE id='${dih.delta.id}'"
      deltaQuery="SELECT id, title, summary, 'case_test' as type FROM casetest  WHERE create_time > '${dih.last_index_time}'"
      >
      <!--field用于配置schema.xml中field和数据库字段的对应关系。column:数据库中字段名称,name:schema.xml中配置的名称-->
      <field column="id" name="id"/>
      <field column="title" name="title"/>       
      <field column="summary" name="summary"/>
      <field column="type" name="type"/>
    </entity>

  由于id是唯一键,如果id重复索引会被覆盖掉。此时可以加个简易的标识,以便构造不同表的uniqueKey

  修改后配置文件

    <!--deltaImportQuery和deltaQuery为增量导入时使用。-->
    <entity name="case"  
      pk="id"
      query="SELECT concat('case_Type_', id) as id,title, summary, 'case' as type FROM case"
      deltaImportQuery="SELECT concat('case_Type_', id) as id, title, summary, 'case' as type from case WHERE id='${dih.delta.id}'"
      deltaQuery="SELECT concat('case_Type_', id) as id, title, summary, 'case' as type FROM case  WHERE create_time > '${dih.last_index_time}'"
      >
      <!--field用于配置schema.xml中field和数据库字段的对应关系。column:数据库中字段名称,name:schema.xml中配置的名称-->
      <field column="id" name="id"/>
      <field column="title" name="title"/>       
      <field column="summary" name="summary"/>  
    </entity>

    <!--deltaImportQuery和deltaQuery为增量导入时使用。-->
    <entity name="casetest"  
      pk="id"
      query="SELECT concat('case_test_Type_', id) as id,title, summary, 'case_test' as type FROM casetest"
      deltaImportQuery="SELECT concat('case_test_Type_', id) as id, title, summary, 'case_test' as type from casetest WHERE id='${dih.delta.id}'"
      deltaQuery="SELECT concat('case_test_Type_', id) as id, title, summary, 'case_test' as type FROM casetest  WHERE create_time > '${dih.last_index_time}'"
      >
      <!--field用于配置schema.xml中field和数据库字段的对应关系。column:数据库中字段名称,name:schema.xml中配置的名称-->
      <field column="id" name="id"/>
      <field column="title" name="title"/>       
      <field column="summary" name="summary"/>
      <field column="type" name="type"/>
    </entity>

 

相关文章
|
1月前
|
SQL 关系型数据库 MySQL
如何确认SQL查询是否使用了索引:详细步骤与技巧
在数据库管理和优化中,确认SQL查询是否有效利用了索引是提升性能的关键步骤
|
5月前
|
SQL 分布式计算 Java
MaxCompute操作报错合集之查询外部表insert到内部表报错,两表字段一致,是什么原因
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
6月前
|
SQL 关系型数据库 MySQL
Mysql基础篇(创建、管理、增删改表)-2
Mysql基础篇(创建、管理、增删改表)
118 0
|
6月前
|
存储 SQL 关系型数据库
Mysql基础篇(创建、管理、增删改表)-1
Mysql基础篇(创建、管理、增删改表)
150 0
|
6月前
|
SQL 关系型数据库 MySQL
MYSQL基础知识之【添加数据,查询数据】
MYSQL基础知识之【添加数据,查询数据】
41 0
|
SQL 开发框架 .NET
数据库单表查询 - 简单筛选查询
数据库单表查询 - 简单筛选查询
119 0
|
存储 自然语言处理 索引
xunsearch,如果一个业务需求,需要Left join五张数据表,这样需要创建几个索引?如何导入数据?底层原理是什么?
xunsearch,如果一个业务需求,需要Left join五张数据表,这样需要创建几个索引?如何导入数据?底层原理是什么?
109 0
|
SQL 关系型数据库 MySQL
MySQL基础-表操作~添加数据
DML英文全称是Data Manipulation Language(数据操作语言),用来对数据库中表的数据记录进 行增、删、改操作。
295 0
|
SQL 关系型数据库 MySQL
MySQL基础-表操作~修改数据
修改数据的具体语法为: UPDATE 表名 SET 字段名1 = 值1 , 字段名2 = 值2 , .... [ WHERE 条件 ] ;
147 0
|
存储 SQL Java
Mysql数据库表字段设计优化(状态列)
初始状态码(java int 32 long 64),int 可以表示31种(除去0000),long可以表示63种(除去0000),当然不可能将0000赋值给初始状态,一般来讲,选择int还是long是根据具体业务需求来决定的。
599 0
Mysql数据库表字段设计优化(状态列)
下一篇
无影云桌面