Solr从myslq批量导入数据

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: Solr从myslq批量导入数据

引言

 

如果我们想把mysql中的数据直接导入到solr中,需要借助dataimport插件来完成,下面看看基本配置

 

第一步:把dataimport插件依赖的jar包添加到solrcore(collection1\lib)中


20170803003704288.png关于两个dataimportHandle包可以在solr-4.10.3/dist下面复制,因为我们需要连接mysql所以需要mysql驱动包,lib文件夹需要自己手动创建

 

第二步:配置solrconfig.xml文件,添加一个requestHandler


 <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
  <lst name="defaults">
    <str name="config">data-config.xml</str>
  </lst>
  </requestHandler>

第三步:创建一个data-config.xml保存到collection1\conf\目录下面

<?xml version="1.0" encoding="UTF-8" ?>
<dataConfig>
<dataSource type="JdbcDataSource" 
  driver="com.mysql.jdbc.Driver"
  url="jdbc:mysql://localhost:3306/taotao"
  user="sa"
  password="123456"/>
<document>
  <entity name="item" query="SELECT id,title,sell_point,price,num,image FROM tb_item">
    <field column="id" name="id"/>
    <field column="title" name="item_title"/>
    <field column="sell_point" name="item_sell_point"/>
    <field column="price" name="item_price"/>
    <field column="num" name="item_num"/>
    <field column="image" name="item_image"/>
  </entity>
</document>
</dataConfig>

第四步:在schema.xml中配置业务域

<!-- IKAnalyzer -->
  <fieldType name="text_ik" class="solr.TextField">
    <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>
  </fieldType>
  <!-- IKAnalyzer field -->
  <field name="title_ik" type="text_ik" indexed="true" stored="true"/>
  <field name="content_ik" type="text_ik" indexed="true" stored="false" multiValued="true"/>
  <!-- item 上面是中文分析器的配置 从下面开始属于业务域的配置-->
  <field name="item_title" type="text_ik" indexed="true" stored="true"/>
  <field name="item_sell_point" type="text_ik" indexed="true" stored="true"/>
  <field name="item_price" type="float" indexed="true" stored="true"/>
  <field name="item_num" type="int" indexed="true" stored="true"/>
  <field name="item_image" type="string" indexed="false" stored="true"/>
  <field name="item_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/>
  <copyField source="item_title" dest="item_keywords"/>
  <copyField source="item_sell_point" dest="item_keywords"/>

重启tomcat 在页面上操作如下

20170803004816611.png

到此关于批量导入数据的配置已经完成!

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
SQL Oracle 关系型数据库
sqoop的导入导出以及where条件过滤数据导出
sqoop的导入导出以及where条件过滤数据导出
|
7月前
|
存储 JSON NoSQL
MongoDB 插入文档:轻松管理数据录入与批量导入
MongoDB 插入文档:轻松管理数据录入与批量导入
104 0
|
8月前
|
存储 分布式计算 关系型数据库
Elasticsearch 8.X 导出 CSV 多种方案,一网打尽!
Elasticsearch 8.X 导出 CSV 多种方案,一网打尽!
103 0
|
Java 关系型数据库 MySQL
21Solr批量导入数据
21Solr批量导入数据
52 0
|
索引
46分布式电商项目 - 批量导入商品数据到solr索引库
46分布式电商项目 - 批量导入商品数据到solr索引库
45 0
|
索引
18Solr管理索引库
18Solr管理索引库
28 0
|
存储 缓存 资源调度
HBASE入库方式比较
HBASE数据入库主要目的是保证数据快速,准确,完整的进入HBASE,并在数据入库时减少对大数据集群的影响。
503 0
HBASE入库方式比较
|
SQL 运维 Java
数据查询的玄铁剑:阿里云HBase二级索引功能解析
HBase原生提供了主键索引,用户可以根据rowkey进行高效的单行读、前缀匹配、范围查询操作。但若需要使用属性列进行查询时,则只能使用filter在查询范围内进行逐行过滤。在扫描范围较大时,会浪费大量的IO,请求RT也无法保证。为此,HBase增强版推出了原生二级索引来解决非rowkey查询的性能问题。
2292 0
数据查询的玄铁剑:阿里云HBase二级索引功能解析
|
分布式数据库 Hbase
HBase常用导入导出工具图示比较
HBase常用导入导出工具图示比较
960 0