Solr从myslq批量导入数据

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,高可用系列 2核4GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: Solr从myslq批量导入数据

引言

 

如果我们想把mysql中的数据直接导入到solr中,需要借助dataimport插件来完成,下面看看基本配置

 

第一步:把dataimport插件依赖的jar包添加到solrcore(collection1\lib)中


20170803003704288.png关于两个dataimportHandle包可以在solr-4.10.3/dist下面复制,因为我们需要连接mysql所以需要mysql驱动包,lib文件夹需要自己手动创建

 

第二步:配置solrconfig.xml文件,添加一个requestHandler


 <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
  <lst name="defaults">
    <str name="config">data-config.xml</str>
  </lst>
  </requestHandler>

第三步:创建一个data-config.xml保存到collection1\conf\目录下面

<?xml version="1.0" encoding="UTF-8" ?>
<dataConfig>
<dataSource type="JdbcDataSource" 
  driver="com.mysql.jdbc.Driver"
  url="jdbc:mysql://localhost:3306/taotao"
  user="sa"
  password="123456"/>
<document>
  <entity name="item" query="SELECT id,title,sell_point,price,num,image FROM tb_item">
    <field column="id" name="id"/>
    <field column="title" name="item_title"/>
    <field column="sell_point" name="item_sell_point"/>
    <field column="price" name="item_price"/>
    <field column="num" name="item_num"/>
    <field column="image" name="item_image"/>
  </entity>
</document>
</dataConfig>

第四步:在schema.xml中配置业务域

<!-- IKAnalyzer -->
  <fieldType name="text_ik" class="solr.TextField">
    <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>
  </fieldType>
  <!-- IKAnalyzer field -->
  <field name="title_ik" type="text_ik" indexed="true" stored="true"/>
  <field name="content_ik" type="text_ik" indexed="true" stored="false" multiValued="true"/>
  <!-- item 上面是中文分析器的配置 从下面开始属于业务域的配置-->
  <field name="item_title" type="text_ik" indexed="true" stored="true"/>
  <field name="item_sell_point" type="text_ik" indexed="true" stored="true"/>
  <field name="item_price" type="float" indexed="true" stored="true"/>
  <field name="item_num" type="int" indexed="true" stored="true"/>
  <field name="item_image" type="string" indexed="false" stored="true"/>
  <field name="item_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/>
  <copyField source="item_title" dest="item_keywords"/>
  <copyField source="item_sell_point" dest="item_keywords"/>

重启tomcat 在页面上操作如下

20170803004816611.png

到此关于批量导入数据的配置已经完成!

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
目录
相关文章
|
9月前
|
机器学习/深度学习 人工智能 算法
VE-Bench:北京大学开源首个针对视频编辑质量的评估指标,从多角度考虑审美并准确地评估视频编辑效果
北京大学开源了首个针对视频编辑质量评估的新指标 VE-Bench,旨在通过人类感知一致的度量标准,更准确地评估视频编辑效果。
369 14
VE-Bench:北京大学开源首个针对视频编辑质量的评估指标,从多角度考虑审美并准确地评估视频编辑效果
|
11月前
|
安全 Linux 网络安全
docker常见问题
【10月更文挑战第2天】
289 3
|
Ubuntu Shell Linux
Python环境搭建
Python环境搭建
486 1
|
存储 编解码 Android开发
Flutter笔记:使用相机
Flutter笔记:使用相机
1049 0
|
存储 Oracle 算法
数据库数据恢复-ORACLE数据库常见故障的数据恢复可能性分析
ORACLE数据库常见故障: 1、ORACLE数据库无法启动或无法正常工作。 2、ORACLE数据库ASM存储破坏。 3、ORACLE数据库数据文件丢失。 4、ORACLE数据库数据文件部分损坏。 5、ORACLE数据库DUMP文件损坏。
|
数据挖掘 测试技术
【论文速递】EMNLP 2022 - 一种大规模中文标题数据集的开放事件抽取基准
事件抽取(EE)对于新聚合和事件知识图构建等下游任务至关重要。大多数现有的EE数据集手动定义固定的事件类型,并为每种事件设计特定的模式
321 0
|
存储 物联网 数据安全/隐私保护
RFID 卡片权限管理 | 学习笔记
快速学习 RFID 卡片权限管理
RFID 卡片权限管理 | 学习笔记
|
JavaScript
Vue 中循环渲染多个相同 echarts 图表
Vue 中循环渲染多个相同 echarts 图表
695 0
Vue 中循环渲染多个相同 echarts 图表
|
存储 数据挖掘 大数据
一文速学-Pandas多文件批次聚合处理详解+实例代码
一文速学-Pandas多文件批次聚合处理详解+实例代码
336 0
一文速学-Pandas多文件批次聚合处理详解+实例代码
|
JavaScript CDN
CDN方式Vue组件注册
CDN方式Vue组件注册
157 0