IDEA 下如何修改 Elasticsearch 源码

本文涉及的产品
对象存储 OSS,20GB 3个月
文件存储 NAS,50GB 3个月
云备份 Cloud Backup,100GB 3个月
简介: 使用jdk10在idea中进行Elasticsearch的源码修改。

以下所有过程以mac操作系统下(macOS 10.13.6)为例进行。

环境准备

安装jdk10

因为es需要高版本jdk进行开发,所以我们直接安装jdk10。

前往 http://www.oracle.com/technetwork/java/javase/downloads/jdk10-downloads-4416644.html ,直接下载安装mac的dmg版本即可。

jdk8和jdk10并存

如果平时开发用的jdk8,为了不影响之后使用,jdk8和jdk10将会同时存在。如果之前没用过java低版本请忽略。在 .bash_profile 中设置如下:

export JAVA8_HOME=$(/usr/libexec/java_home -v 1.8)
export JAVA10_HOME=$(/usr/libexec/java_home -v 10)
# 默认为jdk8
export JAVA_HOME=$JAVA8_HOME
# 随时切换jdk8 和jdk10
alias jdk8="export JAVA_HOME=$JAVA8_HOME"
alias jdk10="export JAVA_HOME=$JAVA10_HOME"

其他操作系统与mac不同,请自行修改jdk配置。

IDEA开发准备

idea

自行下载宇宙第一IDE,我们这里使用的是IntelliJ IDEA 2018.2 (Ultimate Edition),不同版本应该影响不大。

建议将idea的内存调大,因为es项目有点大。

下载ES源码

我们以es 6.2.4为例,直接在github上下载es源码即可。
https://github.com/elastic/elasticsearch/releases/tag/v6.2.4

解压到随意位置即可。

gradle操作

es 6.2.4 采用了宇宙第一自动化建构工具 gradle,相比maven会好用很多。

1. 修改maven源

首先,我们修改maven仓库源,打开源码根目录下的 build.gradle (相当于maven的pom.xml,但是功能强大,用法简单,如果用maven实现里面的功能会无比复杂):

# 35行(import结束后)增加以下代码
allprojects {
    repositories {
        maven{ url 'http://maven.aliyun.com/nexus/content/groups/public/'}
    }
}
2. 生成idea文件

为了idea能修改编译源码,需要执行 ./gradlew idea (windows下为 gradlew.bat idea),这里会经过漫长的过程,如果不换maven源的话,将几个小时。

idea打开源码

idea中直接open刚操作的es源码文件夹,右下角提示`import gradle
project`,点击后弹出如下

image

如图选择jdk10,点击ok。

开始自动编译java源码,如下图红色框。
image

首次build,这个过程会比较慢,因为要额外下载jar包等。

运行源码

直接在idea中运行

打开文件工程根目录/server/src/main/org/elasticsearch/bootstrap/Elasticsearch.java,右键 Run Elasticsearch.main(),运行main方法。

提示报错

image

首先在项目根目录下创建3个文件夹

  • ./home/conf
  • ./home/plugins
  • ./home/modules

然后前往es官网下载一个binary版本的es6.2.4,将其中的conf全部复制到 ./home/conf,将全部的 modules 复制到./home/modules

在下图中增加jvm参数:
image

-Des.path.conf=/Users/xunjian/Desktop/elasticsearch-6.2.4/home/config
-Des.path.home=/Users/xunjian/Desktop/elasticsearch-6.2.4/home
-Dlog4j2.disable.jmx=true

并勾选 包含provide scope的jar。

image

然后运行报错:

org.elasticsearch.bootstrap.StartupException: java.security.AccessControlException: access denied ("java.lang.RuntimePermission" "createClassLoader")
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:125) ~[main/:?]
    at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:112) ~[main/:?]
    at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[main/:?]
    at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[main/:?]
    at org.elasticsearch.cli.Command.main(Command.java:90) ~[main/:?]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:92) ~[main/:?]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:85) ~[main/:?]
Caused by: java.security.AccessControlException: access denied ("java.lang.RuntimePermission" "createClassLoader")

解决方法:
home/config 新建 java.policy 文件,填入

grant {
    permission java.lang.RuntimePermission "createClassLoader";
};

之前修改过的jvm参数中再增加一个

-Djava.security.policy=/Users/xunjian/Desktop/elasticsearch-6.2.4/home/config/java.policy

启动:不报错,正常启动。

修改源码

做个小小的例子,在 server/src/main/java/org/elasticsearch/action/main/MainResponse.java 中修改119行左右为

builder.field("tagline", "Hello ! 寻剑的ES  ^_^");

重新再idea中启动主函数,访问 http://localhost:9200/ 得到
image

Debug

直接用debug模式启动即可,然后随时添加断点和减少断点。以刚才我们修改的文件为例,增加两个断点:
image

浏览器访问网页,在idea中可方便的debug
image

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
7月前
|
JSON 监控 Java
Elasticsearch 8.X reindex 源码剖析及提速指南
Elasticsearch 8.X reindex 源码剖析及提速指南
108 0
|
7月前
|
Java
IDEA debug HashMap源码的心得
IDEA debug HashMap源码的心得
69 0
|
4月前
|
自然语言处理 Java 关系型数据库
ElasticSearch 实现分词全文检索 - SpringBoot 完整实现 Demo 附源码【完结篇】
ElasticSearch 实现分词全文检索 - SpringBoot 完整实现 Demo 附源码【完结篇】
74 0
|
6月前
|
Java 应用服务中间件 数据库
SSM使用IDEA整合视频及源码配置文件
SSM使用IDEA整合视频及源码配置文件
idea查看源码的方法,Ctrl + 鼠标左键 可以查看源码
idea查看源码的方法,Ctrl + 鼠标左键 可以查看源码
|
6月前
|
移动开发 小程序 关系型数据库
java+ IDEA+ Uniapp+ mysql医院3D智能导诊系统源码
这是一个基于Java、IDEA、Uniapp和MySQL的医院3D智能导诊系统,采用Springboot后端框架和Redis、Mybatis Plus、RocketMQ等技术。系统通过对话式交互,精准推荐就诊科室,解决患者挂号困扰。它还具备智能预问诊功能,提升诊疗效率和准确性,确保医生能快速了解患者详情。此系统还支持小程序和H5,方便患者使用。
69 0
|
7月前
|
传感器 小程序 Java
Java+saas模式 智慧校园系统源码Java Android +MySQL+ IDEA 多校运营数字化校园云平台源码
Java+saas模式 智慧校园系统源码Java Android +MySQL+ IDEA 多校运营数字化校园云平台源码 智慧校园即智慧化的校园,也指按智慧化标准进行的校园建设,按标准《智慧校园总体框架》中对智慧校园的标准定义是:物理空间和信息空间的有机衔接,使任何人、任何时间、任何地点都能便捷的获取资源和服务。
81 1
|
7月前
|
数据采集 监控 安全
java数字工厂MES系统全套源码Java+idea+springboot专业为企业提供智能制造MES解决方案
"MES" 指的是制造执行系统(Manufacturing Execution System)。MES在制造业中扮演着至关重要的角色,它是位于企业资源计划(ERP)系统和车间控制系统之间的系统,用于实时收集、管理、分析和报告与制造过程相关的数据。
75 0
|
7月前
|
Kubernetes Java 索引
Elasticsearch 源码探究 001——故障探测和恢复机制
Elasticsearch 源码探究 001——故障探测和恢复机制
104 0
|
7月前
|
Kubernetes Ubuntu Linux
通过 IntelliJ IDEA 对 containerd 进行源码级调试
本文介绍如何在 Ubuntu 22.04 系统上,通过 IntelliJ IDEA 对 containerd 进行源码级调试。我们将从 containerd 的安装、源码编译、验证调试信息的存在,到最终的调试过程中,每一步骤都进行详细讲解。
通过 IntelliJ IDEA 对 containerd 进行源码级调试