elasticsearch8.1源码编译笔记

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介: elasticsearch8.1源码编译笔记

环境

  • idea 2022.1.3
  • jdk17
  • macos 10.14.6
  • gradle 7.4.2(代码自动下载)

前置准备

  • idea 设置 JDK17
  • idea 设置 gradle JVMProject JVM
  • gradle 设置 aliyun加速(可选),有时设置了不如不设置更好

开始导入

  • 导入项目 使用 idea open项目下的 build.gradle,等待编译结束
  • 编译 8.1版本的发行包 这一步会下载所需的依赖 jdk,如果报错可以多尝试几次,或者切换网络,执行该命令时, 注意终端jdk环境
./gradlew localDistro
  • 复制发行包到项目根目录同级目录新建 home文件夹下,文件结构如下
├── elasticsearch
│   ├── BUILDING.md
│   ├── CONTRIBUTING.md
│   ├── LICENSE.txt
│   ├── NOTICE.txt
│   ├── README.asciidoc
│   ├── README.md
│   ├── TESTING.asciidoc
│   ├── Vagrantfile
│   ├── benchmarks
│   ├── build
│   ├── build-conventions
│   ├── build-tools
│   ├── build-tools-internal
│   ├── build.gradle
│   ├── ccr
│   ├── checkstyle_ide.xml
│   ├── client
│   ├── dev-tools
│   ├── distribution
│   ├── docs
│   ├── gradle
│   ├── gradle.properties
│   ├── gradlew
│   ├── gradlew.bat
│   ├── libs
│   ├── licenses
│   ├── modules
│   ├── plugins
│   ├── qa
│   ├── rest-api-spec
│   ├── server
│   ├── settings.gradle
│   ├── test
│   └── x-pack
├── home
│   ├── LICENSE.txt
│   ├── NOTICE.txt
│   ├── README.asciidoc
│   ├── bin
│   ├── config
│   ├── data
│   ├── jdk.app
│   ├── lib
│   ├── logs
│   ├── modules
└── └── plugins
  • 启动 找到 Elasticsearch.java 运行 main方法
  • 报错1: ERROR: the system property [es.path.conf] must be set
-Des.path.conf=/cxt/codework/github/elasticsearch/8.1/home/config
  • 报错2: path.home is not configured
-Des.path.home=/cxt/codework/github/elasticsearch/8.1/home
  • 报错3: main ERROR Could not register mbeans java.security.AccessControlException: access denied ("javax.management.MBeanTrustPermission" "register")
  • 创建一个 java.policy,内容如下(完整内容在末尾获取)
grant {
    permission javax.management.MBeanTrustPermission "register";
};

运行时指定

-Djava.security.policy=/cxt/codework/github/elasticsearch/8.1/home/config/java.policy
  • 报错4: access denied ("java.lang.RuntimePermission" "createClassLoader") 刚才的 java.policy文件中增加如下(完整内容在末尾获取)
permission java.lang.RuntimePermission "createClassLoader";
  • 报错5: java.security.AccessControlException: access denied ("java.lang.RuntimePermission" "setContextClassLoader") 刚才的 java.policy文件中增加如下(完整内容在末尾获取)
permission java.lang.RuntimePermission "setContextClassLoader";
  • 报错6: access denied ("org.elasticsearch.secure_sm.ThreadPermission" "modifyArbitraryThreadGroup") 刚才的 java.policy文件中增加如下(完整内容在末尾获取)
permission org.elasticsearch.secure_sm.ThreadPermission "modifyArbitraryThreadGroup";
  • 报错7:报错如下(完整内容在末尾获取)
Caused by: java.lang.IllegalArgumentException: Unknown codebases [codebase.elasticsearch-plugin-classloader, codebase.elasticsearch, codebase.elasticsearch-secure-sm] in policy file [file:/cxt/codework/github/elasticsearch/8.1/elasticsearch/server/out/production/resources/org/elasticsearch/bootstrap/security.policy]

解决如下,找到 server/src/main/resources/org/elasticsearch/bootstrap/security.policy,注释掉一下三个 [codebase.elasticsearch-plugin-classloader, codebase.elasticsearch, codebase.elasticsearch-secure-sm]

//grant codeBase "${codebase.elasticsearch-plugin-classloader}" {
  // needed to create the classloader which allows plugins to extend other plugins
  //permission java.lang.RuntimePermission "createClassLoader";
//};
//grant codeBase "${codebase.elasticsearch-secure-sm}" {
//  permission java.security.AllPermission;
//};
 Elasticsearch core:
 These are only allowed inside the server jar, not in plugins
//grant codeBase "${codebase.elasticsearch}" {
  // needed for loading plugins which may expect the context class loader to be set
//  permission java.lang.RuntimePermission "setContextClassLoader";
//};

总结

  • 完整的启动参数设置如下
-Des.path.conf=/cxt/codework/github/elasticsearch/8.1/home/config
-Des.path.home=/cxt/codework/github/elasticsearch/8.1/home
-Djava.security.policy=/cxt/codework/github/elasticsearch/8.1/home/config/java.policy
-Dlog4j2.disable.jmx=true

也可以在Elasticsearch.main方法执行前通过代码的形式指定环境变量(可选)

System.setProperty("es.path.conf","/cxt/codework/github/elasticsearch/8.1/home/config");
System.setProperty("es.path.home", "/cxt/codework/github/elasticsearch/8.1/home");
System.setProperty("log4j2.disable.jmx", "true");    System.setProperty("java.security.policy","/cxt/codework/github/elasticsearch/8.1/home/config/java.policy");
  • 完整的 java.policy文件如下
grant {
    permission javax.management.MBeanTrustPermission "register";
    permission java.lang.RuntimePermission "createClassLoader";
    permission java.lang.RuntimePermission "setContextClassLoader";
    permission org.elasticsearch.secure_sm.ThreadPermission "modifyArbitraryThreadGroup";
};


相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
目录
相关文章
|
JSON 监控 Java
Elasticsearch 8.X reindex 源码剖析及提速指南
Elasticsearch 8.X reindex 源码剖析及提速指南
|
自然语言处理 Java 关系型数据库
ElasticSearch 实现分词全文检索 - SpringBoot 完整实现 Demo 附源码【完结篇】
ElasticSearch 实现分词全文检索 - SpringBoot 完整实现 Demo 附源码【完结篇】
263 0
|
安全
【Elasticsearch6】安装笔记
【Elasticsearch6】安装笔记
92 2
|
Kubernetes Java 索引
Elasticsearch 源码探究 001——故障探测和恢复机制
Elasticsearch 源码探究 001——故障探测和恢复机制
|
Java iOS开发 MacOS
Elasticsearch 6.5源码编译最新版
Elasticsearch 6.5源码编译最新版
101 0
Elasticsearch 6.5源码编译最新版
|
关系型数据库 MySQL 索引
|
自然语言处理 安全 关系型数据库
|
Java API
SpringBoot【集成ElasticSearch 01】2种方式的高级客户端 RestHighLevelClient 使用(依赖+配置+客户端API测试源码)
SpringBoot【集成ElasticSearch 01】2种方式的高级客户端 RestHighLevelClient 使用(依赖+配置+客户端API测试源码)
513 1
|
Java iOS开发 MacOS
Elasticsearch7.4源码编译记录
Elasticsearch7.4源码编译记录
122 0
|
NoSQL Java API
SpringBoot【ElasticSearch集成 02】Java HTTP Rest client for ElasticSearch Jest 客户端集成(依赖+配置+增删改查测试源码)推荐使用
SpringBoot【ElasticSearch集成 02】Java HTTP Rest client for ElasticSearch Jest 客户端集成(依赖+配置+增删改查测试源码)推荐使用
214 0