勋章
我关注的人
粉丝
技术能力
暂时未有相关云产品技术能力~
暂无个人介绍
-
发表了文章 2021-11-10
探究 | kafka-connector 同步 Elasticsearch速度慢根因分析？
1、kafka同步Elasticsearch的方式 之前博文中也有介绍： 方式一：logstash_input_kafka 方式二：kafka_connector 方式三：spark stream 方式四：java程序读写自己实现
-
发表了文章 2021-11-10
总结 | Elasticsearch对外提供分词服务实践
1、问题抛出？ 实战开发应用场景中，有获取一段话、一篇文章词频的业务场景， 词频的前提就是分词。 常用的中文分词包括： 1、IK分词——https://github.com/medcl/elasticsearch-analysis-ik 2、结巴分词——https://github.com/huaban/elasticsearch-analysis-jieba 3、ANSJ分词——https://github.com/NLPchina/elasticsearch-analysis-ansj 实际开发中，我们可以借助以上分词工具封装成接口或服务进行分词。 但，有没有想过，借助Elasticsea
-
发表了文章 2021-11-10
干货 | Elasticsearch 趋势科技实战分享笔记
Elasticsearch 最少必要知识实战教程直播回放 1、Elasticsearch 索引的设计 1.1 单一索引还是基于时间的索引？
-
发表了文章 2021-11-10
抢先 | 支持sql的Elasticsearch6.3全景概览
1、Elasticsearch6.3 特性概览 1.1、支持Sq 像操作Mysql一样使用Elasticsearch，缩减DSL的学习成本，更多人爱上ES的特性。
-
发表了文章 2021-11-10
严选 | Elasticsearch史上最全最常用工具清单
1、题记 工欲善其事必先利其器，ELK Stack的学习和实战更是如此，特将工作中用到的“高效”工具分享给大家。 希望能借助“工具”提高开发、运维效率！
-
发表了文章 2021-11-10
干货 | 知识库全文检索的最佳实践
1、题记 这是stackoverflow上一篇精彩的问答。 原文不大好理解，我做了梳理+图解； 原文是ES早期版本，部分写法已不适用，所有DSL我在6.X上进行了重写和验证； 针对原文内容做了扩展。
-
发表了文章 2021-11-10
吃透 | Elasticsearch filter和query的不同
1、query和filter的本质区别？
-
发表了文章 2021-11-10
方法 | Elasticsearch Jest 批量操作bug 根因定位排查
1、背景 使用Jest进行批量插入数据的时候，偶尔会出现如下的bug One or more of the items in the Bulk request failed, check BulkResult.getItems() for more information. 起初认为是偶发，就把并发数调小，就再没有关注。
-
发表了文章 2021-11-10
干货 | Elasticsearch 布道者Medcl对话携程Wood大叔核心笔记
Elastic Podcast 第二期来啦, 这一次我们来到了位于上海的携程旅行网，携程内部大量运用了 Elasticsearch来进行集中式的运维日志管理和为业务部门提供统一的搜索服务平台， 目前线上总共部署了多达 94 个 Elasticsearch 集群和超过 700 多个 Elasticsearch 节点，每天新增日志 1600 亿条，峰值达到 300 万每秒，存放在 Elasticsearch里面的索引文档达到 2.5 万亿，磁盘存储达到 PB 级。 想知道携程是如何应对这些海量数据下的挑战，以及最佳实践，让我们一起来收听这一期的 Podcast，跟随携程的两位技术负责人吴晓刚和胡航
-
发表了文章 2021-11-10
实战 | 一步步排查基于业务场景的Elasticsearch难题！
1、题记 我们在实际的业务场景中做Elasticsearch开发时，免不了遇到这样、那样的问题。 《死磕Elasticsearch方法论》中，已经告诉大家相关问题的排查方法。 这一节，我们以具体的示例，解决基于业务场景的Elasticsearch难题的方法？
-
发表了文章 2021-11-10
探究 | Elasticsearch如何物理删除给定期限的历史数据？
1、题记 想到删除，基础认知是delete，细分为删除文档（document）和删除索引；要删除历史数据，基础认知是：删除了给定条件的数据，用delete_by_query。 实际操作发现： - 删除文档后，磁盘空间并没有立即减少，反而增加了？ - 除了定时任务+delete_by_query，有没有更好的方式呢？
-
发表了文章 2021-11-10
干货 | 吃透Elasticsearch 堆内存
1、什么是堆内存？
-
发表了文章 2021-11-10
Elasticsearch6.X 去重详解
1、题记 Elasticsearch有没有类似mysql的distinct的去重功能呢？ 1）如何去重计数？ 类似mysql: select distinct(count(1)) from my_table; 2）如何获取去重结果。 类似mysql：SELECT DISTINCT name,age FROM users;
-
发表了文章 2021-11-10
探究 | Elasticsearch CPU高排查思路
一、可能导致ES CPU高的原因： 1、复杂的query查询 举例：我这边出现过200个组合wildcard query导致集群down掉的情况； 2、有大量的reindex操作 3、ES版本较低
-
发表了文章 2021-11-10
Elasticsearch6.X 新类型Join深入详解
0、ES6.X 一对多、多对多的数据该如何存储和实现呢？
-
发表了文章 2021-11-09
Elasticsearch6.2.2 X-Pack部署及使用详解
X-Pack已经开源，预计Elasticsearch6.3版本会全面集成，不再收费。 赶紧体验一下强大的X-pack吧！
-
发表了文章 2021-11-09
Elasticsearch实战 | 必要的时候，还得空间换时间!
1、应用场景 实时数据流通过kafka后，根据业务需求，一部分直接借助kafka-connector入Elasticsearch不同的索引中。 另外一部分，则需要先做聚类、分类处理，将聚合出的分类结果存入ES集群的聚类索引中。如下图所示： 业务系统的分层结构可分为：接入层、数据处理层、数据存储层、接口层。 那么问题来了？ 我们需要基于聚合（数据处理层）的结果实现检索和聚合分析操作，如何实现更快的检索和更高效的聚合分析效果呢？
-
发表了文章 2021-11-09
Elasticsearch全量数据增量遍历实现原理
0、需求 针对凤凰网财经版块的新闻数据和评论数据， 1个索引存储采集凤凰网财经版块的新闻数据；1个索引存储相关的财经数据评论结果。 统计： 1）某条新闻的评论数的多少？ 2）某条评论属于哪条新闻？ 3）当前已采集数据的所有评论、评论数汇总，按照评论数逆序排序，以便于图形化展示。
-
发表了文章 2021-11-09
Elasticsearch索引增量统计及定时邮件实现
0、需求 随着ELKStack在应用系统中的数据规模的急剧增长，每天千万级别数据量（存储大小：10000000*10k/1024/1024=95.37GB，假设单条数据10kB，实际远大于10KB）的累积成为日常需求。 如何以相对简单的图形化效果展示数据的增量呢？ 本文给出思路和实现。
-
发表了文章 2021-11-08
Elasticsearch聚合优化 | 聚合速度提升5倍
1、聚合为什么慢？ 大多数时候对单个字段的聚合查询还是非常快的， 但是当需要同时聚合多个字段时，就可能会产生大量的分组，最终结果就是占用 es 大量内存，从而导致 OOM 的情况发生。
-
发表了文章 2021-11-08
Elasticsearch实战 | match_phrase搜不出来，怎么办？
1、问题抛出 某个词组在Elasitcsearch中的某个document中存在，就一定通过某种匹配方式把它搜出来。 举例：
-
发表了文章 2021-11-08
Elasticsearch聚合后分页深入详解
1、Elasticsearch支持聚合后分页吗，为什么？ 不支持，看看Elasticsearch员工如何解读。
-
发表了文章 2021-11-08
Elasticsearch聚合深入详解——对比Mysql实现
聚合认知前提 桶（Buckets）——满足特定条件的文档的集合 指标（Metrics）——对桶内的文档进行统计计算 SELECT COUNT(color) FROM table GROUP BY color COUNT(color) 相当于指标。 GROUP BY color 相当于桶。
-
发表了文章 2021-11-08
kafka最常用命令清单
kafka版本：V0.2.10.1 zookeeper版本：V3.4.11 confluent版本：V3.3.0 一、confluent相关启动
-
发表了文章 2021-11-08
kafka数据同步Elasticsearch深入详解
1、kafka同步到Elasticsearch方式？ 目前已知常用的方式有四种： 1）logstash_input_kafka插件； 缺点：不稳定（ES中文社区讨论） 2）spark stream同步； 缺点：太庞大 3）kafka connector同步； 4）自写程序读取、解析、写入
-
发表了文章 2021-11-08
实战 | Elasticsearch打造知识库检索系统
题记 源自“死磕Elasticsearch”技术群里的讨论问题： ——我想用es做个类似于知识库的东西,所以需要索引一些pdf、word之类的文件，这个你之前有试过吗？能给个方向吗？
-
发表了文章 2021-11-08
DSL的诞生 | 复杂sql转成Elasticsearch DSL深入详解
源自死磕ElasticsearchQQ群（626036393）中的一个问题： 问题如下： where (position=ES or work=ES or content=ES) and academic=本科 and （city=北京 or city=深圳） 1 怎么构建ES的查询条件？ 我的问题拆解与实现如下：
-
发表了文章 2021-11-08
实战 | Elasticsearch实现类Google高级检索
一、高级检索的功能点 通过高级搜索配置搜索项，能更准确的过滤掉不相干信息，获取最想要的检索信息。 以Google搜索为例（截取核心片段）：
-
发表了文章 2021-11-08
干货 | Elasticsearch 集群健康值红色终极解决方案
题记 Elasticsearch当清理缓存（ echo 3 > /proc/sys/vm/drop_caches ）的时候，出现 如下集群健康值：red，红色预警状态，同时部分分片都成为灰色。
-
发表了文章 2021-11-08
干货 | Elasticsearch5.X Mapping万能模板
0、引言 在关系型数据库如Mysql中，设计库表需要注意的是： 1）需要几个表； 2）每个表有哪些字段； 3）表的主键及外键的设定——便于有效关联。 表的设计遵守范式约束，考虑表的可扩展性，避免开发后期对表做大的改动。 Mysql或者Oracle中，修改数据类型相对比较简单，通过命令行或者navicat、sqldeveloper等可视化工具直接修改。 即便千万级别数据量，多等点时间，也能修改好。
-
发表了文章 2021-11-08
刨根问底 | Elasticsearch 5.X集群多节点角色配置深入详解
、问题引出 ES5.X节点类型多了ingest节点类型。 针对3个节点、5个节点或更多节点的集群，如何配置节点角色才能使得系统性能最优呢？
-
发表了文章 2021-11-08
docker ce 使用及两台docker集群通信配置详解
1 docker ce 介绍 1.1 docker ce功能
-
发表了文章 2021-11-08
深究｜Elasticsearch单字段支持的最大字符数?
在业务系统中，遇到过两个问题： 问题1：设置为keyword类型的字段，插入很长的大段内容后，报字符超出异常，无法插入。 问题2：检索超过ignore_above设定长度的字段后，无法返回结果。
-
发表了文章 2021-11-08
Elasticsearch究竟要设置多少分片数？
0、引言 本文翻译自Elasticsearch20170918热乎的官方博客，原作者：Christian Dahlqvist。 在构建Elasticsearch集群的初期如果集群分片设置不合理，可能在项目的中后期就会出现性能问题。
-
发表了文章 2021-11-08
Elasticsearch大文件检索性能提升20倍实践（干货）
1、大文件是多大？ ES建立索引完成全文检索的前提是将待检索的信息导入Elaticsearch。
-
发表了文章 2021-11-08
上线必备 | 高性能ES5.X部署配置清单
题记 网上当前（截止20170914）流传的各种配置文件普通存在以下问题： 1）版本低，不能和当前版本5.X匹配。 2）5.X的配置本身较1.X，2.X就有很大不同，原有配置已不适用。 3）ES英文、中文文档也没有及时更新。 现在，确保ES5.X的高性能到底需要哪些配置越发令人神往。 以下清单内容参考了ES官网文档，且都是在ES5.4.0的环境中验证过的，请放心使用。
-
发表了文章 2021-11-08
《懒人Shell脚本》之十——统计多重路径下的不同扩展名文件及个数
1、统计实现 find -type f | sed -e 's/.*\.//' | sort | uniq -c | sort -n > rst.txt 1 2、脚本分解 1） find -type f regular file , 查找正规的文件 返回：./bak_network/道x网站/bak_第8章.md
-
发表了文章 2021-11-08
Java基础知识清单
题记 Java的学习都是通过Google用到什么就查什么，不成系统。 虽然相比于面向对象语言C++有很大的相似性，但也有很多不同点。 本文就基于《Java语言程序设计》（基础篇）过一遍基础知识点，着重过一遍C++没有的。
-
发表了文章 2021-11-08
Elasticsearch检索分类深入详解—基础篇
题记 Elasticsearch中当我们设置Mapping（分词器、字段类型）完毕后，就可以按照设定的方式导入数据。
-
发表了文章 2021-11-08
ES技术团队划重点 | ES6.X，你必须知道的API和相关技巧
题记 [Elasticsearch6.X相关核心知识点必知必会](http://elasticsearch-cheatsheet.jolicode.com/ Elasticsearch5.X相关核心知识点必知必会（如下）。
-
发表了文章 2021-11-08
Elasticsearch深入详解-知识图谱（每周更新）
1、题记 Elasticsearch技术已经燃爆到飞的感觉。 为了方便订阅Elasticsearch深入详解的博友们第一时间获取最新经验分享，和大家一起成长，特将本专栏内容制作为Elasticsearch深入详解知识图谱。 并承诺【铭毅天下】微信公众号每周不定时推送ES深入研究文章至少一篇。
-
发表了文章 2021-11-08
openoffice4 不能正常启动终极解决方案
环境： [root@a786 zwy]# cat /etc/issue CentOS release 6.7 (Final) Kernel \r on an \m 1 2 3 openoffice 不能正常启动原因排查。 症状：没有任何输出，启动后，输出对应pid，但是会闪退。 解决方案整理如下：
-
发表了文章 2021-11-08
Elasticsearch Jest实战深入详解
以Jest为例，假设我们之前没有用过Jest，对Jest的认知，需要经历的过程： 步骤1：Jest是什么？能解决什么问题？ 步骤2：Jest的优势是什么？为什么会出现？ 步骤3：Jest如何安装与使用？ 步骤4：Jest的样例Demo&实战。
-
发表了文章 2021-11-08
OCRmypdf安装部署深入详解
1、OCRmypdf简介 OCRmyPDF使用最好的可用开源OCR引擎Tesseract执行OCR。 OCRmyPDF是一个Python 3包，将OCR图层处理结果添加到PDF。 OCRmyPDF是功能最丰富且经过彻底测试的OCR PDF转换工具。 2、OCRmypdf支持的系统 1） macOS 2） Ubuntu 16.04 LTS 3）ArchLinux 4）Windows 此外，OCRmypdf提供了docker镜像，可以直接下载镜像、使用。
-
发表了文章 2021-11-08
你必须知道的23个最有用的Elasticseaerch检索技巧
题记 本文详细论述了Elasticsearch全文检索、指定字段检索实战技巧，并提供了详尽的源码举例。是不可多得学习&实战资料。
-
发表了文章 2021-11-08
Elasticsearch全文检索系统实现深入详解
题记 学习ES的童鞋，都有一个开发一个类似百度的搜索引擎的想法。当然功能不一定是百度、360、谷歌传统的搜索引擎那么强大。 但是，能实现基本的全文检索、指定类型的检索、评分高低优先级排序等等。 那么问题来了，该如何实现？需要什么技术呢？
-
发表了文章 2021-11-08
Elasticsearch批量导入本地Json文件Java实现
题记 产品开发需要，我们需要将互联网采集的数据存储到ES中，以实现数据的全文检索。 互联网采集的数据，往往格式杂乱，需要先进行数据清洗操作。 而ES支持的入库格式，json格式数据会相对方便些。 本文主要介绍，如何将格式化的Json文件批量插入到ES中。
-
发表了文章 2021-11-08
logstash一次同步Mysql多张表到ES深入详解
题记 一次同步多张表是开发中的一般需求。之前研究了很久找到方法，但没有详细总结。 博友前天在线提问，说明这块理解的还不够透彻。 我整理下， 一是为了尽快解决博友问题， 二是加深记忆，便于未来产品开发中快速上手。
-
发表了文章 2021-11-08
Docker部署迁移实战
题记 在docker初始环境部署时，宿主机设定docker存储位置为/var/lib/docker 路径，但我们都知道，/var挂载分区往往就很小的空间，如50GB。
-
发表了文章 2021-11-08
Docker常见操作实战
题记：docker环境部署的时候，有过运行失败及网络不可用等各种问题，以下命令都是摸索出来的。
-
发表了文章
2024-05-15
Elasticsearch 与 OpenSearch：开源搜索技术的演进与选择
-
发表了文章
2024-05-15
Elasticsearch 配置文件 path.data 中可以配置多个数据目录的路径吗？
-
发表了文章
2024-05-15
一张图30个知识点，全方位认知 Elasticsearch 技术发展
-
发表了文章
2024-05-15
Elasticsearch 8.X 集群 SSL 证书到期了，怎么更换?
-
发表了文章
2024-05-15
大白话讲清楚：什么是 Langchain 及其核心概念
-
发表了文章
2024-05-15
近期，几个典型 Elasticsearch 8.X 问题及方案探讨
-
发表了文章
2024-05-15
Elasticsearch 8.X：这个复杂的检索需求如何实现？
-
发表了文章
2024-05-15
Elasticsearch 优化查询中获取字段内容的方式，性能提升5倍！
-
发表了文章
2024-05-15
Elasticsearch “指纹”去重机制，你实践中用到了吗？
-
发表了文章
2024-05-15
视频 | Elasticsearch 8.X 企业内训之最佳实践10 讲
-
发表了文章
2024-05-15
深度探索 Elasticsearch 8.X：function_score 参数解读与实战案例分析
-
发表了文章
2024-05-15
Elasticsearch 集群某一节点修改 IP 后无法启动问题复盘
-
发表了文章
2024-05-15
不要将数据库中的“分库分表”理论盲目应用到 Elasticsearch
-
发表了文章
2024-05-15
Elasticsearch 8.X 聚合查询下的精度问题及其解决方案
-
发表了文章
2024-05-15
Elasticsearch 如何把评分限定在0到1之间？
-
发表了文章
2024-05-15
探索 Elasticsearch 8.X Terms Set 检索的应用与原理
-
发表了文章
2024-05-15
Elasticsearch 8.X Rollup 功能详解及避坑指南
-
发表了文章
2024-05-15
关于AI大势，我的十点认知！
-
发表了文章
2024-05-15
Elasticsearch 8.X 路径检索的企业级玩法
-
发表了文章
2024-05-15
干货 | Elasticsearch 8.X 版本升级指南
