铭毅天下_社区达人页

2021年11月

• 11.08 17:46:08
  发表了文章 2021-11-08 17:46:08

  上线必备 | 高性能ES5.X部署配置清单

  题记 网上当前（截止20170914）流传的各种配置文件普通存在以下问题： 1）版本低，不能和当前版本5.X匹配。 2）5.X的配置本身较1.X，2.X就有很大不同，原有配置已不适用。 3）ES英文、中文文档也没有及时更新。 现在，确保ES5.X的高性能到底需要哪些配置越发令人神往。 以下清单内容参考了ES官网文档，且都是在ES5.4.0的环境中验证过的，请放心使用。
• 11.08 17:45:23
  发表了文章 2021-11-08 17:45:23

  《懒人Shell脚本》之十——统计多重路径下的不同扩展名文件及个数

  1、统计实现 find -type f | sed -e 's/.*\.//' | sort | uniq -c | sort -n > rst.txt 1 2、脚本分解 1） find -type f regular file , 查找正规的文件 返回：./bak_network/道x网站/bak_第8章.md
• 11.08 17:44:38
  发表了文章 2021-11-08 17:44:38

  Java基础知识清单

  题记 Java的学习都是通过Google用到什么就查什么，不成系统。 虽然相比于面向对象语言C++有很大的相似性，但也有很多不同点。 本文就基于《Java语言程序设计》（基础篇）过一遍基础知识点，着重过一遍C++没有的。
• 11.08 17:43:45
  发表了文章 2021-11-08 17:43:45

  Elasticsearch检索分类深入详解—基础篇

  题记 Elasticsearch中当我们设置Mapping（分词器、字段类型）完毕后，就可以按照设定的方式导入数据。

  
• 11.08 17:42:26
  发表了文章 2021-11-08 17:42:26

  ES技术团队划重点 | ES6.X，你必须知道的API和相关技巧

  题记 [Elasticsearch6.X相关核心知识点必知必会](http://elasticsearch-cheatsheet.jolicode.com/ Elasticsearch5.X相关核心知识点必知必会（如下）。
• 11.08 17:41:19
  发表了文章 2021-11-08 17:41:19

  Elasticsearch深入详解-知识图谱（每周更新）

  1、题记 Elasticsearch技术已经燃爆到飞的感觉。 为了方便订阅Elasticsearch深入详解的博友们第一时间获取最新经验分享，和大家一起成长，特将本专栏内容制作为Elasticsearch深入详解知识图谱。 并承诺【铭毅天下】微信公众号每周不定时推送ES深入研究文章至少一篇。

  
• 11.08 17:40:01
  发表了文章 2021-11-08 17:40:01

  openoffice4 不能正常启动终极解决方案

  环境： [root@a786 zwy]# cat /etc/issue CentOS release 6.7 (Final) Kernel \r on an \m 1 2 3 openoffice 不能正常启动原因排查。 症状：没有任何输出，启动后，输出对应pid，但是会闪退。 解决方案整理如下：

  
• 11.08 17:39:14
  发表了文章 2021-11-08 17:39:14

  Elasticsearch Jest实战深入详解

  以Jest为例，假设我们之前没有用过Jest，对Jest的认知，需要经历的过程： 步骤1：Jest是什么？能解决什么问题？ 步骤2：Jest的优势是什么？为什么会出现？ 步骤3：Jest如何安装与使用？ 步骤4：Jest的样例Demo&实战。

  
• 11.08 17:38:04
  发表了文章 2021-11-08 17:38:04

  OCRmypdf安装部署深入详解

  1、OCRmypdf简介 OCRmyPDF使用最好的可用开源OCR引擎Tesseract执行OCR。 OCRmyPDF是一个Python 3包，将OCR图层处理结果添加到PDF。 OCRmyPDF是功能最丰富且经过彻底测试的OCR PDF转换工具。 2、OCRmypdf支持的系统 1） macOS 2） Ubuntu 16.04 LTS 3）ArchLinux 4）Windows 此外，OCRmypdf提供了docker镜像，可以直接下载镜像、使用。
• 11.08 17:21:53
  发表了文章 2021-11-08 17:21:53

  你必须知道的23个最有用的Elasticseaerch检索技巧

  题记 本文详细论述了Elasticsearch全文检索、指定字段检索实战技巧，并提供了详尽的源码举例。是不可多得学习&实战资料。
• 11.08 17:20:24
  发表了文章 2021-11-08 17:20:24

  Elasticsearch全文检索系统实现深入详解

  题记 学习ES的童鞋，都有一个开发一个类似百度的搜索引擎的想法。当然功能不一定是百度、360、谷歌传统的搜索引擎那么强大。 但是，能实现基本的全文检索、指定类型的检索、评分高低优先级排序等等。 那么问题来了，该如何实现？需要什么技术呢？

  
• 11.08 17:18:07
  发表了文章 2021-11-08 17:18:07

  Elasticsearch批量导入本地Json文件Java实现

  题记 产品开发需要，我们需要将互联网采集的数据存储到ES中，以实现数据的全文检索。 互联网采集的数据，往往格式杂乱，需要先进行数据清洗操作。 而ES支持的入库格式，json格式数据会相对方便些。 本文主要介绍，如何将格式化的Json文件批量插入到ES中。
• 11.08 17:17:24
  发表了文章 2021-11-08 17:17:24

  logstash一次同步Mysql多张表到ES深入详解

  题记 一次同步多张表是开发中的一般需求。之前研究了很久找到方法，但没有详细总结。 博友前天在线提问，说明这块理解的还不够透彻。 我整理下， 一是为了尽快解决博友问题， 二是加深记忆，便于未来产品开发中快速上手。
• 11.08 17:16:45
  发表了文章 2021-11-08 17:16:45

  Docker部署迁移实战

  题记 在docker初始环境部署时，宿主机设定docker存储位置为/var/lib/docker 路径，但我们都知道，/var挂载分区往往就很小的空间，如50GB。
• 11.08 17:15:50
  发表了文章 2021-11-08 17:15:50

  Docker常见操作实战

  题记：docker环境部署的时候，有过运行失败及网络不可用等各种问题，以下命令都是摸索出来的。
• 11.08 17:15:01
  发表了文章 2021-11-08 17:15:01

  centos6.8 安装python3/pip3/sqlite3步骤详解

  题记 项目的需要需要在python3下部署环境，且不能破坏python2的正常业务运行。 当安装sqlite3的时候，出现过各种异常。网上排查了很久。 记录下来，避免下次犯同样的错误。
• 11.08 17:14:25
  发表了文章 2021-11-08 17:14:25

  《懒人Shell脚本》之九——批量格式转换脚本实现

  1、需求：文档格式转换批量脚本实现。 技术点1：文档分散在同一路径下。 技术点2：显示转换进度。 技术点3：每个转换输出到文档同名的指定文件夹下。 前提：单个格式转换已经验证ok。
• 11.08 17:12:07
  发表了文章 2021-11-08 17:12:07

  Elasticsearch实战——全文检索架构设计

  1、题记 近几年，Elasticsearch（以下简称ES）作为开源的搜索引擎已经在国内得到越来越多的应用推广，在日志分析领域应用场景尤为广泛。传统的数据库Mysql、Oracle或者非关系型数据库Mongo作为基础存储的企业要想实现业务数据的全文检索，该如何实现呢？ 本文给出架构设计和实现原理。

  
• 11.08 17:11:05
  发表了文章 2021-11-08 17:11:05

  Elasticsearch5.4.0 IK分词插件安装详解

  1、ES5.4.0 IK分词安装步骤 步骤1：下载最新版的ik插件 地址：https://github.com/medcl/elasticsearch-analysis-ik 步骤2：解压elasticsearch-analysis-ik-master.zip unzip elasticsearch-analysis-ik-master.zip 步骤3：修改ES版本号。 修改pom.xml，最新（20170622）是5.4.2, 改为5.4.0 步骤4：执行mvn package 步骤5：在/opt/elasticsearch/plugins下新建ik文件夹。
• 11.08 17:10:07
  发表了文章 2021-11-08 17:10:07

  OpenOffice格式转换中文乱码终极解决方案

  1、环境 CentOS release 6.7 (Final) 已安装：openoffice4.1.3， jodconverter.2.2.2。
• 11.08 17:05:02
  发表了文章 2021-11-08 17:05:02

  Elasticsearch5.4.0(head/kibana/logstash)安装部署深入详解

  1、ES5.4.0安装包下载地址 https://www.elastic.co/downloads/past-releases/elasticsearch-5-4-0 2、Centos6.7 Elasticsearch5.4.0安装

  
• 11.08 17:02:45
  发表了文章 2021-11-08 17:02:45

  Elasticsearch集群部署详解

  #1、题记 之前应用都是Elasticsearch单节点，随着业务的拓展、数据量的增多，部署分布式Elasticsearch刻不容缓。 本文以Elaticsearch2.3.4版本为基础，讲解Elasticsearch三个节点的分布式部署、核心配置的含义以及分布式部署遇到的坑。 #2、三节点 Elasticsearch 分布式部署。 ##步骤1：配置好主节点Master信息。

  
• 11.08 17:01:26
  发表了文章 2021-11-08 17:01:26

  Elasticsearch Java API深入详解

  0、题记 之前Elasticsearch的应用比较多，但大多集中在关系型、非关系型数据库与Elasticsearch之间的同步。以上内容完成了Elasticsearch所需要的基础数据量的供给。但想要在海量的数据中找到和自己相关的业务数据，实现对已有的数据实现全文检索、分类统计等功能并应用到业务系统中，必须借助Java API来实现。

  
• 11.08 17:00:09
  发表了文章 2021-11-08 17:00:09

  一张图理清楚关系型/非关系型数据库与Elasticsearch同步

  题记 ES除了做TB级日志分析外，越来越多的被企业用来用作数据存储。但是，传统企业里面，数据存在关系型数据库Mysql，oracle中，或者存储在非关系型数据库Mongo中。

  
• 11.08 16:59:21
  发表了文章 2021-11-08 16:59:21

  Mongo修改数据类型

  引言 本文主要讲解Mongodb的类型转换。包括：string转double, string转int, string转Date。
• 11.08 16:58:47
  发表了文章 2021-11-08 16:58:47

  Elasticsearch自定义脚本完成性能测试

  1、ES性能测试 要求： 1）完成ES并发100次性能测试； 2）统计得出访问时间结果值。
• 11.08 16:57:53
  发表了文章 2021-11-08 16:57:53

  Mongo多个Collection的关联操作实现

  题记 在mysql，oracle等关系型数据库中，可以通过表之间的关联操作(join, left join, and)实现字段之间的关联操作。 而在mongo非关系型数据库中没有对应的接口。 为此，我们自身实现了1个Mongo db库中的多个collection之间的类笛卡尔操作。（这种需求，多少有些不合理）

  
• 11.08 16:56:47
  发表了文章 2021-11-08 16:56:47

  定时检测服务状态脚本实现

  1、定时监测服务状态需求
• 11.08 16:56:02
  发表了文章 2021-11-08 16:56:02

  mysql多库表关联问题症结

  0、题记 项目中使用mysql作为数据存储，需要定期将库表中的数据按照给定格式生成报表。根据导出周期的不同分为：日报、周报、月报、季报、年报等格式。
• 11.08 16:55:22
  发表了文章 2021-11-08 16:55:22

  Elasticsearch索引迁移的四种方式

  本文主要讲解Elasticsearch下实现索引迁移的几种方式。 #0、引言

  
• 11.08 16:53:58
  发表了文章 2021-11-08 16:53:58

  logstash-out-mongodb实现elasticsearch到Mongodb的数据同步

  本文主要实现将Elasticsearch中的索引数据Index同步到Mongodb中的集合collection中。
• 11.08 16:53:27
  发表了文章 2021-11-08 16:53:27

  logstash-output-mongodb实现Mysql到Mongodb数据同步

  本文主要讲解如何通过logstash-output-mongodb插件实现Mysql与Mongodb数据的同步。源数据存储在Mysql,目标数据库为非关系型数据库Mongodb。
• 11.08 16:52:28
  发表了文章 2021-11-08 16:52:28

  logstash_output_mongodb插件用途及安装详解

  0、logstash-output-mongodb用途 Writes events to MongoDB，也就是向mongodb里面写入数据。 来源可以是：jdbc类的Mysql、oracle关系型数据库；也可以是Elasticsearch等。 后续的同步应用中会用到该插件，所以单独列出来。并且，默认logstash不安装该插件，需要手动安装。
• 11.08 16:51:48
  发表了文章 2021-11-08 16:51:48

  centos6.8安装 oracle11g 企业版遇到的坑

  题记：本文主要罗列了在Centos6.8下安装oracle11g企业版中的步骤及遇到的坑。
• 11.08 16:51:14
  发表了文章 2021-11-08 16:51:14

  Mysql全量数据同步Oracle步骤详解

  0、题记 项目实战中我们会遇到数据库选型的问题，有时会需要将已有Mysql数据库中的数据库全部同步到Oracle数据库中。

  
• 11.08 16:49:39
  发表了文章 2021-11-08 16:49:39

  解决Mysql中删除重复记录的问题

  题记 本文主要介绍Mysql数据库表中，如何删除相同索引值、更新日期较早的记录行。

  
• 11.08 16:48:41
  发表了文章 2021-11-08 16:48:41

  《懒人Shell脚本》之八——定期备份Mysql数据库表的实现

  0.背景 实际开发环境中，前端程序需要在给定时间段内，将数据更新/插入到mysql指定的库表中。随着数据量的增多，基础库表基数的增长，每更新一次都会有5s左右的卡顿。
• 11.08 16:48:08
  发表了文章 2021-11-08 16:48:08

  《懒人Shell脚本》之七——格式化处理数据存入数据库实现

  0、引言 实际应用开发中遇到：将非格式化的文件数据存储到数据库中。对于传统的格式化的数据：ini/json/xml我们都有现成的类库去实现。而对于如下非格式化的数据呢？以下是我的思考与实现。
• 11.08 16:47:17
  发表了文章 2021-11-08 16:47:17

  Gephi大数据可视化

  0.引言 偶然的原因用了Gephi画关系图，并解决了其中遇到的一些问题。Gephi在大数据绘图方面的优势和可视化效果非常震撼，特总结备忘如下。

  
• 11.08 16:45:24
  发表了文章 2021-11-08 16:45:24

  Windows下libevent C++封装类实现

  题记 windows平台下对于服务器高并发的网络模型选型中，使用libevent是个不错的选择。 本文的背景基于：国内博客对于libevent大多介绍linux实现，大多是c语言的实现，Windows平台下C++相对较少或者较旧。 本文针对libevent从服务端、客户端两个角度实现了封装类，真正做到，我们在使用封装类时候，只需要关注业务逻辑的处理，不需要关注socket的通信的细节。

  
• 11.08 16:43:53
  发表了文章 2021-11-08 16:43:53

  Mysql实战常见问题汇总

  引言 项目中使用Mysql经常会遇到修改编码格式、导入sql、导出sql、windows授权、查看删除死锁进程等操作。 特总结如下：

  
• 11.08 16:42:45
  发表了文章 2021-11-08 16:42:45

  《懒人Shell脚本》之六——一键构造待采集批量sql语句

  1、需求 采集任务构造入库。实现200多个网站的标题、时间、内容等信息的采集信息配置，并插入mysql中

  
• 11.08 16:41:57
  发表了文章 2021-11-08 16:41:57

  不熟悉的编程语言，项目如何开展？

  引言 公司中的开发一般是沿着一种核心开发语言如Java、C/C++、PHP进行相关开发。但由于产品新需求、项目新需要，免不了会使用自己不擅长的语言开发。甚至，现在全栈工程师也比比皆是。对于经验不丰富的职场人，如何开展工作呢？ 结合我近期的项目经历，我说下我的经验和教训。

  
• 11.08 16:40:20
  发表了文章 2021-11-08 16:40:20

  zeppelin mysql可视化之旅

  1. Zeppelin简介 ApacheZeppelin 是基于Web的Notebook，支持交互式数据分析。您可以使用SQL，Scala等创建漂亮的数据驱动，交互式和协作文档。（直译，有点别扭） 说白了，就是为关系型数据库、ES等的可视化呈现解决方案。

  
• 11.08 16:37:35
  发表了文章 2021-11-08 16:37:35

  《懒人Shell脚本》之五——一键修改分布式系统配置文件

  0. 背景 分布式部署程序的时候，近20台机器部署了同样的环境进行数据采集。 当更换程序时，能否修改好一套，其他机器只需要一步scp，一步执行脚本。 一键修改配置，正是本文的目的。
• 11.08 16:36:49
  发表了文章 2021-11-08 16:36:49

  Mysql数据库表分区存储到指定磁盘路径

  0. 前提： mysql5.6.6以上的版本以上的版本才支持单表指定目录，且目录权限是mysql:mysql。 在mysql中数据文件存放于在my.cnf中datadir指定的路径，使用的表引擎不同产生的文件格式、表文件个数也会有所差异。 mysql的表引擎有多种，表的扩展名也不一样，如innodb用“ .ibd”，archive用“.arc ”，csv用“.csv”等。

  
• 11.08 16:36:02
  发表了文章 2021-11-08 16:36:02

  Mysql数据库表分区深入详解

  0、mysql数据库分区的由来？ 1）传统不分区数据库痛点

  
• 11.08 16:34:30
  发表了文章 2021-11-08 16:34:30

  Scrapy 如何正确配置、验证xpath？

  [题记]:xpath难点 在使用scrapy做爬取网页的时候，规则的匹配是关键。如：sel.xpath(‘//ul[@id=”dirlist”]/li/dl/dt’)的正确配置。 如何进行xpath的正确配置呢？ Scrapy shell交互终端是一个可供较快调试、验证配置结果的好工具。

  
• 11.08 16:33:24
  发表了文章 2021-11-08 16:33:24

  如何区分虚拟网卡和物理网卡？

  一、什么是物理网卡和虚拟网卡？ 图示如下：红色部分包含VMWare的为虚拟网卡。

  
• 11.08 16:31:52
  发表了文章 2021-11-08 16:31:52

  Centos下 jsoncpp使用详解

  Windows环境下的jsoncpp使用举例之前有讲述，详见： http://blog.csdn.net/laoyang360/article/details/46757751 Linux之前一直没有用过，第一次用，特备忘如下：