铭毅天下_社区达人页

2021年11月

• 11.08 16:31:14
  发表了文章 2021-11-08 16:31:14

  大数据，数据从哪里来？

  0、题记 之前自己也做过一个大数据方面的讲座，讲解大数据背景、大数据原理、Hadoop（MapReduce、HDFS、分布式）、NoSql非关系型数据库存储、大数据应用（微博来源追踪、微信jiankong等）。诚然，大型互联网公司早已很早布局云计算、使用大数据。 而中、小企业在大数据的浪潮下，也想分得一碗羹，这就遇到棘手的源头问题：大数据，数据从哪里来？
• 11.08 16:30:22
  发表了文章 2021-11-08 16:30:22

  Scrapy爬取makepolo网站数据深入详解

  题记 之前对爬虫只是概念了解多，实战少。知道网上流行的有号称免费的八爪鱼等（实际导出数据收费）。 大致知道，所有爬虫要实现爬取网页信息，需要定义正则匹配规则。

  
• 11.08 16:29:19
  发表了文章 2021-11-08 16:29:19

  centos6.8下安装VMWare12深入详解

  1、题记 由于硬件服务器资源紧张，正常公司里面会有专门的服务器安装VMSphere，然后大家在上面装自己的windows/Linux虚拟机环境进行开发或测试。但是，现在我手头只有1台物理服务器，单纯的用作ES环境的开发，内存资源没有得到充分利用。 而当前正需要几台Windows7-64bit环境，所以，在Centos物理服务器上安装VMWare，然后再搭建Win764bit虚拟机成为当务之急。 之前一直没有在Linux环境下安装过VMware,第一次安装，发现很多坑。当然Google也发现好多解决方案，但都不全。索性，我将此详细整理下，以备后用。

  
• 11.08 16:27:29
  发表了文章 2021-11-08 16:27:29

  Linux环境下Mysql++安装及操作深入详解

  题记： 之前项目中使用OTL连接操作Oracle数据库，对于Mysql有用，但没有总结。目前常用的两种连接方式：
• 11.08 16:26:51
  发表了文章 2021-11-08 16:26:51

  如何将不同类型数据导入Elaticsearch中？

  题记 Elaticsearch的原理明白了以后，手头有很多不同类型的数据，如: 1）单条数据，如程序中自己构造的JSON格式数据； 2）符合Elasticsearch索引规范的批量数据； 3）日志文件，格式*.log; 4）结构化数据，存储在mysql、oracle等关系型数据库中； 5）非结构化数据，存储在mongo中； 如何将这些数据导入到Elasticsearch中呢？接下来，本文将逐个介绍。

  
• 11.08 16:25:10
  发表了文章 2021-11-08 16:25:10

  《懒人Shell脚本》之四——日志条数动态实时统计

  1、需求点 1）输入：日志实时更新：当前日志表以秒级更新日志，每秒有多条日志更新。格式如下：
• 11.08 16:24:30
  发表了文章 2021-11-08 16:24:30

  esrally性能测试原理

  1. 前提 esrally的运行不会影响当前系统elasticsearch的一切正常业务。 2. 性能测试原理
• 11.08 16:23:47
  发表了文章 2021-11-08 16:23:47

  esrally性能分析结果图形化展示深入详解

  0、前提 安装elasticsearch的最新版本，目前是2.3.4版本。 elsticsearch新增扮演的角色是：rally分析结果会存储到elasticsearch。

  
• 11.08 16:21:36
  发表了文章 2021-11-08 16:21:36

  elasticsearch 索引存储深入详解

  1、关于ES index存储在内存的问题？ （1）早期ES1.X版本对ES索引存储介绍：

  
• 11.08 16:01:06
  发表了文章 2021-11-08 16:01:06

  elasticsearch性能测试工具rally深入详解

  题记 elasticsearch性能测试研究了很久，自己想过通过批量导入数据，然后记录时间，统计CPU、内存等变化，计算得出某个性能指标。但显然，数据量起伏不定，非常不准确。 研究发现，github上提供了rally作为elasticsearch的性能测试工具，较好的解决了es性能测试问题。

  
• 11.08 15:59:10
  发表了文章 2021-11-08 15:59:10

  《懒人Shell脚本》之三——微博分类信息获取与格式化

  1、需求： 获取微博网站ctg1_4188#”>http://d.weibo.com/102803_ctg1_4188-_ctg1_4188# 社会类媒体的名称信息。 构造成json格式，用于echart格式化显示。

  
• 11.08 15:57:13
  发表了文章 2021-11-08 15:57:13

  Elasticsearch增、删、改、查操作深入详解

  Elasticsearch增、删、改、查操作深入详解

  
• 11.08 15:51:25
  发表了文章 2021-11-08 15:51:25

  logstash-input-jdbc实现oracle 与elasticsearch实时同步详解

  前言： logstash-input-jdbc实现mysql 与elasticsearch的解读之前博文已经解析。本次只是在原有的基础上，针对oracle特性部分做解读。

  
• 11.08 15:50:03
  发表了文章 2021-11-08 15:50:03

  logstash-input-jdbc 同步原理及相关问题解读

  前言： 基于logstash-input-jdbc较其他插件的稳定性、易用性、版本和ES同步更新的特点，以下研究主要针对 logstash-input-jdbc 展开。 针对logstash-input-jdbc常见的几个疑难问题，部分问题也在git和stackoverflow进行了激烈讨论，以下统一给出验证和解答。
• 11.08 15:48:56
  发表了文章 2021-11-08 15:48:56

  mysql 与elasticsearch实时同步常用插件及优缺点对比

  前言： 目前mysql与elasticsearch常用的同步机制大多是基于插件实现的，常用的插件包括：elasticsearch-jdbc, elasticsearch-river-MySQL , go-mysql-elasticsearch, logstash-input-jdbc。 本文对四种插件的优缺点进行了图表对比。

  
• 11.08 15:47:13
  发表了文章 2021-11-08 15:47:13

  go-mysql-elasticsearch实现mysql 与elasticsearch实时同步深入详解

  引言： go-mysql-elasticsearch 是国内作者开发的一款插件。测试表明：该插件优点：能实现同步增、删、改、查操作。不足之处（待完善的地方）： 1、仍处理开发、相对不稳定阶段； 2、没有日志，不便于排查问题及查看同步结果。 本文深入详解了插件的安装、使用、增删改查同步测试。
• 11.08 15:45:39
  发表了文章 2021-11-08 15:45:39

  elasticsearch-jdbc实现MySQL同步到ElasticSearch深入详解

  1.如何实现mysql与elasticsearch的数据同步？ 逐条转换为json显然不合适，需要借助第三方工具或者自己实现。核心功能点：同步增、删、改、查同步。

  
• 11.08 15:28:24
  发表了文章 2021-11-08 15:28:24

  elasticsearch插件六—— 分词 IK analyzer插件安装详解

  一、 IK Analyzer 介绍 IK Analyzer是一个开源的，基于Java语言开发的轻量级的中文分词工具包，最初的时候，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件，从3.0版本之后，IK逐渐成为面向java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现，IK实现了简单的分词 歧义排除算法，标志着IK分词器从单纯的词典分词向模拟语义分词衍化。

  
• 11.08 15:25:22
  发表了文章 2021-11-08 15:25:22

  elasticsearch插件五—— graph插件安装详解

  一、graph插件介绍 graph插件一个新的用于 Elasticsearch 和 Kibana 的插件，通过它们您可以很方便的发现、理解和探索现有数据之间的关系。

  
• 11.08 15:24:23
  发表了文章 2021-11-08 15:24:23

  elasticsearch插件四—— logstash插件安装详解

  一、logstash插件介绍 logstash是一个用来管理事件和日志的工具，它的作用是收集日志，解析日志，存储日志为以后使用。
• 11.08 15:23:42
  发表了文章 2021-11-08 15:23:42

  elasticsearch插件三—— Marvel插件安装详解

  一、Marvel插件介绍 Marvel插件：在簇中从每个节点汇集数据。这个插件必须每个节点都得安装。

  
• 11.08 15:22:33
  发表了文章 2021-11-08 15:22:33

  elasticsearch插件二—— kibana插件安装详解

  一、kibana 插件介绍 kibana 插件提供了Marvel监控的UI界面。

  
• 11.08 15:21:26
  发表了文章 2021-11-08 15:21:26

  elasticsearch插件一——-head插件安装详解

  一、elasticsearch-head插件介绍

  
• 11.08 15:20:29
  发表了文章 2021-11-08 15:20:29

  Elasticsearch安装与测试验证详解

  【百科】ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。 Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

  
• 11.08 15:18:49
  发表了文章 2021-11-08 15:18:49

  Centos下kafka 单机配置部署详解

  前提： Linux版本：CentOS release 6.6 (Final) JDK版本：jdk-7u71-linux-x64.tar.gz zookeeper版本：zookeeper-3.3.6.tar.gz kafka版本：kafka_2.11-0.9.0.1.tgz

  
• 11.08 15:17:24
  发表了文章 2021-11-08 15:17:24

  oracle基础实战笔记

  本文包含以下内容： 1）Centos oracle 11g express安装与使用； 2）oracle最基本的增insert into、删delete、改update set、查select、Merge、distinct、drop操作等。 3）视图作用； 4）Shell脚本批量执行.sql文件；
• 11.08 15:16:33
  发表了文章 2021-11-08 15:16:33

  Hodoop HDFS NFS GateWay 挂载到其他机器深入详解

  0.前提有三台机器： 10.0.1.31 为Hadoop NameNode节点机器。 10.1.1.36为Hadoop DataNode节点机器。 10.1.111.13为非Hadoop机器。
• 11.08 15:15:53
  发表了文章 2021-11-08 15:15:53

  NFS挂载到其他机器的详细步骤

  待实现功能：将10.1.1.36机器上的/share挂载到10.0.1.31机器的/share路径下。
• 11.08 15:15:21
  发表了文章 2021-11-08 15:15:21

  Hadoop HDFS NFS GateWay部署深入详解

  目的：通过挂载的方式，可以类似访问本地磁盘的方式一样的访问Hadoop文件，简单、方便、快捷。

  
• 11.08 15:14:12
  发表了文章 2021-11-08 15:14:12

  《懒人Shell脚本》之二——语料库的格式化输出

  1、引言 在进行自然语言处理（NLP)处理的时候，基本的操作无外乎分词、分类、聚类、命名实体识别、规则过滤、摘要提取、关键字提取、词性标注、拼音标注等。

  
• 11.08 13:12:24
  发表了文章 2021-11-08 13:12:24

  值得推荐的C/C++框架和库（深度好文）

  【本文系外部转贴，原文地址：http://www.cppblog.com/merlinfang/archive/2014/12/26/209311.html http://coolshell.info/c/c++/2014/12/13/c-open-project.htm】留作存档 公交车上看到的好文，忍不住转发！下次造轮子前先看看现有的轮子吧--
• 11.08 13:11:32
  发表了文章 2021-11-08 13:11:32

  优化网络和应用性能必知的三个经典响应时间点

  前提：当我们设计鼠标点击事件、拖动窗口，当我们设定探测目标等待结果返回，当我们打开某网页查看内容，多长的时间是我们能够接受的呢？有没有学术理论研究支撑。本文会给你答案。
• 11.08 13:10:57
  发表了文章 2021-11-08 13:10:57

  Centos 安装fastcgi详解与用例

  1、fastcgi简介 fastcgi解决了cgi程序处理请求每次都要初始化和结束造成的性能问题。fastcgi并且是独立于webserver的，fastcgi的crash并不影响webserver，然后他们之间通过soket通信。与fastcgi不同的另一种解决cgi程序反复创建，销毁的方法是让webserver开放api，然后编写cgi的时候，把cgi嵌入到webserver中，这样有个不好的地方就是cgi的crash会影响到webserver。

  
• 11.08 13:09:35
  发表了文章 2021-11-08 13:09:35

  UML之深入浅出类图讲义

  在面向对象方法中，类图是最重要的模型图，它描述了系统中各个对象的类型和它们之间存在的各种关系。建立类图是建模中最基本的任务。
• 11.08 13:08:48
  发表了文章 2021-11-08 13:08:48

  OTL实战小结

  前言： 以下内容是项目中使用OTL的部分小结，适合OTL初学者。大牛请绕行。
• 11.08 13:08:09
  发表了文章 2021-11-08 13:08:09

  Oracle字符乱码、数据越界访问典型Bug分析

  前言： 作为乙方，在甲方客户那里验收阶段发现两个诡异Bug。以下就问题来源、问题根因、解决方案、如何避免做详细描述。
• 11.08 13:07:28
  发表了文章 2021-11-08 13:07:28

  Linux进程通信学习笔记

  一.为什么需要进程通信 1）数据传输 一个进程需要把它的数据发送给另一个进程。 2）资源共享 多个进程之间共享同样的资源。 3）通知事件 一个进程向另外一个进程发送消息，通知它发生了某事件。 4）进程控制 控制运行、停止等。
• 11.08 13:06:46
  发表了文章 2021-11-08 13:06:46

  Linux扫描技术笔记

  题记： 主机节点的存活的探测方法，我们日常用的最多的是ping，除此之外还有没有其他方法？本文介绍了fping，hping相关操作以探测节点存活。
• 11.08 13:06:06
  发表了文章 2021-11-08 13:06:06

  《懒人Shell脚本》之一——遍历文件并格式化输出文件

  【背景】 1.项目开发中，急需要根据资源路径res下的文件，生成如下三种格式的文件。 格式一：
• 11.08 13:05:23
  发表了文章 2021-11-08 13:05:23

  64bit libcurl.lib生成步骤及注意事项详解

  1、[前提]编译32bit libcurl.lib 参考文档：Using-libcurl-with-SSH-support-in-Visual-Studio-2010.pdf。下载地址：http://curl.haxx.se/libcurl/c/

  
• 11.08 13:03:52
  发表了文章 2021-11-08 13:03:52

  windows C++ 多任务并发执行设计

  windows C++ 多任务并发执行设计

  
• 11.08 13:02:23
  发表了文章 2021-11-08 13:02:23

  Socket传输结构体数据注意事项

  【1 背景】 在Socket通信中，要传输结构化的数据或者要进行协议数据传输的时候，发送端必须要构造结构体进行数据传输。 接收端也必须通过同样的结构体进行解析。 但Socket传输结构体数据时候，稍有不慎就会出现：1）解析数据出错；2）接收数据不完整；3）解析为乱码等的Bug。

  
• 11.08 13:01:07
  发表了文章 2021-11-08 13:01:07

  ini格式数据生成与解析详解

  1、ini格式数据长啥样？

  
• 11.08 12:59:38
  发表了文章 2021-11-08 12:59:38

  JSON数据构造及解析详解

  JSON数据构造及解析详解

  
• 11.08 12:57:29
  发表了文章 2021-11-08 12:57:29

  深入详解Oracle data change notification

  0、什么是 Oracle data change notification ？ 当有多个应用程序或者进程操作同一个数据库时，其中进程1对Oracle中的某个表Table1进行插入、删除、修改等操作，进程2想在第一个进程操作完成后进行相应的操作。有没有什么方法让进程2获取到进程1的操作？

  
• 11.08 12:55:39
  发表了文章 2021-11-08 12:55:39

  项目小结及难点复盘

  项目小结及难点复盘 1、程序总体框架结构 计算程序属于客户端，与服务端建立socket连接并实时获取需要计算的数据。 计算程序结果写入oracle数据库对应的表中，供前台界面读取并显示结果。
• 11.08 12:54:48
  发表了文章 2021-11-08 12:54:48

  如何测试写磁盘的速度？

  如何测试写磁盘的速度？ 1、问题来源：出差的项目中遇到紧急对接问题：测试写磁盘的速度？ 对接程序中需要定期向磁盘中存放结果数据，但不知道： 1）以多大的Buffer写入磁盘会速度更快？ 2）磁盘的写速度是否能达到磁盘阵列厂商标称的最大值？
• 11.08 12:54:00
  发表了文章 2021-11-08 12:54:00

  windows C++ 互相等待线程同步示例

  windows C++ 互相等待线程同步示例 开发中遇到线程同步问题，可抽象为如下模型： 1、主线程的继续执行的前提是子线程的变量已经初始化完毕。 2、子线程待主线程执行完毕后继续执行后续的初始化操作。 重复1,2执行……直到通信结束。

  
• 11.08 12:52:50
  发表了文章 2021-11-08 12:52:50

  代码没有任何改动，为什么程序执行会有Bug？

  题记：工作中经常遇到开发不同的版本，如版本5.1、版本5.2，5.2版本是在5.1版本上的升级，会修改已有几个模块的功能或者新增功能。但对于其中一个模块M，没有做任何修改，奇怪的是，为什么5.2版本的模块M会有Bug？
• 11.08 12:51:48
  发表了文章 2021-11-08 12:51:48

  《Linux Shell脚本攻略》 笔记 之预备知识

  【题记】：正如2014年年总总结写的一样，2014年看了很多书，但没有总结，没有很好的消化吸收。尤其对于Shell脚本，没有很好的实践与积累，都是遇到再翻书，效率极低。所以2015年元旦放假3天，发奋图强一把，实践敲了一遍脚本并整理出《linux Shell脚本攻略》的笔记。2015当以此为标杆，反刍其他技术书中以及平时遇到问题的知识点，消化吸收之。