勋章
我关注的人
粉丝
技术能力
- Java
- Python
- 大数据
- 数据采集
- 数据处理
- 数据管理
- 数据建模
- 中间件
-
Java
中级
能力说明：
掌握封装、继承和多态设计Java类的方法，能够设计较复杂的Java类结构；能够使用泛型与集合的概念与方法，创建泛型类，使用ArrayList，TreeSet，TreeMap等对象掌握Java I/O原理从控制台读取和写入数据，能够使用BufferedReader，BufferedWriter文件创建输出、输入对象。
暂时未有相关云产品技术能力~
一个大数据开发从业者
-
发表了文章 2023-02-26
将mysql数据表数据从一台服务器迁移到另一台服务器
这种问题出现在导入表时，也属于权限问题，看mysql中文手册的一段话： >出于安全原因，当读取位于服务器中的文本文件时， www.2cto.com 文件必须位于数据库目录中，或者是全体可读的。另外，要对服务器文件使用LOAD DATA INFILE，您必须拥有FILE权限。
-
发表了文章 2023-02-26
python中实现单例模式
单例模式（Singleton Pattern）是一种常用的软件设计模式，该模式的主要目的是确保某一个类只有一个实例存在。 例如：服务器程序的配置信息存放在一个文件中，客户端通过一个 Config 的类来读取配置文件的信息。当有很多地方都需要使用配置文件的内容时就需要创建 创建多个Config 对象的实例，从而浪费内存资源，尤其是在配置文件内容很多的情况下。
-
发表了文章 2023-02-26
HDFS的特点、三个服务、架构
一、高可靠性：hadoop一般都在成千的计算机集群之上，且可以搭建hadoop的高可靠集群，及内部容错功能优秀。 二、高扩展性：hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。 三、高效性：hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。 四、高容错性：Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。 #### 缺点：
-
发表了文章 2023-02-26
Hadoop简介、安装
hadoop平台是一个可靠的、可扩展的、可分布式计算的开源软件。 Apache Hadoop平台是一个框架，允许使用简单的编程模型。该平台被设计成可以从单个服务器扩展到数千台服务器，每台服务器都提供本地计算和存储。该平台也被设计成可检测和处理应用层的故障（即高可用、高容错），高可用服务是基于计算机集群的，并且每一台计算机有可能出错。 #### hadoop应用：
-
发表了文章 2023-02-26
DeprecationWarning: count is deprecated. Use Collection.count_documents instead
当我使用pymongo查询出对应的cursor（find出的document的迭代器），然后查看查询出数据的数量时使用如下代码： ```python db = MongoClient(host='192.168.1.3', port=27017) # dbname为操作的数据库名称，collectionname为操作的集合名称
-
发表了文章 2023-02-26
python 使用ftplib连接ftp服务器获取目录、文件及它们的修改时间
* 获取当前路径或者指定路径下的文件、目录 * 检查指定路径是目录还是文件 * 根据目录、文件的修改时间来判断是否下载ftp的文件。 由于ftplib中的FTP无法满足我这一需求，所以只能重写一个MyFTP类继承FTP，写一个方法来实现，除了这个还实现了一个获取当前目录下的所有目录及文件。
-
发表了文章 2023-02-26
mongorestore[报错]auth error: sasl c onversation error: unable to authenticate using mechanism
mongodb中添加了admin表的用户，即创建了超级管理员（mongodb的安全生产环境的权限设置请查看： [https://blog.csdn.net/Chenftli/article/details/105228130](https://blog.csdn.net/Chenftli/article/details/105228130)），此时我想去将备份的集合的bson文件数据导入到mongodb指定的数据库时会报出上面的错误。 ##### 尝试 尝试使用下面的命令执行
-
发表了文章 2023-02-26
解决windows配置hostname的问题
做下列方法一、二的操作时，先找到hosts文件(在C:\Windows\System32\drivers\etc文件夹下)，右键点击属性选项，然后查看是否是只读文件，如果是，就去掉只读勾选。原因是：如果是只读文件，记事本保存文件时就会保存到另外一个txt文件。这不是我们想要的，所以要修改文件权限，操作如下图：
-
发表了文章 2023-02-26
解决scrapy设置cookie中间件时遇到的问题
解释COOKIES_ENABLED作用： * 当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie * 当COOKIES_ENABLED没有注释设置为False的时候scrapy默认使用了settings里面的cookie * 当COOKIES_ENABLED设置为True的时候scrapy就会把settings的cookie关掉，使用自定义cookie
-
发表了文章 2023-02-26
Jetbrains旗下集成环境（pycharm、IDEA等）使用Ctrl +鼠标滚轮上下滑放大缩小快捷键设置
找到settings配置选项， 如下图：  ##### 第二步： 选定左侧栏Keymap，在右侧搜索框搜font关键词。看到Editor Actions下的内容
-
发表了文章 2023-02-26
使用hcache查看使用buff/cache的目录文件
我是使用的git从github拉取下代码，然后重新编译的, 因为此项目是go语言写的，所以编译时需要安装go语言 如下命令下载代码，或者直接下载zip压缩包，资源在 “此目录下文档中所用的资源” 目录中
-
发表了文章 2023-02-26
HBase集群安装部署
1. 服务器配置好，搭建大数据集群服务器看这篇：[搭建学习使用的大数据集群环境：windows使用vmware安装三台虚拟机，配置好网络环境]
-
发表了文章 2023-02-26
hive中开发、使用udf
我们在使用hive时难免会碰到hive的函数解决不了的操作，这时我们就可以开发UDF函数去解决复杂的问题
-
发表了文章 2023-02-26
QPS、TPS、并发用户数、吞吐量等定义
QPS （Queries Per Second） 是每秒查询率 ,是一台服务器 每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内 所处理流量多少的衡量标准, 即每秒的响应请求数，也即是最大吞吐能力。
-
发表了文章 2023-02-26
github项目的开发创建仓库、分支管理、分支策略、标签管理
作用：假设你准备开发一个新功能，但需要两周才能完成，第一周写了60%，如果提交，由于代码还没写完，不完整的代码库会导致别人不能干活,如果等代码全部写完在一次提交，又会存在丢失每天进度的风险。有了分支，可以避免上述问题，创建一个属于自己的分支，别人看不到，还继续在原来的分支上正常工作，而我们在自己的分支上干活，想提交就提交，直到开发完毕后，在一次性合并到原来的分支上，这样，即安全又不影响别人工作。
-
发表了文章 2023-02-26
jQuery的选择器大全
一、 基本选择器 1. ID选择器 ID选择器#id就是利用DOM元素的id属性值来筛选匹配的元素，并以iQuery包装集的形式返回给对象。
-
发表了文章 2023-02-26
python 数据结构基础一：线性表单链表的实现
需要理解python的类、实例、赋值原理(其实就是地址的引用)等概念 ### 二、总体工作 先定义一个链表结点类(LNode)，用于生成链表结点。然后定义一个单链表对象类(LList)，用于存储链表结点、操作结点数据。 ### 三、实现
-
发表了文章 2023-02-26
python虚拟环境(venv、virtualenv)及虚拟环境管理工具(virtualenvwrapper)
  Python应用开发时，本机的Python环境中安装各种各样的包的话，随着项目的增加，每次运行时都需要处理一下各种不同版本的依赖库，而且python版本也可能使用的不同，这样做很耗时。这就需要虚拟出不同的Python版本的环境，可以让虚拟环境专门为某一个应用而存在，且允许在虚拟环境中安装各种包。而且不影响本机大的python环境，便于开发环境和生产环境的管理。
-
发表了文章 2023-02-26
docker容器数据卷介绍、使用、数据容器卷volumes-from的使用
命名的容器挂载数据卷，其他容器通过挂载这个父容器来实现数据共享，挂载数据卷的容器称为数据卷容器，以下二、三主要讲与宿主机挂载容器数据卷。四讲其他容器通过volumes-from来挂载父容器来实现数据共享。 >通俗点容器数据卷是将docker中的容器(container)中产生的数据持久化到宿主机文件中并实现数据共享,其他容器可以通过数据卷来链接到这个容器，实现数据共享。
-
发表了文章 2023-02-26
DockerFile介绍、编写dockerfile、构建(build)、运行(run)、实例
>DockerFile是用来构建Docker镜像的构建文件，是由一系列命令参数构成的脚本。 #### 二、DockerFile的一些规则 * 每条保留字指令都必须为大写字母且后面要跟随至少一个参数 * 指令顺序执行，遵循从上到下原则 * #表示注释 * 每条指令都会创建一个新的镜像层，并对镜像进行提交
-
发表了文章 2023-02-26
mysql数据库在windows(Windows Server)安装、使用
写这些基础类型的文章，主要是想将官方文档整理成简洁方便回忆的中文步骤，以便自己日后快速使用，也方便初学者快速理解、应用，希望大家可以通过这篇文章理解官方文档的信息，养成良好查看官方文档的习惯。
-
发表了文章 2023-02-26
mongodb复制集windows server部署，以及将线上单节点转化成复制集所踩的坑
安装完成后我们需要启动三个mongod的服务来做为复制集的三个节点，我们可以直接打开cmd，使用mongod来根据不同的配置启动服务。例如：参考如下四张图，由于我安装的磁盘足够存放mongodb的数据，所以我将数据放在data文件中，三个节点的配置文件放在config文件中，三个节点mongod的服务日志放在log中。
-
发表了文章 2023-02-26
mongodb复制集节点替换实践
注意：大家首先要明白你的需求是什么，然后对照做一些处理，下面是我的一些替换经验。 #### 需求 这是我原来挂载节点时的配置 ```bash config = { "_id" : "rs0", "members": [ { "_id" : 0, "host" : "127.0.0.1:27017" }, { "_id" : 1, "host" : "127.0.0.1:27018" }, { "_id" : 2, "host" : "127.0.0.1:27019" } ] } ``` 现在我需要将节点替换成下面
-
发表了文章 2023-02-26
flume自定义拦截器
向文件中定时新增日期数据,采集该文件, 通过自定义source拦截器给日期数据加上自己姓名作为前缀,输出到控制台。 #### 分析： 需求很简单，主要在于练习flume自定义拦截器的流程，我们需要使用java来写flume拦截器的流程需求，然后使用maven将程序打包成jar包。放到采集服务器的flume安装路径的/lib路径下，然后运行。
-
发表了文章 2023-02-26
windows使用vmware安装三台虚拟机，配置好网络环境
- VMWare虚拟机软件是一个“虚拟[PC](https://baike.baidu.com/item/PC/107)”软件，它使你可以在一台机器上同时运行多个系统。 - 可以通过Vmware来安装我们的linux虚拟机，然后通过linux虚拟机来进行集群的安装。Vmware的安装步骤省略。只要点击安装之后，一路下一步即
-
发表了文章 2023-02-26
Hive主流文件存储格式对比
### Hive 主流文件存储格式对比 ### 1、存储文件的压缩比测试 ##### 1.1 测试数据
-
发表了文章 2023-02-26
java进程、线程理解
进程：进程指正在运行的程序，进程拥有一个完整的、私有的基本运行资源集合。通常，每个进程都有自己的内存空间。 进程往往被看作是程序或应用的代名词，然而，用户看到的一个单独的应用程序实际上可能是一组相互协作的进程集合。
-
发表了文章 2023-02-26
ELK简介、elasticsearch安装部署
* ELK是三个软件产品的首字母缩写，Elasticsearch，Logstash 和 Kibana。这三款软件都是开源软件，通常是配合使用，而且又先后归于 Elastic.co 公司名下，故被简称为 ELK 协议栈。 * Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 * Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。 * Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 Elas
-
发表了文章 2023-02-26
安装、使用Kibana
Kibana是一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作。你用Kibana来搜索，查看，并和存储在Elasticsearch索引中的数据进行交互。你可以轻松地执行高级数据分析，并且以各种图标、表格和地图的形式可视化数据。Kibana使得理解大量数据变得很容易。它简单的、基于浏览器的界面使你能够快速创建和共享动态仪表板，实时显示Elasticsearch查询的变化。
-
发表了文章 2023-02-26
JUC:java.util.concurrent理解与使用示例
阻塞队列（BlockingQueue）是一个支持两个附加操作的队列。这两个附加的操作是：在队列为空时，获取元素的线程会等待队列变为非空。当队列满时，存储元素的线程会等待队列可用。阻塞队列常用于生产者和消费者的场景，生产者是往队列里添加元素的线程，消费者是从队列里拿元素的线程。阻塞队列就是生产者存放元素的容器，而消费者也只从容器里拿元素。
-
发表了文章 2023-02-26
HBase分布式数据库架构及原理
Client是操作HBase集群的入口，对于管理类的操作，如表的增、删、改操纵，Client通过RPC与HMaster通信完成，对于表数据的读写操作，Client通过RPC与RegionServer交互，读写数据。
-
发表了文章 2023-02-26
elasticsearch简介安装使用事例大全
Elasticsearch是面向文档(document oriented)的，可以存储整个对象或文档(document)、索引(index)每个文档的内容，可以快速搜索。Elasticsearch中，可以对文档（而非成行成列的数据）进行索引、搜索、排序、过滤。
-
发表了文章 2023-02-26
OLAP架构及技术实现的演进简介
这个阶段中，OLAP主要基于以Oracle、MySQL为代表的一众关系型数据实现。在ROLAP架构下，直接使用这些数据库作为存储与计算的载体。在MOLAP架构下，则借助物化视图的形式实现各数据操作。但难以解决的问题是，不论是ROLAP还是MOLAP，在数据体量大、维度数目多的情况下都存在严重的性能问题。
-
发表了文章 2023-02-26
hive中删除操作及HDFS回收站管理腾出空间的实操
删除hive数据时，首先明确你使用删除数据还是连同表结构也要删除，如果只是要删除数据可以选择truncate来清空表中的数据，如果要对表进行删除，首先要考虑该表是内部表还是外部表。如果是外部表要确认数据是否还需要使用，如果不需要使用了可以直接使用HDFS命令对目录进行删除。
-
发表了文章 2023-02-26
flink问题集锦
原因：flink1.8版本之后已弃用该参数，ResourceManager将自动启动所需的尽可能多的容器，以满足作业请求的并行性。解决方法：去掉即可
-
发表了文章 2023-02-26
linux安装zookeeper集群，包括集群启停脚本
#### 三台机器安装zookeeper集群 **注意事项：安装前三台机器一定要保证时钟同步** 说明： * 我这里是有3台服务器，分别hostname为node01、node02、node03。 * 三台机器已经配置好了ssh。 * zookeeper使用的是cdh5的zookeeper包，没有使用原生zookeeper项目的包。 * 三台机器已经进行了时钟同步。
-
发表了文章 2023-02-26
使用阿里的增量日志解析工具canal
canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。
-
发表了文章 2023-02-26
带你理解并使用flink中的WaterMark机制
提问：你了解事件的乱序吗？乱序是怎么产生的呢？在flink流处理中是以什么事件类型判定乱序的呢？ 当一条一条的数据从产生到经过消息队列传输，然后Flink接受后处理，这个流程中数据都是按照数据产生的先后顺序在flink中处理的，这时候就是有序的数据流。
-
发表了文章 2023-02-26
Cannot set the value of read-only property ‘additionalSourceDirs‘ for task ‘:jacocoRootReport‘ of
这个问题是gradle的build版本问题，我是在build kafka的老版本时报的错，这个问题我查了一遍网上的内容，发现很多博客忽略了IDEA settings关于gradle的build的一个配置。
-
发表了文章 2023-02-26
搭建大数据集群linux服务器配置步骤
使用下面命令修改添加示例内容 命令： ``` vi /etc/sysconfig/network-scripts/ifcfg-ensXX ``` 修改添加的内容示例：
-
发表了文章 2023-02-26
scala面向对象编程之继承
scala使用extends关键字来实现继承。可以在子类中定义父类中没有的字段和方法，或者重写父类的方法。 示例1：实现简单继承
-
发表了文章 2023-02-26
一文解决安装Anaconda后C盘不断增加的问题、修改默认配置
这个问题主要原因是由于Anaconda默认安装虚拟环境以及pkg在c盘的问题，有些同学在安装Anacoda时明明选择了其他安装路径，但是C盘还是不断在增加。 下面我们来解决，这里其实有两种解决方式一种是通过添加dir来替换默认路径、一种是直接配置c盘路径下的.condarc文件,请记住这两种方法一定是再安装anaconda时选择的是Just Me，如果你选择的是All User，改了也不会生效
-
发表了文章 2023-02-26
scala中的变量、方法、函数
Scala是一门多范式的编程语言，一种类似java的编程语言，是可扩展语言，并集成面向对象编程和函数式编程的各种特性的混合功能编程语言。 Scala被编译后在Java虚拟机上运行。
-
发表了文章 2023-02-26
scala中的数据结构
对于Scala来说，同时支持可变集合和不可变集合，不可变集合一直都不会发生变化，可以安全的并发访问。 Scala优先采用不可变集合，同时几乎所有的集合类，Scala都同时提供了可变和不可变的版本。 下面是两个主要的包：不可变集合：scala.collection.immutable、可变集合： scala.collection.mutable。
-
发表了文章 2023-02-26
flink-sql入es报错：Missing required options are document-type
我是在flink-sql创建es表的时候报的错，报错提示缺少对应的options，及document-type ，我连忙去flink官方文档查找答案
-
发表了文章 2023-02-26
Could not find a suitable table factory for ‘org.apache.flink.table.factories.TableSourceFactory
这是在提交yarn时报的错误，原因其实就是少了一些包，提交的集群后一些依赖包使用flink的lib目录下的，所以我需要将一些依赖包放到lib目录下。
-
发表了文章 2023-02-26
flink报错踩坑：org.apache.flink.table.catalog.hive.client.HiveShimV100.registerTemporaryFunction
当想使用本地开发环境运行flink读写线上hive数据来运行时报错。我使用maven管理的开发环境依赖。由于代码发布到测试环境集群上跑时并没有报错，而测试环境对应的依赖都是使用放在上面的依赖jar的，并不使用本地maven管理的依赖（也就是没有打入项目jar）。所以我猜测是本地运行环境依赖有问题，也就是项目中maven的pom文件的依赖有问题。
-
发表了文章 2023-02-26
报错FileSystemException: /datas/nodes/0/indices/gtTXk-hnTgKhAcm-8n60Jw/1/index/.es_temp_file
首先我碰到的问题是服务器突然断电导致elasticsearch宕机，当我再次启动的时候 >FileSystemException: /data/elasticsearchDatas/datas/nodes/0/indices/gtTXk-hnTgKhAcm-8n60Jw/1/index/.es_temp_file: 结构需要清理
-
发表了文章 2023-02-26
Internal error XFS_WANT_CORRUPTED_GOTO at line 1635 of file fs/xfs/libxfs/xfs_alloc.c.
下面为解决问题中报的错误： Internal error XFS_WANT_CORRUPTED_GOTO at line 1635 of file fs/xfs/libxfs/xfs_alloc.c. Caller xfs_free_extent
-
发表了文章 2023-02-26
远程协议RDP
什么是远程桌面协议（RDP）？远程桌面协议 (RDP) 指的是用于远程使用桌面计算机的协议或技术标准。远程桌面软件可以使用几种不同的协议，如 RDP、独立计算架构 (ICA) 和虚拟网络计算 (VNC) 等，但 RDP 是最常用的协议。RDP 最初由微软公司发布，可用于大多数 Windows 操作系统，但 Mac 操作系统也提供相应的支持。“远程桌面”是什么意思？
-
发表了文章
2023-02-26
将mysql数据表数据从一台服务器迁移到另一台服务器
-
发表了文章
2023-02-26
python中实现单例模式
-
发表了文章
2023-02-26
HDFS的特点、三个服务、架构
-
发表了文章
2023-02-26
Hadoop简介、安装
-
发表了文章
2023-02-26
DeprecationWarning: count is deprecated. Use Collection.count_documents instead
-
发表了文章
2023-02-26
python 使用ftplib连接ftp服务器获取目录、文件及它们的修改时间
-
发表了文章
2023-02-26
mongorestore[报错]auth error: sasl c onversation error: unable to authenticate using mechanism
-
发表了文章
2023-02-26
判断二分图
-
发表了文章
2023-02-26
解决windows配置hostname的问题
-
发表了文章
2023-02-26
解决scrapy设置cookie中间件时遇到的问题
-
发表了文章
2023-02-26
Jetbrains旗下集成环境（pycharm、IDEA等）使用Ctrl +鼠标滚轮上下滑放大缩小快捷键设置
-
发表了文章
2023-02-26
使用hcache查看使用buff/cache的目录文件
-
发表了文章
2023-02-26
HBase集群安装部署
-
发表了文章
2023-02-26
hive中开发、使用udf
-
发表了文章
2023-02-26
QPS、TPS、并发用户数、吞吐量等定义
-
发表了文章
2023-02-26
github项目的开发创建仓库、分支管理、分支策略、标签管理
-
发表了文章
2023-02-26
jQuery的选择器大全
-
发表了文章
2023-02-26
python 数据结构基础一：线性表单链表的实现
-
发表了文章
2023-02-26
装饰器property用法及使用它重构代码时的应用实例
-
发表了文章
2023-02-26
python虚拟环境(venv、virtualenv)及虚拟环境管理工具(virtualenvwrapper)
