勋章
我关注的人
粉丝
技术能力
- Java
- Python
- 大数据
- 数据采集
- 数据处理
- 数据管理
- 数据建模
- 中间件
-
Java
中级
能力说明：
掌握封装、继承和多态设计Java类的方法，能够设计较复杂的Java类结构；能够使用泛型与集合的概念与方法，创建泛型类，使用ArrayList，TreeSet，TreeMap等对象掌握Java I/O原理从控制台读取和写入数据，能够使用BufferedReader，BufferedWriter文件创建输出、输入对象。
暂时未有相关云产品技术能力~
一个大数据开发从业者
-
发表了文章 2023-02-26
Could not find a suitable table factory for ‘org.apache.flink.table.factories.TableSourceFactory
这是在提交yarn时报的错误，原因其实就是少了一些包，提交的集群后一些依赖包使用flink的lib目录下的，所以我需要将一些依赖包放到lib目录下。
-
发表了文章 2023-02-26
flink报错踩坑：org.apache.flink.table.catalog.hive.client.HiveShimV100.registerTemporaryFunction
当想使用本地开发环境运行flink读写线上hive数据来运行时报错。我使用maven管理的开发环境依赖。由于代码发布到测试环境集群上跑时并没有报错，而测试环境对应的依赖都是使用放在上面的依赖jar的，并不使用本地maven管理的依赖（也就是没有打入项目jar）。所以我猜测是本地运行环境依赖有问题，也就是项目中maven的pom文件的依赖有问题。
-
发表了文章 2023-02-26
报错FileSystemException: /datas/nodes/0/indices/gtTXk-hnTgKhAcm-8n60Jw/1/index/.es_temp_file
首先我碰到的问题是服务器突然断电导致elasticsearch宕机，当我再次启动的时候 >FileSystemException: /data/elasticsearchDatas/datas/nodes/0/indices/gtTXk-hnTgKhAcm-8n60Jw/1/index/.es_temp_file: 结构需要清理
-
发表了文章 2023-02-26
Internal error XFS_WANT_CORRUPTED_GOTO at line 1635 of file fs/xfs/libxfs/xfs_alloc.c.
下面为解决问题中报的错误： Internal error XFS_WANT_CORRUPTED_GOTO at line 1635 of file fs/xfs/libxfs/xfs_alloc.c. Caller xfs_free_extent
-
发表了文章 2023-02-26
单机版redis的安装
环境准备: 系统：centos7 第一步：下载redis安装包 服务器执行以下命令下载redis安装包
-
发表了文章 2023-02-26
scala中的异常处理
执行程序，可以看到scala抛出了异常，而且没有打印出来"你好"。说明程序出现错误后就终止了。那怎么解决该问题呢？
-
发表了文章 2023-02-26
hive的窗口函数、分析函数有哪些？
窗口函数FIRST_VALUE：取分组内排序后，截止到当前行，第一个值LAST_VALUE： 取分组内排序后，截止到当前行，最后一个值LEAD(col,n,DEFAULT) ：用于统计窗口内往下第n行值。第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL）LAG(col,n,DEFAULT) ：与lead相反，用于统计窗口内往上第n行值。第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL）OVER从句1、使用标准的聚
-
发表了文章 2023-02-26
pymongodb 的update_one、replace_one的参数
这样写，会查出如果存在就更新，如果不存在就插入。
-
发表了文章 2023-02-26
远程协议RDP
什么是远程桌面协议（RDP）？远程桌面协议 (RDP) 指的是用于远程使用桌面计算机的协议或技术标准。远程桌面软件可以使用几种不同的协议，如 RDP、独立计算架构 (ICA) 和虚拟网络计算 (VNC) 等，但 RDP 是最常用的协议。RDP 最初由微软公司发布，可用于大多数 Windows 操作系统，但 Mac 操作系统也提供相应的支持。“远程桌面”是什么意思？
-
发表了文章 2023-02-26
windows计划任务所遇到的闪退、触发器没有按时执行的坑
1、如图：在设置执行程序或脚本时，请一定要给起始于这个bat脚本的目录路径，否则会遇到执行计划任务闪退，对于网上给的尾行加pause也是心很累。
-
发表了文章 2023-02-26
flink自定义sink，以入solr、mongodb为例
自定义sink需要继承 RichSinkFunction，重写open、invoke、close三个方法，open方法主要实现一些公共资源的开启工作，如mongo、solr的连接客户端。invoke会在每条数据进入后调用，主要写一些数据的转化、插入、查询等具体的实际业务。
-
发表了文章 2022-12-27
带你理解并使用flink中的Time、Window（窗口）、Windows Function（窗口函数）
flink中，streaming流式计算被设计为用于处理无限数据集的数据处理引擎，其中无限数据集是指一种源源不断有数据过来的数据集，window （窗口）将无界数据流切割成为有界数据流进行处理的方式。实现方式是将流分发到有限大小的桶（bucket）中进行分析。flink 中的streaming定义了多种流式处理的时间，Event Time（事件时间）、Ingestion Time（接收时间）、Processing Time（处理时间）。
-
发表了文章 2022-06-20
Prometheus+Grafana安装配置inux服务器监控
prometheus是谷歌用golang语言开发的一款开源的监控软件，使用安装在远程机器上的exporter，通过HTTP协议从远程的机器收集数据并存储在本地的时序数据库上。 Prometheus为了支持各种中间件以及第三方的监控提供了exporter，大家可以把它理解成监控适配器，将不同指标类型和格式的数据统一转化为Prometheus能够识别的指标类型。
-
发表了文章 2022-05-24
elasticsearch-head插件的使用
由于es服务启动之后，访问界面比较丑陋，为了更好的查看索引库当中的信息，我们可以通过安装elasticsearch-head这个插件来实现，这个插件可以更方便快捷的看到es的管理界面
-
发表了文章 2022-05-24
学习flink的state
Apache Flink® — Stateful Computations over Data Streams，数据流上的状态计算。可以看出flink默认它是一个默认就有状态的分析引擎，State一般指一个具体的 Task/Operator 的状态，State数据默认保存在 Java 的堆内存中。 假设一个 Task 在处理过程中挂掉了，那么它在内存中的状态都会丢失，所有的数据都需要重新计算。从容错和消息处理的语义（At -least-once 和 Exactly-once）上来说，Flink引入了State 和 CheckPoint。
-
发表了文章
2023-02-26
将mysql数据表数据从一台服务器迁移到另一台服务器
-
发表了文章
2023-02-26
python中实现单例模式
-
发表了文章
2023-02-26
HDFS的特点、三个服务、架构
-
发表了文章
2023-02-26
Hadoop简介、安装
-
发表了文章
2023-02-26
DeprecationWarning: count is deprecated. Use Collection.count_documents instead
-
发表了文章
2023-02-26
python 使用ftplib连接ftp服务器获取目录、文件及它们的修改时间
-
发表了文章
2023-02-26
mongorestore[报错]auth error: sasl c onversation error: unable to authenticate using mechanism
-
发表了文章
2023-02-26
判断二分图
-
发表了文章
2023-02-26
解决windows配置hostname的问题
-
发表了文章
2023-02-26
解决scrapy设置cookie中间件时遇到的问题
-
发表了文章
2023-02-26
Jetbrains旗下集成环境（pycharm、IDEA等）使用Ctrl +鼠标滚轮上下滑放大缩小快捷键设置
-
发表了文章
2023-02-26
使用hcache查看使用buff/cache的目录文件
-
发表了文章
2023-02-26
HBase集群安装部署
-
发表了文章
2023-02-26
hive中开发、使用udf
-
发表了文章
2023-02-26
QPS、TPS、并发用户数、吞吐量等定义
-
发表了文章
2023-02-26
github项目的开发创建仓库、分支管理、分支策略、标签管理
-
发表了文章
2023-02-26
jQuery的选择器大全
-
发表了文章
2023-02-26
python 数据结构基础一：线性表单链表的实现
-
发表了文章
2023-02-26
装饰器property用法及使用它重构代码时的应用实例
-
发表了文章
2023-02-26
python虚拟环境(venv、virtualenv)及虚拟环境管理工具(virtualenvwrapper)
