一个程序员_个人页

2021年12月

• 12.19 17:38:38
  发表了文章 2021-12-19 17:38:38

  算法-插入排序算法

  如果输入数组已经是排好序的话，插入排序出现最佳情况。其时间代价是O(n)。 如果输入数组是逆序排列的，将出现最坏情况。 平均情况与最坏情况一样，其时间代价是 O(N^2)。
• 12.19 17:17:14
  发表了文章 2021-12-19 17:17:14

  算法-二分查找极其效率

  因为二分查找是一半一半的找，所以每次查找之后都会把查找范围减半； 比如说在一个 1 - 8 的有序数组里面查找 8 也就是查找最坏情况。 在数组当中完成二分查找需要 log2n - 1 次； 也就是时间复杂度是 log2n （就是 log 以 2 为底 n 的对数）
• 12.19 17:11:59
  发表了文章 2021-12-19 17:11:59

  算法-冒泡排序及其效率

  算法效率分为两种，一是时间效率(时间复杂度)，二是空间效率(空间复杂度)。 时间复杂度是指程序运行的速度。 空间复杂度是指一个算法所需要的额外的空间。
• 12.18 21:59:10
  发表了文章 2021-12-18 21:59:10

  Java基础-抽象队列同步器:AbstractQueuedSynchronizer(2)-AQS的源码

  一般来说，自定义同步器要么是独占方法，要么是共享方式； 他们也只需实现tryAcquire-tryRelease、tryAcquireShared-tryReleaseShared中的一种即可。 AQS也支持自定义同步器同时实现独占和共享两种方式，如ReentrantReadWriteLock。
• 12.18 17:14:37
  发表了文章 2021-12-18 17:14:37

  Java基础-锁Lock

  ReentrantLock构造方法（不带参数 和带参数 true： 公平锁； false: 非公平锁）
• 12.18 13:17:19
  发表了文章 2021-12-18 13:17:19

  Java基础-关键字：volatile

  观察加入volatile关键字和没有加入volatile关键字时所生成的汇编代码发现； 加入volatile关键字时，会多出一个lock前缀指令。 lock前缀指令实际上相当于一个内存屏障。 内存屏障会提供3个功能： 确保指令重排序时不会把其后面的指令排到内存屏障之前的位置，也不会把前面的指令排到内存屏障的后面。 强制将对缓存的修改操作立即写入主存。 如果是写操作，它会导致其他CPU中对应的缓存行无效。
• 12.11 23:00:40
  发表了文章 2021-12-11 23:00:40

  数据中台-数据仓库、数据湖、数据中台的区别

  数据中台构建于数据湖之上，具备数据湖异构数据统一计算、存储的能力，同时让数据湖中杂乱的数据通过规范化的方式管理起来。数据湖、数据仓库和数据中台，他们并没有直接的关系，只是他们为业务产生价值的形式有不同的侧重。
• 12.10 11:15:59
  发表了文章 2021-12-10 11:15:59

  Hadoop-HDFS文件块的校验

  集群启动过程中，DataNode会校验自己的文件，并上报校验结果到NameNode。校验一般使用CRC即循环冗余校验码。
• 12.10 08:42:31
  发表了文章 2021-12-10 08:42:31

  Hadoop-HDFS文件块大小的设置

  Hadoop-HDFS文件块大小的设置
• 12.09 10:17:37
  发表了文章 2021-12-09 10:17:37

  Hadoop-HDFS文件磁盘位置与存储方式

  HDFS大文件存储在磁盘上，居然能这样恢复文件内容。

  
• 12.08 22:46:08
  发表了文章 2021-12-08 22:46:08

  Hadoop-NameNode内存预估

  NameNode通过NetworkTopology维护整个集群的树状拓扑结构；拓扑结构的叶子节点DatanodeDescriptor是标识DataNode的关键结构。DataNode节点一般会挂载多块不同类型存储单元；StorageMap描述的正是存储介质DatanodeStorageInfo集合（Map默认长度16）。
• 12.07 22:46:23
  发表了文章 2021-12-07 22:46:23

  Linux-SCP命令复制文件和目录

  Linux-SCP命令复制文件和目录
• 12.07 22:33:50
  发表了文章 2021-12-07 22:33:50

  SSH免密码登录原理

  SSH免密码登录原理

  
• 12.01 08:36:38
  发表了文章 2021-12-01 08:36:38

  Springboot项目使用assembly打包

  Springboot项目使用assembly打包

2021年11月

• 11.30 08:51:01
  发表了文章 2021-11-30 08:51:01

  Java提供的用于管理线程池的类

  ExecutorService是Java提供的用于管理线程池的类。该类的两个作用：控制线程数量和重用线程。 可缓存线程池：newCacheThreadPool ； 固定线程数：newFixedThreadPool ； 支持定时及周期性任务执行： newScheduledThreadPool ； 单线程化的线程池： newSingleThreadExecutor；
• 11.30 08:36:09
  发表了文章 2021-11-30 08:36:09

  Hadoop单机部署

  Hadoop单机部署
• 11.30 08:27:01
  发表了文章 2021-11-30 08:27:01

  SSH免密码登录配置

  SSH免密码登录配置
• 11.29 22:48:48
  发表了文章 2021-11-29 22:48:48

  Java三种线程创建调用方式-Thread、Runnable与Callable

  继承类Thread与实现接口Runnable类似，因为Thread也是实现了接口Runnable； 继承类Thread与实现接口Runnable的run方法与start方法都会调用执行体，run同步执行，start异步执行； 实现接口Callable的线程被调用时，主线程会阻塞等待执行结果； 值得注意的是：实现接口Callable的线程名称和主线程名称一样。
• 11.29 18:56:28
  发表了文章 2021-11-29 18:56:28

  Clickhouse-表引擎的一些应用心得-重命名能力

  Clickhouse-表引擎的一些应用心得-重命名能力
• 11.29 08:50:37
  发表了文章 2021-11-29 08:50:37

  Java实现http客户端请求

  Java实现http客户端请求
• 11.28 16:25:26
  发表了文章 2021-11-28 16:25:26

  Annotation-自定义注解入门

  Annotation-自定义注解入门
• 11.27 15:00:10
  发表了文章 2021-11-27 15:00:10

  SpringCloud服务注册与消费

  SpringCloud服务注册与消费
• 11.27 10:58:36
  发表了文章 2021-11-27 10:58:36

  Java实现xml文件解析

  Java实现xml文件解析
• 11.27 10:52:51
  发表了文章 2021-11-27 10:52:51

  Clickhouse-基本操作之引擎与表的创建

  表引擎资料参考：https://clickhouse.com/docs/zh/engines/table-engines/
• 11.26 08:45:42
  发表了文章 2021-11-26 08:45:42

  Clickhouse-Java使用JDBC连接大批量导入（本地文件2表）

  Clickhouse-Java使用JDBC连接大批量导入（本地文件2表）; 导入：4856w耗时294秒约5分钟；导入：212w耗时12秒。
• 11.26 08:40:44
  发表了文章 2021-11-26 08:40:44

  Clickhouse-Java使用JDBC连接大批量导出（表2本地文件）

  Clickhouse-Java使用JDBC连接大批量导出（表2本地文件）；测试数据：212w，耗时28秒；测试数据：4814w，耗时380秒约6.3分钟
• 11.26 08:36:46
  发表了文章 2021-11-26 08:36:46

  Clickhouse-Java使用JDBC连接基本操作

  Clickhouse-Java使用JDBC连接基本操作
• 11.25 12:57:06
  发表了文章 2021-11-25 12:57:06

  Java实现gz压缩与解压缩

  Java实现gz压缩与解压缩
• 11.25 12:10:49
  发表了文章 2021-11-25 12:10:49

  SpringBoot自注册定时任务

  SpringBoot自注册定时任务
• 11.25 09:01:08
  发表了文章 2021-11-25 09:01:08

  SSH代理连接JDBC数据库

  SSH代理连接JDBC数据库
• 11.23 16:56:22
  发表了文章 2021-11-23 16:56:22

  Hive自定义函数

  Hive自定义函数
• 11.23 14:51:20
  发表了文章 2021-11-23 14:51:20

  HiveSQL常用查询句式

  HiveSQL分组排序取topN； 使用（if / when-then-else）； 一列变成多列多行：lateral view explode + split
• 11.23 12:00:45
  发表了文章 2021-11-23 12:00:45

  项目的启动关闭脚本

  项目的启动关闭脚本
• 11.22 22:26:38
  发表了文章 2021-11-22 22:26:38

  SpringCloud注册中心Eureka

  著名的 CAP 理论指出，一个分布式系统不可能同时满足C（一致性）、A（可用性）和 P（分区容错性）。由于分区容错性在是分布式系统中必须要保证的，因此我们只能在A和C 之间进行权衡。 ZooKeeper的leader节点挂掉之后会重新进行leader选举，选举期间整个ZooKeeper集群都是不可用的；先选举leader保证强一致性之后，不能保证可用性。Eureka优先保证可用性，Eureka各个节点是平等的，某几个节点挂掉不会影响正常节点的工作，剩余的节点依然可以提供注册和查询服务。而Eureka的客户端在向某个Eureka注册或时如果发现连接失败，则会自动切换至其它节点，只要有一台Eure
• 11.17 21:31:36
  发表了文章 2021-11-17 21:31:36

  SpringCloud架构微服务处理性能测试

  客户端模拟高并发，测试SpringCloud微服务集群处理能力。 结论： 1、服务处理耗时50ms，单台服务器tps可以高达3900；服务处理耗时100ms，单台服务器tps可达1900。随着单个服务处理耗时的拉长，单个服务tps按比例下降。 2、服务端节点越多，SpringCloud整体集群处理能力越高。 3、服务处理耗时50ms时，400的并发是一个比较合理的极限；单台服务器到达一个较高的tps，同时单次请求也没有明显延长。