橙子园_社区达人页

2023年02月

• 02.26 21:57:54
  发表了文章 2023-02-26 21:57:54

  scala函数式编程与高阶函数

  谈到编程方式有指令式编程、过程化编程、函数式编程，函数式编程在使用时主要的思想就是把运算过程写成一些列嵌套的函数调用。把一组数据通过函数实现运算转化成另一组数据。函数式编程这种方式在我们将来开发Spark、Flink的业务代码时会大量使用。下面列出了一些我们经常使用的进行函数式编程的Iterable trait（可迭代特质）方法。
• 02.26 21:56:44
  发表了文章 2023-02-26 21:56:44

  scala中的隐式转换和隐式参数

  Scala提供的隐式转换和隐式参数功能，是非常有特色的功能。是Java等编程语言所没有的功能。它可以允许你手动指定将某种类型的对象转换成其他类型的对象，或是给一个类增加方法。通过这些功能，可以实现非常强大的功能。

  
• 02.26 19:38:33
  发表了文章 2023-02-26 19:38:33

  Could not find a suitable table factory for ‘org.apache.flink.table.factories.TableSourceFactory

  这是在提交yarn时报的错误，原因其实就是少了一些包，提交的集群后一些依赖包使用flink的lib目录下的，所以我需要将一些依赖包放到lib目录下。

  
• 02.26 19:37:21
  发表了文章 2023-02-26 19:37:21

  flink报错踩坑：org.apache.flink.table.catalog.hive.client.HiveShimV100.registerTemporaryFunction

  当想使用本地开发环境运行flink读写线上hive数据来运行时报错。我使用maven管理的开发环境依赖。由于代码发布到测试环境集群上跑时并没有报错，而测试环境对应的依赖都是使用放在上面的依赖jar的，并不使用本地maven管理的依赖（也就是没有打入项目jar）。所以我猜测是本地运行环境依赖有问题，也就是项目中maven的pom文件的依赖有问题。

  
• 02.26 19:35:46
  发表了文章 2023-02-26 19:35:46

  报错FileSystemException: /datas/nodes/0/indices/gtTXk-hnTgKhAcm-8n60Jw/1/index/.es_temp_file

  首先我碰到的问题是服务器突然断电导致elasticsearch宕机，当我再次启动的时候 >FileSystemException: /data/elasticsearchDatas/datas/nodes/0/indices/gtTXk-hnTgKhAcm-8n60Jw/1/index/.es_temp_file: 结构需要清理

  
• 02.26 19:34:21
  发表了文章 2023-02-26 19:34:21

  Internal error XFS_WANT_CORRUPTED_GOTO at line 1635 of file fs/xfs/libxfs/xfs_alloc.c.

  下面为解决问题中报的错误： Internal error XFS_WANT_CORRUPTED_GOTO at line 1635 of file fs/xfs/libxfs/xfs_alloc.c. Caller xfs_free_extent

  
• 02.26 19:33:00
  发表了文章 2023-02-26 19:33:00

  单机版redis的安装

  环境准备: 系统：centos7 第一步：下载redis安装包 服务器执行以下命令下载redis安装包
• 02.26 19:31:46
  发表了文章 2023-02-26 19:31:46

  scala中的模式匹配和样例类

  scala有一个十分强大的模式匹配机制，可以应用到很多场合。java switch caseswitch语句类型查询以及快速获取数据并且scala还提供了样例类，对模式匹配进行了优化，可以快速进行匹配。

  
• 02.26 19:30:00
  发表了文章 2023-02-26 19:30:00

  scala中的提取器

  提取器是从传递给它的对象中提取出构造该对象的参数。(回想样例类进行模式匹配提取参数)scala 提取器是一个带有unapply方法的对象。==unapply方法算是apply方法的反向操作==unapply接受一个对象，然后从对象中提取值，提取的值通常是用来构造该对象的值

  
• 02.26 19:28:42
  发表了文章 2023-02-26 19:28:42

  scala中的泛型

  scala和Java一样，类和特质、方法都可以支持泛型。我们在学习集合的时候，一般都会涉及到泛型。
• 02.26 19:27:23
  发表了文章 2023-02-26 19:27:23

  scala中的异常处理

  执行程序，可以看到scala抛出了异常，而且没有打印出来"你好"。说明程序出现错误后就终止了。那怎么解决该问题呢？
• 02.26 19:22:33
  发表了文章 2023-02-26 19:22:33

  hive的窗口函数、分析函数有哪些？

  窗口函数FIRST_VALUE：取分组内排序后，截止到当前行，第一个值LAST_VALUE： 取分组内排序后，截止到当前行，最后一个值LEAD(col,n,DEFAULT) ：用于统计窗口内往下第n行值。第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL）LAG(col,n,DEFAULT) ：与lead相反，用于统计窗口内往上第n行值。第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL）OVER从句1、使用标准的聚
• 02.26 19:20:12
  发表了文章 2023-02-26 19:20:12

  pymongodb 的update_one、replace_one的参数

  这样写，会查出如果存在就更新，如果不存在就插入。
• 02.26 19:17:08
  发表了文章 2023-02-26 19:17:08

  远程协议RDP

  什么是远程桌面协议（RDP）？远程桌面协议 (RDP) 指的是用于远程使用桌面计算机的协议或技术标准。远程桌面软件可以使用几种不同的协议，如 RDP、独立计算架构 (ICA) 和虚拟网络计算 (VNC) 等，但 RDP 是最常用的协议。RDP 最初由微软公司发布，可用于大多数 Windows 操作系统，但 Mac 操作系统也提供相应的支持。“远程桌面”是什么意思？
• 02.26 18:31:51
  发表了文章 2023-02-26 18:31:51

  windows计划任务所遇到的闪退、触发器没有按时执行的坑

  1、如图：在设置执行程序或脚本时，请一定要给起始于这个bat脚本的目录路径，否则会遇到执行计划任务闪退，对于网上给的尾行加pause也是心很累。

  
• 02.26 18:25:07
  发表了文章 2023-02-26 18:25:07

  flink自定义sink，以入solr、mongodb为例

  自定义sink需要继承 RichSinkFunction，重写open、invoke、close三个方法，open方法主要实现一些公共资源的开启工作，如mongo、solr的连接客户端。invoke会在每条数据进入后调用，主要写一些数据的转化、插入、查询等具体的实际业务。

2022年12月

• 12.27 16:25:32
  发表了文章 2022-12-27 16:25:32

  带你理解并使用flink中的Time、Window（窗口）、Windows Function（窗口函数）

  flink中，streaming流式计算被设计为用于处理无限数据集的数据处理引擎，其中无限数据集是指一种源源不断有数据过来的数据集，window （窗口）将无界数据流切割成为有界数据流进行处理的方式。实现方式是将流分发到有限大小的桶（bucket）中进行分析。flink 中的streaming定义了多种流式处理的时间，Event Time（事件时间）、Ingestion Time（接收时间）、Processing Time（处理时间）。

  

2022年06月

• 06.20 10:21:50
  发表了文章 2022-06-20 10:21:50

  Prometheus+Grafana安装配置inux服务器监控

  prometheus是谷歌用golang语言开发的一款开源的监控软件，使用安装在远程机器上的exporter，通过HTTP协议从远程的机器收集数据并存储在本地的时序数据库上。 Prometheus为了支持各种中间件以及第三方的监控提供了exporter，大家可以把它理解成监控适配器，将不同指标类型和格式的数据统一转化为Prometheus能够识别的指标类型。

  

2022年05月

• 05.24 22:26:33
  发表了文章 2022-05-24 22:26:33

  elasticsearch-head插件的使用

  由于es服务启动之后，访问界面比较丑陋，为了更好的查看索引库当中的信息，我们可以通过安装elasticsearch-head这个插件来实现，这个插件可以更方便快捷的看到es的管理界面

  
• 05.24 10:08:18
  发表了文章 2022-05-24 10:08:18

  学习flink的state

  Apache Flink® — Stateful Computations over Data Streams，数据流上的状态计算。可以看出flink默认它是一个默认就有状态的分析引擎，State一般指一个具体的 Task/Operator 的状态，State数据默认保存在 Java 的堆内存中。 假设一个 Task 在处理过程中挂掉了，那么它在内存中的状态都会丢失，所有的数据都需要重新计算。从容错和消息处理的语义（At -least-once 和 Exactly-once）上来说，Flink引入了State 和 CheckPoint。