Byyyi_社区达人页

2024年05月

• 05.06 08:16:55
  发表了文章 2024-05-06 08:16:55

  【科研入门】评价指标AUC原理及实践

  该文介绍了二分类问题的评估指标，特别是AUC的概念和重要性。文章首先讲解了混淆矩阵，包括TP、FP、FN和TN的含义，然后讨论了准确率、精确率和召回率，并指出它们在处理不平衡数据集时的局限性。接着，作者解释了阈值对分类结果的影响以及如何通过调整阈值平衡精确率和召回率。最后，文章重点介绍了ROC曲线和AUC，说明AUC作为衡量模型性能的无参数指标，其值越接近1表示模型性能越好。AUC可以通过计算ROC曲线下的面积或比较样本对的预测得分来求得。

  
• 05.06 08:14:56
  发表了文章 2024-05-06 08:14:56

  解决Pycharm安装后无法导入库的问题

  解决Pycharm导入库问题：进入Settings，选择Project的`Python Interpreter`，点击Add Interpreter。删除`.venv`文件夹内容，然后关闭并重启Pycharm以初始化新环境，现在可以正常导入库了。

  
• 05.06 08:05:02
  发表了文章 2024-05-06 08:05:02

  Spark安装教程

  该教程详细介绍了在Linux环境下安装Spark 3.1.2的步骤。首先，检查JDK版本需为1.8。接着，下载Spark资源并设置环境变量`SPARK_HOME`。配置`spark-env.sh`和`yarn-site.xml`文件，禁用内存检查。然后，重启Hadoop集群，启动Spark集群，并通过`jps -ml`检查Spark Master和Worker。可以通过Web UI访问Spark状态，并使用`spark-shell`测试Scala交互环境及Spark on Yarn。最后，学习如何关闭Spark集群。

  
• 05.06 08:03:27
  发表了文章 2024-05-06 08:03:27

  Scala 02——Scala OOP

  Scala 是一种纯粹的面向对象编程（OOP）语言，它不支持基本类型，所有数据都作为对象处理，即使在JVM上运行也会自动处理拆装箱。Scala 不包含静态关键字，其“静态”概念体现在类型系统和单例对象中，类型检查都在编译时完成。类型推断、类型预定和动静结合是其特点，例如，Scala 支持协变和逆变，使得泛型编程更加灵活。此外，Scala 的类、继承、抽象类、单例对象和泛型等特性提供了丰富的编程模型。例如，单例对象可以看作静态成员的替代品，同时具备惰性初始化和与类的绑定关系。

  
• 05.06 08:01:35
  发表了文章 2024-05-06 08:01:35

  Scala 04 —— Scala Puzzle 拓展

  Scala 程序设计探讨了占位符、模式匹配、继承中的成员声明、默认值与重载以及集合操作的一致性。示例展示了 `_` 占位符在函数简洁性上的应用，同时指出它不等同于箭头函数，因为函数体内的副作用可能不同。另外，解释了变量与常量模式，以及在继承中字段初始化的顺序。在集合操作中，`for`循环与`map`的区别在于`for`会过滤不符合模式的元素，而`map`则会引发错误。最后，讨论了如何确保集合类型在操作中保持一致。

  
• 05.06 07:59:36
  发表了文章 2024-05-06 07:59:36

  Scala 05 —— 函数式编程底层逻辑

  Scala讲座探讨了函数式编程的底层逻辑，强调无副作用和确定性。函数式编程的核心是纯函数，避免读写数据等副作用，将其移至代码边缘处理。函数输入输出应清晰定义，避免模糊参数。函数视为数据范畴间的映射，以范畴论为基础。业务逻辑转化为纯函数式，通过声明式编程实现解耦，关注输入输出而非过程，便于验证和自动编程。将业务逻辑视作流水线，每个函数处理数据，避免全局变量和`var`，优先确保正确性再优化效率。

  
• 05.06 07:54:50
  发表了文章 2024-05-06 07:54:50

  Scala 03 —— Scala OOP Extension

  Scala OOP 拓展
• 05.06 07:53:00
  发表了文章 2024-05-06 07:53:00

  Scala应用 —— JDBC的创建

  这篇文章介绍了如何使用Scala实现JDBC连接。首先，通过在pom.xml添加MySQL JDBC驱动依赖，然后使用`Class.forName()`加载驱动，接着创建连接对象。初始化执行器涉及创建执行器对象和设置参数。执行操作时，根据DML（数据修改语言）和DQL（数据查询语言）返回不同结果。文章提出了一个柯里化的`jdbc`函数，以处理不同操作步骤和多类型结果。结果类型通过枚举和抽象类`Three`的子类来表示，包括异常、DML影响行数和DQL查询结果。最后，展示了`jdbc`方法的实现，以及如何处理结果并转换为具体对象。代码示例中，查询结果被转换为`Test`对象数组并打印。

  
• 05.06 07:50:27
  发表了文章 2024-05-06 07:50:27

  ZooKeeper详解

  ZooKeeper是大数据组件中的协调器，确保高可用性和一致性。它用于监控主备节点切换（如Hadoop YARN的ResourceManager，HBase的RegionServer，Spark的Master）并实现数据同步。设计基于文件系统和通知机制，通过Znodes的状态变化（创建、删除、更新、子节点变化）进行协调。ZooKeeper使用观察者模式，当Znode变化时，通知客户端。其数据结构为树形，提供CLI工具如`zkCli.sh`进行交互。ZooKeeper有三个默认端口：2181（客户端连接），2888（服务器间同步），3888（选举）。选举采用半数机制，确保集群稳定性。

  
• 05.06 07:48:32
  发表了文章 2024-05-06 07:48:32

  MySQL常见问题解决和自动化安装脚本

  这篇内容包含了两个主要部分：解决MySQL登录问题和处理GPG密钥问题。当MySQL密码正确但无法登录时，可以通过执行SQL命令`ALTER USER`和`flush privileges`来修改和重置密码。对于MySQL安装时的GPG密钥错误，首先需要强制删除旧的MySQL仓库包，导入新的GPG公钥，然后安装MySQL服务器。如果遇到GPG检查错误，可以使用`--nogpgcheck`参数忽略检查来安装。最后，提供了一个自动化安装MySQL的脚本，用于检查旧版本、卸载残留、安装MySQL8并启动服务。

  
• 05.06 07:47:06
  发表了文章 2024-05-06 07:47:06

  Spark01 —— Spark基础

  Spark基础