GoAlaaa_社区达人页

2022年10月

• 10.18 18:49:14
  发表了文章 2022-10-18 18:49:14

  音乐推荐系统

  项目描述：利用各类元数据为特征构建推荐系统，使用cb、cf算法做推荐召回，使用redis数据库做缓存处理，结合机器学习LR推荐排序，实现推荐引擎搭建。

  
• 10.18 18:45:45
  发表了文章 2022-10-18 18:45:45

  TF-IDF及相似度计算

  TF-IDF：衡量某个词对文章的重要性由TF和IDF组成 TF：词频(因素：某词在同一文章中出现次数) IDF：反文档频率(因素：某词是否在不同文章中出现) TF-IDF = TF*IDF TF ：一个单词在一篇文章出现次数越多越重要 IDF: 每篇文章都出现的单词(如的，你，我，他) ，越不重要

  
• 10.18 18:42:54
  发表了文章 2022-10-18 18:42:54

  大数据组件综合笔记(二)

  Hadoop：Hadoop是一个分布式存储和计算框架，具有高可靠, 高扩展, 高容错的特点(数据副本和集群)；由底层HDFS分布式文件系统负责存储，和MapReduce负责分布式计算，以及后续增加的yarn负责资源协调管理。
• 10.18 18:42:47
  发表了文章 2022-10-18 18:42:47

  大数据组件综合笔记(一)

  Hadoop：Hadoop是一个分布式存储和计算框架，具有高可靠, 高扩展, 高容错的特点(数据副本和集群)；由底层HDFS分布式文件系统负责存储，和MapReduce负责分布式计算，以及后续增加的yarn负责资源协调管理。
• 10.18 17:35:36
  发表了文章 2022-10-18 17:35:36

  Kafka常见面试问题（二）

  分类专栏： Kafka
• 10.18 17:35:30
  发表了文章 2022-10-18 17:35:30

  Kafka常见面试问题(一)

  Kafka常见面试问题
• 10.18 17:29:44
  发表了文章 2022-10-18 17:29:44

  Flume基础

  Flume是数据采集，日志收集的框架，通过分布式形式进行采集,(高可用分布式)

  
• 10.18 17:20:14
  发表了文章 2022-10-18 17:20:14

  Hive调优

  Hive调优
• 10.18 12:36:05
  发表了文章 2022-10-18 12:36:05

  HBSAE实战总结

  HBSAE实践：(先启动zookeeper)

  
• 10.18 12:31:32
  发表了文章 2022-10-18 12:31:32

  Hive综合

  Hive主要解决海量结构化日志的数据统计分析，它是hadoop上的一种数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类似于SQL的查询方式，本质上来说是将Hive转化成MR程序。

  
• 10.18 12:28:21
  发表了文章 2022-10-18 12:28:21

  Scala学习笔记总结

  Scala学习笔记总结
• 10.18 12:20:13
  发表了文章 2022-10-18 12:20:13

  IDEA最全使用教程

  IDEA官方文档（强推！！！！）： README - IntelliJ-IDEA-Tutoria
• 10.18 00:02:07
  发表了文章 2022-10-18 00:02:07

  Hbase分布式列存储数据库

  HBase 本质上是一个数据模型，可以提供快速随机访问海量结构化数据。利用 Hadoop 的文件系统(HDFS)提供的容错能力。它是 Hadoop 的生态系统，使用 HBase 在 HDFS 读取消费/随机访问数据，是 Hadoop 文件系统的一部分。 HBase 是一个面向列的数据库，在表中它由行排序。表模式定义只能列族，也就是键值对。一个表有多个列族以及每一个列族可以有任意数量的列。后续列的值连续地存储在磁盘上。表中的每个单元格值都具有时间戳。总之，在一个 HBase：表是行的集合、行是列族的集合、列族是列的集合、列是键值对的集合。

  
• 10.17 23:56:48
  发表了文章 2022-10-17 23:56:48

  Spark部署模式、任务提交

  Spark部署模式与任务提交

  
• 10.17 23:49:31
  发表了文章 2022-10-17 23:49:31

  Java学习笔记基础（下）（二）

  基本数据类型对象包装类：是按照面向对象思想将基本数据类型封装成了对象。
• 10.17 23:49:20
  发表了文章 2022-10-17 23:49:20

  Java学习笔记基础（下）（一）

  基本数据类型对象包装类：是按照面向对象思想将基本数据类型封装成了对象。

  
• 10.17 23:28:37
  发表了文章 2022-10-17 23:28:37

  Java学习笔记基础（上）

  1，明确需求。我要做什么？ 2，分析思路。我要怎么做？1,2,3。 3，确定步骤。每一个思路部分用到哪些语句，方法，和对象。 4，代码实现。用具体的java语言代码把思路体现出来。 学习新技术的四点： 1，该技术是什么？ 2，该技术有什么特点(使用注意)： 3，该技术怎么使用。demo 4，该技术什么时候用？test。
• 10.13 12:46:27
  发表了文章 2022-10-13 12:46:27

  Java学习笔记基础（中）（二）

  Java学习笔记基础
• 10.13 12:45:54
  发表了文章 2022-10-13 12:45:54

  Java学习笔记基础（中）（一）

  Java学习笔记基础
• 10.13 12:30:17
  发表了文章 2022-10-13 12:30:17

  Hive数仓基本概念介绍

  Hive数仓基本概念介绍

  
• 10.12 13:10:14
  发表了文章 2022-10-12 13:10:14

  Java-HashMap实现原理

  数组和链表组合成的链表散列结构，通过hash算法，尽量将数组中的数据分布均匀，如果hashcode相同再比较equals方法，如果equals方法返回false，那么就将数据以链表的形式存储在数组的对应位置，并将之前在该位置的数据往链表的后面移动，并记录一个next属性，来指示后移的那个数据。注意数组中保存的是entry,其中保存的是键值. HashMap可以接受null键值和值，而HashTable则不能；HashMap是非synchronized;HashMap很快；以及HashMap储存的是键值对等等.

  
• 10.12 13:06:55
  发表了文章 2022-10-12 13:06:55

  数据结构思维导图汇总

  数据结构思维导图汇总

  
• 10.12 13:05:06
  发表了文章 2022-10-12 13:05:06

  Anaconda基础命令总结

  Anaconda基础命令总结
• 10.12 13:01:40
  发表了文章 2022-10-12 13:01:40

  zookeeper3.4.5集群安装

  zookeeper3.4.5集群安装

  
• 10.12 12:57:19
  发表了文章 2022-10-12 12:57:19

  Zookeeper的Leader选举

  Leader选举是保证分布式数据一致性的关键所在。Leader选举分为Zookeeper集群初始化启动时选举和Zookeeper集群运行期间Leader重新选举两种情况。在讲解Leader选举前先了解一下Zookeeper节点4种可能状态和事务ID概念。

  
• 10.12 12:55:10
  发表了文章 2022-10-12 12:55:10

  Hive数据分析实战

  有以下几张数据表，请写出Hive SQL语句，实现以下需求。 注：分区字段为dt，代表日期。
• 10.12 12:51:55
  发表了文章 2022-10-12 12:51:55

  Zookeeper概念介绍

  ZooKeeper是一个分布式的，开放源码的，用于分布式应用程序的协调服务。zookeeper服务端有两种模式：单机的独立模式和集群的仲裁模式，所谓仲裁是指一切事件只要满足多数派同意就执行，不需要等到集群中的每个节点反馈才执行。Zookeeper本身也是服从主从架构的，在仲裁模式下会有一个主要的节点作为Leader(领导者)，而其余集群中的节点作为Follower(公民)，对某一事件是否执行，leader都会先征询各个follower的反馈信息再做决定，如果多数派同意，leader就将命令下发到所有的follower去执行。

  
• 10.12 12:46:43
  发表了文章 2022-10-12 12:46:43

  数据结构与算法笔记总结(二)

  数据结构与算法笔记总结
• 10.12 12:46:39
  发表了文章 2022-10-12 12:46:39

  数据结构与算法笔记总结(一)

  数据结构与算法笔记总结

  
• 10.12 12:34:46
  发表了文章 2022-10-12 12:34:46

  Python常用函数总结

  Python常用函数总结
• 10.12 11:17:45
  发表了文章 2022-10-12 11:17:45

  Mysql常见面试题（二）

  如果没有显式定义主键，则InnoDB会选择第一个不包含有NULL值的唯一索引作为主键索引。
• 10.12 11:14:23
  发表了文章 2022-10-12 11:14:23

  Mysql常见面试题（一）

  如果没有显式定义主键，则InnoDB会选择第一个不包含有NULL值的唯一索引作为主键索引。
• 10.12 11:08:08
  发表了文章 2022-10-12 11:08:08

  Git常用命令总结

  Git常用命令总结
• 10.12 11:05:17
  发表了文章 2022-10-12 11:05:17

  Java设计模式介绍

  设计模式有两种分类方法，即根据模式的目的来分和根据模式的作用的范围来分。
• 10.12 11:03:33
  发表了文章 2022-10-12 11:03:33

  HDFS

  HDFS 是一个分布式文件系统，负责文件存储。它的文件系统和平时看到的Linux很像，有目录结构，顶层目录是/，存放着文件，以及可以对文件进行增删，修改，移动等功能，不同的是它具有分布式的特点，hdfs的文件系统可以横跨多个机器，文件可能是存储在不同机器上的，但用户在使用时会被当作是存储在一台机器上。

  
• 10.12 10:57:55
  发表了文章 2022-10-12 10:57:55

  Mapreduce概念及流程介绍

  Mapreduce概念及流程介绍

  
• 10.12 10:53:35
  发表了文章 2022-10-12 10:53:35

  Python思维导图框架总结

  Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。

  
• 10.12 10:37:14
  发表了文章 2022-10-12 10:37:14

  Python学习总结

  Python基础

  
• 10.12 10:31:18
  发表了文章 2022-10-12 10:31:18

  Linux命令总结

  Linux命令总结

  
• 10.12 10:19:48
  发表了文章 2022-10-12 10:19:48

  Python数据分析（二）：DataFrame基本操作

  查看数据(查看对象的方法对于Series来说同样适用)
• 10.12 10:15:24
  发表了文章 2022-10-12 10:15:24

  Yarn分布式集群操作系统

  Apache Hadoop YARN 是 apache Software Foundation Hadoop的子项目，为分离Hadoop2.0资源管理和计算组件而引入。YARN的诞生缘于存储于HDFS的数据需要更多的交互模式，不单单是MapReduce模式。Hadoop2.0 的YARN 架构提供了更多的处理框架，不再强迫使用MapReduce框架。

  
• 10.12 10:09:42
  发表了文章 2022-10-12 10:09:42

  大数据hadoop常见端口

  大数据常见端口汇总

  
• 10.12 10:06:31
  发表了文章 2022-10-12 10:06:31

  大数据各组件环境完整安装

  首先安装Centos系统修改网络配置： 我的三台机器： master 192.168.179.10 slave1 192.168.179.11 slava2 192.168.179.12 各组件端口号查看： http://www.gaohongwei.cn/530/ CentOS7配置NAT模式网络详细步骤(亲测版) https://blog.csdn.net/Jackson_mvp/article/details/100856966
• 10.12 10:03:02
  发表了文章 2022-10-12 10:03:02

  Hadoop常见命令总结

  常见基础命令： • 启动Hadoop • 进入HADOOP_HOME目录。 • 执行sh bin/start-all.sh • 关闭Hadoop • 进入HADOOP_HOME目录。 • 执行sh bin/stop-all.sh
• 10.12 09:53:24
  发表了文章 2022-10-12 09:53:24

  Python数据分析（一）：Pandas、Numpy

  作为python数据分析库，Pandas是基于NumPy数组构建的，使数据预处理、清洗、分析工作变得更快更简单。pandas是专门为处理表格和混杂数据设计的，而NumPy更适合处理统一的数值数组数据。