Maynor_社区达人页

2022年12月

• 12.19 17:12:32
  发表了文章 2022-12-19 17:12:32

  工作常用之Yarn详解【五】资源调度与隔离

  在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负责资源的分配，而NodeManager则负责资源的供给和隔离。

  
• 12.19 17:06:55
  发表了文章 2022-12-19 17:06:55

  Cloudera Manager环境搭建【二】

  默认的方式下linux会把文件访问的时间atime做记录，文件系统在文件被访问、创建、修改等的时候记录下了文件的一些时间戳，比如：文件创建时间、最近一次修改时间和最近一次访问时间；这在绝大部分的场合都是没有必要的。

  
• 12.19 16:56:11
  发表了文章 2022-12-19 16:56:11

  工作常用之Hive 调优【四】HQL 语法优化

  列裁剪就是在查询时只读取需要的列，分区裁剪就是只读取需要的分区。当列很多或者数据量很大时，如果 select * 或者不指定分区，全列扫描和全表扫描效率都很低。

  
• 12.19 16:55:16
  发表了文章 2022-12-19 16:55:16

  实时即未来，车联网项目之远程诊断实时故障分析【七】

  geohash 就是将地图上位置（经纬度）转换成偶数位是经度、奇数数是维度，新的二进制字节，转换成字符串，用字符串代表某一个地理位置。
• 12.19 16:49:28
  发表了文章 2022-12-19 16:49:28

  工作常用之Hive 调优【三】 Explain 查看执行计划及建表优化

  在查询时通过 WHERE 子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多，所以我们需要把常常用在 WHERE 语句中的字段指定为表的分区字段。

  
• 12.19 16:48:35
  发表了文章 2022-12-19 16:48:35

  实时即未来，车联网项目之电子围栏分析【六】

  翻滚窗口电子围栏对象模型流数据与电子围栏分析结果数据广播流进行connect

  
• 12.19 16:47:53
  发表了文章 2022-12-19 16:47:53

  实时即未来，车联网项目之车辆驾驶行为分析【五】

  单次行驶里程区间分布、单次行程消耗soc区间分布、最大里程分布、充电行程占比、平均行驶里程分布、周行驶里程分布、最大行驶里程分段统计、常用行驶里程、全国-每日平均行驶里程(近4周)、全国-单车日均行驶里程分布(近一年)、各车系单次最大行驶里程分布、不同里程范围内车辆占比情况。

  
• 12.19 16:47:15
  发表了文章 2022-12-19 16:47:15

  实时即未来，车联网项目之phoenix on hbase 即席查询【四】

  实时即未来，车联网项目之phoenix on hbase 即席查询【四】
• 12.19 16:46:29
  发表了文章 2022-12-19 16:46:29

  实时即未来，车联网项目之将数据落地到文件系统和数据库【三】

  批量写入需要使用的缓存对象 - BufferedMutator 写数据的原理将数据按批次写入到 BufferedMutator 对象中，按时间或者按大小写入。

  
• 12.19 16:45:48
  发表了文章 2022-12-19 16:45:48

  实时即未来，车联网项目之原始终端数据实时ETL【二】

  实时即未来，车联网项目之原始终端数据实时ETL【二】

  
• 12.19 16:45:04
  发表了文章 2022-12-19 16:45:04

  工作常用之Spark调优【二】资源调优

  使用 kryo 序列化并且使用 rdd 序列化缓存级别。使用 kryo 序列化需要修改 spark 的序列化模式，并且需要进程注册类操作。

  
• 12.19 16:44:26
  发表了文章 2022-12-19 16:44:26

  工作常用之Spark调优【一】

  Spark 3.0 大版本发布， Spark SQL 的优化占比将近 50% 。 Spark SQL 取代 Spark Core ，成为新一代的引擎内核，所有其他子框架如 Mllib 、 Streaming 和 Graph ，都可以共享 SparkSQL 的性能优化，都能从 Spark 社区对于 Spark SQL 的投入中受益。

  
• 12.19 16:43:39
  发表了文章 2022-12-19 16:43:39

  2022年最新Python大数据之Python基础【九】面向对象与继承

  一般实例属性写在实例方法中，调用该方法才能获取实例属性，对象创建后，其中一个实例调用该方法，获取实例属性，其余对象不发生变化
• 12.19 16:42:52
  发表了文章 2022-12-19 16:42:52

  2022年最新Python大数据之Python基础【八】文件的操作与类

  read：如果（）内填写数字，则读取指定字符的字符串，每次读取指定字符，在一个文件开启后，多次读取会持续向后读取字符，如果字符全部读取完成将会返回空字符串“”
• 12.19 16:42:12
  发表了文章 2022-12-19 16:42:12

  2022年最新Python大数据之Python基础【七】参数与管理系统

  在开发中除非有特殊需求，一般参数种类不超过三种，参数个数不超过5个，如果种类或数量太多，会造成我们开发中沟通成本加大
• 12.19 16:41:30
  发表了文章 2022-12-19 16:41:30

  大数据运维之MySQL备份及恢复

  能够防止由于机械故障以及人为误操作带来的数据丢失，例如将数据库文件保存在了其它地方。 冗余： 数据有多份冗余，但不等备份，只能防止机械故障还来的数据丢失，例如主备模式、数据库集群。

  
• 12.19 16:40:46
  发表了文章 2022-12-19 16:40:46

  2022年最新Python大数据之Python基础【六】函数与变量

  函数的调用顺序：从上到下依次执行，先键函数名保存到函数列表中，调用的时候去类表中查询，如果存在则调用其中的代码，如果不存在则报错
• 12.19 16:39:44
  发表了文章 2022-12-19 16:39:44

  2022年最新Python大数据之Python基础【五】（列表、字典和集合）

  index：从左至右查询元素在列表中所处的位置，如果查询到该元素返回其第一次出现所在位置的正向下标，如果不存在则报错
• 12.19 16:38:58
  发表了文章 2022-12-19 16:38:58

  2022年最新Python大数据之Python基础【四】字符串

  index：查找字符串中子字符串所在位置i，如果有该字符串，查询其从左至右第一次出现的位置的正数索引，否则报错。
• 12.19 16:37:59
  发表了文章 2022-12-19 16:37:59

  2022年最新Python大数据之Python基础【三】循环

  死循环不是bug，是程序的一种特殊运行状态，程序员可以用死循环做很多事情
• 12.19 16:37:17
  发表了文章 2022-12-19 16:37:17

  2022年最新Python大数据之Excel基础

  使用排序的方法删除重复项有一个问题，当数据是一串编码时，依然难以用肉眼看出重复的编码。

  
• 12.19 16:36:32
  发表了文章 2022-12-19 16:36:32

  2022年最新Python大数据之Python基础【二】运算符

  f-string是Python3.6之后出现的格式化语法
• 12.19 16:35:39
  发表了文章 2022-12-19 16:35:39

  2022年最新Python大数据之Python基础【一】介绍

  Python解释器是将Python代码解释为机器语言（二进制文件）的一种工具
• 12.19 16:34:50
  发表了文章 2022-12-19 16:34:50

  Java私活300元，完成JavaWeb志愿者管理系统（四）

  创建一个并点击勾选志愿者管理系统后台的各种属性，代码生成器勾选增删改查等条件，然后自动生成即可。

  
• 12.19 16:34:03
  发表了文章 2022-12-19 16:34:03

  Java私活200元，完成JavaSwing学生成绩管理系统（三）

  系统功能： 提供学生成绩的査询功能,输入学生的学号,能査找出该生各学期的成绩，并能够对成绩数据进行添加、删除、修改等基本操作和统计计算。

  
• 12.19 16:33:06
  发表了文章 2022-12-19 16:33:06

  Java技术变现500元，做个JavaWeb仓储管理网站（二）

  生成的内容示例（Java，Java的有idea版本和eclipse版本，C#的是用Visual Stdio运行的），只要将sql文件导入即可，mysql或者sqlserver脚本都会生成可以在系统中配置更改。还有数据库设计文档也一并生成了！

  
• 12.19 16:32:12
  发表了文章 2022-12-19 16:32:12

  大数据接私活200元，做个简易的HDFS浏览器（一）

  大数据接私活200元，做个简易的HDFS浏览器（一）

  
• 12.19 16:31:05
  发表了文章 2022-12-19 16:31:05

  Flink应用案例统计实现TopN的两种方式

  在窗口中可以用一个 HashMap 来保存每个 url 的访问次数，只要遍历窗口中的所有数据，自然就能得到所有 url 的热门度。最后把 HashMap 转成一个列表 ArrayList，然后进行排序、取出前两名输出就可以了。

  
• 12.19 16:30:25
  发表了文章 2022-12-19 16:30:25

  三行代码简单修改jar包的项目代码

  三行代码简单修改jar包的项目代码

  
• 12.19 16:29:34
  发表了文章 2022-12-19 16:29:34

  工作总结之因为笛卡尔积问题写SQL搞了半天[害]（附笛卡尔积总结）

  在关系数据库中，一个查询往往会涉及多个表，因为很少有数据库只有一个表，而如果大多查询只涉及到一个表的，那么那个表也往往低于第三范式，存在大量冗余和异常。

  
• 12.19 16:28:41
  发表了文章 2022-12-19 16:28:41

  工作总结之服务器时间不同步导致平台验证失败及Linux系统时间同步方法

  在Windwos中，系统时间的设置很简单，界面操作，通俗易懂，而且设置后，重启，关机都没关系。系统时间会自动保存在BIOS时钟里面，启动计算机的时候，系统会自动在BIOS里面取硬件时间，以保证时间的不间断。

  
• 12.19 16:27:09
  发表了文章 2022-12-19 16:27:09

  CPU使用率过高问题排查及Linux之top命令用法详解

  hi(hardirq)：表示 CPU 处理硬中断所花费的时间。硬中断是由外设硬件（如键盘控制器、硬件传感器等）发出的，需要有中断控制器参与，特点是快速执行。

  
• 12.19 16:26:10
  发表了文章 2022-12-19 16:26:10

  工作总结之linux防火墙配置命令适用centos7、centos8

  在配置文件目录/etc/firewalld/zones中创建、或者拷贝系统默认的/usr/lib/firewalld/zones区域（zone）中的服务配置文件（XML），然后使用vim直接做出相应修改。
• 12.19 16:25:25
  发表了文章 2022-12-19 16:25:25

  DCM：中间件家族迎来新成员

  现代应用无时无刻不在与数据打交道，数据计算无处不在，报表统计、数据分析、业务处理不一而足。当前数据处理的主要手段仍然是以关系数据库为代表的相关技术，虽然使用高级语言（如Java）硬编码也能实现各类计算，但远不如数据库（SQL）方便，数据库在当代数据处理中仍然发挥举足轻重的作用。

  
• 12.19 16:24:36
  发表了文章 2022-12-19 16:24:36

  社交用户画像之集群搭建【二】

  得出结论, 如果计算 260G 的数据, 可能和计算 60G 的数据, 所需要的内存一样, Spark 会逐个取数据, 逐个计算, 计算完成后抛弃, 再取下一条
• 12.19 16:23:47
  发表了文章 2022-12-19 16:23:47

  工作记录之ORacleSQL报错:oracle ORA-01476:divisor is equal to zero

  com.alibaba.datax.common.exception.DataXException: Code:[Framework-14], Description:[DataX传输脏数据超过用户预期，该错误通常是由于源端数据存在较多业务脏数据导致，请仔细检查DataX汇报的脏数据日志信息, 或者您可以适当调大脏数据阈值 .]. - 脏数据条数检查不通过，限制是[0]条，但实际上捕获了[42]条.
• 12.19 16:23:02
  发表了文章 2022-12-19 16:23:02

  Kylin的入门实战

  Kylin 是一个 Hadoop 生态圈下的 MOLAP 系统，是 ebay 大数据部门从2014 年开始研发的支持 TB 到 PB 级别数据量的分布式 Olap 分析引擎。

  
• 12.19 16:22:08
  发表了文章 2022-12-19 16:22:08

  CDH性能优化（参数配置）

  NameNode中用于处理RPC调用的线程数,即指定NameNode 的服务器线程的数量。NameNode有一个工作线程池用来处理客户端的远程过程调用及集群守护进程的调用，处理程序数量越多意味着要更大的池来处理来自不同DataNode的并发心跳以及客户端并发的元数据操作）。
• 12.19 16:21:21
  发表了文章 2022-12-19 16:21:21

  物流项目中SparkSQL的相关调优

  编写完成从Kafka消费数据，打印控制台上，其中创建SparkSession实例对象时，需要设置参数值。
• 12.19 16:20:06
  发表了文章 2022-12-19 16:20:06

  大数据物流项目中CM的安装与运用

  使用CM安装CDH集群时，针对每个框架（比如，HDFS、MAPREDUCE、YARN等）创建用户，不可以被用于登录操作系统。以框架名称创建用户，所有用户名为框架名称。

  
• 12.19 16:19:16
  发表了文章 2022-12-19 16:19:16

  物流项目中Oracle 数据库的使用及OGG是如何同步

  ​ 针对整个物流项目来说，数据采集属于实时增量采集数据，只要业务数据一旦产生，就立即将业务数据获取，进行ETL转换，存储到存储引擎中（比如Kudu数据库和Es索引等）。

  
• 12.19 16:18:29
  发表了文章 2022-12-19 16:18:29

  今日指数项目之FlinkCEP入门案例

  在test源码目录下创建测试类：cn.itcast.LoginFailDemo
• 12.19 16:17:24
  发表了文章 2022-12-19 16:17:24

  大数据繁荣生态圈组件之实时大数据Druid小传(二)Druid架构与原理

  索引服务是数据摄入创建和销毁Segment的重要方式，Druid提供一组支持索引服务(Indexing Service)的组件，即Overlord和MiddleManager节点。

  
• 12.19 16:16:34
  发表了文章 2022-12-19 16:16:34

  大数据繁荣生态圈组件之实时大数据Druid小传(一)

  根据上面的总结，随着每日增量数据的累加，短期来看mysql数据库是能够承载一定程度的数据量的，但是长期来看，mysql数据库将不堪重负。因此，我们需要寻找mysql数据库的替代方案，这里我们选择了apache druid实时数据库。

  
• 12.19 16:15:28
  发表了文章 2022-12-19 16:15:28

  SparkDSL修改版之从csv文件读取数据并写入Mysql

  SparkDSL修改版之从csv文件读取数据并写入Mysql
• 12.19 16:14:38
  发表了文章 2022-12-19 16:14:38

  错误: 无法将类 HTable中的构造器 HTable应用到给定类型；

  错误: 无法将类 HTable中的构造器 HTable应用到给定类型；

  
• 12.19 16:13:50
  发表了文章 2022-12-19 16:13:50

  OracleDBA精选面试题

  热备份针对归档模式的数据库，在数据库仍旧处于工作状态时进行备份。而冷备份指在数据库关闭后，进行备份，适用于所有模式的数据库。热备份的优点在于当备份时，数据库仍旧可以被使用并且可以将数据库恢复到任意一个时间点。
• 12.19 16:12:51
  发表了文章 2022-12-19 16:12:51

  Spring Boot 整合 RabbitMQ

  Spring Boot 整合 RabbitMQ

  
• 12.19 16:11:44
  发表了文章 2022-12-19 16:11:44

  快速入门RabbitMQ

  快速入门RabbitMQ

  
• 12.19 16:10:40
  发表了文章 2022-12-19 16:10:40

  Java大数据面试复习30天冲刺 - 日积月累，每日五题【Day04】——JavaSE

  线程的生命周期:线程要经历新建、就绪、运行(活动)、阻塞和死亡五种不同的状态。这五种状态都可以通过Thread类中的方法进行控制。