勋章
我关注的人
粉丝
技术能力
暂时未有相关云产品技术能力~
暂无个人介绍
-
发表了文章 2022-12-19
实时即未来，车联网项目之phoenix on hbase 即席查询【四】
实时即未来，车联网项目之phoenix on hbase 即席查询【四】
-
发表了文章 2022-12-19
实时即未来，车联网项目之将数据落地到文件系统和数据库【三】
批量写入需要使用的缓存对象 - BufferedMutator 写数据的原理将数据按批次写入到 BufferedMutator 对象中，按时间或者按大小写入。
-
发表了文章 2022-12-19
实时即未来，车联网项目之原始终端数据实时ETL【二】
实时即未来，车联网项目之原始终端数据实时ETL【二】
-
发表了文章 2022-12-19
工作常用之Spark调优【二】资源调优
使用 kryo 序列化并且使用 rdd 序列化缓存级别。使用 kryo 序列化需要修改 spark 的序列化模式，并且需要进程注册类操作。
-
发表了文章 2022-12-19
工作常用之Spark调优【一】
Spark 3.0 大版本发布， Spark SQL 的优化占比将近 50% 。 Spark SQL 取代 Spark Core ，成为新一代的引擎内核，所有其他子框架如 Mllib 、 Streaming 和 Graph ，都可以共享 SparkSQL 的性能优化，都能从 Spark 社区对于 Spark SQL 的投入中受益。
-
发表了文章 2022-12-19
2022年最新Python大数据之Python基础【九】面向对象与继承
一般实例属性写在实例方法中，调用该方法才能获取实例属性，对象创建后，其中一个实例调用该方法，获取实例属性，其余对象不发生变化
-
发表了文章 2022-12-19
2022年最新Python大数据之Python基础【八】文件的操作与类
read：如果（）内填写数字，则读取指定字符的字符串，每次读取指定字符，在一个文件开启后，多次读取会持续向后读取字符，如果字符全部读取完成将会返回空字符串“”
-
发表了文章 2022-12-19
2022年最新Python大数据之Python基础【七】参数与管理系统
在开发中除非有特殊需求，一般参数种类不超过三种，参数个数不超过5个，如果种类或数量太多，会造成我们开发中沟通成本加大
-
发表了文章 2022-12-19
大数据运维之MySQL备份及恢复
能够防止由于机械故障以及人为误操作带来的数据丢失，例如将数据库文件保存在了其它地方。 冗余： 数据有多份冗余，但不等备份，只能防止机械故障还来的数据丢失，例如主备模式、数据库集群。
-
发表了文章 2022-12-19
2022年最新Python大数据之Python基础【六】函数与变量
函数的调用顺序：从上到下依次执行，先键函数名保存到函数列表中，调用的时候去类表中查询，如果存在则调用其中的代码，如果不存在则报错
-
发表了文章 2022-12-19
2022年最新Python大数据之Python基础【五】（列表、字典和集合）
index：从左至右查询元素在列表中所处的位置，如果查询到该元素返回其第一次出现所在位置的正向下标，如果不存在则报错
-
发表了文章 2022-12-19
2022年最新Python大数据之Python基础【四】字符串
index：查找字符串中子字符串所在位置i，如果有该字符串，查询其从左至右第一次出现的位置的正数索引，否则报错。
-
发表了文章 2022-12-19
2022年最新Python大数据之Python基础【三】循环
死循环不是bug，是程序的一种特殊运行状态，程序员可以用死循环做很多事情
-
发表了文章 2022-12-19
2022年最新Python大数据之Excel基础
使用排序的方法删除重复项有一个问题，当数据是一串编码时，依然难以用肉眼看出重复的编码。
-
发表了文章 2022-12-19
2022年最新Python大数据之Python基础【二】运算符
f-string是Python3.6之后出现的格式化语法
-
发表了文章 2022-12-19
2022年最新Python大数据之Python基础【一】介绍
Python解释器是将Python代码解释为机器语言（二进制文件）的一种工具
-
发表了文章 2022-12-19
Java私活300元，完成JavaWeb志愿者管理系统（四）
创建一个并点击勾选志愿者管理系统后台的各种属性，代码生成器勾选增删改查等条件，然后自动生成即可。
-
发表了文章 2022-12-19
Java私活200元，完成JavaSwing学生成绩管理系统（三）
系统功能： 提供学生成绩的査询功能,输入学生的学号,能査找出该生各学期的成绩，并能够对成绩数据进行添加、删除、修改等基本操作和统计计算。
-
发表了文章 2022-12-19
Java技术变现500元，做个JavaWeb仓储管理网站（二）
生成的内容示例（Java，Java的有idea版本和eclipse版本，C#的是用Visual Stdio运行的），只要将sql文件导入即可，mysql或者sqlserver脚本都会生成可以在系统中配置更改。还有数据库设计文档也一并生成了！
-
发表了文章 2022-12-19
大数据接私活200元，做个简易的HDFS浏览器（一）
大数据接私活200元，做个简易的HDFS浏览器（一）
-
发表了文章 2022-12-19
Flink应用案例统计实现TopN的两种方式
在窗口中可以用一个 HashMap 来保存每个 url 的访问次数，只要遍历窗口中的所有数据，自然就能得到所有 url 的热门度。最后把 HashMap 转成一个列表 ArrayList，然后进行排序、取出前两名输出就可以了。
-
发表了文章 2022-12-19
三行代码简单修改jar包的项目代码
三行代码简单修改jar包的项目代码
-
发表了文章 2022-12-19
工作总结之因为笛卡尔积问题写SQL搞了半天[害]（附笛卡尔积总结）
在关系数据库中，一个查询往往会涉及多个表，因为很少有数据库只有一个表，而如果大多查询只涉及到一个表的，那么那个表也往往低于第三范式，存在大量冗余和异常。
-
发表了文章 2022-12-19
工作总结之服务器时间不同步导致平台验证失败及Linux系统时间同步方法
在Windwos中，系统时间的设置很简单，界面操作，通俗易懂，而且设置后，重启，关机都没关系。系统时间会自动保存在BIOS时钟里面，启动计算机的时候，系统会自动在BIOS里面取硬件时间，以保证时间的不间断。
-
发表了文章 2022-12-19
CPU使用率过高问题排查及Linux之top命令用法详解
hi(hardirq)：表示 CPU 处理硬中断所花费的时间。硬中断是由外设硬件（如键盘控制器、硬件传感器等）发出的，需要有中断控制器参与，特点是快速执行。
-
发表了文章 2022-12-19
工作总结之linux防火墙配置命令适用centos7、centos8
在配置文件目录/etc/firewalld/zones中创建、或者拷贝系统默认的/usr/lib/firewalld/zones区域（zone）中的服务配置文件（XML），然后使用vim直接做出相应修改。
-
发表了文章 2022-12-19
DCM：中间件家族迎来新成员
现代应用无时无刻不在与数据打交道，数据计算无处不在，报表统计、数据分析、业务处理不一而足。当前数据处理的主要手段仍然是以关系数据库为代表的相关技术，虽然使用高级语言（如Java）硬编码也能实现各类计算，但远不如数据库（SQL）方便，数据库在当代数据处理中仍然发挥举足轻重的作用。
-
发表了文章 2022-12-19
社交用户画像之集群搭建【二】
得出结论, 如果计算 260G 的数据, 可能和计算 60G 的数据, 所需要的内存一样, Spark 会逐个取数据, 逐个计算, 计算完成后抛弃, 再取下一条
-
发表了文章 2022-12-19
工作记录之ORacleSQL报错:oracle ORA-01476:divisor is equal to zero
com.alibaba.datax.common.exception.DataXException: Code:[Framework-14], Description:[DataX传输脏数据超过用户预期，该错误通常是由于源端数据存在较多业务脏数据导致，请仔细检查DataX汇报的脏数据日志信息, 或者您可以适当调大脏数据阈值 .]. - 脏数据条数检查不通过，限制是[0]条，但实际上捕获了[42]条.
-
发表了文章 2022-12-19
Kylin的入门实战
Kylin 是一个 Hadoop 生态圈下的 MOLAP 系统，是 ebay 大数据部门从2014 年开始研发的支持 TB 到 PB 级别数据量的分布式 Olap 分析引擎。
-
发表了文章 2022-12-19
CDH性能优化（参数配置）
NameNode中用于处理RPC调用的线程数,即指定NameNode 的服务器线程的数量。NameNode有一个工作线程池用来处理客户端的远程过程调用及集群守护进程的调用，处理程序数量越多意味着要更大的池来处理来自不同DataNode的并发心跳以及客户端并发的元数据操作）。
-
发表了文章 2022-12-19
物流项目中SparkSQL的相关调优
编写完成从Kafka消费数据，打印控制台上，其中创建SparkSession实例对象时，需要设置参数值。
-
发表了文章 2022-12-19
大数据物流项目中CM的安装与运用
使用CM安装CDH集群时，针对每个框架（比如，HDFS、MAPREDUCE、YARN等）创建用户，不可以被用于登录操作系统。以框架名称创建用户，所有用户名为框架名称。
-
发表了文章 2022-12-19
物流项目中Oracle 数据库的使用及OGG是如何同步
针对整个物流项目来说，数据采集属于实时增量采集数据，只要业务数据一旦产生，就立即将业务数据获取，进行ETL转换，存储到存储引擎中（比如Kudu数据库和Es索引等）。
-
发表了文章 2022-12-19
今日指数项目之FlinkCEP入门案例
在test源码目录下创建测试类：cn.itcast.LoginFailDemo
-
发表了文章 2022-12-19
大数据繁荣生态圈组件之实时大数据Druid小传(二)Druid架构与原理
索引服务是数据摄入创建和销毁Segment的重要方式，Druid提供一组支持索引服务(Indexing Service)的组件，即Overlord和MiddleManager节点。
-
发表了文章 2022-12-19
大数据繁荣生态圈组件之实时大数据Druid小传(一)
根据上面的总结，随着每日增量数据的累加，短期来看mysql数据库是能够承载一定程度的数据量的，但是长期来看，mysql数据库将不堪重负。因此，我们需要寻找mysql数据库的替代方案，这里我们选择了apache druid实时数据库。
-
发表了文章 2022-12-19
SparkDSL修改版之从csv文件读取数据并写入Mysql
SparkDSL修改版之从csv文件读取数据并写入Mysql
-
发表了文章 2022-12-19
错误: 无法将类 HTable中的构造器 HTable应用到给定类型；
错误: 无法将类 HTable中的构造器 HTable应用到给定类型；
-
发表了文章 2022-12-19
OracleDBA精选面试题
热备份针对归档模式的数据库，在数据库仍旧处于工作状态时进行备份。而冷备份指在数据库关闭后，进行备份，适用于所有模式的数据库。热备份的优点在于当备份时，数据库仍旧可以被使用并且可以将数据库恢复到任意一个时间点。
-
发表了文章 2022-12-19
Spring Boot 整合 RabbitMQ
Spring Boot 整合 RabbitMQ
-
发表了文章 2022-12-19
快速入门RabbitMQ
快速入门RabbitMQ
-
发表了文章 2022-12-19
Java大数据面试复习30天冲刺 - 日积月累，每日五题【Day04】——JavaSE
线程的生命周期:线程要经历新建、就绪、运行(活动)、阻塞和死亡五种不同的状态。这五种状态都可以通过Thread类中的方法进行控制。
-
发表了文章 2022-12-19
Java大数据面试复习30天冲刺 - 日积月累，每日五题【Day03】——JavaSE
JDK（Java Development Kit）是整个 Java 的核心，是 java 开发工具包，包括了 Java 运行环境 JRE、Java 工具和 Java 基础类库。JRE（Java Runtime Environment）是运行 JAVA 程序所必须的环境的集合，包含 java 虚拟机和 java 程序的一些核心类库。
-
发表了文章 2022-12-19
Kylin 是什么?
Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。
-
发表了文章 2022-12-19
Java大数据面试复习30天冲刺 - 日积月累，每日五题【Day02】——JavaSE
接口不能用 new 实例化，但可以声明，但是必须引用一个实现该接口的对象 从设计层面来说，抽象是对类的抽象，是一种模板设计，接口是行为的抽象，是一种行为的规范。
-
发表了文章 2022-12-19
Java大数据面试复习30天冲刺 - 日积月累，每日五题【Day01】——JavaSE
重载： 发生在同一个类中，方法名必须相同，参数类型不同，个数不同，顺序不同，方法返回值和访问修饰符可以不同，发生在编译时。
-
发表了文章 2022-12-19
2022年Flink面试题整理
JobManager扮演着集群中的管理者Master的角色，它是整个集群的协调者，负责接收Flink Job，协调检查点，Failover 故障恢复等，同时管理Flink集群中从节点TaskManager。
-
发表了文章 2022-12-19
DolphinScheduler 之Docker 部署
Docker 容器通过环境变量进行配置，附录-环境变量 列出了 DolphinScheduler 的可配置环境变量及其默认值
-
发表了文章 2022-12-19
分布式NoSQL列存储数据库Hbase（六）
分布式NoSQL列存储数据库Hbase（六）
-
发表了文章
2024-07-05
研究上百个小时，高手总结了这份 DALL-E 3 人物连续性公式（上）
-
发表了文章
2024-07-05
研究上百个小时，高手总结了这份 DALL-E 3 人物连续性公式（下）
-
发表了文章
2024-07-05
学生党打工人救星，GPT一句话生成精美PPT
-
发表了文章
2024-07-05
如何用GPT开发一个基于 GPT 的应用？
-
发表了文章
2024-07-05
利用ChatGPT进行数学建模比赛的策略指南
-
发表了文章
2024-07-05
AI 做海报都这么厉害了？设计师不容错过的 DALL·E 3 进阶玩法~
-
发表了文章
2024-07-05
一站式AI服务平台：MaynorAI助您轻松驾驭人工智能
-
发表了文章
2024-07-05
如何使用ChatGPT提高数学建模竞赛的获奖概率
-
发表了文章
2024-07-05
如何利用GPT-4o生成有趣的梗图
-
发表了文章
2024-07-05
无法拒绝！GPT-4o 完美接入 苹果手机，Siri 更有趣
-
发表了文章
2024-07-05
利用GPT-4o秒杀100块的开题报告，让你轻松接私活
-
发表了文章
2024-07-05
如何用 ChatGPT "DALL-E3"绘画（10个案例）
-
发表了文章
2024-07-05
【2024泰迪杯】A 题：生产线的故障自动识别与人员配置 Python代码实现
-
发表了文章
2024-07-05
2024年每个月有哪些数学建模和数学挖掘竞赛？
-
发表了文章
2024-07-05
研究上百个小时，高手总结了这份 DALL-E 3 人物连续性公式（中）
-
发表了文章
2024-07-05
一分钟上手！用 Video GPT 制作短视频
-
发表了文章
2024-07-05
效果超好！全新 "DALL-E 3" 必须掌握的 20 种公式使用方法
-
发表了文章
2024-07-05
如何使用chatgpt-plus.top辅助设计工作
-
发表了文章
2024-07-05
如何用 Midjourney 绘画
-
发表了文章
2024-07-05
推荐收藏！2024年新版GPT详细论文润色指南【更新至2024年4月30日】
