jokerhzf
TA的个人档案
jokerhzf_个人页
文章
3
问答
0
视频
0
个人介绍
暂无个人介绍
擅长的技术
- Linux
-
发表了文章 2018-08-31
Hadoop大数据开发框架学习
一.Hadoop框架介绍 hadoop是Apache发布的开源分布式基础架构他的两个核心是 HDFSHDFS是Hadoop的文件管理系统，负责了海量数据的存储，是做大数据的基础 MapReduceMapReduce则是为了海量数据提供了计算 两部分就组成了Hadoop的分布式基础架构 二.HDFS介绍 HDFS作为Hadoop为存储海量数据，自然有着与传统文件系统有着不同的结构，它是以Linux文件系统的基础的架构，构建里一套分布式文件系统，它是由一个NameNode和多台DataNode组成的。他通过将文件进行划分，分成多个数据块进行存储。（默认64MB，一般设置为128MB，备份X3）NameNode 管理文件系统的命名空间，存放文件元数据 维护文件系统的所有文件和目录，文件与数据块的映射 记录每个文件中各个块所在数据节点的信息 DataNode 存储并检索数据块 香NameNode更新所存储块的列表 优点 适合大文件存储，有副本策略 可以构建在廉价机器上，有一定容错和恢复机制 支持流式数据访问，一次写入多次读取 缺点 不适合大量小文件存储 不适合并发写入，不支持文件随机修改 不支持随机读等低延时的访问方式 二.Yarn yarn是Hadoop 中的资源管理器，MapReduce通过yarn来调度。ResourceManager 分配和调度资源 启动并监控ApplicationMaster 监控NodeManager ApplicationMaster 为MapReduce类型程序申请资源，并分配给内部任务 负责数据的切分 监控任务的执行与容错 NodeManager 管理单个节点的资源 处理来自ResourceManager的命令 处理来自ApplicationMaster的命令 四.MapReduce MapReduce采用分而治之的编程思想 输入一个大文件，通过split之后，将其分为多个分片 每个文件分片由单独的机器去处理，这就是Map方法 将每个机器计算的结果进行汇总并得到最终的结果，这就是Reduce方法
-
发表了文章 2018-08-31
Spring学习路径
一.Spring框架简介 Spring作为一个优秀的开源企业级框架有着以下特点 开源框架 简化企业级应用开发的流程 Spring是一个JavaSE/EE的一站式框架 优点在于 方便解耦 AOP的编程支持 声明式事务的支持 可以引入jUnit4，方便程序测试 对优秀开源框架的支持，方便集成 降低JavaEE API的使用难度 Spring开发框架中最重要的两个特性是 IOC控制反转 AOP面向切片 IOC的优点可以从以下的开发演变中体现出来 二.Spring Beans管理 XML方式管理 注解方式管理
-
发表了文章 2018-08-31
Tomcat配置问题整理
JavaWeb项目中如果使用了com.mysql.jdbc.Driver，若要发布在服务器上则需要在tomcat/lib中加入mysql-connector-java-x.x.xx-bin.jar的依赖包。
暂无更多信息
滑动查看更多
暂无更多信息
暂无更多信息