Hadoop

首页 标签 Hadoop
# Hadoop #
关注
11235内容
|
9天前
| |
HDFS Block 为什么默认 128M:寻址时间与传输速率的权衡
HDFS默认Block设为128MB,源于磁盘寻址时间(约10ms)与传输速率(约100MB/s)的工程权衡:为使寻址仅占传输时间1%,理想块大小≈100MB;再对齐二进制幂次,取最接近的128MB。它平衡了NameNode内存开销、寻址效率与计算并行度。
|
12天前
| |
HDFS 检查点机制:fsimage 与 edits 合并及 HA 实现
本文深度解析HDFS NameNode的Checkpoint机制,涵盖fsimage与edits原理、SecondaryNameNode与QJM下的合并流程、事务ID定位、容量规划、监控告警及实战排障命令,助你告别重启卡在“replaying edits”的半小时等待。(239字)
全球大数据产业发展观察:机遇与合规挑战并存
放眼国内,我国已具备政府政策扶持、企业创新的基础优势,但成熟的本土开源生态仍有待培育,配套数据法规体系也需持续完善,以此护航大数据产业稳健发展。
Hadoop正在失败?不,它正在壮大
本文反驳“Hadoop失败论”,指出其在银行业等多领域加速落地;澄清四大误区——采用停滞、价值不明、仅PB级适用、人才稀缺,并强调开源生态的达尔文式进化保障其成熟。提出以CDO牵头、迭代推进的大数据实施路径。
大数据安全面临三大威胁,企业信任危机倒逼防护升级
大数据安全面临三大威胁:Hadoop安全堆栈不兼容致防护空白、企业数据政策漏洞形成安全空窗、勒索软件借端口漏洞加密勒索。90% CEO担忧客户信任,安全已成合作前提。
非互联网与互联网数据平台的差异
本文对比传统企业与互联网数据平台的演进差异:用户、角色、技术栈与数据源迥异;梳理了1991—2011年传统五阶段四种架构及Inmon/Kimball模型思想;并解析互联网平台三阶段演进——从Hadoop引入、数据产品化到全员用数,伴随治理挑战升级。
我眼中的大数据
近两年,“大数据”被广泛应用,也明显过热,从央视春运迁徙图到两会大数据,它被推到前所未有的高度,也从一个高精尖科研方向变成了营销词汇。
数据工程师为什么越做越值钱?一份从入门到高级的数据工程技能树、项目实战与简历升级指南
数据工程师为什么越做越值钱?一份从入门到高级的数据工程技能树、项目实战与简历升级指南
【赵渝强老师】Hadoop HDFS的回收站和快照
本文详解HDFS两大核心高级功能:回收站(支持文件误删恢复,需配置fs.trash.interval启用)与快照(目录级时间点镜像,用于备份、测试及灾难恢复)。涵盖配置方法、操作命令及典型应用场景。
免费试用