能力说明:
熟练掌握Linux常用命令、文件及用户管理、文本处理、Vim工具使用等,熟练掌握企业IP规划、子网划分、Linux的路由、网卡、以及其他企业级网络配置技术,可进行Web服务器(Nginx),以及数据库(My SQL)的搭建、配置、应用,可根据需求编写Shell脚本,通过常用工具进行linux服务器自动化运维。
暂时未有相关云产品技术能力~
暂无个人介绍
资料在进行8b/10b 编码之前,必须先行资料加扰(Scramble)的处理,目的是為了降低EMI(Electromagnetic Interference,电磁干扰)。
8b/10b编码是目前高速串行通信中经常用到的一种编码方式,直观的理解就是把8bit数据编码成10bit来传输。
link layer的作用大致可以包括以下几点: • Frame flow control • CRC的生成与检测 • 对数据与控制字符的Scrmable/Descramble • 8b/10b编解码 • 将传输层进来的数据转为Frame
既然,PCIe SSD发展这么好,为啥在市场上还不能普及?归根结底,就是一个字:贵!
在NVME协议Command Set Spec中,我们可以看到针对nvme设备相关的原子操作的定义相关参数。原子写的简单理解就是,一笔写操作,要不全部写入盘,要不全部未写入盘,不存在部分写入+部分未写入的情况,最大限度保证数据一致性。
SATA信号链结的建立主要是靠OOB(Out Of Band)的检测实现的,并且向上层Link Layer提供了物理层的链结情况。
为什么采用E2E端对端数据保护机制很有必要呢?
我们前面有对SATA硬盘下发SCSI命令,其实对NVMe硬盘下发SCSI的方式大同小异。下面我们就来试一下,这里我们用到的SCSI命令是READ CAPACITY。
目前可以供用来下发SCSI/ATA Command的工具有很多,比如BusHound, Hdparm, Sg3, Msecli等。其中Msecli是Micron自己的专门用来管理Micron SSD的命令行接口, 对于其他家的SSD是无效的。我们这里主要用的Sg3这个工具
YMTC NAND Xtacking 3.0被视为2022年最具颠覆性的技术之一。针对第一个使用NAND Xtacking 3.0的产品,TechInsights团队购买了512GB和1TB容量的TiPlus7100 SSD,并进行了详细的芯片分析,我们一起来看看,有没有惊喜的发现?
NANDXtend™是慧荣科技专为TLC SSD产品的需求设计,所独家开发的先进韧体技术。NANDXtand™三维解错修正机制,结合了LDPC(低密度奇偶修正码)及RAID Data Recover修正技术,能高速平行译码并且精准修正错误。
当在操作系统(例如 Windows)中删除文件时,操作系统只是在其内部文件表中做标记表示该文件已删除。由于NAND 闪存设备不能覆盖现有数据,所以在固态硬盘SSD上,当前无效的数据仍然保留在硬盘上。 这样的话就会产生大量的失效数据,也称为数据垃圾。为了提升SSD的利用效率,这时候就该“垃圾回收”(Garbage Collection, 下文全部简称GC)出手了。
在之前的文章中有提到过,SSD FTL层有一个很重要的功能就是ECC纠错(ECC, Error Correction Code)。
【引语】 你是否听人说 SSD 买来一定要先对齐,不然平时用起来会很顿。究竟是真有这种说法还是人云亦云呢?请往下看,相信聪明的你会自有判断。
当一块SSD坏掉了,需要扔掉的时候,你是否想过,SSD里面是否已经真的删除干净,是否还有你私密的数据呢?特别是对银行业或者军工的SSD,里面包含了很多机密的数据,如果轻易的处理掉,很有可能会被别有用心的人利用,造成不可挽回的损失。 或者,换到另一个场景,你有一块机密的SSD丢了或者被偷了,如果你的SSD没有做任何保护的话,SSD里面存储的信息就直接暴露给别人了。
TRIM的先进性在于它可以让固态硬盘在进行垃圾回收的时候跳过移动无用数据的过程,从而不再用重新写入这些无用的数据,达到节省时间的目的。这也会减少闪存删除数据的次数,从而在写入过程中实现高性能。固态硬盘也不需要立即删除或者“垃圾回收”这些TRIM指令告知的位置了,它只是先标记这些位置的数据为“无用”即可。
当你正在文思泉涌地敲打键盘赶稿件时,电脑突然抽风,然后,你就看到了绝望的蓝色(系统崩溃,电脑蓝屏了)。 其实office软件有自动保存的功能,当电脑重启,再次打开WORD文件时,会提醒你要不要导入最后自动保存的内容(这个方法不是100%管用)。
【引语】 前两天,一位从事大数据工作的好朋友问我: “企业级SSD与消费级SSD的区别是什么?” “大数据中心能否采用消费级SSD?” 我想,大部分朋友应该都知道SSD分为企业级和消费级,但是这两者之间的区别,也许并不十分清楚。
前传中讲到的Read disturb与Program disturb 属于架构级的可靠性,Data Retention与P/E Endurance属于物理级的可靠性,这些基本可以归纳为NAND闪存相关的可靠性。 看完前传,咱们进入正传,介绍一下SSD系统级可靠性的实现手段。
按照剧情发展的规律,在进入正片之前都会有前传来交代事件的背景,所以在介绍SSD可靠性之前,咱们也先来个前传哈。
当你买了一块SSD,有没有发现其实你得到的容量并不是SSD标称的容量。比如你买的是128GB的SSD,你的得到的可使用容量肯定小于128GB,一般在120GB,甚至更小。
目前PCIe接口协议应用非常广泛,比如企业级服务器,个人电脑,通讯系统以及一系列的工业应用。
目前主流的SSD会有4或者8个Channel,SSD主控有一个专门的模块管理不同Channel之间的读写操作。
没有人可以随随便便成功,为了高效的处理Host和NAND闪存之间的传输,SSD主控也是付出了极大的努力。
闪存转换层FTL是NAND闪存总管,负责NAND闪存的衣食住行,所以请出大总管之前,先来欣赏一下NAND闪存的内在气质。
SSD如淡雅之兰花,寻求内外统一,内涵与外在俱佳,除了英俊潇洒的外表,内在的魅力同样不可抵挡。
PLC NAND的普及还需要一定的时日。乐观估计,PLC SSD最快也要到2025年才可能量产进入市场。所以,PLC SSD还是一个未来的产品,当前我们的目光还是聚集在QLC身上吧。
3D-NAND的层数堆叠,已经成为各大厂商竞相追逐的目标。目前主流厂商已经到了第6代工艺,Micron刚刚宣布完成232L 3D TLC NAND,读写性能都得到大幅提升,采用的是双堆栈技术。
Multi-stream write(多流写)技术可以使SSD根据主机端提供的Stream ID,将具有相同或相似生命周期的数据写入到相同的擦除单元中去,大大提高了GC时的效率,减少了写放大,使得SSD的性能和寿命都有了较大的提升。
每个Function都有一个大小为4KB的configuration space。在系统上电的过程中,在枚举整个PCI Bus之后,就会将所有的BDF的configuration space读到Host内存中。在Host内存中有一个大小256MB的Memory Block, 专门用来存放所有的configuration space.
我们知道,在PCIe链路可以正常工作之前,需要对PCIe链路进行链路训练,在这个过程中,就会用LTSSM状态机。LTSSM全称是Link Training and Status State Machine。这个状态机在哪里呢?
有关Xilin FPGA开发版PCIe link up issue debug过程的文章,小编把里面提到的一个案例在这里给大家分享一下。
Raw Bit Rate,翻译过来就是原始比特率。那么,这个原始比特率(RBR)与真实的数据传输速度之间是什么关系呢?有什么区别?这就是我们本篇文章想要思索的问题。
MPS影响系统性能,还有一个更加重要的事情,MPS对PCIe系统稳定性也起着决定性的作用。
我们介绍了PCIe TLP的排序机制原理,也可以看到Relaxed Ordering也是PCIe一个优化性能的利器。在很多PCIe系统中,PCIe设备也基本是默认打开的Relaxed Ordering这个机制的特性,以保持达到最高的性能。 但是,小编想说下,对Relaxed Ordering的意见是,酌情看是否适合自己的系统,Relaxed Ordering并不是通用的优势。在不适合自己情况,使用Relaxed Ordering将是一场灾难。
固态硬盘的步步紧逼,机械硬盘厂商也不会坐以待毙等着被SSD取代。HDD的厂商也在不断的创新,增加HDD的竞争优势。
看到一份IDC机构受Dell和Intel委托编写的商业价值白皮书,其实说明白了,这白皮书就是用来给Dell做宣传的材料。在本文,只是给大家截取几个有意思的地方
现在是一个数据指数增长的时代,根据IDC数据预测,2025年全世界将产生175ZB的数据。未来5年的产生数据,将是过去所有产生数据的2倍以上。
LTO标准最初有两个格式,一个Ultrium,主要负责支持大容量技术,一个Accelis,主要负责高性能。磁带被采用的原因,目前跟性能也不相关,要性能的话,早就切换固态硬盘SSD了。所以目前一说LTO,基本上大家就等同于LTO Ultrium。
在LTO第一代到第四代,如果我们想要访问LTO磁带的内容,都需要厂商提供的特殊软件来支持,软件需要全部加在整个磁带的内容,才能展示你要查找的文件,保存文件的过程也需要特有的软件来处理。提供的磁带存储的厂商还有多个这就导致用户在使用磁带过程中,非常的痛苦地面对来回之间复杂的搬运场景。
在可持续发展绿色低碳的理念下,未来几年甚至十几年,将会有更多的存储数据从磁盘HDD转移到LTO磁带中,以获得更低的碳排放。
产生的这些巨量数据,存储的归宿在哪里呢?随着发展趋势,个人本地存储的需求越来越小,公有云的数据存储量将会有迅速的攀升。
本文主要分享主题在阿里云本地盘存储中,基于Optane SSD和SPDK WSR的功能,降低QLC SSD的写放大。
根据Yole Group调查机构的数据显示,在2021年独立记忆体(Stand-alone Memory)整体市场达到了1665亿美元。其中DRAM占比56.3%,NAND占比40%。
sdparm和hdparm去修改HDD的write cache,发现在系统下write cache设置的效果有差异。
要实现超大规模部署的特性,就对存储有别于普通数据中心或者消费市场的诉求。具体有哪些呢?主要有以下几点,我们针对部分信息展开讨论
在未来很长的一段时间内,磁带虽然可以替代一部分硬盘的需求,但是硬盘依然不会消失。如何降低硬盘在整个过程的低碳行为,也是各大硬盘厂商思考的内容。
不同的FW架构设计、FTL算法设计、NAND die plane/速率等的差异,都会直接影响SSD的性能与延迟,设计一块性能优越且稳定的SSD,是一项繁琐但具有很强艺术性的工程。
今天,我们一起来回顾下,数据中心发展历史曾经发生过的事情,以及未来可能的故事。
NAND目前根据bit/cell数量分为:SLC、MLC、TLC、QLC、PLC等。随着bit数量增加,虽然容量得到了大幅的提升,成本也有所下降,但是读写性能却下降的更快。特别在QLC到PLC的转换,读写性能下降幅度远超成本下降趋势,也就是说,PLC的成本还没达到预期的优势。