今天同事用 cp
命令,把他给惊到了!
背景是这样的:他用 cp
拷贝了一个 100 G的文件,竟然一秒不到就拷贝完成了!
用 ls
看一把文件,显示文件确实是 100 G。
sh-4.4# ls -lh
-rw-r--r-- 1 root root 100G Mar 6 12:22 test.txt
sh-4.4# time cp ./test.txt ./test.txt.cp
real 0m0.107s
user 0m0.008s
sys 0m0.085s
cp
一秒没到就完成了工作,惊呆了,为啥呢?分析文件
du
命令看一下,却只有 2M ,根本不是100G,这是怎么回事?stat
命令显示的信息:现实的存取场景
例如你到火车站使用寄存服务:
文件系统
空间管理
如果,一个连续的大磁盘空间给你使用,你会怎么使用这段空间呢?
这种方式非常容易实现,属于眼前最简单,以后最麻烦的方式。因为会造成很多空洞,明明还有很多空间位置,但是由于整个太大,形状不合适(数据大小),哪里都放不下。因为你要放一个完整的空间。
怎么改进?有人会想,既然整个放不进去,那就剁碎了呗。这里塞一点,那里塞一点,就塞进去了。
对,思路完全正确。改进的方式就是切分,把空间按照一定粒度切分。每个小粒度的物理块命名为 Block,每个 Block 一般是 4K 大小,用户数据存到文件系统里来自然也是要切分,存储到磁盘上各个角落。
图示标号表示这个完整对象的 Block 的序号,用来复原对象用的。
随之而来又有一个问题:你光会切成块还不行,取文件数据的时候,还得把它们给组合起来才行。
所以,要有一个表记录文件对应所有 Block 的位置,这个表被文件系统称为inode。
写文件的流程是这样的:
先写数据:数据先按照 Block 粒度存储到磁盘的各个位置;
再写元数据:然后把 Block 所在的各个位置保存起来,即inode(我用一本书来表示);
inode/block 概念
你肯定会意识到:Block数组只有15个元素,每个Block是4K, 难道一个文件最大只能是 15 * 4K = 60 K ?
比如我们想让文件系统最大支持100G的文件,Block数组需要这么长:
Block数组中每一项是4个字节,那就需要(26214400*4)/1024/1024 = 100M
为了支持100G的文件,我们的Block数组本身就得100M !
并且对每个文件都是如此 !即使这个文件只有1K! 这将是巨大浪费!
肯定不能这么干,解决方案就是间接索引,按照约定,把这 15 个槽位分作 4 个不同类别来用:
前 12 个槽位(也就是 0 - 11 )我们成为直接索引; 第 13 个位置,我们称为 1 级索引; 第 14 个位置,我们称为 2 级索引; 第 15 个位置,我们称为 3 级索引;
直接索引:能存 12 个 block 编号,每个 block 4K,就是 48K,也就是说,48K 以内的文件,前 12 个槽位存储编号就能完全 hold 住。
也就是说这里存储的编号指向的 block 里面存储的也是 block 编号,里面的编号指向用户数据。一个 block 4K,每个元素 4 字节,也就是有 1024 个编号位置可以存储。
所以,一级索引能寻址 4M(1024 * 4K)空间 。
在不超过 12 个数据块的小文件的寻址是最快的,访问文件中的任意数据理论只需要两次读盘,一次读 inode,一次读数据块。
访问大文件中的数据则需要最多五次读盘操作:inode、一级间接寻址块、二级间接寻址块、三级间接寻址块、数据块。
为什么cp那么快?
接下来我们要写入一个奇怪的文件,这个文件很大,但是真正的数据只有8K:
在 [ 0,4K ] 的位置写入 4K 数据,这个时候只需要 一个 block,把这个编号写到
block[0]
这个位置保存起来;在 [ 1T,1T+4K ] 的位置写入 4K 数据,这个时候需要分配一个 block,因为这个位置已经落到三级索引才能表现的空间了,所以需要还需要分配出 3 个索引块;
这个时候,我们的文件看起来是超大文件,size 等于 1T+4K ,但里面实际的数据只有 8 K,位置分别是 [ 0,4K ] ,[ 1T,1T+4K ]。
由于没写数据的地方不用分配物理block块,所以实际占用的物理空间只有8K。
重点:文件 size 只是 inode 里面的一个属性,实际物理空间占用则是要看用户数据放了多少个 block ,没写数据的地方不用分配物理block块。
这样的文件其实就是稀疏文件, 它的逻辑大小和实际物理空间是不相等的。
总结
看完这篇文章,你有什么收获?欢迎在留言区与10w+Java开发者一起讨论~
正文结束
1.不认命,从10年流水线工人,到谷歌上班的程序媛,一位湖南妹子的励志故事
5.37岁程序员被裁,120天没找到工作,无奈去小公司,结果懵了...