群发资讯网

去重、压缩、压实,提升NAS存储空间利用率,甩掉容量焦虑!

一、前言在数据量激增的今天,多盘位NAS已逐渐成为许多创意工作者、影音爱好者,以及小型企业/工作室的数据存储中心。它最直
一、前言

在数据量激增的今天,多盘位NAS已逐渐成为许多创意工作者、影音爱好者,以及小型企业/工作室的数据存储中心。它最直观的优势是能安装更多硬盘,提供巨大的存储容量,构建TB级存储池,满足4K/8K视频素材、大型项目文件、海量照片库、影视资源库等数据文件的存储需求。

然而,NAS支持的硬盘总容量是有上限的,随着时间的推移,存储到NAS里的文件越来越多,总有一天会存满所有硬盘。因此,在日常使用中,我们应该了解如何才能更高效地利用有限的存储空间。

例如,我现在用的NAS是威联通新品Qu605-N150,它是一台6盘位NAS,安装了QuTS hero系统(ZFS存储方案),它自有一套高效的数据去重压缩算法,支持重复数据删除、数据压缩、资料压实等黑科技功能,能有效提升硬盘利用率,节省存储空间。

二、QuTS hero系统的介绍

使用威联通数据去重压缩功能的前提是必须安装QuTS hero系统,它与QTS系统最大的不同是采用了更全面的ZFS文件系统(QTS是Ext4),安全系数更高、稳定性更强,主要面向企业级用户以及需要大规模数据存储的应用场景。

这里简单概括QuTS hero系统的重要功能与优势:

(1)保障数据完整性:ZFS文件系统有着比其它文件系统的RAID组态更强大的容错能力,支持自动数据校验并自动修复错误的区块,数据写入后绝对不会被复写、修改或删除,确保一定期间内的存盘数据完整性与不变性。

(2)高读写的快取性能:ZFS同时支持主存储器读取快取、SSD 读取快取以及 ZFS 意图日志。数据会先写入ZIL存储空间,之后再一并写入到 HDD,因而大幅减少延迟并且明显增进性能,同时,ZIL与读取快取数据分开存储于不同的 SSD 中分别处理写入和读取负载,不仅改善系统整体性能,对SSD的使用率和寿命也有帮助。

(3)灾难复原计划:支持iSCSI LUN与共享文件夹的快照,快照近乎实时,且不影响数据的写入。每一次写入主NAS的新资料都会实时同步到备用NAS,还能将NAS数据弹性备份至远程服务器或云端空间,进而提供快速的云服务与高等级数据安全性。

(4)安全防护机制:快速组建VPN网络、定时扫描NAS、建立基于主机 (Host-Based) 的防火墙、主动监控NAS系统状态与文件活动、提升SMB 3的加密文件传输、支持AES-128-GMAC加密。

(5)提升开/关机速度:QuTS hero系统的开/关机速度相比QTS系统提升了约50%。

三、重复数据删除、数据压缩、资料压实

重复数据删除是一种针对目标、区块层级以及重复数据的删除功能,能让数据在写入硬盘前就已经过删减演算,从而大幅减少存储文件所需的空间,还可以应用于网络数据传输以减少发送的字节数。

相较于其他品牌的重复数据删除机制,威联通的优势在于减少客户端所需的CPU性能占用、达到更高的重复数据删除比率。

数据压缩技术通过删除每个文件中的冗余数据,进一步节省存储空间。当数据写入时,可以将大文件变小文件,减小区块大小后有助于降低后端存储的实际I/O负载,获得存取加速的效果。

资料压实是把细小的数据合并到同一区块空间,将数据由零碎拼凑成完整区块,来大幅提升空间利用率。在数据重复性质高或大量小型数据存取的场景下 (例如:银行或商务网站的交易纪录 Log),提升 SSD 空间使用率的效益尤为明显。

从功能效果上看,重复数据删除、数据压缩、资料压实并不是一项单一功能,它们之间存在相互作用的关系。

值得注意的是,重复数据删除和数据压缩需要在创建共享文件夹或LUN时启用。

如果创建时没有启用,也可以在存储池中手动开启。

我把应用软件存放在存储池1,数据约5.85GB,启用数据压缩和重复数据删除后,总体数据减少了2.03GB,减少了约34.68%,效果非常可观。

存储池2主要存放视频照片、工作文件等文件,原始数据约149GB,启用数据压缩和重复数据删除后,总体数据量减少了14.74GB,减少了约9.87%。对比两个存储池的管理数据可以发现,存储池2的减少效率比存储池1低许多,主要原因是应用软件产会产生更多的缓存、日志、残留等碎片文件,针对这类碎片文件的压缩和重复数据删除的效率更高。

来看一下查看数据减少的途径:

存储与快照总管➡️存储/快照➡️选中所要查看的存储池点击右上角管理➡️选择数据减少

四、照片去重

随着手机影像能力的提升,单张照片的体积不断增大,平时随手一拍动辄就是三五十张照片。为了甩掉手机的容量焦虑,我会习惯性地把照片存放在NAS里,这也是许多家用NAS的重要应用之一。

QuMagie是威联通NAS的相册管理软件,集成了QNAP AI Core AI影像识别引擎,支持人脸及对象识别,并可依据拍照地点、照片相似度,自动将 NAS 中的照片分类,我们可以使用智能搜索或者在人物、事物、地点等相册中快速找到相似类型的照片。

同时,QuMagie还支持时间轴、自定义文件夹封面、支持iOS Live Photo动态播放等多样实用功能,方便用户更直观、更流畅的管理和分享照片。

我在平时拍照时,同一个景点、同一个角度拍很多相似的照片,这些照片就是占用存储容量的罪魁祸首之一。把它们存进威联通NAS后,借助QuMagie的AI智能识别与分类功能,我可以在「相似照片」一栏里找到被AI归类为相似的照片(识别非常精准),然后进行手动比对和删除即可。

五、威联通Qu605-N150的介绍

最后聊一聊我的这台NAS。

威联通Qu605-N150是一款6+2盘位NAS,可安装6块3.5英寸或2.5英寸SATA接口硬盘,同时内置2个M.2 PCIe Gen 3插槽,可配置双M.2 SSD组建高速储存池或快取加速,提升存储和运算效率。

威联通Qu605有N355和N150两个不同处理器版本,我这台是N150版本,搭载了新一代Intel酷睿N150处理器,拥有4核心4线程,最大睿频频率3.6 GHz,6MB高速缓存,配备单条金士顿16GB SODIMM DDR5内存条。

从下图可以看到,在主板处理器的位置安装了散热模块,有效提升散热效率,保证处理器稳定运行。

与之前TS系列相比,新品Qu系列在外观方面最明显的变化在机器正面,指示灯区域的设计和布局更简约、科技感更强了,下方依然是开机键和USB一键备份键,USB一键备份键的造型从之前的方形改成了轻微内凹的圆形,与开机键区分开来,不易误触。

之前机型一直在用的前置USB-A接口升级为USB 3.2 Gen 2 Type-C接口,把移动硬盘连接到前置USB-C接口,再按下USB一键备份键,就可以把外接存储设备内的所有文件备份到威联通Qu405中,非常实用。

机器背面有2枚9cm风扇,是整机的散热保障。侧边有一排丰富的拓展接口以满足日常所需,从上至下依次为:密码重置按钮、HDMI 2.1视频接口(4K@60Hz)、双2.5GbE网口(支持链路聚合)、双USB 3.2 Gen2 Type-A(10Gbps)、电源接口。

安装M.2 SSD需要拆下整个外壳,虽然就是4颗螺丝的事,但总感觉有点顺手。如果能改成小窗口独立仓位,拆装会方便很多。

这台威联通Qu605-N150官方售价3599元,叠加政府补贴和各种优惠券后,到手价3300元左右,极限凑单后价格会更低,感兴趣的小伙伴一定不能错过。

OK,以上就是本次分享的全部内容,感谢大家观看!