阅读文章

Centos8 中安装并配置 VDO 来优化存储空间

[ 来源:http://www.shbbm.com | 作者:网友 | 时间:2021-10-06

虚拟数据优化器(VDO)是一种块虚拟化技术,可提供透明的数据重复删除功能。通过消除冗余的数据块,VDO可以大大减少实际使用的磁盘容量。

VDO由两个内核模块和两个命令组成:

由下面两个内核模块组成:

kvdo - 该模块加载到设备管理器层,提供用于重复数据删除的块存储卷。 uds - 该模块负责与VDO磁盘上的通用的重复数据删除索引进行通信。

包括两个命令行工具:

vdo - 用于创建,删除,启动和停止VDO卷,以及执行其他配置操作。 vdostats - 用于报告VDO卷的各个方面,包括有效的减少和物理卷的利用率。 系统环境 Centos8

安装VDO

下面命令安装vdo和相关依赖,安装完成之后重启系统:

[root@localhost ~]# yum -y install vdo [root@localhost ~]# reboot 

创建一个VDO设备

确保有一个空余磁盘或分区可供VDO使用。尽管可以在LVM逻辑卷上面创建VDO卷,但是重新引导系统时会出现引导顺序问题。所以再裸盘上面创建vdo卷之后在它之上创建LVM逻辑卷。

下面使用一块20GB的磁盘,/dev/sda做vdo卷

下面创建vdo卷:

[root@localhost ~]# vdo create --name=vdolvm --device /dev/sda --vdoLogicalSize 60G --writePolicy async  Creating VDO vdolvm       The VDO volume can address 16 GB in 8 data slabs, each 2 GB.       It can grow to address at most 16 TB of physical storage in 8192 slabs.       If a larger maximum size might be needed, use bigger slabs. Starting VDO vdolvm Starting compression on VDO vdolvm VDO instance 0 volume is ready at /dev/mapper/vdolvm 

下面分解一下命令,看看所使用的选项:

--device - 指定在哪个硬盘上创建vdo卷

--vdoLogicalSize - 这里我们指定了容量大小为60G,比我们实际磁盘20G大了许多。假设我们将从重复数据删除中至少得到3:1的减少,对于大多数的数据,这是相当保守的,但如果你的数据没有很多重复的,那么比率应该是不同的。日志文件和其他纯文本文件通常可以很好地进行重复数据删除,可能会得到10:1甚至更高的重复数据删除率。但是二进制文件,如视频、音频或压缩包,将远远低于3:1,甚至在某些情况下1:1。这种情况下不建议使用vdo卷。

--writePolicy - vdo有三种写策略:

sync:只有在数据写入物理设备后,才会确认对VDO卷的写入。

async:在数据写入缓存后被确认。如果在设备故障或掉电之前没有刷新缓存,可能会导致数据丢失。

auto:在这种默认模式下,VDO将检查存储设备并确定它是否支持刷新。如果是这样,VDO将使用异步模式。如果没有,它将使用同步模式。

查看新建VDO卷相关的信息

正如我们在上一步的输出中看到的,VDO创建了一个名为/dev/mapper/vdolvm的新dm设备。当我们创建lvm卷组时,这就是我们将要使用的设备。

[root@localhost ~]# ll /dev/mapper/vdolvm  lrwxrwxrwx 1 root root 7 Mar  4 13:31 /dev/mapper/vdolvm -> ../dm-2 

让我们看看使用vdostats可以获得有关vdo卷的什么样的信息:

[root@localhost ~]# vdostats --hu Device                    Size      Used Available Use% Space saving% /dev/mapper/vdolvm       20.0G      4.0G     16.0G  20%           N/A 

由于我们尚未将任何数据写入该卷,因此Space saving%字段为N/A。稍后我们将写一些数据时,在此处看到更多有用的信息。

可以看到上图中,我们还没有写任何数据,但是已经有4GB,20%的空间正在使用中了!这是因为“通用重复数据删除索引”已被写入磁盘。这基本上是一个数据库,用于记录slab指纹及其位置。这就是使重复数据删除成为可能的原因。

将VDO卷作为普通磁盘设备进行设置

现在我们已经创建了VDO设备,我们可以对其进行分区并格式化,或者在这个vod卷上面创建lvm逻辑卷。下面我们创建逻辑卷:

# 创建物理卷 [root@localhost ~]# pvcreate /dev/mapper/vdolvm    Physical volume "/dev/mapper/vdolvm" successfully created. # 创建卷组vdo_vg [root@localhost ~]# vgcreate vdo_vg /dev/mapper/vdolvm    Volume group "vdo_vg" successfully created # 查看vdo_vg卷组的信息 [root@localhost ~]# vgdisplay vdo_vg    --- Volume group ---   VG Name               vdo_vg   System ID                Format                lvm2   Metadata Areas        1   Metadata Sequence No  1   VG Access             read/write   VG Status             resizable   MAX LV                0   Cur LV                0   Open LV               0   Max PV                0   Cur PV                1   Act PV                1   VG Size               <60.00 GiB   PE Size               4.00 MiB   Total PE              15359   Alloc PE / Size       0 / 0      Free  PE / Size       15359 / <60.00 GiB   VG UUID               qfPiH6-eMCU-Z6kr-eeCu-jd0J-8lmf-49daZX 

从上面可以看到,lvm认为我们的基础磁盘为120GB,尽管我们知道它只有40GB。由于LVM不知道VDO后端磁盘的大小。

现在,让我们创建几个逻辑卷吧:

[root@localhost ~]# lvcreate -n vdo_lv01 -L 15G vdo_vg  [root@localhost ~]# lvcreate -L 15G -n vdo_lv02 vdo_vg [root@localhost ~]# lvcreate -L 15G -n vdo_lv03 vdo_vg  # 查看创建好的逻辑卷 [root@localhost ~]# lvs -o +devices 

创建挂载点并挂载文件系统

通常,创建文件系统后,它将在设备上运行Trim操作。使用VDO时,这不是理想的选择,因为磁盘容量是按需分配的。因此,我们要告诉mkfs在文件系统创建过程中不要丢弃块。对于XFS,请使用-K选项。对于EXT4,请使用-E nodiscard。下面使用了一个for循环,将三个逻辑卷格式化为XFS文件系统:

[root@localhost ~]# for i in `seq 1 3`; do mkfs.xfs -K /dev/vdo_vg/vdo_lv0$i ; done meta-data=/dev/vdo_vg/vdo_lv01   isize=512    agcount=4, agsize=983040 blks          =                       sectsz=4096  attr=2, projid32bit=1          =                       crc=1        finobt=1, sparse=1, rmapbt=0          =                       reflink=1 data     =                       bsize=4096   blocks=3932160, imaxpct=25          =                       sunit=0      swidth=0 blks naming   =version 2              bsize=4096   ascii-ci=0, ftype=1 log      =internal log           bsize=4096   blocks=2560, version=2          =                       sectsz=4096  sunit=1 blks, lazy-count=1 realtime =none                   extsz=4096   blocks=0, rtextents=0 meta-data=/dev/vdo_vg/vdo_lv02   isize=512    agcount=4, agsize=983040 blks          =                       sectsz=4096  attr=2, projid32bit=1          =                       crc=1        finobt=1, sparse=1, rmapbt=0          =                       reflink=1 data     =                       bsize=4096   blocks=3932160, imaxpct=25          =                       sunit=0      swidth=0 blks naming   =version 2              bsize=4096   ascii-ci=0, ftype=1 log      =internal log           bsize=4096   blocks=2560, version=2          =                       sectsz=4096  sunit=1 blks, lazy-count=1 realtime =none                   extsz=4096   blocks=0, rtextents=0 meta-data=/dev/vdo_vg/vdo_lv03   isize=512    agcount=4, agsize=983040 blks          =                       sectsz=4096  attr=2, projid32bit=1          =                       crc=1        finobt=1, sparse=1, rmapbt=0          =                       reflink=1 data     =                       bsize=4096   blocks=3932160, imaxpct=25          =                       sunit=0      swidth=0 blks naming   =version 2              bsize=4096   ascii-ci=0, ftype=1 log      =internal log           bsize=4096   blocks=2560, version=2          =                       sectsz=4096  sunit=1 blks, lazy-count=1 realtime =none                   extsz=4096   blocks=0, rtextents=0 

当我们将新文件系统挂载到挂载点时,我们要告诉XFS放弃块,因为这将大大加快文件删除的速度。

[root@localhost ~]# mkdir -p /data/{01..03} [root@localhost ~]# for i in `seq 1 3`; do mount -o discard /dev/vdo_vg/vdo_lv0$i /data/0$i; done 

现在,我们向设备写入了少量数据,我们可以再次检查VDO卷以查看情况是否已更改。

[root@localhost ~]# vdostats --hu Device                    Size      Used Available Use% Space saving% /dev/mapper/vdolvm       20.0G      4.0G     16.0G  20%           86% 

设置为开机启动

下面将三个逻辑卷设置为开机启动,需要在fstab文件中添加x-systemd.device-timeout=0和x-systemd.requires=vdo.service。

使用blkid查看这三个逻辑卷的UUID。

使用上面获取到的UUID,添加在/etc/fstab文件中:

[root@localhost systemd]# vim /etc/fstab   UUID="bd2c1c61-4656-4065-b5a0-3ca53ef0f949" /data/01  xfs  defaults,x-systemd.device-timeout=0,x-systemd.requires=vdo.service 0 0 UUID="1e53579b-f1da-4f77-80e6-d61a40515525" /data/02  xfs  defaults,x-systemd.device-timeout=0,x-systemd.requires=vdo.service 0 0 UUID="d41bf7e2-bf75-4db7-b323-a923375f6a6e" /data/03  xfs  defaults,x-systemd.device-timeout=0,x-systemd.requires=vdo.service 0 0 

本文转载自微信公众号「Linux就该这么学」,可以通过以下二维码关注。转载本文请联系Linux就该这么学公众号。

【编辑推荐】

鸿蒙官方战略合作共建——HarmonyOS技术社区 200G vs 400G:谁是数据中心网络下一站? 数字时代下网络安全既是安防命脉,也是安防机遇? “腾讯云音视频”品牌正式发布,基础网络“三合一”持续丰富场景服务 小菜学网络之DNS记录类型 RSA CEO:网络安全的未来前进方向是”弹性“
相关文章
  • 执行分配中,员工工资和

    《民诉法解释》第516条规定,当事人不同意移送破产或者被执行人住所地人民法院不受理破产案件的,执行法院就执行变价所得财产,在扣...

  • 调查显示:与 iOS 14 相比

    IT 之家 10 月 6 日消息 据 9to5Mac 报道,9 月中旬,iOS 15 发布两天后,有调查显示用户升级到 iOS 15 的时间比升级到 iOS 14 的时间长。两周后,...

  • 今天任天堂直面会上亮相

    热门推荐海南免税版苹果 iPhone13 全系价格公布IT之家昨晚,微软终于发布这手机,但这价格是不是疯了好机友这种iPhone千万别买!机智猫3...

麻豆乱码芒果2021

回到顶部
友情链接

Powered by 麻豆乱码芒果2021-老婆一次刺激的4p经历-暖暖直播最新在 @2018 RSS地图 HTML地图

Copyright 站群 © 2013-2021 365建站器 版权所有