文件系统性能测试是什么？文件系统性能测试有什么优劣势？

本篇文章给大家谈谈文件系统性能测试，以及对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。 今天给各位分享文件系统性能测试的知识，其中也会对进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、fio文件系统性能测试

• 2、Linux日志式文件系统面面观

• 3、ext4与xfs比有什么优势和劣势。

• 4、U盘四种文件系统的优劣

• 5、用什么工具来测试 Ceph 分布式文件系统的性能

• 
  

fio文件系统性能测试

备注：

使用的是yum 进行的安装，大家可以使用源码编译安装(centos 7)

安装

yum install -y fio

使用

filename: 指定文件(设备)的名称。可以通过冒号分割同时指定多个文件，如filename=/dev/sda:/dev/sdb。

directory: 设置filename的路径前缀。在后面的基准测试中，采用这种方式来指定设备。

name: 指定job的名字，在命令行中表示新启动一个job。

direct: bool类型，如果设置成true (1)，表示不使用io buffer。

ioengine: I/O引擎，现在fio支持19种ioengine。默认值是sync同步阻塞I/O，libaio是Linux的native异步I/O。关于同步异步，阻塞和非阻塞模型可以参考文章“使用异步 I/O 大大提高应用程序的性能”。

iodepth: 如果ioengine采用异步方式，该参数表示一批提交保持的io单元数。该参数可参考文章“Fio压测工具和io队列深度理解和误区”。

rw: I/O模式，随机读写，顺序读写等等。

bs: I/O block大小，默认是4k。

size: 指定job处理的文件的大小。

numjobs: 指定job的克隆数(线程)。

time_based: 如果在runtime指定的时间还没到时文件就被读写完成，将继续重复知道runtime时间结束。

runtime: 指定在多少秒后停止进程。如果未指定该参数，fio将执行至指定的文件读写完全完成。

group_reporting: 当同时指定了numjobs了时，输出结果按组显示。

参考说明

filename=/dev/sdb1 #测试文件名称，通常选择需要测试的盘的data目录

direct=1 #测试过程绕过机器自带的buffer。使测试结果更真实

rw=randwrite #测试随机写的I/O

rw=randrw #测试随机写和读的I/O

bs=16k #单次io的块文件大小为16k

bsrange=512-2048 #同上，提定数据块的大小范围

size=5G #本次的测试文件大小为5g，以每次4k的io进行测试

numjobs=30 #本次的测试线程为30个

runtime=1000 #测试时间1000秒，如果不写则一直将5g文件分4k每次写完为止

ioengine=psync #io引擎使用psync方式

rwmixwrite=30 #在混合读写的模式下，写占30%

group_reporting #关于显示结果的，汇总每个进程的信息

lockmem=1G #只使用1g内存进行测试

zero_buffers #用0初始化系统buffer

nrfiles=8 #每个进程生成文件的数量

#顺序读

fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest

#顺序写

fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest

#随机读

fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=randread -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest

#随机写

fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest

#混合随机读写

fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=100 -group_reporting -name=mytest -ioscheduler=noop

#复制下面的配置内容，将directory=/path/to/test修改为你测试硬盘挂载目录的地址，并另存为fio.conf

[global]

ioengine=libaio

direct=1

thread=1

norandommap=1

randrepeat=0

runtime=60

ramp_time=6

size=1g

directory=/path/to/test

[read4k-rand]

stonewall

group_reporting

bs=4k

rw=randread

numjobs=8

iodepth=32

[read64k-seq]

stonewall

group_reporting

bs=64k

rw=read

numjobs=4

iodepth=8

[write4k-rand]

stonewall

group_reporting

bs=4k

rw=randwrite

numjobs=2

iodepth=4

[write64k-seq]

stonewall

group_reporting

bs=64k

rw=write

numjobs=2

iodepth=4

#测试

fio fio.conf

Linux日志式文件系统面面观

文件系统是用来管理和组织保存在磁盘驱动器上的数据的系统软件，其实现了数据完整性的保 证，也就是保证写入磁盘的数据和随后读出的内容的一致性。除了保存以文件方式存储的数据以外，一个文件系统同样存储和管理关于文件和文件系统自身的一些重要信息(例如：日期时间、属主、访问权限、文件大小和存储位置等等)。这些信息通常被称为元数据(metadata)。

由于为了避免磁盘访问瓶颈效应，一般文件系统大都以异步方式工作，因此如果磁盘操作被突然中断可能导致数据被丢失。例如如果出现这种情况：如果当你处理一个在linux的ext2文件系统上的文档，突然机器崩溃会出现什么情况？

有这几种可能：

*当你保存文件以后，系统崩溃。这是最好的情况，你不会丢失任何信息。只需要重新启动计算机然后继续工作。

*在你保存文件之前系统崩溃。你会丢失你所有的工作内容，但是老版本的文档还会存在。

*当正在将保存的文档写入磁盘时系统崩溃。这是最糟的情况：新版文件覆盖了旧版本的文件。这样磁盘上只剩下一个部分新部分旧的文件。如果文件是二进制文件那么就会出现不能打开文件的情况，因为其文件格式和应用所期待的不同。

在最后这种情况下，如果系统崩溃是发生在驱动器正在写入元数据时，那么情况可能更糟。这时候就是文件系统发生了损坏，你可能会丢失整个目录或者整个磁盘分区的数据。

linux标准文件系统(ext2fs)在重新启动时会通过调用文件扫描工具fsck试图恢复损坏的元数据信息。由于ext2文件系统保存有冗余的关键元数据信息的备份，因此一般来说不大可能出现数据完全丢失。系统会计算出被损坏的数据的位置，然后或者是通过恢复冗余的元数据信息，或者是直接删除被损坏或是元数据信息损毁的文件。

很明显，要检测的文件系统越大，检测过程费时就越长。对于有几十个G大小的分区，可能会花费很长时间来进行检测。由于Linux开始用于大型服务器中越来越重要的应用，因此就越来越不能容忍长时间的当机时间。这就需要更复杂和精巧的文件系统来替代ext2。

因此就出现了日志式文件系统(journalling filesystems)来满足这样的需求。

什么是日志式文件系统

这里仅仅对日志式文件系统进行简单的说明。如果需要更深入的信息请参考文章日志式文件系统，或者是日志式文件系统介绍。

大多数现代文件系统都使用了来自于数据库系统中为了提高崩溃恢复能力而开发的日志技术。磁盘事务在被真正写入到磁盘的最终位置以前首先按照顺序方式写入磁盘中日志区(或是log区)的特定位置。

根据日志文件系统实现技术的不同，写入日志区的信息是不完全一样的。某些实现技术仅仅写文件系统元数据，而其他则会记录所有的写操作到日志中。

现在，如果崩溃发生在日志内容被写入之前发生，那么原始数据仍然在磁盘上，丢失的仅仅是最新的更新内容。如果当崩溃发生在真正的写操作时(也就是日志内容已经更新)，日志文件系统的日志内容则会显示进行了哪些操作。因此当系统重启时，它能轻易根据日志内容，很快地恢复被破坏的更新。

在任何一种情况下，都会得到完整的数据，不会出现损坏的分区的情况。由于恢复过程根据日志进行，因此整个过程会非常快只需要几秒钟时间。

应该注意的是使用日志文件系统并不意味着完全不需要使用文件扫描工具fsck了。随机发生的文件系统的硬件和软件错误是根据日志是无法恢复的，必须借助于fsck工具。

目前Linux环境下的日志文件系统

在下面的内容里将讨论三种日志文件系统：第一种是ext3，由Linux内核Stephen Tweedie开发。ext3是通过向ext2文件系统上添加日志功能来实现的，目前是redhat7.2的默认文件系统；Namesys开发的ReiserFs日志式文件系统，可以下载，目前Mandrake8.1采用该日志式文件系统。SGI在2001年三月发布了XFS日志式文件系统。可以在 oss.sgi.com/projects/xfs/下载。下面将对这三种日志文件系统采用不同的工具进行检测和性能测试。

安装ext3

关于ext3文件系统技术方面的问题请参考Dr. Stephen Tweedie的论文和访谈。ext3日志式文件系统直接来自于其祖先ext2文件系统。其具有完全向后兼容的关键特性，实际上其仅仅是在ext2日志式文件系统上添加了日志功能。其最大的缺点是没有现代文件系统所具有的能提高文件数据处理速度和解压的高性能。

ext3从 2.2.19开始是作为一个补丁方式存在的。如果希望对内核添加对ext3文件系统的支持，就需要使用补丁，可以得到补丁程序，一共需要如下文件：

* ext3-0.0.7a.tar.bz2：内核补丁

* e2fsprogs-1.21-WIP-0601.tar.bz2 支持ext3的e2fsprogs程序套件

拷贝linux-2.2.19.tar.bz2和ext3-0.0.7a.tar.bz2到/usr/src目录下，进行解压：

mv linux linux-old

tar -Ixvf linux-2.2.19.tar.bz2

tar -Ixvf ext3-0.0.7a.tar.bz2

cd linux

cat ../ext3-0.0.7a/linux-2.2.19.kdb.diff | patch -sp1

cat ../ext3-0.0.7a/linux-2.2.19.ext3.diff | patch -sp1

首先对内核添加SGI的kdb内核调试器补丁，第二个是ext3文件系统补丁。下来就需要配置内核，对文件系统部分的"Enable Second extended fs development code"回答Yes。然后编译。

内核编译安装以后，需要安装e2fsprogs软件套件：

tar -Ixvf e2fsprogs-1.21-WIP-0601.tar.bz2

cd e2fsprogs-1.21

./configure

make

make check

make install

下来要做的工作就是在分区上创建一个ext3文件系统，使用新内核重新启动，这时候你有两种选择创建新的日志文件系统或者对一个已有的ext2文件系统升级到ext3日志文件系统。

对于需要创建新ext3文件系统的情况下，只需要使用安装的e2fsprogs软件包中的mke2fs命令加-f参数就可以创建新的ext3文件系统：

mke2fs -j /dev/xxx

这里/dev/xxx是希望创建ext3文件系统的新分区。-j参数表示创建ext3而不是ext2文件系统。可以使用参数"-Jsize="来指定希望的日志区大小(n单位为M)。

升级一个已有的ext2，使用tune2fs就可以了：

tune2fs -j /dev/xxx

你可以对正在加载的文件系统和没有加载的文件系统进行升级操作。如果当前文件系统正在被加载，则文件.journal会在文件系统加载点的所在目录被创建。如果是升级一个当时没有加载的文件系统，则使用隐含的系统inode来记录日志，这时候文件系统的所有内容都会被保留不被破坏。

你可以使用下面的命令加载ext3文件系统：

mount -t ext3 /dev/xxx /mount_dir

由于ext3实际上是带有日志功能的ext2文件系统 ，因此一个ext3文件系统可以以ext2的方式被加载。

安装XFS文件系统

如果需要从技术方面了解XFS文件系统，请参考SGI的XFS文件系统和SGI信息页面。也可以参考FAQ。

XFS是一个SGI开发的linux环境下的日志文件系统，它是一个成熟的技术，最初是使用在IRIX系统上的文件系统。XFS遵循GPL版权申明。目前xfs文件系统最新版本是1.02。下载得到对内核xfs文件系统支持补丁或者直接下载RPM包方式的内核，下面我们就以补丁方式说明如何对2.4.14内核使用xfs。首先下载如下内容

patch-2.4.14-xfs-1.0.2.bz2

patch-2.4.14-xfs-1.0.2-kdb.bz2

拷贝Linux内核linux-2.4.2.tar.bz2到 /usr/src目录下，修改老的内核目录名，然后解压新内核：

mv linux linux-old

tar -Ixf inux-2.4.2.tar.bz2

拷贝每个每个补丁到内核源码目录下(例如：/usr/src/linux)，并打补丁：

zcat patch-2.4.14-xfs-1.0.2.bz2 | patch -p1

zcat patch-2.4.14-xfs-1.0.2-kdb.bz2 | patch -p1

然后配置内核，打开文件系统部分的内核选项："XFS filesystem support" (CONFIG_XFS_FS)和"Page Buffer support" (CONFIG_PAGE_BUF)。同时需要升级下面这些系统工具到下面或更高的版本：

modutils-2.4.0

autoconf-2.13

e2fsprogs-devel-1.18

安装新内核并重启服务器。

然后下载xfs工具。这个软件包包括下面的命令来处理文件系统，使用下面的命令来安装该软件包：：

tar -zxf xfsprogs-1.2.0.src.tar.gz

cd xfsprogs-1.2.0

make configure

make

make install

安装这些命令以后，就可以创建新的XFS文件系统：

mkfs -t xfs /dev/xxx

如果xxx是一个已经存在的文件系统，那么就需要使用"-f"参数来创建新分区，但是记得这将会破坏该分区的所有数据。

mkfs -t xfs -f /dev/xxx

创建以后就可以使用基于下面的命令加载新文件系统：

mount -t xfs /dev/xxx /mount_dir

安装ReiserFS文件系统

如果希望更多地从技术方面了解reiserFS文件系统，请参考NAMESYS和FAQ。

ReiserFS文件系统从2.4.1-pre4开始就是Linux内核的正式支持的文件系统了。为了使用reiserFS文件系统那你首先需要在系统上安装文件系统支持工具(如：创建ReiserFS文件系统的mkreiserfs工具)。最新的ReiserFS文件系统版本可以以补丁的方式添加到2.2.x或者2.4.x内核中。这里我们以2.2.19为例：

第一步，首先下在内核源码，并下在ReiserFS文件系统的2.2.19补丁 ，目前补丁最新版本是linux-2.2.19-reiserfs-3.5.34-patch.bz2。同时应该下载工具软件包：reiserfsprogs-3.x.0j.tar.gz。

然后解压内核源码和补丁包到/usr/src中：

tar -Ixf linux-2.2.19.tar.bz2

bzcat linux-2.2.19-reiserfs-3.5.34-patch.bz2 | patch -p0

编译内核支持reiserfs，安装内核。然后安装文件系统工具软件：

cd /usr/src/linux/fs/reiserfs/utils

make

make install

安装新内核并重新启动。现在就可以创建新的'reiserfs文件系统，并加载：

mkreiserfs /dev/xxxx

mount -t reiserfs /dev/xxx /mount_dir

文件系统性能测试

测试环境使用的计算机环境如下：Pentium III - 16 Mb RAM - 2 Gb HD，操作系统为RedHat6.2。所有的文件系统都能正常工作，所以就进行benchmark分析来对它们进行性能比较。首先我直接拔掉系统电源以模拟系统掉电情况，以测试日志文件系统恢复过程。所有的文件系统都成功地经过了文件扫描检测阶段，在数秒以后系统都经过了扫描然后正常启动了系统。

下一步就采用了bonnie++性能测试程序进行测试，这个程序对一个文件进行数据库类型的访问，进行了创建、读和删除小文件，这些操作对于Squid、INN或者Maildir格式的邮件服务器程序(qmail)是最常见的操作。性能测试命令为：

bonnie++ -d/work1 -s10 -r4 -u0

其对加载在/work1目录下的文件系统进行了10Mb(-s10)的测试。因此在执行测试之前必须创建适当类型的文件系统并加载到目录/work1下。其他的参数指定内存大小(-r4)的M数，和以root身份运行测试程序，测试结果如下：

每种测试都有两组数据：文件系统速度(K/sec)和CPU占用率(%CPU)。速度越高，文件系统越好。而对于CPU率来说，数字越小性能越好。可以看到Reiserfs文件系统在文件操作方面(Sequential Create和Random Create部分的) 的性能最好，超出其他文件系统10倍之多。在其他方面(Sequential Output和Sequential Input)则和其他文件系统性能不相上下。对于其他文件系统则没有特别明显的区别。XFS性能接近ext2文件系统，ext3文件系统则比ext2要稍微慢上一些(因为记录日志需要一些额外的时间)。 最后使用从得到的性能测试程序mongo，并对其进行了修改以对三种日志文件系统进行测试。这里在mongo.pl程序中添加了添加了加载xfs和ext3文件系统的命令，并对其进行格式化处理，然后就开始性能测试分析。 该脚本格式划分区/dev/xxxx，加载其并在每个阶段运行指定数目的进程：创建、拷贝、符号连接处理、读、显示文件状态信息、重命名和删除文件。同时，该程序在创建和拷贝阶段以后会计算分段数(fragmentation)。

Fragm = number_of_fragments / number_of_files

可以在结果文件中得到同样的测试比较结果：

log - 原始结果

log.tbl - 比较程序的输出结果

log_table - 表格式的结果

下面的命令进行测试：

mongo.pl ext3 /dev/hda3 /work1 logext3 1

如果要测试其他文件系统，就需要把上面命令的参数中的ext3修改为reiserfs或xfs。其他参数分别为要加载的分区，加载路径，保存测试结果的文件名及启动的进程数。

下面的表格是测试结果。数据单位为秒。值越低性能越好。第一个表格测试使用的数据块大小为100字节，第二个表格为1000字节，最后一个为10000字节

从上面的表格可以看到ext3在状态删除和重命名方面要性能更好一些，而ReiserFS文件系统在文件创建和拷贝性能表现更出色。同时也可以看到reiserFS正如其技术文档提到的其在小文件处理方面性能相当出色。

结论

目前Linux至少有两个健壮可靠的日志文件系统可供选择(XFS和reiserFS)，其都得到了广泛的应用。例如Mandrake8.1就默认支持reiserFS文件系统。

从性能测试的结果可以看到，reiserFS是最好的选择。

ext4与xfs比有什么优势和劣势。

数据完全性上：

采用XFS文件系统，当意想不到的宕机发生后，首先，由于文件系统开启了日志功能，所以磁盘上的文件不再会意外宕机而遭到破坏了。

不论目前文件系统上存储的文件与数据有多少，文件系统都可以根据所记录的日志在很短的时间内迅速恢复磁盘文件内容。相比ext4更能保证数据完整。

传输特性上：

XFS文件系统采用优化算法，日志记录对整体文件操作影响非常小。XFS查询与分配存储空间非常快。xfs文件系统能连续提供快速的反应时间。笔者曾经对XFS、JFS、Ext3、ReiserFS文件系统进行过测试，相比ext4，XFS文件文件系统的性能表现相当出众。

可扩展性上：

XFS 是一个全64-bit的文件系统，可以支持上百万T字节的存储空间。对特大文件及小尺寸文件的支持都表现出众，支持特大数量的目录。最大可支持的文件大 小为263 = 9 x 1018 = 9 exabytes，最大文件系统尺寸为18 exabytes。

XFS使用高的表结构(B+树)，保证了文件系统可以快速搜索与快速空间分配。相比ext4，XFS能够持续提供高速操作，文件系统的性能不受目录中目录及文件数量的限制。

传输带宽上：

XFS 能以接近裸设备I/O的性能存储数据。在单个文件系统的测试中，其吞吐量最高可达7GB每秒，对单个文件的读写操作，其吞吐量可达4GB每秒。相比ext4，XFS传输速度更快。

扩展资料：

在分区表所在的64bytes容量中，总共分为四组记录区，每组记录区记录了该区段的起始与结束的柱面号码。

假设上面的硬盘设备文件名为/dev/hda时， 那么这四个分区在Linux系统中的设备文件名如下所示，重点在于文件名后面会再接一个数字，这个数字与该分区所在位置有关。

由于分区表只有64bytes而已，最多只能容纳四个分区，这四个分区被称为主或扩展分区。当系统要写入磁盘时，一定会参考磁盘分区表，才能针对某个分区进行数据的处理。

U盘四种文件系统的优劣

文件系统常见的有四种：FAT16、FAT32、NTFS、ExFAT。 虽然四种文件系统的存储方式和特性各不相同，但对于传输速度并不快的存储卡和U盘来说，实际传输性能却大同小异，理论测试数据相差不过1MB/s，长时间使用可能会有差别。因此，U盘使用何种文件系统的主要因素还是其容量及用途，下面就简单归纳总结下四种文件系统的优劣。

● FAT16：

优点：兼容性最好，某些数码设备可能对FAT32和NTFS格式的存储卡支持不太好，因此只能使用FAT16

缺点：最大仅支持2GB分区，空间浪费大

备注：赶紧看看您的.U盘是不是FAT格式，如果是就改用FAT32吧

● FAT32：

优点：兼容性好

缺点：单个文件不能超过4GB，不支持512MB以下容量的U盘

备注：如果U盘容量达8GB以上，发现4GB文件拷不进去的话，可以考虑换用NTFS或ExFAT格式了

● NTFS：

优点：兼容性好，支持任意大小的U盘

缺点：会缩短闪存寿命

备注：反正U盘超便宜，不怕坏的朋友们使用NTFS其实挺好

● ExFAT：

优点：专为闪存和U盘设计，空间浪费小

缺点：兼容性差，XP和vista系统需要更新补丁才能支持

备注：很多人的电脑都不开自动更新，自然不支持ExFAT，准备好补丁文件吧

用什么工具来测试 Ceph 分布式文件系统的性能

Ceph OSD的底层文件系统采用的为XFS，挂载选项为

rw,noexec,nodev,noatime,nodiratime,barrier=0

RBD设备也使用XFS，但使用默认的挂载选项，其挂载过程如下所示：

sudo rbd -p test create -s 11264 data

sudo rbd -p test map data

sudo mkfs.xfs /dev/rbd/test/data

sudo mount /dev/rbd/test/data /mnt/dest

Ceph的RADOS采用默认设置，不对具体测试用例进行变更。

IOzone 是文件系统测试工具，曾获得 2007年的Infoworld Bossie Awards最佳文件I/O工具，著名的Phoronix Test Suite包含了IOzone。 关于文件系统性能测试和的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。 文件系统性能测试的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于、文件系统性能测试的信息别忘了在本站进行查找喔。