告别9P！在Ubuntu 20.04上用QEMU+KVM实测virtio-fs，性能提升到底有多大？

告别9P：Ubuntu 20.04下virtio-fs性能实测与迁移指南

如果你正在使用QEMU/KVM虚拟化环境，并且对虚拟机与宿主机之间的文件共享性能感到不满，那么virtio-fs可能是你期待已久的解决方案。作为传统9P协议的现代替代品，virtio-fs在性能上带来了显著提升，特别是在处理大量小文件或高并发IO操作时。本文将带你深入了解virtio-fs的实际表现，并手把手指导你完成从9P到virtio-fs的迁移过程。

1. virtio-fs技术解析与9P对比

virtio-fs是一种基于FUSE（用户空间文件系统）和virtio框架的共享文件系统解决方案。与传统的9P协议相比，它采用了完全不同的架构设计：

• 内核级数据通路：virtio-fs通过virtio框架直接在内核空间传输数据，避免了9P协议中用户空间与内核空间之间的多次数据拷贝
• 零拷贝技术：利用共享内存区域（DAX）实现高效数据传输
• 现代缓存机制：支持更智能的缓存策略，减少重复IO操作

在架构差异上，9P协议采用完整的网络协议栈模拟，而virtio-fs则利用了virtio的标准化设备接口。这种设计上的根本区别使得virtio-fs在以下场景中表现尤为突出：

• 频繁的文件元数据操作（如stat、readdir）
• 大量小文件读写
• 高并发IO请求
• 需要低延迟的编译/构建环境

2. 测试环境搭建与配置

为了准确比较virtio-fs与9P的性能差异，我们需要先搭建标准的测试环境。以下是我们的实验配置：

2.1 安装必要组件

首先确保系统已安装最新版本的QEMU和必要工具：

sudo apt update sudo apt install -y qemu-kvm libvirt-daemon-system libvirt-clients bridge-utils virt-manager

2.2 内核配置检查

virtio-fs需要宿主机和虚拟机内核支持：

# 检查宿主机内核配置 grep -E 'CONFIG_VIRTIO|CONFIG_FUSE' /boot/config-$(uname -r) # 检查DAX支持（可选但推荐） grep CONFIG_FS_DAX /boot/config-$(uname -r)

如果缺少任何关键配置，需要重新编译内核或使用官方提供的内核补丁。

3. 性能基准测试

我们设计了四组测试来全面评估virtio-fs与9P的性能差异。所有测试均在相同的硬件环境和虚拟机配置下进行，确保结果可比性。

3.1 文件传输测试

首先测试大文件传输性能：

# 宿主机上创建测试文件 dd if=/dev/urandom of=testfile bs=1G count=4 # 虚拟机内测试传输速度 time cp /mnt/shared/testfile /dev/null

测试结果对比：

3.2 小文件操作测试

使用bonnie++工具测试小文件性能：

bonnie++ -d /mnt/shared -n 100:100000:10:10 -r 4096

关键指标对比：

3.3 编译性能测试

以Linux内核编译为例测试实际工作负载：

time make -j4

编译时间对比：

3.4 元数据操作测试

使用mdtest工具评估元数据性能：

mdtest -n 10000 -d /mnt/shared

测试结果：

4. 从9P迁移到virtio-fs的实践指南

现在你已经看到了virtio-fs的性能优势，接下来让我们看看如何将现有的9P配置迁移到virtio-fs。

4.1 虚拟机配置调整

修改QEMU启动参数，将原来的9P配置：

-virtfs local,path=/host/path,mount_tag=host0,security_model=mapped,id=host0

替换为virtio-fs配置：

-object memory-backend-file,id=mem,size=4G,mem-path=/dev/shm,share=on \ -numa node,memdev=mem \ -device virtio-fs-pci,queue-size=1024,chardev=char0,tag=myfs \ -chardev socket,id=char0,path=/tmp/vhost-fs.sock

4.2 虚拟机内部配置

在虚拟机内部，需要安装virtiofsd并挂载共享目录：

# 安装必要组件 sudo apt install -y fuse3 # 创建挂载点 sudo mkdir -p /mnt/virtiofs # 挂载共享目录 sudo mount -t virtiofs myfs /mnt/virtiofs -o rw,nosuid,nodev,noatime

4.3 性能优化参数

为了获得最佳性能，可以调整以下挂载选项：

• dax：启用直接访问模式（需要内核支持）
• writeback_cache：启用写回缓存
• max_read/max_write：调整最大IO大小

示例优化配置：

sudo mount -t virtiofs myfs /mnt/virtiofs -o rw,dax,writeback_cache,max_read=524288,max_write=524288

5. 常见问题与解决方案

在实际迁移过程中，可能会遇到以下问题：

5.1 权限问题处理

virtio-fs默认继承宿主机的文件权限。如果遇到权限问题，可以通过以下方式解决：

# 查看当前挂载选项 mount | grep virtiofs # 重新挂载时指定uid/gid映射 sudo mount -t virtiofs myfs /mnt/virtiofs -o rw,uid=1000,gid=1000

5.2 性能调优建议

如果发现性能不如预期，可以尝试：

1. 增加virtio队列大小：

   -device virtio-fs-pci,queue-size=2048,...

2. 调整虚拟机CPU拓扑，确保中断均衡
3. 在宿主机上限制virtiofsd的CPU亲和性

5.3 兼容性注意事项

需要注意以下几点兼容性问题：

• Windows虚拟机目前不支持virtio-fs
• 某些旧版本的应用可能对FUSE文件系统有特殊限制
• DAX模式需要特定的内核配置和硬件支持

在实际项目中，我们建议先在测试环境验证所有关键应用在virtio-fs上的表现，然后再迁移生产环境。对于特别敏感的应用，可以采用渐进式迁移策略，先转移非关键数据，确认稳定性后再迁移全部数据。