保姆级教程：用TrueNAS做存储，手把手搭建三节点Proxmox PVE集群

企业级虚拟化实战：TrueNAS存储+Proxmox三节点集群搭建指南

在数字化转型浪潮中，中小型企业对IT基础设施的灵活性和可靠性要求越来越高。传统单机虚拟化方案已难以满足业务连续性需求，而商业化的VMware vSphere解决方案又往往超出预算范围。本文将介绍一种高性价比的替代方案——基于TrueNAS统一存储与Proxmox VE（PVE）计算集群的分离式架构，这种组合既能提供企业级功能，又保持了开源软件的成本优势。

我们假设您已经拥有一台配置合理的TrueNAS服务器（IP:192.168.70.10），需要构建包含三个计算节点（IP:192.168.70.11-13）的PVE集群。这种架构特别适合需要运行关键业务应用、又希望控制硬件成本的技术团队。下面将从存储配置、节点部署到集群组建，逐步拆解每个技术细节。

1. TrueNAS存储基础配置

1.1 存储池与数据集创建

TrueNAS的强大之处在于其ZFS文件系统提供的企业级存储功能。登录Web管理界面后，首先需要创建存储池：

1. 进入"存储→池"页面，点击"添加"按钮
2. 选择可用磁盘，建议至少4块硬盘组成RAIDZ2阵列
3. 设置池名称如pve_cluster，确认磁盘布局后创建

创建数据集是为不同用途划分存储空间的最佳实践：

# 通过SSH查看已创建的数据集 zfs list -r pve_cluster

推荐创建以下基础数据集结构：

• pve_cluster/iso- 存放安装镜像
• pve_cluster/backup- 用于虚拟机备份
• pve_cluster/vmdata- 虚拟机磁盘存储

1.2 网络共享服务配置

PVE集群需要通过网络访问TrueNAS存储，NFS是最佳选择：

1. 进入"服务→NFS"启用服务
2. 在"共享→Unix共享(NFS)"中添加共享：
   • 路径：/mnt/pve_cluster/vmdata
   • 授权网络：192.168.70.0/24
   • 勾选"启用"和"所有目录"

为确保性能，建议在"系统→调节"中优化ZFS参数：

# ARC缓存大小(建议为物理内存的50%) vfs.zfs.arc_max=8G # 预读取数据量 vfs.zfs.prefetch_disable=0

2. Proxmox VE节点安装

2.1 系统安装要点

从官网下载最新PVE ISO镜像，每个节点安装时需注意：

• 选择正确的安装磁盘（通常为SSD）
• 设置唯一主机名：如pve01、pve02、pve03
• 配置静态IP地址（避免与TrueNAS冲突）：
  • pve01: 192.168.70.11/24
  • pve02: 192.168.70.12/24
  • pve03: 192.168.70.13/24
• 网关统一设置为192.168.70.254
• DNS建议使用114.114.114.114和8.8.8.8

安装完成后，通过浏览器访问各节点管理界面：

https://192.168.70.11:8006 https://192.168.70.12:8006 https://192.168.70.13:8006

2.2 基础环境调优

每个节点都需要进行以下优化配置：

1. 更新软件源并升级系统：

sed -i 's|ftp.debian.org|mirrors.aliyun.com|g' /etc/apt/sources.list apt update && apt dist-upgrade -y

2. 调整SWAP使用策略（避免集群通信延迟）：

# 编辑/etc/sysctl.conf添加 vm.swappiness=10 vm.vfs_cache_pressure=50

3. 配置NTP时间同步（集群节点时间必须一致）：

timedatectl set-timezone Asia/Shanghai systemctl restart systemd-timesyncd

3. 三节点集群组建

3.1 初始集群创建

选择第一个节点（如pve01）作为集群创始节点：

# 在pve01上执行 pvecm create mycluster

创建成功后检查状态：

pvecm status

预期输出应显示单节点集群信息。

3.2 节点加入集群

在其他两个节点上执行加入命令：

# 在pve02和pve03上分别执行 pvecm add 192.168.70.11

常见问题处理：

• 互信问题：如果提示认证失败，可添加--force参数
• IP冲突：确保各节点IP和主机名唯一
• 防火墙阻挡：检查端口5404,5405是否开放

验证集群状态：

# 任一节点上执行 pvecm nodes

应显示三个节点均为online状态。

3.3 集群网络配置

为确保存储网络性能，建议单独配置存储专用网络：

1. 在每个节点的/etc/network/interfaces中添加：

auto vmbr1 iface vmbr1 inet static address 192.168.71.11 # 各节点不同 netmask 255.255.255.0 bridge_ports none bridge_stp off bridge_fd 0

2. 配置TrueNAS的第二个网口为192.168.71.10/24

4. TrueNAS存储集成到PVE集群

4.1 NFS存储挂载

在PVE集群中统一挂载TrueNAS共享：

1. 登录任意节点Web界面
2. 进入"数据中心→存储→添加→NFS"
3. 填写配置信息：
   • ID: truenas_vmdata
   • 服务器: 192.168.70.10
   • 导出路径: /mnt/pve_cluster/vmdata
   • 内容类型: 勾选"磁盘映像"和"容器"

验证挂载：

# 检查所有节点是否正常挂载 pvesm status

4.2 集群存储策略优化

为充分利用TrueNAS特性，建议配置：

1. 启用ZFS压缩（节省存储空间）：

zfs set compression=lz4 pve_cluster/vmdata

2. 设置定期快照（数据保护）：

# 每天凌晨2点执行快照 zfs set snapdir=visible pve_cluster/vmdata zfs set com.sun:auto-snapshot=true pve_cluster/vmdata

3. 配置iSCSI扩展（可选）： 对于需要块存储的场景，可以在TrueNAS上创建iSCSI目标，然后在PVE中添加iSCSI存储。

5. 高可用性测试与验证

5.1 虚拟机迁移测试

创建测试虚拟机并验证迁移功能：

1. 在共享存储上创建虚拟机
2. 尝试在线迁移：

qm migrate 100 pve02 --online

3. 观察迁移过程中服务连续性

5.2 节点故障模拟

测试集群的容错能力：

1. 正常关闭一个节点（如pve03）
2. 检查集群状态：

pvecm status

3. 验证其他节点上虚拟机是否自动重启

5.3 存储性能基准测试

使用fio工具评估存储性能：

# 安装测试工具 apt install fio -y # 随机读写测试 fio --filename=/mnt/pve/truenas_vmdata/testfile --size=1G --direct=1 \ --rw=randrw --bs=4k --ioengine=libaio --iodepth=64 --runtime=120 \ --numjobs=4 --time_based --group_reporting --name=iops-test-job \ --eta-newline=1

根据测试结果，可能需要调整TrueNAS的ZFS参数或网络配置。在实际项目中，我们发现将recordsize从默认的128K调整为适合数据库工作的16K，可使OLTP性能提升40%：

zfs set recordsize=16K pve_cluster/vmdata/database