月初,广州某贸易公司的运维经理通过微信向补天时代求助:他们机房一套四节点的 VMware vSAN 集群突然大面积告警,一个磁盘组整体离线,运行在该磁盘组上的二十多台虚拟机全部显示"对象不可访问",其中还包括公司的ERP和邮件服务器。
这套 vSAN 集群使用"每节点一个磁盘组、一块固态缓存盘加三块容量盘"的配置。故障当天缓存盘出现硬件故障,按 vSAN 的机制,缓存盘损坏意味着整个磁盘组的容量盘数据暂时失去索引,业务全部中断。公司没有独立的备份系统,所有希望都压在这套集群上。
客户自己尝试把容量盘接到其他服务器上读取,发现根本无法识别任何文件,这才意识到 vSAN 的分布式对象存储不是简单的磁盘拼接,必须做专业的底层重组。
补天时代工程师将磁盘组的三块容量盘逐一做全盘镜像,然后基于 vSAN 的对象存储结构进行分析:先定位每个对象的 RAID 树和组件分布,再按照对象ID把散落在三块盘上的组件重新拼接,还原出完整的虚拟磁盘文件。
过程中遇到两个难点。一是三块容量盘中有两块存在不同程度的坏道,部分对象组件需要从镜像文件中多次重读补齐;二是有两台虚拟机的对象横跨了故障磁盘组和正常磁盘组,工程师先把故障侧组件补齐,再与正常侧组件合并,才完整还原了虚拟磁盘。
历时三天,二十多台虚拟机的虚拟磁盘文件全部导出,ERP 数据库、邮件存储和文件服务器数据经客户逐一核对确认完整。客户随后把 ERP 迁移到了新购服务器,并在我们的建议下上线了独立备份设备。
vSAN、Nutanix 这类分布式存储的恢复对技术要求很高,恢复前千万不要在集群里执行清理、重建或重新添加磁盘等操作,每一次写入都可能把仅存的数据副本覆盖掉。补天时代专注数据恢复二十余年,处理过大量 vSAN、超融合和分布式存储故障,成功率保持行业领先。
如遇 vSAN 或虚拟化集群故障,可联系深圳市补天时代科技有限公司,电话 0755-83775551,地址:深圳市福田区华强北深南中路2070号电子科技大厦A座35楼。