再起動後に動かない！仮想サーバーの復旧事例
- 媒体
-
＜製品基礎情報＞ 使用機器：Supermicro製サーバー（システム構成はお客様が自社で構築） メディア：HDD（2.5インチ）（Seagate 1TB：16台） 製品番号：ドライブ容量総計：14TB OS：VMware vSphere 6.5 ストレージシステムの種類：VMware Virtual SAN（VSAN） ファイルシステム種類：VMFS（ESXサーバー）
- 障害内容
-
＜お客様情報＞
某情報システム会社 B様（30代・男性）
＜障害内容＞
冗長性が担保された仮想サーバー（ゲストOS数：20個）にて、システムメンテナンス（システムメモリー増強）を実施。メンテナンス終了後、再起動した際に冗長性が崩壊し、仮想サーバーが全停止状態となってしまいました。
このシステムは、2系統（Node0、Node1）の物理構成にて運用しており、冗長性を確保するためNode0とNode1は同じ内容となっています。システムメンテナンスはそれぞれのNodeをメンテナンスモードにし、管理サーバーを停止して実施しましたが、Node0とNode1の同期が未完状態で通常モードに戻したため、障害が発生しました。
- 結果
-
＜診断結果＞
冗長性が崩壊し同期が確保できないため、システムの起動が不可能な状態です。復旧には、VSANストレージ構造、VMFS構造、ゲストOS自体の構造解析が必要となります。お客様自身での復旧作業による上書きが進行していなければ、データ復旧は可能と思われました。
＜実施した復旧内容＞
以下の3工程を行いました。
1. 1TBのHDDを16台入荷し、クローンイメージを作成
イメージファイルを100％取得しました。
2. VSANの構造解析
解析手順に従って調査を実施すると，VSANが最新バージョンのため、現行の解析ツールが未対応であることが判明しました。契約している海外のエンジニアに調査依頼をしたところ、ツール開発が必要という結果が得られました。緊急案件でしたので、お客様の了承を得て、技術導入契約している海外の会社と協力してツール開発に入りました。
3. ゲストOSの構造解析
最新ツールにてVSAN構造体を再生し、VMFSとゲストOSの構造解析を実施しました。お客様と連絡をとり、優先するゲストOSの順に回収・出荷作業を実施しました。
＜復旧実績＞
・復旧容量：約3.6TB
・復旧ファイル数：500万
・復旧率：95％
＜復旧依頼者（匿名）の声＞
社内業務に関する重要なデータベースや書類が失われてしまうところでした。サーバーがストップすると社員の業務にも影響が出てしまうため、緊急を要する事態だったのですが、昼夜を問わない復旧体制で早急に対応していただき、非常に感謝しています。進捗状況の報告も丁寧にしてくださり、安心できました。
＜データ復旧担当者のコメント＞
今回のケースでは、依頼を受けた当初は現行のツールで対応が可能と判断されたのですが、調査の結果、最新バージョンのためツールを開発する必要がありました。こういった未経験のストレージシステムであっても、全世界のエンジニアと連携して迅速に復旧作業を実施できる点が、A1データの最大の利点です。
さらに、こういったすべての復旧作業の経験をナレッジベースとして共有しているため、その経験が圧倒的なデータ復旧率の高さにつながっています。今回の復旧作業では、一部、回収不能となったデータがありましたが、それはお客様が復旧作業を実施してしまったため、上書きが発生したことによるものです。早い段階でご一報をいただければ、より良い結果が得られたと思われます。
