見えなくなった仮想マシンからのデータ復旧
突如、認識しなくなった仮想マシンの復旧までをレポートします。
問題発生
ある日、ある会社のシステム管理者から緊急要請の電話が入りました。
「サーバーのメンテナンスまで正常に動いていたのに、仮想マシンの全部を見えなくなりました。仮想マシンの復旧をお願いします。」
サーバーは、VMware VSphere 6.5 VSANの3台クラスター（クラスターとは、1台のサーバーが動かなくなっても、残っているサーバーで仮想マシンをそのまま動くような構成です）、各サーバーは12本の2TB HDDでRAID構成のストレージを持っていました。各サーバーのメンテナンスを行った後、VSANのデータの整合性が合わなくなり、仮想マシンが全て動かなくなりました。
調査開始
システム管理者はHDDを弊社のラボへ持ち込み、弊社の技術者は直ちにHDDのクローンを作成しました。技術者はクローンを使用してRAIDを再構築し、弊社の専用調査ツールでVSANの内部構造を調査にかかりました。データのボリュームを見つけましたが、VSANの内部構造は異なっていることが分かりました。
そこで、弊社の開発チームは、週末も出勤して専用調査ツールの改版を作成したことで、すぐにVSANの新フォーマットを分析することができ、お客様のVSANサーバーにある仮想マシンを見つけることができました。
復旧作業
弊社の技術者は、見つけられた仮想マシンの仮想ディスクを回収しました。RAIDに損傷がありましたが、仮想ディスクの内部調査も行い、正常と破損のファイルを分けて新しいUSB HDDにコピーし、お客様へ返却しました。
リカバリー結果
13台の仮想マシンに16本の仮想ディスクの合計500万本のファイル、約4TBを復旧しました。
お客様は、VSANサーバーと仮想マシンを再構築し、弊社が復旧したデータをロードし、業務を再開できました。
担当者コメント
１．問題がある時は状況が悪化しないよう、すべてのサーバーをすぐ止めて、弊社へご連絡ください。
２．どうしてもサーバーを動かしたり変更を加えたりする必要がある場合、その前に全ディスクのクローンを作成し、クローンで作業を行ってください。構成情報が入っているかもしれないので、システムキャッシュ用の媒体も忘れずに。
