RAID5でもなぜデータ保護ができないのか?
RAID5でもなぜデータ保護ができないのか?
データ復旧のプロが教えるデータ復元から消去までの豆知識:メールマガジン
================================================================================ ■■ ■ ■ 豆知識 Vol.04-05 ■ ■ ■ ■ ■ HDD雑学 No.2 ■ ■ ◆■■ ■■■ ■ ■ ■■◆ ■■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■■ ■ ■ ■ ■■ ■■ ■ ■■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■■ ■ ■ ■■■■ ■■ ■ ■ ■■ ■ ■■◆ ■■ ■ ■ ■ ■ ■■ ■ ■ =============================================================2006.05.29========= 【ATA RAID5の落し穴】 HDDの使用効率とアクセス性能のバランスに優れ、1段の冗長度を持つRAID5構成 の廉価なNASが多くのメーカーより発売されるようになってきました。 しかしながら、 HDDの記録容量、構成台数が増え、しかもコスト削減を目的としてATA HDDを 搭載するようになってくると、RAID5では充分なデータ保護を行いきれないケースが 増えてきているようです。 最近ではRAID6なる耳新しい構成が、これをカバーする ものとして送り出されています。 【RAID6とは】 RAID6とは、修復不能なリードエラーを含む、2台目のHDD障害からもデータを 保護するにはパリティを二重に取ればよいという発想から生まれたものです。 一般的 にはRAID5にパリティ・ドライブを1台追加するという意味合いから、RAID6、 RAID5+、RAID5DPなどと呼ばれています。 この2重パリティの取り方には 2ND-XOR方式のようにRAID5同様の水平パリティに加えて対角パリティを取る ものと、P+Q方式のように数学的に直行関係にあるパリティを2つ取るものがあります。 2ND-XOR方式は1アクセスに対するHDDアクセス回数が増える事から書込み性能の 落ち込みが大きいことから、現行のほとんどはP+Q方式を採用しているようです。 こちらは算術計算負荷が大きいため、専用ハードウェアプロセッサが不可欠ですが、 Intelから汎用I/Oプロセッサが登場した事もあり、これからはS-ATAを使った 中級以上のRAIDの中心になるでしょう。 では、なぜ【RAID5でもデータ保護を出来ないのか?】について考えてみましょう。 《RAID5は1台が故障した後に起こる異常への対応能力はない。》 RAID5はもし1台のHDDが故障しても、他のHDDに分散して書き込まれている CRC情報から故障HDDの情報を再生し、動作を続ける事が出来る点が冗長性としての 売りですね。ただし、単純CRCですので、逆に1台故障すると完全に冗長性を失って しまいます。 確かにこの時点で障害を起こしたHDDを取り替えれば良いではないか という事になりますが、現実の場面では話はそう単純には済みません。 なぜか? ① 現在正常に動作しているからといって、他のHDDに障害がないという保証はない。 他のHDDに障害がなければ、ホットスワップ・HDDがあれば、HDDの障害を 検出した時点でホットスワップを使ってRAIDの再構築が開始されます。 ところが、残りのHDDにもリードエラーがあった場合、なにが起きるかと言えば、 良くて再構築の中断、悪くするとそのドライブもDeadと認識され、RAID として動作不能に陥り、全てのデータが失われる事になります。 ② RAID再構築に当たっては、他のHDDの全てのセクタ・アクセスが行われるため、 後発リードエラーが表に出る確率が上がる。 RAIDの実使用では、使用されるファイルの実体が書き込まれているセクタしか アクセスされませんが、RAIDの再構築に当たっては、RAIDを構成する領域の 全セクタがアクセスされます。 この為、一般的な使用では発生しなかったエラーが 表に出て来てしまいます。 《ATA RAIDと、SCSI RAIDの信頼度差》 昨今はATA HDDの容量増がSCSIを上回り、また同一容量であれば料金(価格)は1/5に なっています。 この為、ATA HDDを使用したRAIDシステムが多くのメーカー から出されるようになっています。 それも、部門で使用するレベルのものだけでなく、 基幹業務向けのアレイにも使用されるようになってきています。 これは顧客サイド からの大容量化と廉価化の要求が強い事と、このジャンルが新しいものだからでしょう。 まず、ドライブ自体の料金(価格)差を考えれば、ATAとSCSIが同じ部品精度、信頼性を 持っているはずはないでしょう。 事実、この2種の間には次の基本的信頼度の差が あります。 - Unrecoverable Read Error Rate(修復不能リードエラー発生率) ATA 1014ビット(1万GB)のアクセスに付き1回 SCSI 1015ビット(10万GB)のアクセスに付き1回 これは、セクターに与えられているECC(Error Correcting Code)のビット数が 1ビット異なるためのものですが、これでATA HDDの信頼度は1桁低い事に なります。 250GB~750GBといったS-ATA HDDでは上記のECCレートからの 単純計算では、1ドライブの全セクタアクセスを行うと40回に1回~13.3回に 1回リードエラーが起きる可能性があるという事になります。 これを複数台組み 合わせるRAIDではその台数分率が落ちますね。 2桁の確率は逆にいつでも 障害が起こりえる状態といってもよいでしょう。 この傾向はご依頼を受けるJOBにも影を落としています。 80GBを超える HDDの依頼品が急速な増加を示した、昨年9月以降、リードエラーが障害原因に 占める割合が急に増えています。 お客様からのご報告内容にも、動作が遅く なったり、突然発狂したりという事を繰り返している内にといった類の記述が多く 見られるようになっています。 また、時を同じくして一度読めなくなった部分が物理的な処置によって100% 読み取れる確率も落ちており、記録密度のUPが磁気的、回路的余裕度を奪って いるようです。 - MTBF(Mean Time Between Failures) ATA 40万時間 SCSI 100万時間 といわれています。 例えば、ほぼ同じ容量の S-ATA Barracuda Seagate ST3160812A (160GB) と SCSI 15000rpm Cheetah 15K ST3146854LC (146.8GB) をスペック・シートで比べると Cheetah 15K の場合、MTBFは140万時間/保証期間5年となっていますが、 S-ATA Barracuda では既にMTBFの記載はなく、Service Life/Limited Warranty 5年/5年という記載になってしまっています。 では、上記を前提に 160GB S-ATA HDD 5台構成 500GB S-ATA HDD 8台構成 146GB SCSI HDD 5台構成の RAID5について考えてみましょう。 まず、RAIDの再構築中に修復不能なリードエラーが発生する確率は、各々の 使用可能容量を概略 ドライブ容量*(台数-1)とすれば、 S-ATA 160GB * 5台 RAID5 容量 640GB の場合、 6.4% すなわち16回の再構築中1回、 500GB * 8台 RAID5 容量 3500GB の場合、 35% 3回に1回は失敗する可能性を持っている事になります。 SCSI 146GB * 5台 RAID5 容量 584GB の場合、 0.58% 確かに1桁違いますね。 -------------------------------------------------------------------------------- 私共は実使用環境で、以下の構成のRAID5 S-ATA Arrayを各々2台づつ 稼働させています。 それぞれの稼働期間は1年半~3年程度ですが、既に次の様な 障害が起きています。 ・ 160GB * 6 2式では現在までの約3年の使用期間中に 3回/5台の HDDで障害を発生しており、内1回は同時に3台がNG ・ 250GB * 8 2式では1台は1年半に2回、1回目は1台のみ、 2回目は1台Deadで残りをチェックした所計3台がNG、 1台では1台Dead1回 ・ 250GB * 6 2式ではRAID基板障害を1度、2台同時Deadを1度、 1台Deadを3度 26台中、14台で障害発生といった具合で1年間無事故で動作したARRAYは 1つとしてないのが実情です。 将来のコストダウンのための評価を含め、 ATA/S-ATAのRAID5を使ってはみましたが、残念ながら予測を下回る 信頼度であり、これ以後の導入は従来通りのSCSIシステムに戻しています。 SCSIのRAIDシステムは、 ・ 146GB * 7 + 300GB *7 1台 稼働期間5年 当初146GB*7*2で稼働、 片チャネル3年目に1台リードエラーが出たタイミングで 300GB*7に代替後、現在まで異常なし ・ 146GB * 7 * 2 1台 稼働期間4年 リード・エラーで2台換装 ・ 300GB * 7 * 2 3台 稼働期間半年/1年/2年各1台 1ARRAYの2つの HDDで立て続けにエラーリトライが発生した為、 HDD2台を交換 こちらでは70台中、5台であり、同時2台以上というケースは起きていません。 稼働月数を加味しても、やはりSCSI HDDが1桁以上、上の信頼度を有します。 私共の使用状態は同じRAIDに連続して複数の端末からそれぞれ数十GBを書き込む 事もあるシビアな使用環境にありますので、一般環境の数倍の障害発生確率を持つのは 致し方ないのですが、やはりATA HDDはSCSI HDDに比べると1桁以上 信頼度が落ちる事は否めません。 -------------------------------------------------------------------------------- 安いATA HDDを使ったRAID NASを有効に使うには、次の点を考慮されては いかがでしょうか。 現状においては全てを満たすものはありませんが、代替手段を 考えれば良いでしょう。 【購入に当たって確認/考慮しておく事】 ・ エア・フローが充分に考慮されているか 極端な事を言えば、国産のFANを使用しているものを選択する、という事も。 過去の経験ではベアリングの寿命が全く違います。 ・ HDDの表面温度が確認出来る構造か NASの場合、24H365日電源を入れたまま使用しますので、設置する環境を 含めてHDDの表面温度が40度を超えない方が無難です。 一般事務所環境では クーラーの故障等で室温が上がってもHDDの使用温度上限に収めるにはこれが 上限ではないでしょうか。 室温を最近のエコ志向に合せて設定すると、この温度を 超える恐れがありますので、使用開始にあたってはそれぞれの環境で表面温度を 確認しておく方がよいでしょう。 2千円程度で非接触型の赤外線方式の温度計が 売られているようです。 保証精度は良くありませんが、この種のラフな確認には 充分ですので一つ持っておかれるのも良いかと思います。 ・ オート・リビルドが切れるか否か オート・リビルドは両刃の剣です。 2重バックアップがない限り、オート・ リビルドは行わず、アクセスログなどをチェックして他に障害を起こした形跡が ないかを確認した上で手動でリビルドを行う方が無難だからです。 UNIX環境をお持ちであれば、DDで全ディスクのイメージバックアップを 取ってからリビルドを行うことも考慮されると良いでしょう。 ・ ホット・スワップが可能なものを選ぶ 症状によっては数十分~数時間で隣のドライブがクラッシュしてしまう事があります。 ドライブがデッドになった場合、直ちにそのドライブを停止できることが必須条件に なります。 オート・リビルドを行うか否かを問わず、電源を落とさずにドライブの 交換が可能であれば、リスクを軽減出来ます。 電源のON/OFFは最もストレスの 大きな動作ですから。 ・ 同じ機種を2台同時に購入し、1台をバックアップとして稼働させる これは本体構成パーツ側に障害が起きた場合の代替を行うためには必須です。 これが可能かどうかも確認しておく必要があります。 1台をバックアップとして稼働させ、差分バックアップを昼休みと終業時の2度 行えばよいのではないでしょうか。 差分バックアップであれば、部門単位くらい であれば、バックアップに30分も掛からないのではないでしょうか。 ・ 全HDDを新品に入れ替え、初期化が出来るか否か (廉価なものには、ほとんどこの機能はありません) データ回収のために現在のHDDセットをそのまま残してシステムを再稼働させる には必要な条件になります。 ・ 出来れば1セット分の予備HDDを同時に購入する HDDの中にシステムを持つものでは、全ドライブ入れ替えての初期化が出来ない ものもありますので、その場合は、各本体に1台の予備HDDで良いでしょう。 【稼働にあたって確認しておく事】 ・ ホット・スワップとリビルド動作の確認 障害が起きてからでは、問題を拡大させたり、全てを失う可能性を秘めています ので、ホット・スワップとリビルド動作の確認を前以て行うことをお勧めします。 ドライブのスクリーニングの意味も含めてになりますが。 リビルドが始まり、 数分経過したところでHDDの表面温度も確認しておくと良いでしょう。 テスト書込みを行なった後、一度電源を落とし、1台を外した上で再起動し、 上手く起動するかを確認します。 外したドライブがちゃんとないと判断され、 縮退運転をしている旨のレポートがされる事も確認しておくべきでしょう。 再度電源を落とし、スペア用のドライブを入れてリビルドを行い、完了を確認 しておきます。 取り外したドライブは、データ消去ソフトを使って、"00"hで上書きして、 スペア用として使用出来るようにしておきます。 注) この作業は下手をすると、RAIDが認識されなくなる恐れを持って いますので、よく手順を確認し、行う内容を記録しながら実施して下さい。 ひとつ間違うと、メーカーに返却し、初期化を行ってもらわざるを得なく なる場合があります。 問題が起きてからでは、やらずもがなな事をしてしまう恐れがありますので、これらの 手順は前以て押さえておきたいところです。 以上 ================================================================================ A1Data RecoveryServices-- ======================================================豆知識===Vol.04-05=END====
※本記事は、A1データ株式会社の前身、株式会社ワイ・イー・データ時代に執筆・記載されたコラムです。