世界最大級のインターネット通信販売のマーケットプレース 「eBay」では、非常に高いデータセンタの信頼性が要求されて いる。ダウンタイムが起きると、1秒あたり2000ドル以上もの ビジネスが失われるという。このため、グローバルデータセン タチームは、コストを低く抑えながら、安定したアップタイム と柔軟性を同時に提供する必要がある。その一方で、これを実 現することは、絶え間ない技術革新を必要とする非常に複雑な 課題である。
eBayは創業以来、12のデータセンタサイトを構築し、増加 を続けるコンピューティング負荷に対応してきた。ビジネスは 継続的な成長を遂げており、eBayのデータセンタの運用経費も 年々増加している。
このため、eBayは高い目標のもとでデータセンタ4か年計画 を策定し、実行に着手した。この目標は、電力コストを半減する と同時にコンピューティング性能を2倍にするものである。 同時に、インフラを新規で設計することで、運用上の機敏性 の向上と信頼性の強化を目指した。
これらの目標を達成するために、eBayはその資産を少数の データセンタに統合し、それぞれを基礎から設計し、稼働時間 を低下させることなく極めてエネルギー効率の高いデータセン タを求めていた。
「優れたデータセンタ戦略は、コンピューティング需要が年々 増加するなかで、それに比例して運用経費を増加させることな く成長しようとするものです」とeBayのデータセンタ戦略およ び運用担当シニアディレクタのDean Nelson氏は語っている。 「私たちは、コンピューティング負荷と運用経費が直接的に関連 している状況を打破する必要があります。このためには、エネ ルギー効率、コンピュータの処理能力、およびサーバ使用率プ ロファイルが、飛躍的に上昇することが必要です」。
2010年5月、eBayは新しいデータセンタ戦略「Topazプロ ジェクト」の基軸となる旗艦施設を開設した。
ユタ州サウスジョーダンにあるTopazは、eBayで過去最大規 模の単独設備投資で、eBayの世界中のサーバインフラの3分の 1以上を収容する。Topazは、Tier 4データセンタに必要なすべ ての冗長性を配備しているにもかかわらず、電力使用効率 (PUE)の測定値が1.4という能力を誇っている。
最適化された建築設計、水回りの節約装置、雨水の収集、冷 却および配電サブシステムを通じた動的制御など、革新的なエ ネルギー効率のメカニズムをインフラに採用することにより、Topazの施設は、最低限のコストでフリーアクセスフロアの施 設に電力と冷却機能を装備する。
このほか、Topazの施設では冷却プラントと連携して動作し、 サイトのLEEDゴールド設計(※1)に貢献するような、多くのベ ストプラクティスを実現している。
Topazの設計の特長は5つあり、すべての最新のデータセン タに優れた価値と適用性を提供している。
(※1) 米国グリーンビルディング協会のLEED(Leadership in Energy & Environmental Design)のゴールドランキングを達成した。
最大冷却効率を実現するために、eBayは「ホットアイルコン テインメント」(熱気の囲い込み)方式を採用した。この方式は、 建築に先立って極めて慎重に考案され、プロトタイプが製作さ れ、設定されたものである。
サンノゼの本社では、eBayのデータセンタアーキテクチャ チームが、複数のコンテインメント方式の実物大模型を装備し、 さまざまな戦略(ホットアイルコンテインメントとコールドア イルコンテインメント)、材料(コンテインメントドアとプラスチック被覆)、寸法などの実験を行った。この設計プロセスでは、 マスデプロイメントを行う前に、コスト、柔軟性、信頼性の最 適バランスを決定した。eBayは、CRAC障害の発生時に、ホッ トアイルコンテインメントの方がコールドアイルコンテインメ ントよりもより多くのバッファ時間を提供することを発見した。 チームは、45Uキャビネットの列で構成されるコンテインメン トアイルを配備し、キャビネットおよびコンテインメントベン ダーと提携して、漏洩を最小化しながらモジュール設計を確実 に行えるようにした。
特定のキャビネットに配備された複数のブレードサーバを使 用して、eBayは最大17kWの負荷を供給できるラックを求めて いた。従来の208V配電でも達成できるが、Topazでは各キャ ビネットに対して高電圧配電を全面的に拡張することにより、 顕著な費用効率を実現した。各ラックに400V電源を供給する ことで、eBayは降圧変圧および有線伝送損失を最小化すると同 時に、銅の使用率を低減している。
特に、各キャビネットにはラリタン製のインテリジェント PDU(ラック用電源タップ)を2台使用して、400V3相電力を 供給する(※2)。このPDUは、中性(3相WYE)配線への内部配 線を持ち、各サーバに240Vの単相電力を供給する。これは、 あらゆる仮想IT機器の電源供給にも十分に対応するものである。 不要な変圧を排除することで、400V電源は208V配電に比べ て約2~3%、120V配電に比べて約4~5%のエネルギーコスト を軽減する。ラック電源タップの世界的なベンダーとして、 ラリタンは400V入力にも対応する非常に幅広い製品構成を提 供する。400V配電は北米では比較的新しいシステムではある が、ラリタンではすでにオーストラリアおよび多くのヨーロッ パ諸国の公称規格である400Vシステムを配備している。
eBayのデータセンタ運用チームが最も重要と考える経済的な 評価基準は、Web上の検索にかかるサーチあたりの総コストで ある。また、サーバCPUの性能が製品世代によって急速に進化 するため、eBayでは、ワットあたりのパフォーマンスゲインが 新しい資産の資本コストを上回ると、2年に1度のサイクルで サーバを更新している。
ただし、調達するサーバごとに、設備投資だけではなく、 サーバを運用するすべてのコスト要因を検討すると、検索にか かるコストを最小化できる。特に、エネルギーコストは、あら ゆる資産にとって単一の最大の運用経費である。
最大限の節約を可能にするために、eBayは単一サーバごとに 単一の電源を供給し、その正確なエネルギー消費データを提供 するラリタン製ラックPDUを配備した。ラリタン製ラックPDU のDominion PXファミリは、IEC/ANSI「billing grade」規格 に厳密に準拠しており、データセンタの個別資産に対し、精度 の高いキロワット時の情報(±1%)を継続的に提供する。また、 Dominion PXはIT規格と施設規格の双方を考慮しており、これ らの情報をeBayのビル管理と資産追跡システムにリアルタイム で送信することで、グリーングリッドの条件であるPUEカテゴ リ3(PUE3)監視の規定を達成している。
「Dominion PXは、サーバごとの真の運用経費を計算し、少 しでも費用を軽減できるような正確な情報を提供してくれます」 とNelson氏は語っている。「私は各製品の効率プロファイルを 理解し、次のサーバの見積もり時に採算が合う要件で進めるよ うになりました」。
多くの革新的なメカニズムを冷却インフラに実装し、各サー バの運用環境をリアルタイムで把握することで、Topazでは経 費節減と信頼性の両面で冷却効率をさらに改善している。
ほとんどのデータセンタは設定ポイントを監視し、温度情報 を把握しているが、このデータはラックでの実際のサーバ環境 の概算値を示すものに過ぎない。また概算値では、オペレータ は、安全面と冷却能力において余裕をみておく必要があるが、 これらは無駄となることが多い。
その一方、eBayはTopazデータセンタのすべての単一キャビ ネットの正確な流入温度と排出温度を把握する。特に、Topaz ではサーバ環境監視に関するASHRAE基準に準拠し、ホットア イルに加えて、コールドアイルの上部、中間、下部で測定を行 う。この情報は絶えず監視できるので、eBayは冷却パラメータ を微調整して効率を最適化するとともに、サーバレベルの障害 状態に対して瞬時に警告を発生することができる。
通常、このレベルの環境監視では、すべてのキャビネットへ の配備が法外に高価になる場合がある。ただし、Dominion PX は、どの製品もプラグアンドプレイ温度センサ(オプション) を購入するだけで温度を細かくモニタリングすることが可能に なる。既にラリタン製ラックPDUに装備されている既存のネッ トワーク層は、湿度および温度データの測定および監視に利用 されている。
多くのデータセンタでは、PDUパネルボードから各キャビネッ トへの床下電源ケーブル配線が迷路のような状態となっている。 しかし、この設計では、気流の供給が妨げられるため、冷却効率 が低下する。この問題はフリーアクセスフロアでは頻繁に発生す るため、非効率が簡単に見逃され、大きな影響を及ぼす可能性が ある。さらに、ブレーカごとに専用の床下電源「ホイップ」を装 備する標準設計は、不要で活用されない相当量の銅を消費するこ とにもなり、同時に新しいキャビネットの発注における柔軟性が 制限されることにもなる。
この問題を解決するために、Topazでは高架配電バスウェイを 使用し、どのキャビネットも400A電源に簡単に接続できるよう になっている。キャビネットの各列に沿って2つのバスが走り、 それぞれが冗長電力が供給され、それによって床下ホイップが完 全に不要になっている。ブレーカによって保護された配電盤を設 置することで、キャビネットの列に沿ったどの場所にでもほんの 数分間でレセプタクルを追加できる。電気技師が追加引込線を設 置するために数日間待機する必要はない。
(※2) 日本では400V3相モデルは発売しておりません。
eBayは、ダウンタイムにより1秒間に2000ドルまたは1分 間に120,000ドルもの損失が生じてしまうことから、信頼性 の向上に取り組んでいる企業である。eBayの大規模な運用で は、当然ながら機器と電力のコストを絶えずチェックする必 要がある。これらの目的のために、eBayは、ITオペレーショ ンの信頼性を向上し、従来のデータセンタよりも運用経費を 50%低減するデータセンタのモデルを開発した。
障害の最小化と運用経費の低減に加えて、eBayのユタ州サ ウスジョーダンに位置する施設は、米国グリーンビルディン グ協会のLEED(Leadership in Energy & Environmental Design)のゴールドランキングを達成した。
LEEDゴールド効率ランキングとTier 4の信頼性と同様に、 eBayデータセンタに組み込まれた柔軟性も重要な要素であ る。
要件や機器の変更に適応でき、将来の成長に向けての需要 を満たせるデータセンタは、eBayにとって特に重要であった。
eBayによって実証されたようにIT業界のベストプラク ティスを実装することで、中規模のデータセンタでも、すぐ に利用できる機器と簡単な技術とプロセスを使用して、稼働 時間を増加し、経費を削減し、より効率を向上させることが できる。
1995年に設立されたeBayは、個人バイヤーお
よびセラー、小規模企業など多様なユーザを結
ぶコミュニティを構築している。
全世界に9000万以上の活動的なユーザを持つ
eBayは、実際に誰もが何でも購入し、販売で
きる世界最大のオンライン市場(マーケットプ
レイス)である。
増加の一途をたどるコンピューティング負荷お
よび運用経費に対処するため、データセンタ
4か年計画を策定し、実行に着手した。
電源管理
Dominion® PXTM インテリジェントラックPDU
ITオペレーションの信頼性を向上させ、従来よ
り運用経費を50%低減するデータセンタのモデ
ルを開発した。
ユタ州サウスジョーダンにあるeBayの施設は、
障害の最小化と運用経費の低減に加え、米国グ
リーンビルディング協会のLEED(Leadership
in Energy & Environmental Design)のゴー
ルドランキングを達成した。
LEEDゴールド効率ランキングとTier 4の信頼
性と同様に、eBayデータセンタの設計の柔軟
性も重要な要素である。