創夢・創造の現場から

第3回

千台超規模のクラスタ計算機システムを運用してきた
技術と経験が、クラウドの時代につながる

株式会社創夢（以下創夢）には、千台超規模の計算機サーバから構成されたクラスタ計算機システムやグリッド・コンピューティング・システムを利用し大規模かつ高性能な科学技術計算、あるいはクラスタやグリッド技術そのものの研究に役立てていらっしゃるお客様がいます。こうしたお客様の運用を支え、システムを拡張するといった仕事を、創夢は長年にわたってお手伝いしてきました。その技術と経験は、これからはじまるクラウドの時代における創夢の強みとなっていきます。(2010年6月取材)

大規模な2つのクラスタ計算システム（以下クラスタ）、1つは1000台以上、もう1つも100台以上の計算機サーバから構成されたクラスタに対して、効率よくソフトウェアを導入し、パッチを適用し、障害に対応するなどの運用管理の業務を、創夢は独立行政法人 産業技術総合研究所様から請け負っています。

一般にこうした大規模クラスタでは、すべての計算機サーバに必要なソフトウェアを導入する手間だけでも膨大なものになります。それだけでなく、バックアップやストレージ管理、故障したハードウェアの対応など、日々のメンテナンスも欠かせません。クラスタを活用し続けるためには新たな処理のためのライブラリの追加や環境構築なども必要で、効果的な運用管理には多くの課題があります。創夢はこうした課題の解決のためにお客様と相談しつつ、周辺ソフトウェアの環境整備とともに既存のクラスタ用ソフトウェアをベースに改良を加え、運用管理の効率化、自動化などを行っています。

また同法人から2003年以来請け負っている別の案件では、複数のクラスタにまたがるグリッド・コンピューティング・システム（以下グリッド）用のミドルウェアの運用管理も実施。グリッドではPKIによるユーザー証明書を用いて個人を認証し、複数の組織の資源を利用できます。そのための認証局の立ち上げと証明書の発行も行うなど、大規模システムの運用基盤にかかわる幅広い技術を駆使しています。創夢ではその他にも、国立大学法人 東京大学様の大規模クラスタやグリッドの運用支援、その他国立系研究機関様でのクラスタやグリッドなど、多くの大規模システムに関する構築、導入、運用管理についてのお手伝いをしてきました。

[photo]

左上から時計回りに、先端技術部部長 宇羅博志（うら ひろし）、運用技術部プロジェクトマネージャ 飯島昭博（いいじま あきひろ）、運用技術部部長 津嶋基邦（つしま もとくに）、運用技術部シニアプロジェクトマネージャ 渡邊欣一（わたなべ きんいち）

先端技術部は、運用技術部におけるシステム構築・運用の経験から、それらの業務に必要とされるソフトウェアの研究・開発を専門に行うために設立された比較的新しい部署

(所属・役職は取材当時のもの)


大規模なシステムのポイントは自動化

大規模なクラスタやグリッドの運用管理では何がポイントでしょうか。管理の自動化が1つの鍵となると、運用技術部シニアプロジェクトマネージャの渡邊欣一。「計算機サーバの数が膨大になるので、1台1台をそれぞれ人が目視するわけにもいきません。監視ツールを用いて運用状況や故障の状況などを把握することになりますので、それをいかに使うかが大事なノウハウの1つになります。特に1000台規模ではビジュアルで分かりやすいものにしないと管理しきれないでしょう」

こうした大規模システムの運用管理ノウハウは、創夢のエンジニアが知識や経験を重ねてきた分野です。例えばオープンソースソフトウェアとしてグリッドの構築や管理を行う目的で配布されている「NAREGIミドルウェア」あるいは「gLite」など、かつては使いこなすのに非常に手間がかかるものを取り入れつつ、使いこなすテクニックを磨き、独自に使いやすさや自動化のための改良などをしてきました。

先端技術部 部長の宇羅博志は「新しい技術でもすぐに習得して、キャッチアップできるというのは創夢の売りだと思う」と言い、運用技術部 部長の津嶋基邦も「大規模なクラスタ計算機システムやグリッド・コンピューティング・システムの運用管理、グリッド技術において、創夢は他社にはない技術や経験を持っている」と自社を評します。

運用管理に付加価値をつける

創夢が提供するのは運用管理にとどまりません。お客様に対する大規模システムの付加価値も実現しています。前述の産業技術総合研究所様の案件では、地球観測衛星から送られてくる画像のクラスタへの蓄積に関連した、画像変換処理の研究支援なども行っています。別の案件では、システム拡張のための投資は何が最適なのか、演算性能なのか、ネットワークなのか、ストレージ性能なのか、というお客様の選択肢の中で、運用を任され、システムの動作やボトルネックなどをよく知る立場からアドバイスを行うこともあります。

創夢の開発部門と連係してシステム開発を行うことも得意とするところ。前述の画像蓄積クラスタとグリッド技術を結びつける研究ではJavaを使ったWebポータル上でグリッド認証を利用するシステムを創夢の開発部門が開発。運用と同様に大規模システムに対応しています。運用技術部 プロジェクトマネージャ 飯島昭博は、これらをこう表現しています。「お客様の言うことを単に聞くだけではなく、こちらから改善のための助言や提案もしますし、無理な設計などには技術的に無理な理由を説明して、代替案をお客様と一緒に検討します。もしも必要な開発があれば創夢にはそれを行う能力もある。コンシェルジュのようないろんな対応が可能で、それが創夢のよさではないかと思います」

運用を効率化するだけでなく、それを基盤にして何が可能になるのか、お客様と一緒に考えつつ、あがってくる柔軟な要望に応える。創夢が提供するのはそうした創造的な運用であるといえるでしょう。

主なクラスタ / グリッドシステム構築・運用の実績（2010年6月現在）

先端技術部 担当案件

2010/1 〜 2010/3
独立行政法人 情報通信研究機構
仮想マシン環境におけるNAREGIミドルウェアクラスタの構築
詳細

業務内容
  • Xen仮想マシン構築
  • NAREGIミドルウェア導入
  • NAREGIミドルウェア動作確認
  • 乱流音解析ソフトウェア FrontFlow/blue導入
  • NAREGIミドルウェアのコンサルティング
ユーザーアカウント数

3

OS

CentOS 5, Scientific Linux 3, Xen 3

使用言語

シェルスクリプト, Python

使用ソフトウエア
  • Xen 3.0
  • NAREGIミドルウェア 1.1
  • FrontFlow/blue
対象機材
  • x86_64 PCサーバー（CPUコア 12core, メモリ 64GB）1台
    （仮想マシン 7台）
  • x86_64 PCサーバー（CPUコア 2core, メモリ 2GB）10台

2009/1 〜 2010/3
大学共同利用機関法人 高エネルギー加速器研究機構
仮想マシン環境におけるNAREGIミドルウェアクラスタの構築/運用管理
詳細

業務内容
  • Xen仮想マシン構築
  • NAREGIミドルウェア導入
  • NAREGIミドルウェア動作確認
  • トラブルシューティング
  • NAREGIミドルウェアのコンサルティング
ユーザーアカウント数

10

OS

CentOS 5, Scientific Linux 3, Xen 3

使用ソフトウエア
  • Xen 3.3
  • NAREGIミドルウェア 1.1
対象機材
  • x86_64 PCサーバー（CPUコア 8core, メモリ 16GB）1台
    （仮想マシン 13台）

2008/10 〜
国立系研究機関
NAREGIミドルウェアRPMパッケージ開発
詳細

業務内容
  • NAREGIミドルウェアのRPMパッケージ開発
  • NAREGIミドルウェアインストーラの改修
  • NAREGIミドルウェア向けGfarm V2 RPMパッケージ開発
OS

CentOS 5, openSUSE 10.3

使用言語

シェルスクリプト, RPM, C言語, Java

2007/12 〜 2009/2
国立系研究機関
Rocks Cluster向けNAREGIミドルウェア Rollの開発
詳細

業務内容
  • NAREGIミドルウェアのGridVMノードの64ビット化対応
  • NAREGIミドルウェア Rollパッケージ開発
  • PBS Professional Rollパッケージ開発
  • PluS Rollパッケージ開発
OS

CentOS 5, Scientific Linux 3, Xen 3

使用言語

シェルスクリプト, Python, JavaScript, XML

運用技術部 担当案件

2008/6 〜
国立大学法人 広島大学（LCG）
クラスタシステムおよびグリッドミドルウェアの運用支援
詳細

業務内容
  • クラスタ用ソフトウェアおよびグリッドミドルウェアの運用管理
  • トラブルシューティング
  • その他、技術運用支援およびコンサルティング
ユーザーアカウント数

約20

OS

Scientific Linux CERN 3/4/5

使用ソフトウエア

オープンソース

  • gLite（LCG用グリッドミドルウェア）
対象機材
  • IBM PC/AT互換機
    CPU：Intel Xeon L5420
    台数：73台
    コア総数：456
    使用OS：Scientific Linux CERN 4/5

2006/9 〜
国立大学法人 東京大学
大規模クラスタシステムの構築・運用管理
詳細

業務内容
  • ハードウェア障害対応
  • 各種サーバ運用管理
  • セキュリティ監視対応
  • アカウント運用管理
  • オープンソース・インストール/設定
  • トラブルシュート
  • その他、技術運用支援およびコンサルティング
ユーザーアカウント数

約106

OS

Scientific Linux CERN（SLC）3/4/5, Red Hat Enterprise Linux Advanced Server 4/5, Solaris 9/10, Microsoft Windows Server 2003/2008

使用ソフトウエア

オープンソース

  • gLite（LCG用グリッドミドルウェア）
  • OpenAFS（分散ファイルシステム）
  • MIT Kerberos
  • Quattor（クラスタ向け導入・構成管理）
  • Lemon（クラスタ向けモニタリング）
  • Nagios（ネットワーク自動監視）
  • Trac（チケット管理システム）

2005/12 〜
大学共同利用機関法人 高エネルギー加速器研究機構
クラスタシステムおよびグリッドミドルウェアの運用支援
詳細

業務内容
  • クラスタ用ソフトウェア（グリッドミドルウェア）の運用管理
  • トラブルシューティング
  • その他、技術運用支援およびコンサルティング
ユーザーアカウント数

約20

OS

Scientific Linux CERN 3/4

使用ソフトウエア

オープンソース

  • gLite（LCG用グリッドミドルウェア）
対象機材
  • IBM PC/AT互換機
    CPU：Intel Xeon他
    台数：73
    コア総数：146
    使用OS：Scientific Linux CERN 3/4

2004/11 〜
国立大学法人 東京大学（LCG）
クラスタシステム構築とクラスタシステムおよびグリッドミドルウェアの運用支援
詳細

業務内容
  • クラスタシステムの構築
  • クラスタシステムとグリッドミドルウェアの運用管理
  • トラブルシューティング
  • その他、技術運用支援およびコンサルティング
ユーザーアカウント数

約10

OS

Scientific Linux CERN 3/4/5

使用ソフトウエア

オープンソース

  • gLite（LCG用グリッドミドルウェア）
対象機材
  • IBM PC/AT互換機　約10台

2003/2 〜
独立行政法人 産業技術総合研究所（ApGrid）
クラスタシステムおよびグリッドミドルウェアの運用管理
詳細

業務内容
  • クラスタ用ソフトウェアおよびグリッドミドルウェアの運用管理
  • グリッド認証局運用管理
  • ハードウェア障害対応
  • その他、技術運用支援およびコンサルティング
ユーザーアカウント数

約100

OS

Red Hat Linux 8.0/9, Solaris 9/10, CentOS 4, CentOS 5

使用ソフトウエア

オープンソース

  • Globus Toolkit, gLite, VDT（グリッドミドルウェア）
  • Sun Grid Engine（ジョブ管理システム）
  • Gfarm（ネットワーク共有ファイルシステム）
  • NAREGI-CA（認証局ソフトウェア）
  • mapserver, PostGIS（GISサーバー）
  • gridsphere（JSR168ポータルフレームワーク）

プロダクトソフトウェア

  • Intel Compiler（C, C++, Fortran）
  • Purify
対象機材
  • ＜クラスタ1＞
    LNXI Evolocity（Blade Server）
    CPU：Intel Xeon x2
    台数：256
    コア総数：512
    使用OS：RedHat 8
    Interconnect：1Gb Ethernet
  • ＜クラスタ2＞
    Sun V20z
    CPU：AMD Opteron x2
    台数： 32
    コア総数：64
    使用OS：CentOS 5
    Interconnect：1Gb Ethernet
  • ＜クラスタ3＞
    original-PC
    CPU：Intel Xeon x2
    台数：44
    コア総数：88
    使用OS：CentOS 4
    Interconnect：1Gb Ethernet
  • ＜クラスタ4＞
    HP DL360
    CPU：Intel 2core Xeon x2
    台数：32
    コア総数：128
    使用OS：CentOS 4
    Interconnect：1Gb Ethernet
  • ＜クラスタ5＞
    DELL PE M605（Blade Server）
    CPU：AMD 6core Opteron x2
    台数：16
    コア総数：192
    使用OS：CentOS 5
    Interconnect：1Gb Ethernet
  • ＜クラスタ6＞
    DELL PE M610（Blade Server）
    CPU：Intel 4core Xeon x2
    台数：128
    コア総数：1024
    使用OS：CentOS 5
    Interconnect：10Gb Ethernet, InfiniBand

UNIXサーバ

  • Sun Fire V100/V120/V240, B1600/B100s
  • HP ZX2000
  • HP AlphaServer DS15

2004/6 〜 2010/2
独立行政法人 産業技術総合研究所（ASC）
大規模クラスタシステムおよびグリッドミドルウェアの運用管理
詳細

業務内容
  • クラスタ用ソフトウェアおよびグリッドミドルウェアの運用管理
  • ハードウェア障害対応
  • その他、技術運用支援およびコンサルティング
ユーザーアカウント数

約170

OS

SUSE LINUX Enterprise Server 8,9, IRIX64 6.5

使用ソフトウエア

オープンソース

  • xCAT（クラスタ向け導入・構成管理）
  • Globus Toolkit（グリッドミドルウェア）
  • Torque（ジョブ管理システム）

プロダクトソフトウェア

  • Intel Compiler
  • PGI Compiler
  • Pathscale Compiler
  • Gaussian
  • PBS Professinal（ジョブ管理システム）
対象機材
  • ＜クラスタ1＞
    IBM X325
    CPU：AMD Opteron x 2
    台数：1072
    コア総数：2144
    使用OS：SLES9
    Interconnect：Myrinet
  • ＜クラスタ2＞
    Intel Tiger4
    CPU：Intel Itanium2 x 4
    台数：132
    コア総数：528
    使用OS：SLES9
    Interconnect：Myrinet

2006/11 〜 2008/3
国立系研究機関
クラスタシステムおよびグリッドミドルウェアの運用管理
詳細

業務内容
  • クラスタシステム機器運用管理業務
  • ネットワーク接続機器運用管理業務
  • NAREGI Grid Middleware導入・管理
  • 遠隔監視
  • 障害対応業務
  • 障害及びFAQ管理システム運用管理業務
ユーザーアカウント数

約100

OS

Red Hat Enterprise Linux, Cent OS

使用ソフトウエア

オープンソース

  • NAREGI Grid Middleware（グリッドミドルウェア）
  • Request Tracker（チケット管理システム）
  • Postgre SQL, Apache, Perl, GNU系ソフトウェアなど

プロダクトソフトウェア

  • Oracle
対象機材
  • PCサーバ/PCクラスタ　191台
  • L2/L3スイッチ　22台
  • ファイアウォール 　1台

© 2010 SOUM CORPORATION. ALL RIGHTS RESERVED.