トップメッセージ

いよいよビッグデータ市場が本格的に動き出す様相を呈してきました。当社では、7年前から、米ワシントン州シアトルの当時は小規模なベンチャー企業であったアイシロン社の技術に着目し、その後ストレージ業界最大手の米EMC社に買収された後も、ストレージ分野でもハイエンド市場において、大容量ストレージ、EMCアイシロンスケールアウトNASの日本国内最多の販売実績を誇ってきました。

そしてEMCアイシロンスケールアウトNASの販売拡大とHadoop技術の進化に伴い、このたびEMCアイシロンスケールアウトNASとHadoopを組み合わせた新たなビッグデータ事業の展開を開始しましたので、今回、その背景と意義について述べさせて頂きます。

【大容量ストレージEMCアイシロンスケールアウトNASの販売拡大に伴うビッグデータ市場への当社の対応】
スケールアウトNASは、（Network Attached Storage、ネットワークに直接接続して使用するファイルサーバ専用機）と、ノードの追加時にCPU（Central processing Unit、中央演算装置）やメモリ、ネットワークも同時に増設する構造を有するもので大規模ファイルシステムの拡張性と柔軟性に富んだ特徴を持っています。最近では、特にビッグデータ市場の発展に伴い、その需要が急拡大しています。

このため、当社は、2012年7月に社内の組織としてビッグデータ総合研究所を新設し、また産官学連携によって新たなICT融合産業の創出を目的とした産学官連携のビッグデータビジネス・コンソーシアム（約100社）を設立して、ビッグデータの普及・啓蒙・研究活動を行なってまいりました。そのため、社内のEMCアイシロンスケールアウトNAS関連事業チームを強化すると共に、データセンター関連事業チームとの連携を行い事業推進しております。

【Hadoop技術の進化の本質】
Hadoopは、Googleによる論文発表を契機に開発されたもので、米アパッチ・ソフトウェア財団（Apache Software Foundation、オープンソースのソフトウェアプロジェクトを支援する非営利団体)が開発・公開している、大規模データを効率的に分散処理・管理するためのソフトウェア基盤(ミドルウェア)です。Hadoopは、Googleの自社システム基盤として利用している分散ファイルシステムのGFS(Google File System)に類似のファイルシステムと、分散データベースのBigTableに類似のデータベースシステム、およびMapReduce（コンピューター機器のクラスター上に存在する大量のデータに対する分散コンピューティングを支援する目的で、Googleによって2004年に導入されたソフトウェアフレームワーク）による分散処理システムなどをJava言語で実装したもので、世界中のソフトウェア技術者が日夜共同で開発しています。

Hadoopは、また、アプリケーションが数千ノードおよびペタバイト級のデータ処理が可能となっています。
Hadoopのアーキテクチャとしては、共通の基盤システム"Hadoop Common"をベースに、分散ファイルシステムのHDFS(Hadoop Distributed File System)、構造化された大規模データを管理する分散データベース"HBase"、MapReduceによる大規模データの分散処理を実現する"Hadoop MapReduce"などから構成されています。この中で、特に、Hadoopの高速性の主要な仕組みが、分散ファイルシステムのHDFSです。HDFSを取り巻く環境として、MapReduceと協調して行う"ローカル処理"は、バッ チ処理を高速化するアーキテクチャーですが、BIツール（Business Intelligence tools、業務システムなどに蓄積された膨大なデータを蓄積・分析・加工し、意思決定に活用できるような形式に集約するもの）として使いづらいという課題がありました。そこで、HDFSを代替するファイルシステムをHadoopに組み込む動きがありました。

原点に回帰して、HDFSが大量データを効率よく処理するためのいくつかの工夫が考えられます。例えば、データを複数のディスクから並行して読み、処理の多重度を上げることです。あるいは、HDFSには、DataNodeとNameNodeの二つの構成要素があるため、ファイルを一定サイズのブロックに分割し、各ブロックを多重化保存することで、ストレージシステムの障害対策が可能となります。

【ビッグデータ市場の成長と今回の共同事業の意義】
以上のような背景から、このたび当社とクリエーションライン株式会社とEMCアイシロンスケールアウトNASを活用した共同事業を開始することにいたしました。この共同事業によって、当社は、ビッグデータ市場の成長に貢献すると共に、同市場の主導権を獲得する意義があると考えております。EMCアイシロンスケールアウトNASは、Hadoop環境において、増加し続けるデータ管理を簡素化すると同時に、大量の重要なファイルデータへの高速アクセスを実現します。また、当社が、"データセンター"事業に加えて、データセンター・ユーザーから預かったデータの高付加価値化についてのソリューションである"データバンク"事業への進化のための重要な転換点になるものと位置付けております。

今回実現した、EMCアイシロンスケールアウトNASを使用したビッグデータ解析基盤『Hadoopプラットフォーム』は、従来、コンピュータの設置場所にデータを持ってきてデータ処理していた状況を一変させ、今後はデータを蓄積した側でのデータ処理が可能となります。このことによって、ビッグデータの解析効率が、飛躍的に向上することになるのです。また、このたび実用化したサービスは、国策として、政府が目指す公共データのオープン化とその民間による利活用が本格的するに際しての最適なビッグデータ解析基盤となるものと確信しております。