Hadoop のバックアップ(No.3)
目次 †
注意点 †
結論 †
結論からいうと、64bitＯＳでメモリ8G以上のマシンで確認したほうがよいです。
動作環境が絞られるわけ †
動作環境するには、VMWareのイメージを使ったほうが手っ取り早いのですが、その際に注意することは、ホストとなるマシンが絞られます。
32ビットではcloudraのVMWareのイメージはやめたほうがいい。 †
clouderaが現時点で提供しているイメージは仮想ように4GBのメモリを使う前提で作られています。なので、32ビットのwindowsなどは、その時点で耐えられるようにはなっていません。
cygwin環境で動作確認するには管理者権限に注意して導入すること †
OpenSSHを導入しなくてはならないのですが、管理者権限がないと、キーの設定が行えないため、
貧弱なＰＣで動作確認するには †
yahooが提供しているVMWAREをつかったほうがよいでしょう
また、このイメージはバージョンが0.20であり、O'REILLYの本も0.20をベースとして書かれているので、勉強するのには、向いていると思います。
yahooが用意したVMWareを使って確認する †
テキストマイニングで始める実践Hadoop活用 †
最小限の構成で設定されたVMWareのイメージを使って、動作確認することができました。
デメリット †
- キーボード配列が英語
- yumやrpmがインストールされていない。wgetはインストールされていた。
http://www.atmarkit.co.jp/fjava/index/index_hadoop_tm.html
yahooでの導入事例 †
yahoo系の勉強会の情報 †
VMwareイメージ †
環境構築のサイトみても、バージョンが合わないと、そのまま、使えないことが多く
作業効率が悪い。そこで、すでに構築済みのイメージを探すことにした。
yahoo †
0.20のイメージと、その使い方
http://www.atmarkit.co.jp/ait/articles/1106/21/news117_3.html
cloudera †
結構いろいろと、Hadoopのサブプロジェクトが入っている
メモリは４Ｇのバーチャルマシンだ。
無理やり３ＧのWindowsマシンをホストにして動かすことができた。
日本語の説明はこちら
http://www.publickey1.jp/blog/12/hadoopwindows.html
ブラウザが立ち上がっていますが、rootのパスワードの変更、
日本語化が先なので、まず閉じます。
日本語化 †
まずキーボードの配列がアメリカ向けなのに気が付いたので、
日本語化します。
CentOS 6の日本語化 †
http://note-for-cs.seesaa.net/article/356278300.html
感想 †
Hueというブラウザツールを使って、グラフィカルにHadoopに関する操作ができるようです。
eclipseも入っている
