Yahoo! JAPANでのHadoop利用について

Yahoo! JAPAN での Hadoop 利用についてヤフー株式会社 R&D 統括本部吉田一星、古宮陽明 2010 年 8 月 4 日

自己紹介 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

自己紹介 ,[object Object],[object Object],[object Object],[object Object],[object Object]

流れ ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

検索ログプラットフォーム ,[object Object],[object Object],[object Object]

Yahoo! 検索 ,[object Object],[object Object],[object Object],[object Object]

Yahoo! 検索ランキング ,[object Object],[object Object],[object Object]

レコメンデーションプラットフォーム ,[object Object],[object Object],[object Object],[object Object],[object Object]

モバイル検索 ,[object Object],[object Object],[object Object],[object Object]

地図検索 ,[object Object],[object Object],[object Object],[object Object]

開いているお店検索 ,[object Object],[object Object],[object Object]

その他の事例 ,[object Object],[object Object],[object Object],[object Object],[object Object]

Hadoop 開発の流れ ,[object Object],[object Object]

ABYSS とは？ ,[object Object],[object Object],[object Object]

Hadoop Client ,[object Object],[object Object],$ hadoop fs –put localfile hdfs://nn.example.com:9000/hadoop/hadoopfile $ hadoop fs –get hdfs://nn.example.com/user/hadoop/file localfile

Hadoop Client ,[object Object],<property> <name>fs.default.name</name> <value> hdfs://nn.example.com:9000 </value> </property> - core-site.xml <property> <name>mapred.job.tracker</name> <value> nn.example.com:9000 </value> </property> - mapred-site.xml

Hadoop Server ,[object Object],[object Object],[object Object],Hadoop Client Hadoop Client Hadoop Client 開発用クラスタ検証用クラスタ本番用クラスタ

ファイルの転送 ,[object Object],[object Object],[object Object],[object Object],[object Object]

Hadoop の開発 ,[object Object],[object Object],[object Object]

Eclipse Plugin ,[object Object],[object Object],[object Object],[object Object]

セキュリティ ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Hadoop の user/group ,[object Object],[object Object],[object Object],　 public final static String USER_NAME_COMMAND = " whoami "; 　 public static String[] getGROUPS_COMMAND() { return new String[]{" bash ", " -c ", " groups "}; } static String getUnixUserName() throws IOException { String[] result = executeShellCommand( new String[]{Shell.USER_NAME_COMMAND}); return result[0]; } UnixUserGroupInformation.java Shell.java

任意の user/group を指定 ,[object Object],[object Object],<property> <name> hadoop.job.ugi </name> <value> user,group </value> </property> JobConf conf = new JobConf(Test.class); conf.set(UnixUserGroupInformation.UGI_PROPERTY_NAME,” user,group ”); - core-site.xml - MapReduce

Hadoop with security ,[object Object],[object Object],[object Object]

Hadoop with Security と Oozie

Introduction ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Hadoop with Security と Oozie とは

Hadoop with Security ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Oozie Yahoo!'s workflow engine for Hadoop ,[object Object],[object Object]

Oozie Yahoo!'s workflow engine for Hadoop ,[object Object],[object Object],[object Object],[object Object]

強化 1: プロセスユーザの変更

強化 2: 相互認証（ Kerberos ）の追加

強化 3: Token 認証の追加

強化 4: Hadoop と Oozie の統合

詳細 1: アプリケーションのアップロード

Hadoop と Oozie の統合効果 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Yahoo! JAPAN Hadoop クラスタ ,[object Object],[object Object],[object Object]

Hadoop with Security の特長 Appendix A:

セキュリティの強化 ,[object Object],[object Object],[object Object]

認証（ Authentication ） ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

認可（ Authorization ） ,[object Object],[object Object],[object Object]

監査（ Auditing ） ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Oozie ワークフローアプリケーションとセキュリティ Appendix B:

ワークフローとは ,[object Object],[object Object]

サポートされるアクションノード ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

ワークフローアプリケーションの構成 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

ジョブ管理機能 ,[object Object],ジョブの実行 $ oozie job -config map-reduce-job.properties -run job: <job id> ジョブの情報表示 $ oozie job -info <job id> ジョブの強制終了 $ oozie job -kill <job id>

Oozie とセキュリティ ,[object Object],[object Object],[object Object],[object Object]

認証（ Authentication ） ,[object Object],[object Object]

認可（ Authorization ） ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

監査（ Auditing ） ,[object Object],[object Object]

ジョブ実行とセキュリティ ,[object Object],[object Object],[object Object]

セキュリティ設定 1: ジョブ定義 ,[object Object],[object Object],[object Object],[object Object]

セキュリティ設定 2: Oozie サーバ ,[object Object],<property> <name> oozie.service.HadoopAccessorService.kerberos.enabled </name> <value> true </value> <description> Kerberos 認証の有効化 </description> </property> <property> <name> oozie.service.HadoopAccessorService.keytab.file </name> <value> ${user.home}/oozie.keytab </value> <description> Oozie サーバユーザの keytab ファイルの場所 </description> </property> <property> <name> oozie.service.HadoopAccessorService.kerberos.principal </name> <value> ${user.name}/localhost@LOCALDOMAIN </value> <description> Oozie サービスの Kerberos プリンシパル </description> </property>

セキュリティ設定 3: Hadoop クラスタ ,[object Object],<property> <name> hadoop.proxyuser. oozie .hosts </name> <value> 127.0.0.1 </value> <description> oozie 部分は、 Oozie サーバのプリンシパルのショートネームアクセスを許可する Oozie サーバホストのリスト </description> </property> <property> <name> hadoop.proxyuser. oozie .groups </name> <value> oozies </value> <description> Oozie サーバの代理を許可するユーザが属するグループのリスト </description> </property>

Oozie Ver. 2 の新機能 ,[object Object],[object Object],[object Object]

参考リソース ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

ご清聴ありがとうございました。

Yahoo! JAPANでのHadoop利用について

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (19)

Similar to Yahoo! JAPANでのHadoop利用について

Similar to Yahoo! JAPANでのHadoop利用について (20)

More from Yahoo!デベロッパーネットワーク

More from Yahoo!デベロッパーネットワーク (20)

Recently uploaded

Recently uploaded (9)

Yahoo! JAPANでのHadoop利用について

Editor's Notes