Hadoop/MapReduceによるビッグデータ処理【演習】D05-03
講義概要
講義日程：2016年9月9日（1日間）
本講義では (1) トランプを用いた人力Hadoopゲーム、(2) JavaによるMapReduceプログラミング、および (3) 作成したプログラムのAmazon Web Services環境への展開、の3つのを演習形式で実践する。さらに演習を通じて得た理解・知識に基づき、ビッグデータという言葉の本質について議論する。
講師 大阪大学 大学院情報科学研究科 助教 柗本 真佑
2010年、奈良先端科学技術大学院大学 博士後期課程修了。同年、神戸大学大学院システム情報学研究科 特命助教。2016年、大阪大学大学院情報科学研究科 助教。エンピリカルソフトウェア工学、ソフトウェアリポジトリマイニング、クラウドコンピューティングの研究に従事。
講義内容
- ビッグデータ概論
- ・ビッグデータの定義
- ・ビッグデータの活用事例
- Hadoop/MapReduce
- ・Hadoop/MapReduce概要
- ・MapReduceゲーム [演習形式]
- ・ビッグデータ処理実践 [演習形式]
- ・AWS EMRトライアル [演習形式]
- ビッグデータの本質
- ・手段としてのHadoop/MapReduce
- ・ビッグデータと統計学
- ・ビッグデータの価値とは?
受講要件
アルゴリズムやデータ構造といったプログラムに関する基礎的な知識を有すること． プログラミング経験（特にJava）があれば望ましいが必須ではない．
教科書
講義2週間前に電子ファイル送付（事前学習は特に求めない）．
Java未経験者は参考文献[1] 「Javaの入門」 の#01～#15 （Javaの基礎的な文法の部分，計約50分）の 受講を推奨する．
講義に関連する解説記事・参考文献等
[1]「Javaの入門 」, ドットインストール, http://dotinstall.com/lessons/basic_java
[2]「ビッグデータ社会の到来」, 小林 啓倫 http://p.booklog.jp/book/38557
[3] J. Dean and S. Ghemawat, MapReduce: Simplified data processing on large clusters, "Communications of the ACM", vol.51, no.1, pp.107-113. http://dl.acm.org/citation.cfm?id=1327492
