第11回組込み適塾

  • D05-03
Hadoop/MapReduceによるビッグデータ処理【演習】

講義日時:2018年9月3日9:30~ 17:30

講義概要

本講義ではビッグデータ処理方の習得を目的として, (1)トランプを用いた人力Hadoopゲーム,(2)JavaによるMapReduceプログラミング,および (3)作成したプログラムのAmazon Web Services環境への展開,の3つを演習形式で実践する.さらに演習を通じて得た理解・知識に基づき,ビッグデータという言葉の本質について議論する.

講師

所属
大阪大学大学院情報科学研究科
講師名
柗本 真佑
2010年、奈良先端科学技術大学院大学 博士後期課程修了。同年、神戸大学大学院システム情報学研究科 特命助教。2016年、大阪大学大学院情報科学研究科 助教。エンピリカルソフトウェア工学、ソフトウェアリポジトリマイニング、クラウドコンピューティングの研究に従事。

講義内容

  1. ビッグデータ概論
    • ・ビッグデータの定義
    • ・ビッグデータの活用事例
  2. Hadoop/MapReduce
    • ・Hadoop/MapReduce概要
    • ・MapReduceゲーム [演習形式]
    • ・ビッグデータ処理実践 [演習形式]
    • ・AWS EMRトライアル [演習形式]
  3. ビッグデータの本質
    • ・手段としてのHadoop/MapReduce
    • ・ビッグデータと統計学
    • ・ビッグデータの価値とは?

受講要件

【受講要件】
  • ・ アルゴリズムやデータ構造といったプログラムに関する基礎的な知識を有すること。
  • ・ プログラミング経験(特にJava)があれば望ましいが必須ではない。
【事前学習のポイント】
  • ・ Java未経験者は参考文献[1] 「Javaの入門」 の#01~#13 (Javaの基礎的な文法の部分,計約40分)の 事前受講を推奨する.

教科書

  • 講義2週間前に電子ファイル送付(事前学習は特に求めない).

講義に関連する解説記事・参考文献・図書等