雲端資料處理與挖掘

雲端資料處理與挖掘

(Cloud Data Management and Mining)

104_1 雲端資料處理與挖掘期末總成績

教師：王經篤 (jdwang@asia.edu.tw)
TA :heri0675@gmail.com (H204, ext: 1785)
教科書
- 掌握Hadoop翱翔雲端：Windoop應用實作指南(附光碟) 許清榮、林奇暻、買大誠, 博碩,ISBN：9789862016732
- http://windoop.org
參考書
- Hadoop實戰技術手冊(Chapter 13 Mahout)，陸嘉恆, 佳魁資訊,ISBN：9789866007309,2012
- Hadoop: The Definitive Guide, 3ed Edition,Tom White,2012
- Hadoop 技術手冊, 3/e (Hadoop: The Definitive Guide, 3/e)Tom White 著、王耀聰、辜文元、魏綸毅譯, 2013
- Eclipse
課前問卷調查 : https://docs.google.com/forms/d/1uHv9C0gXQ0CH7Cs8FCIuGie92TTHeQkIh1oQV3pdW_w
先修課程: Java Programming Language
Data Science Issues
Hadoop

上課Windoop投影片.7z (舊版)(上課操作使用)
- Windoop操作步驟.pptx (新版)(2015.9.24)(參考)
課程大綱(Outline)
- 課程簡介
  - 分散式運算技術介紹
- Eclipse + Java Programming
- Hadoop 簡介(WinHadoop 安裝與設定)
  - Windoop(windoop_1.0.3_app_mode_zh_TW .7z)(舊版)(上課操作使用)
    - windoop_2.7.1_with_HBase_jre8_x64_zh_TW.7z (304M)(新版)(2015.9.24)(參考)
  - C:\windoop\start.bat
    - NameNode http://localhost:50070/
    - JobTracker http://localhost:50030/
    - TaskTracker http://localhost:50060/
- Hadoop 範例程式執行（Hadoop4Win）(編譯、執行)
  - presidentElection.java
  - WordCount_Project_jdwang2014_10_7.rar
    - 如何專案匯入參考(投影片名稱：上課Windoop投影片.7z 3_Windoop 單機版 wordcount 練習)
    - input:
      - input_wordcount_jdwang.txt
      - pubmed_result_PMID_25276143.xml
  - PatternHistory_SumByMonth.7z
    - 如何專案匯入參考(投影片名稱：上課Windoop投影片.7z 3_Windoop 單機版 wordcount 練習)
    - input:
      - output_PubMed_Paresed_100_Pass2.rar
    - 思考題:改寫成PatternHistory_SumByYear.7z
- Windoop Cluster 架設
- HDFS 介紹與操作
  - HDFS基礎介紹與程式設計
  - HDFS programming
    - HDFSOperation.7z

MapReduce計算模型+Hadoop範例程式
- Hadoop範例程式
  - PatternHistory_SumByMonth.7z
  - output_PubMed_Paresed_100_Pass2.rar

Hadoop範例程式(3)(編譯、執行)
- Hadoop Cluster Account (ListofHadoopUsers)

期中專題(大量資料測試)

繳交期中專題書面心得報告

MapReduce基礎應用領域介紹
- HBase簡介
  - windoop_1.0.3_hbase_0.94.1_app_zh_TW.rar
- - Move windoop,start.bat, start-hbase.bat, HbaseLocal.exe
  - HBase + MapReduce
  - Example: FileComparator.zip
  - (From: Chapter 5 掌握Hadoop翱翔雲端：Windoop應用實作指南(附光碟) 許清榮、林奇暻、買大誠, 博碩,)
Case Study:Pattern History
- PatternHistory_SumByMonth.7z
- (雲端資料處理與挖掘)期末專題題目公布(分組)
Spark
- Introduction to Big Data with Apache Spark(范姜冠宇 / 亦思科技 / 技術長)
- Java/R/Python/Scala
- RDD(Resilient Distributed Dataset)
Pattern History:小組專題計畫討論(分組名單+小組題目)

學期成績公布

（請同學填入email?方便未來聯絡）
成績評量
- 作業繳交：作業遲交扣分，每日原始分數*0.9（遲交最多一週，逾期不收）
- 書面心得格式
  - (課程名稱,第？次作業：？,題目:?,執行過程與結果,討論與問題,心得)
- 評量標準參考
  - 有交書面報告(40%)
  - 有交書面報告+上機檢查(ok)(60%)
  - 有交書面報告+上機檢查(ok)+作業過程舉證完整(70%)
  - 有交書面報告+上機檢查(ok)+作業過程舉證完整+心得(80%)
  - 有交書面報告+上機檢查(ok)+作業過程舉證完整+心得+問題討論(90%)
- 英文專有名詞
- 作業1(20%) WinHadoop(2015.10.23)
期中專題(30%)(2015.11.6) (Hadoop Speedup Experiments)
(台創會會長陳子鎮)

(2015.11.27) 流通業BI與雲端O2O建置規劃、養生APP與養生雲案例規劃

(施晨揚_痞客邦PIXNET資深研發工程師)

(2015.12.11) Spark介紹與應用
(2015.12.18) Spark與巨量資料分析

作業2(20%)(2015.12.25) (Spark應用系統安裝)

書面繳交
電子檔傳Moodle

期末專題(30%) PubMed 資料分析專題
- 成績
- (分組名單：2~4名/每組,(小組：班級、學號、姓名)
- 上機檢查:程式執行正確性(2016.1.8,上課期間)
- 書面報告(2016.1.11(週一),下午4:00pm以前繳交到I517, 電子檔傳Moodle)

=================================================================================