雲端資料處理與挖掘

雲端資料處理與挖掘

(Cloud Data Management and Mining)

上機檢查(OnLine Check)

教師：王經篤 (jdwang@asia.edu.tw)
TA :heri0675@gmail.com (H204, ext: 1785)
FB 亞大_雲端資料處理與挖掘
教科書
- Python+Spark 2.0+Hadoop機器學習與大數據分析實戰,林大貴,出版商: 博碩,出版日期： 2016-10-03,語言: 繁體中文,ISBN: 9864341537,ISBN-13: 9789864341535
  
  部落格　http://pythonsparkhadoop.blogspot.tw , Ｆacebook Python+Spark 2.0+Hadoop機器學習與大數據分析社團
參考書
- 掌握Hadoop翱翔雲端：Windoop應用實作指南(附光碟) 許清榮、林奇暻、買大誠, 博碩,ISBN：9789862016732
- http://windoop.org
課前問卷調查 : https://docs.google.com/forms/d/1uHv9C0gXQ0CH7Cs8FCIuGie92TTHeQkIh1oQV3pdW_w
先修課程: Java Programming Language
Data Science Issues

上課Windoop投影片.7z (舊版)(上課操作使用)

Windoop操作步驟.pptx (新版)(參考)

課程大綱(Outline)

課程簡介
- 分散式運算技術介紹
Eclipse + Java Programming
Hadoop 簡介(WinHadoop 安裝與設定)
- (Hadoop 1.0) Windoop(windoop_1.0.3_app_mode_zh_TW .7z)(舊版)(上課操作使用)
  - C:\windoop\start.bat
    - NameNode http://localhost:50070/
    - JobTracker http://localhost:50030/
    - TaskTracker http://localhost:50060/
- (Hadoop 2.0) windoop_2.7.1_with_HBase_jre8_x64_zh_TW.7z (304M)(新版)(參考)
  - C:\windoop\start.bat(以系統管理員執行)
    - NameNode HDFS Web http://localhost:50070/
    - Resource Manager Web http://localhost:8088
Hadoop 範例程式執行（Hadoop4Win）(編譯、執行)
- presidentElection.java
- WordCount_jdwang_2016_10_12.zip
  - 如何專案匯入參考(投影片名稱：上課Windoop投影片.7z 3_Windoop 單機版 wordcount 練習)
  - HADOOP_HOME ${eclipse_home}\..\hadoop
  - PATH %PATH%;${eclipse_home}\..\hadoop\bin
  - input:
    - input_wordcount_jdwang.txt
    - pubmed_result_PMID_25276143.xml
- PatternHistory_SumByMonth.7z
  - 如何專案匯入參考(投影片名稱：上課Windoop投影片.7z 3_Windoop 單機版 wordcount 練習)
  - input:
    - output_PubMed_Paresed_100_Pass2.rar
  - 思考題:改寫成PatternHistory_SumByYear.7z
Windoop Cluster 架設
- (Hadoop 1.0) windoop 叢集.docx
- (Hadoop 2.0, ProvidedBy 王寬之) windoop_Hadoop2ClusterSetUp.docx
  - core-site.xml
  - hdfs-site.xml
  - mapred-site.xml
  - 修改start.sh
    - master> start_master.sh
    - slave> start_slave.sh
  - Eclipse setup
  - Referecnce
    - Setting Up A Multi Node Cluster In Hadoop 2.X
    - adoop - Multi Node Cluster
- WordCount_Project_jdwang2014_10_7.rar(Hadoop 1.0)
- WordCount_jdwang_2016_10_12.zip (Hadoop 2.0)
  - pubmed_result_WilsonDisease_jdwang2014_10_9_Parsed.txt
- 效能比較（WindoopExecuteTime.xlsx）
HDFS 介紹與操作
- HDFS基礎介紹與程式設計
- HDFS programming
  - HDFSOperation.7z
MapReduce計算模型+Hadoop範例程式
- Hadoop範例程式
  - PatternHistory_SumByMonth.7z
  - output_PubMed_Paresed_100_Pass2.rar
Hadoop範例程式(3)(編譯、執行)
- Hadoop Cluster Account (ListofHadoopUsers)

=================================================================================

Python+Spark 2.0+Hadoop機器學習與大數據分析實戰,林大貴,出版商: 博碩,出版日期： 2016-10-03,語言: 繁體中文,ISBN: 9864341537,ISBN-13: 9789864341535

部落格　http://pythonsparkhadoop.blogspot.tw

第4章 Hadoop 2.6 Single Node Cluster 安裝指令

0_VirtualBox_Download

1_VirtualBox_DirSetup

2_Ubuntu_Download

3_VirtualBox_NewVM
4_VirtualBox_UbuntuInstall

5_VirtualBox_HadoopSingleNodeCluster

第5章 Hadoop 2.6 Multi Node Cluster安裝指令

=================================================================================

成績評量

作業繳交：作業遲交扣分，每日原始分數*0.9（遲交最多一週，逾期不收）
書面心得格式
- (課程名稱,第？次作業：？,題目:?,執行過程與結果,討論與問題,心得)
評量標準參考
- 有交書面報告(40%)
- 有交書面報告+上機檢查(ok)(60%)
- 有交書面報告+上機檢查(ok)+作業過程舉證完整(70%)
- 有交書面報告+上機檢查(ok)+作業過程舉證完整+心得(80%)
- 有交書面報告+上機檢查(ok)+作業過程舉證完整+心得+問題討論(90%)

=================================================================================

作業1(15%) WinHadoop(2016.10.20)

WindoopSingleNode_HW

=================================================================================

期中專題(25%)

(分組名單：2~4名/每組,(小組：班級、學號、姓名)

寄給TA heri0675@gmail.com ）

(書面繳交+電子檔上傳 Moodle)

(2016.11.3) (每組上台分享 10分鐘) ( 實驗結果展示、解說) 問題討論+ 實驗改進測試
(2016.11.10)書面繳交(I517)+電子檔傳Moodle +( 程式與執行解說:錄影上傳YouTube+ 5~8 Min)+錄影工具:EverCam (亞大有授權)

=================================================================================

作業2(15%)

(2016.12.15)
資料自動下載
- 學習網路代理人資料自動收集
- Example
  - Program (陳鍾誠的網站 Java 網路程式設計 -- 網頁下載)
  - TDCS_URLDownload_jdwang2016_12_8.zip
- 交通部臺灣區國道高速公路局「交通資料庫」

Example. TDCS_M06A_20161127_230000.csv

程式範例:TDCS_GIDSequence_MapReduceParser_jdwang2016_12_4.zip
書面繳交(I517)+電子檔傳Moodle +( 程式與執行解說:錄影上傳YouTube+ 5~8 Min)+錄影工具:EverCam (亞大有授權)

=================================================================================

期末專題(40%)-Open Data 資料處理與挖掘

(分組名單：2~4名/每組,(小組：班級、學號、姓名)
- 寄給TA heri0675@gmail.com ）
Open Data
- 政府資料開法平台
  - 交通部臺灣區國道高速公路局「交通資料庫」
  - 資料自動下載 (陳鍾誠的網站 Java 網路程式設計 -- 網頁下載)
評分
- 資料量(天數)
  - (60%) 2016.11.27 (1 days)(24小時)
  - (70%)2016.11.27.28.29 ( 3 days)
  - (80%)2016.11.24,25,26,27,28,29,30 ( one week)
  - (90%)2016.11 ( one month)
- 計算統計
  - VehicleType(車輛類別),
  - GantryID_On(上匝道), GantryID_Off(下匝道),
  - GantryID_Min_On(上匝道-每10分鐘), GantryID_Min_Off (上匝道-每10分鐘)統計。
  - GantryID_Min_On(上匝道-每1分鐘), GantryID_Min_Off (上匝道-每1分鐘)統計。
  - (Bonus 10%) # of ComputingNodes (Windoop Cluster) vs. 計算時間
  - 如何過濾GantryID
- 請說明
  - 觀察結果(如各匝道的流量差異時段差異)
  - 利用 Data Visiualization Tools 來展示統計分析，資料視覺化 (Data Visiualization)
(2016.1.5,上課期間) 小組報告(PPT)上機檢查:程式執行正確性
書面報告(2017.1.12(週四),11:00am以前繳交到I517, 電子檔傳Moodle)
- 報告格式(課程名稱,動機、、方法資料來源實驗結果, 討論與問題小組成員工作分配、個別貢獻度百分比、個人心得

=================================================================================