雲端程式設計 (Cloud Programming)

成績評量　

週五 234 I627, (教師：王經篤 , jdwang@asia.edu.tw, ext: 1847, Room: I517)

教科書
- (Python version, 較新)Python+Spark 2.0+Hadoop機器學習與大數據分析實戰,林大貴,出版商: 博碩,出版日期： 2016-10-03,語言: 繁體中文,ISBN: 9864341537,ISBN-13: 9789864341535
  部落格　http://pythonsparkhadoop.blogspot.tw , Ｆacebook Python+Spark 2.0+Hadoop機器學習與大數據分析社團
參考書
- (Java version) Hadoop+Spark大數據巨量分析與機器學習整合開發實戰, 作者：林大貴 ,出版社：博碩，出版日期：2015/11/03
  - blog: http://hadoopspark.blogspot.tw/

課程簡介

分散式運算技術介紹
Eclipse + Java Programming
Hadoop 簡介(WinHadoop 安裝與設定)
- (Hadoop 2.0) windoop_2.7.1_with_HBase_jre8_x64_zh_TW.7z (304M)(新版)(參考)
- C:\windoop\start.bat(以系統管理員執行)
  - NameNode HDFS Web http://localhost:50070/
  - Resource Manager Web http://localhost:8088
- Single Node
  - Hadoop 範例程式執行（Hadoop4Win）(編譯、執行)
    - presidentElection.java
    - WordCount_jdwang_2016_10_12.zip
      - 如何專案匯入參考(投影片名稱：上課Windoop投影片.7z 3_Windoop 單機版 wordcount 練習)
      - HADOOP_HOME ${eclipse_home}\..\hadoop
      - PATH %PATH%;${eclipse_home}\..\hadoop\bin
      - input:
        
        input_wordcount_jdwang.txt
  - (Hadoopp Program: Complier, Execute, 結果顯示)
    - WordCount_jdwang_2016_10_12.zip
      - WordCount_學號.java,
      - Reducer_學號.java
      - Mapper_學號.java
    - input file:
      - input_wordcount_jdwang.txt
- Windoop Cluster 架設（每組至少３　ｎｏｄｅｓ）
  - 環境設定(Windoop 2. 0)(感謝:賴敬勳,王俊平,楊松儒環境測試)
    - Referecnce
      - Setting Up A Multi Node Cluster In Hadoop 2.X
      - adoop - Multi Node Cluster
  - WordCount_jdwang_2016_10_12.zip (Hadoop 2.0)
    - pubmed_result_WilsonDisease_jdwang2014_10_9_Parsed.txt
  - 效能比較（WindoopExecuteTime.xlsx）
    - 計算節點數目（#ofNode ）
      - ３２　ＭＢ
      - ６４　ＭＢ
      - １２８　ＭＢ
    - 檔案個數（相同資料量 e.g. 100 MB）
      - 100 files vs. one file
    - Ｒｅｄｕｃｅｒ　數目
      - main {job.setNumReduceTasks(２)}; //reduce 的個數　=2,
- HDFS 介紹與操作
  - HDFS基礎介紹與程式設計
    - Hadoop HDFS第6章. Hadoop HDFS命令介紹
  - HDFS programming
    - HDFSOperation.7z
      - HDFSCreateFile.java
      - HDFSReadFile.java
      - HDFSWriteFile.java
      - HDFSDeleteFile.java
      - HDFSCreateDir.java
      - HDFSDeleteDir.java
      - HDFStoLocal.java
      - LocalToHDFS.java
    - Homework
      - Download : TDCS_CandidateMR_2016_11-12_2017_1_Date-Weekday-Vehicle_M1_TF10_CF1_Length1_MRP_SpecificGantryIDS
        
        create dir "TDCS"## 上傳所有檔案
        
        create dir "TDCS Odd" and dir "TDCS Even"
        
        上傳所有"奇數"檔案(part-r-00001,part-r-00003, part-r-00005,...,part-r-00099) to "TDCS Odd"
        
        上傳所有"偶數"檔案(part-r-00000,part-r-00002, part-r-00004,...,part-r-00100) to "TDCS Even"
- MapReduce計算模型+Hadoop範例程式
  - Hadoop範例程式
    - PatternHistory_SumByMonth.7z
    - output_PubMed_Paresed_100_Pass2.rar
Python+Spark 2.0+Hadoop機器學習與大數據分析實戰,林大貴,出版商: 博碩,出版日期： 2016-10-03,語言: 繁體中文,ISBN: 9864341537,ISBN-13: 9789864341535
部落格　http://pythonsparkhadoop.blogspot.tw
- 第4章 Hadoop 2.6 Single Node Cluster 安裝指令
- 第5章 Hadoop 2.6 Multi Node Cluster安裝指令
資料自動下載

學習網路代理人資料自動收集
Example
- Program (陳鍾誠的網站 Java 網路程式設計 -- 網頁下載)
- TDCS_URLDownload_jdwang2016_12_8.zip
交通部臺灣區國道高速公路局「交通資料庫」
- 政府資料開法平台
  - 交通部臺灣區國道高速公路局「交通資料庫」TDCS06A
  - http://data.gov.tw/node/21165 （國道計費門架座標及里程牌價表104.09.04版.csv)
- google map=>選單/你的地點/地圖/建立地圖

論文投稿　or 參加比賽　Open Data創新應用競賽

SiliconStone Educatioon (SSE) 中區大數據 Hadoop國際認證種子教師暨評審研習 (2017/6/29, Thursday,2980NT)

The Hadoop Ecosystem Table

2017全國大專校院資服創新競賽活動(含新增設"桃園開放資料創新應用組"辦法說明

巨量資料處理＿教學環境＿三階段＿jdwang2017_6_3

雲端計算平台實作
 微軟計算平台（HDInsight）
Amazon EMR

成績評量 　

書面繳交(I517)+電子檔傳Moodle +( 程式與執行解說:錄影上傳YouTube+ 5~8 Min)+錄影工具:EverCam (亞大有授權)

HW 1(20%)(2017.3.24)(大學部:小組(2~4人/每組)) Hadoop （Map&Reduce）
- 交通部臺灣區國道高速公路局「交通資料庫」TDCS06A
  - 建立Google Map
  - 程式範例:TDCS_GIDSequence_MapReduceParser_jdwang2016_12_4.zip
  - Open Data
- 計算交流道的車流量變化(學號尾數:單號(國道1)學號尾數:雙號(國道3))
  - 時間: 2017.3.?
  - Vehicle Type
  - 0-23小時
  - Vehicle Type+0-23小時
- 說明你的觀察結果
- 書面報告(封面、完成項目(條列)、方法(畫面舉證)、心得與討論)
  - (錄影上傳YouTube+ 5~8 Min)+錄影工具:EverCam (亞大有授權) 或 OCam(免費授權:需注意避免安裝廣告軟體)
  - (電子檔上傳Moodle)
期中專題(大學部:小組(2~4人/每組))(30%)

環境設定(Windoop 2. 0)(感謝:賴敬勳,王俊平,楊松儒環境測試)
- Windoop Cluster 架設 ( (Hadoop 2.0) )
交通部臺灣區國道高速公路局「交通資料庫」
- Hadoop Con 2016 (2016.9.10 Justin) HadoopCon_2016_APP_3
Google Map 位置
- google map=>選單/你的地點/地圖/建立地圖
主題(Topic)::交流道流量變化分析－交通建設與政策之相關性
- 新增代替道路
  - (e.g 台中 74環中, 台中交流道下台灣大道分隔)
- 交通政策改變
  - 速度限制提升(國5最低速限60=>70?)
- the others.
加速實驗（計算節點個數 vs 時間）
實驗結果(or 網站方式呈現）
(20%) (2017.4.７)　
- 計劃書報告（ＰＰＴ）題目　動機　方法（）　執行步驟　　　　　　預期分工　
- Ｇｏｏｇｌｅ　Ｍａｐ　
(40%) (2017.4.14)　上台報告　（ＰＰＴ）　＋　問答（每組）
(40%) (2017.4.1８　１１：００ＡＭ　以前)
- 書面報告(Word+PPT)(電子檔上傳Moodle)(題目、小組成員、個別貢獻百分比(全組總和=100%)、小組會議記錄(至少2次)、個人心得)
- (錄影上傳YouTube+ 5~8 Min)+錄影工具:EverCam (亞大有授權) 或 OCam(免費授權:需注意避免安裝廣告軟體)

HW 2 (20%)
- (2017.5.5 上機檢查)Hadoop Multi-Node SetUp (I627 PC : 建議 RAM 2GB, HD: 20 GB)
  - VirtualBox & Lunix Installization (請參考第2, 3章Python+Spark 2.0+Hadoop機器學習與大數據分析實戰,林大貴）
  - Single-Node: 第4章 Hadoop 2.6 Single Node Cluster 安裝指令
  - Multi-Node :第5章 Hadoop 2.6 Multi Node Cluster安裝指令
  - Hadoop HDFS第6章. Hadoop HDFS命令介紹
  - HDFS 程式測試:
    - 上傳目錄與檔案　
      - TDCS_CandidateMR_2016_11-12_2017_1_Date-Weekday-Vehicle_M1_TF10_CF1_Length1_MRP_SpecificGantryIDS
- (2017.5.12)書面報告(封面、完成項目(條列)、方法(畫面舉證)、心得與討論)
  - (錄影上傳YouTube+ 5~8 Min)+錄影工具:EverCam (亞大有授權) 或 OCam(免費授權:需注意避免安裝廣告軟體)
期末專題 (30%)(小組(2~4人/每組))(30%)
- 交通部交通部臺灣區國道高速公路局「交通資料庫」TDCS06
  - 原始資料(Maximal Repeats)
    - 國道５號（2016/11-12,2017/1, 3 month) (南北雙向)(83MB)　
      - TDCS_CandidateMR_2016_11-12_2017_1_Date-Weekday-Vehicle_M1_TF10_CF1_Length1_MRP_SpecificGantryIDS
    - 所有國道（2017/4,2017/4, 1 month) (南北雙向)(27GB)
      - TDCS_CandidateMR_2017_4_2017_4_Date-Weekday-Vehicle_M1_TF2_CF1_Length1_MRP
  - 統計參考:
    - drive-download-20170509T054831Z-001_jdwang2017_5_9.zi
- 參考範例程式: TDCS_MRP_Statistic_jdwang2017_5_9.7z
- (加分)
  - NoSQL (Not only SQL)
    - MongoDB
      - 7天學會大數據資料處理NoSQL：MongoDB入門與活用 (作者：黃士嘉, 劉祐賓, 周聖凱出版社：博碩)
    - HBase
      - Apache HBase – Apache HBase™ Home
      - HBase Tutorial
  - Hive
  - Pig
  - 應用Data Visualization
    - Power BI
    - Tableau
    - The others
- (2017.5.19 計劃書報告) （ＰＰＴ）題目　動機　目的　方法　執行步＼０驟　成　分工　
  - 最大重複行車時間樣式之資訊統計分析
    - 星期? (需修正 e.g. "Mon"=>"Tue", "Tue"=>"Wed")
    - 路段? (6 個 gentreis) 5F_N_Table.jpg
    - 時段? (0~23)
    - 星期? (Monday~Sunday)
    - 車種? (vehicle types: 31,32,41,42, 5)
    - 各種組合?
- (2017.6.16 上台報告)
  - PPT+ Data Virtualization.
- (2017.6.20 11:30 以前)
  - 書面報告(Word+PPT)(電子檔上傳Moodle)(題目、小組成員、個別貢獻百分比(全組總和=100%)、小組會議記錄(至少2次)、個人心得)
  - (錄影上傳YouTube+ 5~8 Min)+錄影工具:EverCam (亞大有授權) 或 OCam(免費授權:需注意避免安裝廣告軟體)

教科書

第4章 Hadoop 2.6 Single Node Cluster 安裝指令

第5章 Hadoop 2.6 Multi Node Cluster安裝指令

The Hadoop Ecosystem Table

Hadoop Ecosystem - Cloudera

擴充Hadoop功能的軍火庫| iThome

Apache Hadoop Ecosystem and Open Source Big Data Projects ...

「hadoop ecosystem」的圖片搜尋結果

成績評量

HW 1(20%)(2017.3.24)(大學部:小組(2~4人/每組)) Hadoop （Map&Reduce）