雲端程式設計

雲端程式設計 (Cloud Programming)

成績評量

週一 5,6,7, ROOM: I627, (教師：王經篤 , jdwang@asia.edu.tw, ext: 1847, Room: I517)

教科書
課程簡介
- {Hadoop MapReduce 程式設計}課程
- 分散式運算技術介紹
- Eclipse + Java Programming
- Hadoop 簡介(WinHadoop 安裝與設定)
  - (Hadoop 2.0) windoop_2.7.1_with_HBase_jre8_x64_zh_TW.7z (304M)(新版)(參考)
  - C:\windoop\start.bat(以系統管理員執行)
    - NameNode HDFS Web http://localhost:50070/
    - Resource Manager Web http://localhost:8088
  - Single Node
    - Hadoop 範例程式執行（Hadoop4Win）(編譯、執行)
      - presidentElection.java
      - WordCount_jdwang_2016_10_12.zip
        
        如何專案匯入參考(投影片名稱：上課Windoop投影片.7z 3_Windoop 單機版 wordcount 練習)
        
        HADOOP_HOME ${eclipse_home}\..\hadoop
        
        PATH %PATH%;${eclipse_home}\..\hadoop\bin
        
        input:
        
        input_wordcount_jdwang.txt
    - (Hadoopp Program: Complier, Execute, 結果顯示)
      - WordCount_jdwang_2016_10_12.zip
        
        WordCount_學號.java,
        
        Reducer_學號.java
        
        Mapper_學號.java
      - input file:
        
        input_wordcount_jdwang.txt
  - Windoop Cluster 架設（每組至少３　ｎｏｄｅｓ）
    - 環境設定(Windoop 2. 0)(感謝:賴敬勳,王俊平,楊松儒環境測試)
      - Referecnce
        
        Setting Up A Multi Node Cluster In Hadoop 2.X
        
        adoop - Multi Node Cluster
    - WordCount_jdwang_2016_10_12.zip (Hadoop 2.0)
      - pubmed_result_WilsonDisease_jdwang2014_10_9_Parsed.txt
    - 效能比較（WindoopExecuteTime.xlsx）
      - 計算節點數目（#ofNode ）
        
        ３２　ＭＢ
        
        ６４　ＭＢ
        
        １２８　ＭＢ
      - 檔案個數（相同資料量 e.g. 100 MB）
        
        100 files vs. one file
      - Ｒｅｄｕｃｅｒ　數目
        
        main {job.setNumReduceTasks(２)}; //reduce 的個數　=2,
  - HDFS 介紹與操作
    - HDFS基礎介紹與程式設計
      - Hadoop HDFS第6章. Hadoop HDFS命令介紹
    - HDFS programming
      - HDFSOperation.7z
        
        HDFSCreateFile.java
        
        HDFSReadFile.java
        
        HDFSWriteFile.java
        
        HDFSDeleteFile.java
        
        HDFSCreateDir.java
        
        HDFSDeleteDir.java
        
        HDFStoLocal.java
        
        LocalToHDFS.java
- (Asis University)亞洲大學大數據資料處理 –Hadoop MapReduce 程式設計
- HW 1(15%)(2018/4/2)(大學部:小組(2~4人/每組)) Hadoop （Map&Reduce）
  - 交通部臺灣區國道高速公路局「交通資料庫」TDCS06A
    - 建立Google Map
    - 程式範例:TDCS_GIDSequence_MapReduceParser_jdwang2016_12_4.zip
    - Open Data
  - 計算交流道的車流量變化(學號尾數:單號(國道1)學號尾數:雙號(國道3))
    - 時間: 2018.3.19-26(一週)
    - Vehicle Type
    - 0-23小時
    - Vehicle Type+0-23小時
    - GantryID+Vehicle Type+Day+0-23小時
  - 說明你的觀察結果
  - 書面報告(封面、完成項目(條列)、方法(畫面舉證)、心得與討論)
    - (錄影上傳YouTube+ 5~8 Min)+錄影工具:EverCam (亞大有授權) 或 OCam(免費授權:需注意避免安裝廣告軟體)
    - (電子檔上傳Moodle)
- 期中專題(大學部:小組(2~4人/每組))(30%)(2018/4/16上台報告, 2018/4/23 書面報告Moodle)

教科書

成績評量

HW 1(15%)(2018/4/2)(大學部:小組(2~4人/每組)) Hadoop （Map&Reduce）