AWS Academy Learner Lab - Foundation Services [4976] EE300016 [A] 大數據資料處理(資工系)
上課時間:(一)456 (I627)
MS-Teams : (資工系)
成績(Score) [A] 大數據資料處理(資工系)
(資工系)期末專題分組名單 上課時間:(一)456 (I627)

• HDFSCreateFile.java
• HDFSReadFile.java
• HDFSWriteFile.java
• HDFSDeleteFile.java
• HDFSCreateDir.java
• HDFSDeleteDir.java
• HDFStoLocal.java
• LocalToHDFS.java

• (10%)平時成績:出席(缺席:-1/次,遲到(請假):0.5/次)(最多扣10分))

---

作業繳交：作業遲交扣分，每日原始分數*0.9（遲交最多一週，逾期不收）
• 書面心得格式
  • 課程名稱:?, 第？次作業：？,題目:?,班級 學號 姓名 日期,
  • 完成項目
  • YouTube(1~3分鐘)(URL連結)
  • 執行過程與結果,
  • 討論與問題,
  • 心得
• 評量標準參考
  • 有交書面報告(40%)
  • 有交書面報告+心得(60%)
  • 有交書面報告+作業過程舉證完整+心得(80%)
  • 有交書面報告+作業過程舉證完整+問題討論+心得(90%)

---

---

• 作業
(a)[5%] 利用AWS EC2 產生一台 Window PC (CPU: 8 core, RAM: 16 GB)　HD: 30 GB)
How to create an AWS EC2 (OS: MS-Windows) (如何建立AWS EC2)(YouTube)
(b)[[5%] Windoop安裝 +　執行（PresentElection.java) AWS EC2 (OS: MS-Window) 安裝 Windoop (亦需安裝Java JDK 8 以下版本)
(1)安裝WindoopWindoop (Single Node)
(2)安裝Java JDK (Java 8 JDK, not JRE) 和系統路徑設定 ( 安裝說明：王家恩)
How to Download & Install Java JDK 8 in Windows(From:Guru99)
匯入 Java Project Hadoop Java Programming Import, add Jar Library(pdf解說)
(3)執行（PresentElection.java),（程式中加入新候選人＂你的學號_姓名＂, e.g "10500001_jdwang"）
Windoop (Single Node)(run Presentation.java)

(c)[5%] AWS EC2 執行 "word_count_你的學號.jar" WordCount Examples WordCount_jdwang_2016_10_12.zip

修改 "WordCount_jdwang.java" "Mapper_jdwang.java"　＂Reducer_jdwang.java" <
將"jdwang" 改成你的學號如:"WordCount_10500001.java" "Mapper_10500001.java" "Reducer_10500001.java"
(注意：需要調整"WordCount_10500001.java"的對應檔案)
(完成後，刪除"WordCount_jdwang.java" "Mapper_jdwang.java"　＂Reducer_jdwang.java") 並完成 compiler 後可以執行

書面報告(封面、完成項目(條列)、方法(畫面舉證)、心得與討論)+ YouTube (URL)(設定:半公開)
(錄影上傳YouTube+ 1~3 Min)+錄影工具:EverCam (亞大有授權) 或 OCam(免費授權:需注意避免安裝廣告軟體)

---

---

• (30%)期中專題(Hadoop SingleNode):小組(2~4人/每組)(2021/11/?(第一梯次),11/?(第二梯次)上台報告, 2020/11/? 書面報告,上傳Moodle)
期中專題分組名單(資工系) 上課時間:(一)456 (I627)

期中專題分組名單(跨領域學程) 上課時間:(四)234 (I628)

(1) 選一個你熟悉或想要觀察的匝道(說明你的動機:為何要選這個匝道?) <利用 Google Map 標示出來>

（國道計費門架座標及里程牌價表104.09.04版.csv)
國道計費門架座標
如: "03F-186.0S"(國道三號 龍井-和美)=> GantryID="03F1860S"
高速公路計費匝道位置-Google Map 匯入教學

參考程式:
TDCS_GIDSequence_GantryID_VihicleType_Date_Weekday_24Hour_Statistics_jdwang_2020_10_28.zip(上交流道+下交流道)
(1) 修改:(main&mapper)匝道名稱 {String TargetGantryID = "01F0557N"; // 想要觀察的匝道}
(2) 修改 input path(輸入)
(3) 修改 output path(輸出)


參考：專題:『交通部高速公路閘道資料』資訊擷取
參考：1062 雲端程式設計-計算交流道的車流量變化-感謝(Thanks)：陳咨雅同學提供(2018　亞大資工所)
利用『交通部高速公路閘道資料』做大數據分析
如何利用這些分析,讓分析資料加值(車輛種類？不同時段分析(星期?24 小時?連續假期?)？避免尖峰時段?流量估計?)
觀察匝道: 選定至少一個交流道 (注意每個交流道車流 分為{上交流道}與{下交流道}　每一種又分為｛南下｝{北上｝共四種統計資料)

以{龍井}交流道為例：
{上交流道}：
｛從龍井南下｝: 如: "03F-186.0S"(國道三號 龍井-和美)=> GantryID="03F1860S"
｛從龍井北上｝: 如: "03F-177.9N"(國道三號 龍井-沙鹿)=> GantryID="03F1779N"
{下交流道}：
｛南下到龍井｝: 如: "03F-177.9S"(國道三號 沙鹿-龍井)=> GantryID="03F1779S"
｛北上到龍井｝: 如: "03F-186.0N"(國道三號 和美-龍井)=> GantryID="03F1860N"


測試資料 :
TDCS_M06A_20161127_230000.csv(One hour)]
(201701_1-1.7z)(24 Hours)
(2018_9_1-7.7z)(7 days : One week)
part-r-00000_2018_9_1-7＿01F0557N.xlsx

測試程式 :
TDCS_06A_GantryID_Statistics_jdwang2020_10_30.7z(python)
資料來源(需要從交通部臺灣區國道高速公路局「交通資料庫」自行下載):
DataSet (1): TDCS(06A)2021/9/17-2021/9/23 (共7天)(中秋連假)
DataSet (2): TDCS(06A)2021/9/24-2021/9/30 (共7天))<
DataSet (3): TDCS(06A)2021/10/1-2021/10/7 (共7天)
DataSet (4): TDCS(06A)2021/10/8-2020/10/14 (共7天) (雙十連假)
人數2人(共14天):DataSet (1)+(2)
人數3人(共21天):DataSet (1)+(2)+(3)
人數4人(共28天):DataSet (1)+(2)+(3)+(4)

參考:Hadoop MapReduce 程式設計 課程
(Python Example)
(Single Computer（單機）:OneDayOneHour)TDCS_06A_Download_WebRobot_And_Analysis_jdwang2019_11_23.7z(Python)
TDCS_06A_Download_WebRobot.7z(Python)


---

書面報告(封面、完成項目(條列)、方法(畫面舉證)、心得與討論)+ YouTube (URL)(設定:半公開)

小組書面報告:(全組繳交一份即可)
題目:交通部高速公路閘道資料資訊擷取-以?閘道為例
報告格式: 題目　動機　目的　方法　執行步驟　結果(運算平台(軟硬體,執行時間效能比較)(週次比較(連假?)X 星期(Mon..Sun) X 24hour X 車種(31,32,41,42,5))X 方向(南下 vs 北上) 分工(個別貢獻百分比) 學習心得（每個組員都要）
小組成員:(學號+姓名)
個別貢獻百分比(全組總和=100%)(小組成績微調，如：兩人一組個別貢獻百分比 45% (小組成績＊95%)和 55% （小組成績＊105%)
Youtube 說明影片 URL(2~3分鐘)
小組會議記錄(至少2次)
個人心得(每個組員都要)


相關新聞交通大數據新成果，高雄6萬事故大學生傷亡多，交通部要用大數據避災(文/黃郁芸 | 2018-10-25發表)
評分參考：
(0) (15%)上台報告(小組互評)
(1) (15%)上台報告(老師)
(2) (5%)計算硬體(幾台電腦? CPU? RAM? GB, HD:?),計算時間?
(3) (10%)說明資料完整性(完整下載與正確執行)+ GoogleMap(截圖)(他組的資料比對?)
注意: Gantry (ETC 電子匝道) vs. Intersection (交流道)
(計算一個交流道(Intersection)的流量:會對應到四個(ETC 電子匝道)(上,下交流道各兩個) )
請利用 GoogleMap 顯示你所要觀察的 交流道(Intersection)與相對應的電子匝道(Gantry)
計算{Gantry (ETC 電子匝道)}流量,需要以資料最後一個欄位(該旅程所有經過的(ETC 電子匝道)來計算)
國道計費門架座標

(4) (15%)實驗結果(實驗結果說明（圖表標題 資料清晰 需觀察統計結果，解釋可能原因）
<車輛型別比較?是否連續假日?南下或北上?周末?不相關匝道(如 台中有三處交流道?)
圖表(01F0005S_part-r-00000_2018_9_22-28_jdwang2018_10_12.xlsx)
<注意有欄位為0>
(5) (10%)可能的應用（如何加值? Big Data (Value)?）
(6) (5%)小組會議討論紀錄(內容與照片)
(7) (5%)(錄影上傳YouTube+ 3~5 Min)=> 只須給 YouTube URL(請打開分享)
(8) (10%)學習心得（每個組員都要）

(錄影上傳YouTube+ 3~5 Min)+錄影工具:EverCam (亞大有授權) 或 OCam(免費授權:需注意避免安裝廣告軟體)

---

---

• (10%) 作業2: (Deadline:?)
  在 AWS EMR Cluster 執行 "word_count_ForAWS_EMR_你的學號.jar"
  How to go to AWS Educate Program Classroom(學生如何登入課程)感謝 張倖瑜(Sharon)同學 提供(2020/12/5)
  (0) Windoop 測試 WordCount_jdwang2019_12_11.zip(Eclipse Java 程式碼)
  (需修改 (1) hdfs (2) Conf.set WordCount_ForAWS_NoDFS_NoConfSet_jdwang2019_12_13.zip)
  (1) 輸出 jar 檔 "wordcount_ForAWS_EMR_你的學號.jar"
  (e.g.WordCount_ForAWS_EMR_jdwang.jar)
  (2）登入 AWS Educate Classroom　（需先申請）
  (3) AWS S3 建立一個 Bucket "S3_你的學號"
  (4) 上傳 spider.txt 到 AWS S3 Bucket "S3_你的學號"
  (5) 上傳 "wordcount_ForAWS_你的學號.jar" 到 AWS S3 Bucket "S3_你的學號"
  (6) (AWS EC2 console)產生 key pair "EMR_key_你的學號" (下一步連接 AWS "EMR＿你的學號" 使用 )
  (7) 建立 AWS "EMR＿你的學號" ("EMR_key_你的學號") 並啟動
  (8) 上傳 "wordcount_ForAWS_你的學號.jar" 到 "S3_你的學號"
  (e.g.WordCount_ForAWS_NoDFS_NoConfset_jdwang.jar)
  (9) AWS EMR 執行 "word_count_你的學號.jar"(設定 input output)
  (10) 執行完畢’記得關掉(1) AWS "EMR_你的學號" (2) "Terminate" running AWS EC2 instances (3)移除 AWS "S3_你的學號"
  => 否則你的Money＄$$$．．．．
  　

  ---

  書面報告(封面、目的:?(為何要做這個觀察?)、方法(畫面舉證)、心得與討論)+ YouTube (URL)(設定:半公開)
  (錄影上傳YouTube+ 2~5 Min)+錄影工具:EverCam (亞大有授權) 或 OCam(免費授權:需注意避免安裝廣告軟體)

  ---

  ---

• (40%)期末專題(Hadoop Cluster on AWS) (小組(2~4人/每組))
  (資工系)期末專題分組名單 上課時間:(一)456 (I627)

  上台報告: (2021/12/27) 第一梯次　(2022/1/3) 第二梯次
  書面報告(2022/1/11 Moodle (PPT+Report+YouTube))
  (跨領域學程)期末專題分組名單 上課時間:(四)234 (I628)

  上台報告: ((2022/1/6)
  書面報告(2022/1/14 Moodle (PPT+Report+YouTube))
  

• 交通部交通部臺灣區國道高速公路局「交通資料庫」TDCS06
  • 原始資料：所有國道(南北雙向)
    (1%) TDCS_CandidateMR_2018_9_2018_9_Date-Weekday-Vehicle_M1_TF2_CF1_Length1_MRP(One Month, 100 files, 26.2GB)
    (3%) TDCS_CandidateMR_2018_7_2018_9_Date-Weekday-Vehicle_M1_TF2_CF1_Length1_MRP(Three Month, 100 files, 88.2 GB )
    (5%) TDCS_CandidateMR_2018_4_2018_9_Date-Weekday-Vehicle_M1_TF2_CF1_Length1_MRP(Six Month, 100 files, ~ 200 GB )
    
  • 參考範例程式:
    (Windoop) computing the statistic of one specific Freeway intervalTDCS_MRP_Statistic_ForDemo_jdwang2018_11_22.zip
  (Python) Load Frequency Distribution of Travel Time of "one specific Freeway interval"s TDCS_06A_MRP_Analysis_jdwang2020_12_23.7z
  

  計算平台選擇: (計算時間比較)
  (1)(+3%) Windoop (Single Node)
  (2)(+5%) (1)+Windoop (Cluster)
  (3)(+10%)(2)+ AWS EMR
  

  • (計劃書報告) （ＰＰＴ）題目　動機　目的　方法　執行步驟　分工　 最大重複行車時間樣式(2018/9-2018/9)之資訊統計分析
    

    ---

    例如: 國道三號 龍井交流道 <=> 霧峰交流道　(共通過7個匝道)
    String InputDir = "TDCS_CandidateMR_2018_9_2018_9_Date-Weekday-Vehicle_M1_TF2_CF1_Length1_MRP";
    (北上)String StartQantryID = "03F2100N" (霧峰(台3線,太平-台74),中投(連接台63));String EndQantryID = "03F1779N";（龍井,沙鹿）
    (起點)(南下)String StartQantryID = "03F1779S"（龍井,沙鹿）; (迄點)String EndQantryID = "03F2100S";(霧峰(台3線,太平-台74),中投(連接台63))
    
    int LengthQantryID = 7;
    
  • (Excel,已經加入註解)part-r-00000_TDCS_CandidateMR_2018_9_2018_9_Date-Weekday-Vehicle_M1_TF2_CF1_Length1_MRP.xlsx
    (CSV)part-r-00000_TDCS_CandidateMR_2018_9_2018_9_Date-Weekday-Vehicle_M1_TF2_CF1_Length1_MRP.csv
    
評分參考：
(0) (10%)上台報告(小組互評)
(1) (10%)上台報告(老師)
(2) (10%)計算平台選擇(Windoop(Single Node)(+3%), Windoop (Cluster)(+5%), Windoop (Cluster)+ AWS EMR, S3(+10%) )
(4) (2%) 分組名單 + GoogleMap(路線URL分享)(2020/12/16以前)
台灣國道高速公路｛路段}車流分析(選擇任兩個閘道作為啟起始與結束)(南下＆北上)
選一個你熟悉或想要觀察的｛路段}(選擇任兩個閘道)
(說明你的動機:為何要選這個｛路段}車流分析?) 利用 Google Map 標示出來 (? 個 Gantries)
(5) (35%)實驗結果
(結果說明（圖表標題 資料清晰 需觀察統計結果，解釋可能原因）

• (5%)說明資料完整性+ 1個月(+1%) or 3 個月(+3%)or 6 個月(+5%)
  
國道計費門架座標

• 計算平台(硬體規格?個數? 所花費時間?)
• 該路段不同時段行車時間比較(最長,最短,平均)
• 時段? (0~23)(尖峰時段 Rush Hours)
• 星期比較? (Monday~Sunday)
• 車種比較? (vehicle types: 31,32,41,42, 5)
• 各種組合?
• (互動式圖表)(如:使用 Power BI)
(6) (3%) 可能的應用（如何加值? Big Data (Value)?）
(7) (3%)小組會議討論紀錄(內容與照片)
(8) (3%)(錄影上傳YouTube+ 3~5 Min)=> 只須給 YouTube URL(請打開分享)
(9) (10%)學習心得（每個組員都要）
書面報告(封面、完成項目(條列)、方法(畫面舉證)、心得與討論)+ YouTube (URL)(設定:半公開)
(錄影上傳YouTube+ 3~5 Min)+錄影工具:EverCam (亞大有授權) 或 OCam(免費授權:需注意避免安裝廣告軟體)

JOB: Artificial Intelligence (AI) = Big Data + Data Science + Machine Learing + Cloud Computing)
1111人力銀行 (Big Data)
104人力銀行 (Big Data)