- (10%)平時成績:出席(缺席:-1/次,遲到(請假):0.5/次)(最多扣10分))
作業繳交：作業遲交扣分，每日原始分數*0.9（遲交最多一週，逾期不收）
- 書面心得格式
- 課程名稱:?, 第？次作業：？,題目:?,班級 學號 姓名 日期,
- 完成項目
- YouTube(1~3分鐘)(URL連結)
- 執行過程與結果,
- 討論與問題,
- 心得
- 評量標準參考
- 有交書面報告(40%)
- 有交書面報告+心得(60%)
- 有交書面報告+作業過程舉證完整+心得(80%)
- 有交書面報告+作業過程舉證完整+問題討論+心得(90%)
- (0%)(取消)作業1( Deadline 2020/10/28 12:00PM )
書面報告(封面、完成項目(條列)、方法(畫面舉證)、心得與討論)+ YouTube (URL)(設定:半公開)
(錄影上傳YouTube+ 1~3 Min)+錄影工具:EverCam (亞大有授權)
或 OCam(免費授權:需注意避免安裝廣告軟體)
- [5%]AWS Educate Program ( 利用AWS EC2 產生一台 Window PC (CPU: 8 core, RAM: 16 GB) HD: 30 GB )
- [5%] Windoop安裝與 Wordcount 測試
Windoop (Single Node)(run Presentation.java)
[3] Hadoop Java Programming Import, add Jar Library(pdf解說)
(1)安裝Java JDK (Java 8 JDK, not JRE) 和系統路徑設定 ( 安裝說明：王家恩)
How to Download & Install Java JDK 8 in Windows(From:Guru99)
(2)安裝WindoopWindoop (Single Node)
(3)執行（PresentElection.java),（程式中加入新候選人＂你的學號_姓名＂, e.g "10500001_jdwang"）
(4)下載 WordCount_jdwang_2016_10_12.zip
(5)匯入 Java Project Hadoop Java Programming Import, add Jar Library(pdf解說)
(6) WordCount Examples WordCount_jdwang_2016_10_12.zip
修改 "WordCount_jdwang.java" "Mapper_jdwang.java" ＂Reducer_jdwang.java" <
將"jdwang" 改成你的學號如:"WordCount_10500001.java" "Mapper_10500001.java" "Reducer_10500001.java"
(注意：需要調整"WordCount_10500001.java"的對應檔案)
(完成後，刪除"WordCount_jdwang.java" "Mapper_jdwang.java" ＂Reducer_jdwang.java")
並完成 compiler 後可以執行
- (30%)期中專題(Hadoop SingleNode):小組(2~4人/每組)(2020/11/4(第一梯次),11/11(第二梯次)上台報告, 2020/11/18 書面報告,上傳Moodle)
分組名單:(109_1_ BigDataApplications_MiddleProject)
(1)
選一個你熟悉或想要觀察的匝道(說明你的動機:為何要選這個匝道?) <利用 Google Map 標示出來>
（國道計費門架座標及里程牌價表104.09.04版.csv)
國道計費門架座標
如: "03F-186.0S"(國道三號 龍井-和美)=> GantryID="03F1860S"
高速公路計費匝道位置-Google Map 匯入教學
參考程式:
TDCS_GIDSequence_GantryID_VihicleType_Date_Weekday_24Hour_Statistics_jdwang_2020_10_28.zip(上交流道+下交流道)
(1) 修改:(main&mapper)匝道名稱 {String TargetGantryID = "01F0557N"; // 想要觀察的匝道}
(2) 修改 input path(輸入)
(3) 修改 output path(輸出)
參考：專題:『交通部高速公路閘道資料』資訊擷取
參考：1062 雲端程式設計-計算交流道的車流量變化-感謝(Thanks)：陳咨雅同學提供(2018 亞大資工所)
利用『交通部高速公路閘道資料』做大數據分析
如何利用這些分析,讓分析資料加值(車輛種類？不同時段分析(星期?24 小時?連續假期?)？避免尖峰時段?流量估計?)
觀察匝道: 選定至少一個交流道 (注意每個交流道車流 分為{上交流道}與{下交流道} 每一種又分為｛南下｝{北上｝共四種統計資料)
以{龍井}交流道為例：
{上交流道}：
｛從龍井南下｝: 如: "03F-186.0S"(國道三號 龍井-和美)=> GantryID="03F1860S"
｛從龍井北上｝: 如: "03F-177.9N"(國道三號 龍井-沙鹿)=> GantryID="03F1779N"
{下交流道}：
｛南下到龍井｝: 如: "03F-177.9S"(國道三號 沙鹿-龍井)=> GantryID="03F1779S"
｛北上到龍井｝: 如: "03F-186.0N"(國道三號 和美-龍井)=> GantryID="03F1860N"
測試資料 :
TDCS_M06A_20161127_230000.csv(One hour)]
(201701_1-1.7z)(24 Hours)
(2018_9_1-7.7z)(7 days : One week)
part-r-00000_2018_9_1-7＿01F0557N.xlsx
測試程式 :
TDCS_06A_GantryID_Statistics_jdwang2020_10_30.7z(python)
資料來源(需要從交通部臺灣區國道高速公路局「交通資料庫」自行下載):
DataSet (1): TDCS(06A)2020/9/28-2020/10/4 (共7天)(中秋連假)
DataSet (2): TDCS(06A)2020/10/5-2020/10/11 (共7天))(雙十連假)<
DataSet (3): TDCS(06A)2020/10/12-2020/10/18 (共7天)
DataSet (4): TDCS(06A)2020/10/19-2020/10/25 (共7天)
人數2人(共14天):DataSet (1)+(2)
人數3人(共21天):DataSet (1)+(2)+(3)
人數4人(共28天):DataSet (1)+(2)+(3)+(4)
參考:Hadoop MapReduce 程式設計 課程
(Python Example)TDCS_06A_Download_WebRobot_And_Analysis_jdwang2019_11_23.7z
TDCS_06A_Download_WebRobot.7z(Python)
書面報告(封面、完成項目(條列)、方法(畫面舉證)、心得與討論)+ YouTube (URL)(設定:半公開)
小組書面報告:(全組繳交一份即可)
題目:交通部高速公路閘道資料資訊擷取-以?閘道為例
報告格式: 題目 動機 目的 方法 執行步驟 結果(運算平台(軟硬體,執行時間效能比較)(週次比較(連假?)X 星期(Mon..Sun) X 24hour X 車種(31,32,41,42,5))X 方向(南下 vs 北上) 分工(個別貢獻百分比) 學習心得（每個組員都要）
小組成員:(學號+姓名)
個別貢獻百分比(全組總和=100%)(小組成績微調，如：兩人一組個別貢獻百分比 45% (小組成績＊95%)和 55% （小組成績＊105%)
Youtube 說明影片 URL(2~3分鐘)
小組會議記錄(至少2次)
個人心得(每個組員都要)
相關新聞交通大數據新成果，高雄6萬事故大學生傷亡多，交通部要用大數據避災(文/黃郁芸 | 2018-10-25發表)
評分參考：
(0) (15%)上台報告(小組互評)
(1) (15%)上台報告(老師)
(2) (5%)計算硬體(幾台電腦? CPU? RAM? GB, HD:?),計算時間?
(3) (10%)說明資料完整性(完整下載與正確執行)+ GoogleMap(截圖)(他組的資料比對?)
注意: Gantry (ETC 電子匝道) vs. Intersection (交流道)
(計算一個交流道(Intersection)的流量:會對應到四個(ETC 電子匝道)(上,下交流道各兩個) )
請利用 GoogleMap 顯示你所要觀察的 交流道(Intersection)與相對應的電子匝道(Gantry)
計算{Gantry (ETC 電子匝道)}流量,需要以資料最後一個欄位(該旅程所有經過的(ETC 電子匝道)來計算)
國道計費門架座標
(4) (15%)實驗結果(實驗結果說明（圖表標題 資料清晰 需觀察統計結果，解釋可能原因）
<車輛型別比較?是否連續假日?南下或北上?周末?不相關匝道(如 台中有三處交流道?)
圖表(01F0005S_part-r-00000_2018_9_22-28_jdwang2018_10_12.xlsx)
<注意有欄位為0>
(5) (10%)可能的應用（如何加值? Big Data (Value)?）
(6) (5%)小組會議討論紀錄(內容與照片)
(7) (5%)(錄影上傳YouTube+ 3~5 Min)=> 只須給 YouTube URL(請打開分享)
(8) (10%)學習心得（每個組員都要）
(錄影上傳YouTube+ 3~5 Min)+錄影工具:EverCam (亞大有授權)
或 OCam(免費授權:需注意避免安裝廣告軟體)
- (20%) 作業2: (Deadline: 2020/12/23)
[1](10%) 利用 AWS EC2 (OS: MS-Window) 安裝 Windoop (亦需安裝Java JDK 8 以下版本) 執行 "word_count_你的學號.jar"
How to activate AWS Educate registration mail (如何回覆AWS確認信)感謝 張倖瑜(Sharon)同學 提供(2020/3/13)
How to create an AWS EC2 (OS: MS-Windows) (如何建立AWS EC2)(YouTube)
[2](10%) 在 AWS EMR Cluster 執行 "word_count_ForAWS_EMR_你的學號.jar"
How to go to AWS Educate Program Classroom(學生如何登入課程)感謝 張倖瑜(Sharon)同學 提供(2020/12/5)
(0) Windoop 測試 WordCount_jdwang2019_12_11.zip(Eclipse Java 程式碼)
(需修改 (1) hdfs (2) Conf.set WordCount_ForAWS_NoDFS_NoConfSet_jdwang2019_12_13.zip)
(1) 輸出 jar 檔 "wordcount_ForAWS_EMR_你的學號.jar"
(e.g.WordCount_ForAWS_EMR_jdwang.jar)
(2）登入 AWS Educate Classroom （需先申請）
(3) AWS S3 建立一個 Bucket "S3_你的學號"
(4) 上傳 spider.txt 到 AWS S3 Bucket "S3_你的學號"
(5) 上傳 "wordcount_ForAWS_你的學號.jar" 到 AWS S3 Bucket "S3_你的學號"
(6) (AWS EC2 console)產生 key pair "EMR_key_你的學號" (下一步連接 AWS "EMR＿你的學號" 使用 )
(7) 建立 AWS "EMR＿你的學號" ("EMR_key_你的學號") 並啟動
(8) 上傳 "wordcount_ForAWS_你的學號.jar" 到 "S3_你的學號"
(e.g.WordCount_ForAWS_NoDFS_NoConfset_jdwang.jar)
(9) AWS EMR 執行 "word_count_你的學號.jar"(設定 input output)
(10) 執行完畢’記得關掉(1) AWS "EMR_你的學號" (2) "Terminate" running AWS EC2 instances (3)移除 AWS "S3_你的學號"
=> 否則你的Money＄$$$．．．．
書面報告(封面、目的:?(為何要做這個觀察?)、方法(畫面舉證)、心得與討論)+ YouTube (URL)(設定:半公開)
(錄影上傳YouTube+ 2~5 Min)+錄影工具:EverCam (亞大有授權)
或 OCam(免費授權:需注意避免安裝廣告軟體)
- (40%)期末專題(Hadoop Cluster on AWS) (小組(2~4人/每組))
第一梯次上台報告(2021/1/6)(請先和助教登記)
第二梯次上台報告(2021/1/13)
書面報告(2021/1/20 Moodle (PPT+Report+YouTube))
- 交通部交通部臺灣區國道高速公路局「交通資料庫」TDCS06