Hadoop 大數據資料處理 (Facebook 社團)

• [0_2]Hadoop的特性與使用時機(pdf解說)

• [0_3]Hadoop MapReduce 程式設計課程大綱介紹(pdf解說)

• [1] Introduction to Hadoop(pdf解說)

• [2] Windoop Download, Installation and Test(pdf解說)

  Download: (Hadoop 2.7.1) windoop_2.7.1_with_HBase_jre8_x64_zh_TW.7z (感謝 Windoop 林奇暻 先生提供)

  [2-1-1]:Windoop Download
  [2-1-2]:Windoop Install
  [2-1-3]:Windoop Start.bat
  NameNode HDFS Web http://localhost:50070/
  Resource Manager Web http://localhost:8088
  [2-1-4]:Windoop Program Testing : PresentElection
  

• [2-1] Hadoop File System (HDFS)系統操作

• [3] Hadoop Java 程式載入修改與執行(pdf解說)

  WordCount 範例程式 WordCount_jdwang_2016_10_12.zip

  [3-1]:WordCount_jdwang Download
  [3-2]:WordCount_jdwang Eclipse Import
  [3-3]:WordCount_jdwang Eclipse Include External Jar
  [3-4]:WordCount_jdwang Eclipse Environment Set up
  HADOOP_HOME=>${eclipse_home}\..\hadoop
  PATH=> %PATH%;${eclipse_home}\..\hadoop\bin
  [3-5]:WordCount_jdwang Eclipse Run
  [3-6]:WordCount_jdwang Eclipse Run (input_jdwang)
  

• [4]大數據資料處理(1)-交通部臺灣區國道高速公路局「交通資料庫」

  [4-1]『交通部高速公路閘道資料』說明(TDCS_M06A)(pdf解說)

  [4-2]&[4-3]說明
  [交通資料庫資料處理-範例程式(One Hour)(TDCS_GIDSequence_MapReduceParser_jdwang2017_10_11.zip)]
  [交通資料庫測試資料：TDCS_M06A_20161127_230000.csv(One hour)]
  [4-2] 車輛(VehicleType)統計
  [4-3] 閘道(GantryID_On)統計
  

• [5]大數據資料處理 (2)-『交通部高速公路閘道資料』+ 網路資料自動下載程式(pdf解說)

  [5-1] 網路資料自動下載-範例程式 (TDCS_WebURLDownload_jdwang_2017_10_20.zip)

  閘道資料處理-範例程式(24 hours)TDCS_GIDSequence_MapReduceParser_24Hour_jdwang2017_10_13.zip)
  測試資料 (201701_1-1.7z)(24 Hours)
  [5-2] 閘道資料處理-範例程式(24 hours)(pdf解說)
  車輛(VehicleType)+24小時統計)
  閘道(GantryID_On)+24小時統計)
  特定閘道(GantryID_On)+24小時統計)
  （國道計費門架座標及里程牌價表104.09.04版.csv)
  如: "03F-186.0S"(國道三號 龍井-和美)=> GantryID="03F1860S"

• [6]專題:『交通部高速公路閘道資料』資訊擷取
  專題閘道資料處理-範例程式(24 hours)TDCS_GIDSequence_MRE_24Hour_GantryAndVihicleType_ jdwang2017_11_6.7z)
  [6-1] 高速公路計費匝道位置-Google Map 匯入教學
  [6-2] 比較(特定閘道+車輛+24小時統計)
  Example : input_TDCS_24Hour_TDCS_M06A_20171030.7z
  Experimental Result: part-r-00000_output_GantryID_24Hour_GantryOn_VehicleType_LongChing.xlsx
  [6-3] (Optional)比較(特定閘道+車輛+24小時統計)+ Hadoop Cluster
  Hadoop Cluster環境設定(Windoop 2. 0) (感謝:賴敬勳,王俊平,楊松儒 環境測試)

• Hadoop MapReduce 課程總結與計算環境改進

• Further Study: HBase Tutorials for Beginners (From : Guru99)
  Its goal is to provide Fun and Free Education for ALL.