Text Mining

jdwang@asia.edu.tw, Room:I517, ext:1847

Time: Wednesday, 12:10pm~3:00pm, Room: I627

• Text Book

  • Practical Text Mining with Perl

    • Roger Bilisoly,Wiley (August 2008) ISBN: 978-0-470-17643-6

  • Text Mining Application Programming

    • Manu Konchady,Thomson (2006), ISBN: 1-58450-460-9,Install

• Reference Book

  • The Text Mining Handbook

    • Ronen Feldman & Hame Sanger, Cambridge(2007)ISBN:0-521-83657-3

  • Search Engines: Information Retrieval in Practice

    • W. Bruce Croft, Donald Metzler and Trevor Strohman

    • Addison Wesley, (2010) ISBN-13: 978-0-13-607224-9

  • Algorithms of the Intelligent Web

    • Haralambos Marmanis and Dmitry Babenko

    • May, 2009 | 368 pages ISBN: 1933988665,yooreeka

  • Introduction to Information Retrieval

    • Christopher D. Manning et al. Cambridge(2008)ISBN:978-0-521-86571-5

    • http://www-csli.stanford.edu/~hinrich/information-retrieval-book.html,投影片ppt

  • Building Search Applications

    • Lucene, LingPipe, and Gate

    • Manu Knochady,Mustru Publishing, (2008) ISBN: 978-0-61520-425-3

  • Web Data Mining Exploring Hyperlinks, Contents and Usage Data
    Bing Liu, Springer, December, 2006, ISBN:978-540-37881-5

    • Data mining resource site: KDnuggets Directory

    • MDR: Mining Data Records from Web Pages, (CBA - Asociation rules based classification)

  ---

成績

• Text Mining Application Programming_Chapter1_Introduction
• Text Mining Application Programming_Chapter3_ExploringText
• Text Mining Application Programming_Chapter 9 Text Categorization.ppt

分組(大學部2~4人/每組)

• (2010.3.10前繳交分組名單) 98_2_Text Mining分組名單
  • MailTo:施耀竣 aoc5202000@yahoo.com.tw
  • 題目
    • 文件資料來源(+URL)
    • 預計挖掘分析事項
  • 成員：學號、姓名、班級、email

專題(最多遲交一週，逾期不收, 90%/per day)

• FTP: 210.70.82.???,port:??21, login: tm, tm???,建立一個組別目錄, 上傳

• Related Tools
  • Perl
    • ActivePerl Local
    • jdwang_PerlPractice
• (1) 中文文件(50%)(2010.4.14報告)（）
  • 資料來源
    • 104人力銀行
      • (至少選擇一項)
      • 軟體及網路相關業,
      • 電信及通訊相關業,
      • 電腦及消費性電子製造業,
      • 半導體業,
      • 光電及光學相關業,
      • 電子零組件相關業
    • 中央社新聞(CNA news)
    • 自行選擇網站
      • URL?如何下載資料(get?post?)預計作何統計?
  • 資料處理
    • 資料下載，
    • 統計(104人力銀行)
      • 時間從？到?,
      • 共幾筆？
      • 專長共？種,
      • 重要性分析？,
      • 需求公司分析？
      • 地區分析？
      • 其他(the others)
    • 統計(某主題網站)
      • 資料來源
      • 資料統計（筆數、字數大小）
      • 常用字、詞(1-gram, 2-gram, 3-gram sort by tf)
      • 常用詞重要性(sort by tf*idf)
    • 心得
      • 組員任務分配
      • 組員貢獻度(%)
      • 組員個別心得

  (2) 中文事件歷史資料挖掘(時間序列)(50%)(2010.5.19)

  • 資料來源
    • CNA_TermHistory
    • 中華名國專利資訊檢索系統
      • 取得中華民國專利系統公開資料 example
      • Pattern-History(劉宣榮)