李御璽 銘傳大學資訊工程學系 [email protected] ·...

36
李御璽 銘傳大學資訊工程學系 [email protected]

Transcript of 李御璽 銘傳大學資訊工程學系 [email protected] ·...

  • 李御璽 銘傳大學資訊工程學系 [email protected]

  • 姓名:李御璽

    學歷:國立台灣大學資訊工程博士

    現職:銘傳大學資訊工程學系教授

    經歷:銘傳大學資料探勘研究中心主任 中華數據挖掘協會理事 浙江大學城市學院客座教授 雲南財經大學信息學院客座教授 中國人民大學數據挖掘中心顧問 廈門大學數據挖掘中心顧問

    專長:數據挖掘(Data Mining) 文本挖掘(Text Mining)

  • 發表年 期刊名稱 Index

    2015/09 Journal of Information Science and Engineering (SCI Impact Factor: 0.299)(EI)

    2014/06 Applied Intelligence (SCI Impact Factor: 1.853)(EI)

    2013/12 Journal of Data Analysis (JDA) (JEL)(e-JE)(EconLit )(CIS)

    2013/12 Applied Intelligence (SCI Impact Factor: 1.853)(EI)

    2013/03 Information Sciences (INS) (SCI Impact Factor: 3.643)(EI)

    2011/12 Journal of Data Analysis (JDA) (JEL)(e-JE)(EconLit )(CIS)

    2011/10 Expert Systems with Applications (ESWA) (SCI Impact Factor: 1.854)(EI)

    2011/09 Expert Systems with Applications (ESWA) (SCI Impact Factor: 1.854)(EI)

    2011/08 Journal of Data Analysis (JDA) (JEL)(e-JE)(EconLit )(CIS)

    2010/12 Journal of Information Technology and Applications (JITA)

    2010/10 Journal of Data Analysis (JDA) (JEL)(e-JE)(EconLit )(CIS)

    2009/12 Journal of E-Business (JEB) (TSSCI)

    2009/11 Behaviour & Information Technology (BIT) (SCI Impact Factor: 0.856)

    (SSCI Impact Factor: 0.856)

    2009/04 Expert Systems with Applications (ESWA) (SCI Impact Factor: 1.854)(EI)

    2009/03 Journal of the American Society for Information Science

    and Technology (JASIST)

    (SCI Impact Factor: 2.005)

    (SSCI Impact Factor: 2.005)(EI)

    2008/12 Journal of E-Business (JEB) (TSSCI)

    2008/09 Pattern Recognition (PR) (SCI Impact Factor: 2.632)(EI)

    2008/05 Expert Systems with Applications (ESWA) (SCI Impact Factor: 1.854)(EI)

    2008/01 Information Sciences (INS) (SCI Impact Factor: 3.643)(EI)

  • 高效益關聯規則探勘系統之研發 (103年11月1日~104年10月31日) (產學合作計畫)

    以企業導向為基礎之分類技術的研究 (I) (103年8月1日~104年7月31日)

    優化數據探勘分類技術之研究 (II) (102年8月1日~103年7月31日)

    適合市場區隔應用的多維度關聯探勘系統之研發 (101年11月1日~102年10月31日) (產學合作計畫)

    優化數據探勘分類技術之研究 (I) (101年8月1日~102年7月31日)

    高效益關聯規則探勘系統之研發 (100年11月1日~101年10月31日) (產學合作計畫)

    發展適合企業行銷分析之新的數據探勘分類技術(III) 100年8月1日~101年7月31日)

    發展適合企業行銷分析之新的數據探勘分類技術(II) (99年8月1日~100年7月31日)

    從2001開始已主持過21件科技部的研究專案

  • 國科會4年產學合作計畫

    国科会产学合作计划

    國科會3年產學合作計畫 國科會產學合作計畫

  • SAS與玉山銀行共同舉辦數據挖掘(Data Mining)競賽 銘傳大學資料探勘研究中心在22所大學、86隊、325位參賽同學中,歷經5-7月初賽、7/26複賽、8/9決賽三個月的考驗,榮獲銀牌及10萬元的獎金

    競賽的題目為「應用既有房貸顧客基礎,建置房貸顧客進件違約風險預測模型」

    此次的競賽是一項跨領域的比賽 建置此類模型除具備資料處理及資料 採礦技術外,對房貸風險領域的認知 及敏感度更是致勝關鍵

    http://www.google.com.tw/url?sa=i&rct=j&q=%E7%8E%89%E5%B1%B1%E9%8A%80%E8%A1%8C&source=images&cd=&cad=rja&docid=qEWbIVEqe1MYHM&tbnid=sfbaUtQQp2sZ3M:&ved=0CAUQjRw&url=http://goodlife.tw/%E4%BF%A1%E7%94%A8%E5%8D%A1/%E7%8E%89%E5%B1%B1%E9%8A%80%E8%A1%8C&ei=s3E1Uqm-FYrHkQX12oDQDw&psig=AFQjCNFOhgWhAqGjjxxdXGiX82wSr5eT8w&ust=1379320545488345

  • 何謂傳統數據的問題?

    何謂大數據的問題? 大數據在金融領域的分析及應用

    http://www.google.com.tw/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0ahUKEwiFrd2y6_7KAhVGJ5QKHZtfAIIQjRwIBw&url=http://pansci.asia/archives/tag/big-data&psig=AFQjCNE5E8pBfkR82gLsjW20lqj_9mi1Fg&ust=1455799885385333

  • 李御璽 銘傳大學資訊工程學系 [email protected]

  • checking_status duration credit_history purpose credit_amount … class A11 6 A34 A43 1169 … 1 A12 48 A32 A43 5951 … 2 A14 12 A34 2096 … 1 A11 42 A32 7882 … 1 A11 24 A33 A40 4870 … 2 A14 A32 9055 … 1 A14 24 A32 A42 2835 … 1 A12 36 A32 A41 6948 … 1 A14 12 A32 A43 3059 … 1 A12 30 A34 5234 … 2 A12 12 A32 A40 1295 … 2 A11 A32 A49 4308 … 2 A12 12 A32 A43 1567 … 1 A11 24 A34 A40 1199 … 2 A11 A32 A40 1403 … 1 A11 24 A32 1282 … 2 A14 A34 A43 2424 … 1 A11 30 A30 A49 8072 … 1 A12 24 A32 A41 12579 … 2 A14 24 A32 A43 3430 … 1

    Target Attribute Input Attributes

  • Stepwise

    基本分 62

    checking_status A11 -74

    checking_status A12 -29

    checking_status A13 4

    checking_status A14 99

    credit_amount MIN~682 115

    credit_amount 682~4113 34

    credit_amount 4113~7721 -32

    credit_amount 7721~MAX -

    117

    credit_history A30 -59

    credit_history A31 -63

    credit_history A32 27

    credit_history A33 7

    … … …

    Scorecard

  • 李御璽 銘傳大學資訊工程學系 [email protected]

  • How big is big data

    基本上大數據是一個概念,它引領我們能開始收集更細緻的數據,並與既有的數據整合

    若一個專案還是沿用以往公司己有的數據,則這個專案要解決的問題是傳統數據的問題,而不是大數據的問題

    多大並非是絕對的

  • 李御璽 銘傳大學資訊工程學系 [email protected]

  • Hadoop: Map/Reduce

    NoSQL

    Data Mining

    已逐漸 發展成熟

    找不到人:需跨領域

    成敗的核心

  • 大數據從何而來(Sources)

    社群媒體(Social Media)

    智能手機(Smart Phone)

    感知裝置(Sensing Devices)

    物聯網(Internet of Things)

    新的數據來源將導致新的應用模式及新的應用系統

  • 新的數據來源將導致新的應用模式

    社群媒體的輿情分析-文本挖掘 ▪ 電子發票的輿情分析

    ▪ 證交所的輿情分析

    ▪ 需小心處理雜訊的問題

    社群媒體的商業模式-網民的使用行為挖掘 ▪ 水波紋貸款

    ▪ 日幣消息 vs. 日幣買賣

    及時推薦系統-手機行為即時分析 ▪ 未來幾乎所有的事都會在手機上完成(大陸年輕族群有70%家裡沒有電視)

    ▪ 傳統廣告模式 vs. 手機推薦廣告

  • 0

    50

    100

    150

    200

    250

    3_1 3_2 3_3 3_4 4_1 4_2 4_3 4_4 5_1

    手機條碼

    查詢、平台

    載具

    3_1申請手機條碼

    4_4 1.未收到/誤刪手機驗證碼 2.歸戶 3.使用地點

    3_1共通性載具申請

    4_4 1.未收到/誤刪驗證碼 2.歸戶 3.卡片損毀

    3_4使用地點

    4_2未收到手機驗證碼

    4_2共通性載具如何歸戶

    3_2 卡片(icash、悠遊卡)明細查詢

    4/2推行載具不列印發票政策

  • 和股票 較為相關

  • 讚與不讚的定義可以 是網頁的停留時間、 網頁留言的評價等等

    協同式過濾的推薦系統(Social Filtering Recommendation System)

  • User-Based Collaborative Filtering Recommendation System

    http://www.google.com.tw/url?sa=i&rct=j&q=&esrc=s&frm=1&source=images&cd=&cad=rja&docid=LE6py-Xl1--2jM&tbnid=aJ5HXi7Mc91z0M:&ved=0CAUQjRw&url=http://zh.wikipedia.org/wiki/%E5%8B%BE%E8%99%9F&ei=41A-Up_GLIrYkAXtkIDgCw&psig=AFQjCNEu6tOFdDDP9TgiOM0u8U9TFmVRKA&ust=1379902018927192http://www.google.com.tw/url?sa=i&rct=j&q=&esrc=s&frm=1&source=images&cd=&cad=rja&docid=LE6py-Xl1--2jM&tbnid=aJ5HXi7Mc91z0M:&ved=0CAUQjRw&url=http://zh.wikipedia.org/wiki/%E5%8B%BE%E8%99%9F&ei=41A-Up_GLIrYkAXtkIDgCw&psig=AFQjCNEu6tOFdDDP9TgiOM0u8U9TFmVRKA&ust=1379902018927192

  • DB

    Data

    Warehouse

    DB

    I

    n

    t

    e

    g

    r

    a

    t

    i

    o

    n

    Data

    Mining

    Platform

    Action

    Rules

    Action

    Rules

    Decision

    Support

    System

    New Data

    Feedback

    Active Analysis

    Automatically Fetch Data from DW

    Data Mining in

    Big Data Era

    Stream Big Data

    with Structure &

    Unstructured Format

    Automatically

    Generate

    by DMP 行銷預測 風險控管

  • Active Learning (Dynamically Refresh the Rules)

    風險詐欺模型的即時建立、偵測及修正

    產品行銷模型的即時建立、偵測及修正 ▪ 高流動性理財性商品

    ▪ 最近三個月系統結算>7萬 & 活儲次數占比>99.6%

    ▪ 網銀轉入金額>40萬 & 網銀轉出=0

    Location-Based Services

    Integrate the mobile data with bank data to provide more suitable services ▪ Credit card driven LBS

    Event-Based Marketing

  • 4.執行活動 (只銷售最適合個別客戶的產品)

    傳統行銷

    事件式行銷

    1. 先決定要賣哪個產品

    2. 決定要賣給哪群 客戶 (假設該群客戶可能有需求)

    3. 設計行銷活動 (單一產品)

    1. 分析客戶行為的變化

    2. 找出剛發生重大行為變化的客戶

    3. 針對客戶的潛在需求, 設計行銷活動 (多種產品)

    4.執行活動 (例:出大批名單給TM、寄大量DM給客戶