poster - å ¯æcat.phys.s.u-tokyo.ac.jp/~zliu/slides/neurips2019_poster...Title Microsoft...

1
Deep Gamblers: Learning to Abstain with Portfolio Theory Liu Ziyin Liu (UTokyo), Zhikang T. Wang(UTokyo), Paul Liang(CMU), Ruslan salakhutdinov (CMU), Louis-Philippe Morency (CMU), Masahito Ueda (UTokyo), Classification and the Inadequacy of loss Want to find: = arg max ఏ Pr(|) In practice, minimize ( loss): min ఏ − log (|) The proposed method: the gambler’s loss max log = max ୀଵ log( + ) SOTA Performance… Surprising Benefit: -Training with gambler’s loss reduces overfit -Improved performance when noisy label is present The Learned Representation is Better Separable: Toy Example: Image Rotation.. Toy Example: Identifying Disconfident Images.. Intuition: Prediction as Horse Race Horse Race with Reservation horses Betting strategy: ∑ ெ ୀଵ → ∑ ୀ Chance of winning: Payoff if we bet on the winning horse: Return after winning: = → + Objective: maximize doubling rate: max = max log = max ୀଵ log( + ) Classification Problem = Betting problem with Reservation with = 1, =0 Classification Problem ≤ Betting problem with Reservation

Transcript of poster - å ¯æcat.phys.s.u-tokyo.ac.jp/~zliu/slides/neurips2019_poster...Title Microsoft...

Page 1: poster - å ¯æcat.phys.s.u-tokyo.ac.jp/~zliu/slides/neurips2019_poster...Title Microsoft PowerPoint - poster - å ¯æ ¬.pptx Author a4045 Created Date 10/28/2019 10:57:19 AM

Deep Gamblers: Learning to Abstain with Portfolio TheoryLiu Ziyin Liu (UTokyo), Zhikang T. Wang(UTokyo), Paul Liang(CMU), Ruslan salakhutdinov (CMU), Louis-Philippe Morency (CMU), Masahito Ueda (UTokyo),

Classification and the Inadequacy of 𝑛𝑙𝑙 lossWant to find: 𝜃 = arg max Pr(𝑌|𝜃)

In practice, minimize 𝑛𝑒𝑔𝑎𝑡𝑖𝑣𝑒 𝑙𝑜𝑔 𝑙𝑜𝑠𝑠(𝑛𝑙𝑙 loss): min − log 𝑝(𝑌|𝜃)

The proposed method: the gambler’s loss

max 𝐸 log 𝑆 = max 𝑝 log(𝑜 𝑏 + 𝑏 )

SOTA Performance…

Surprising Benefit:-Training with gambler’s loss reduces overfit-Improved performance when noisy label is present

The Learned Representation is Better Separable:

Toy Example: Image Rotation..

Toy Example: Identifying Disconfident Images..

Intuition: Prediction as Horse RaceHorse Race with Reservation

𝑚 horses Betting strategy: ∑ 𝑏 → ∑ 𝑏 Chance of winning: 𝑝Payoff if we bet on the winning horse: 𝑜Return after winning: 𝑆 = 𝑜 𝑏 → 𝑜 𝑏 + 𝑏

Objective: maximize doubling rate:

max 𝑊 = max 𝐸 log 𝑆 = max 𝑝 log(𝑜 𝑏 + 𝑏 )

Classification Problem = Betting problem with Reservation with 𝑜 = 1, 𝑏 = 0

Classification Problem ≤ Betting problem with Reservation

E6 L êL Cembalo III. - Tobi´s Notenarchiv · 2018. 5. 1. · vl. i.aål å l så l å l å lå.å.så.å.så. vl ii.asålål å l så l så lså.å å åå å åå å åå å å

E6 L êL Cembalo III. - Tobi´s Notenarchiv · 2018. 5. 1. · vl. i.aål å l så l å l å lå.å.så.å.så. vl ii.asålål å l så l så lså.å å åå å åå å åå å å

Alaska School Map · å å å " # " # v " å å! # " " å v å " "!!!!! å!!!! å!! v v! # å! #! " "!!! v!! #! #!! å! ! å!!!!! "!!!! "! !!!!! v! v!! # # v!v!!!! å å!!!!! v! å!!!!

Alaska School Map · å å å " # " # v " å å! # " " å v å " "!!!!! å!!!! å!! v v! # å! #! " "!!! v!! #! #!! å! ! å!!!!! "!!!! "! !!!!! v! v!! # # v!v!!!! å å!!!!! v! å!!!!

Molecular Geometries and Isomers. Topics å VSEPR å The Different Geometries å Electronic and Molecular å Bond Angles å Isomers.

Molecular Geometries and Isomers. Topics å VSEPR å The Different Geometries å Electronic and Molecular å Bond Angles å Isomers.

í 4( Ç Å ª Ù å - Hokkaidoí 4( Ç Å ª Ù å - Hokkaido ... >Ì ^ í )

í 4( Ç Å ª Ù å - Hokkaidoí 4( Ç Å ª Ù å - Hokkaido ... >Ì ^ í )

漂亮得出奇_難得一見 .gz

漂亮得出奇_難得一見 .gz

The C it yof Ol mp a - Thurston GeoData Center - Home44x34).pdfå å å å å å å å å å å å å å å å å å å å å å å å å å å å å å å å å å å å å å å

The C it yof Ol mp a - Thurston GeoData Center - Home44x34).pdfå å å å å å å å å å å å å å å å å å å å å å å å å å å å å å å å å å å å å å å

- shweone.files.wordpress.com · ¶§ØÕ å§»”å '°”œ‡°‡¿§ ‘ fi•”å–…‰Ú ¿¶§‡“…µ«”œ‡ fi«µ“‡åfi« ˆˆ–·˙¯ ‡–· Û˝°”ðfi”å«Ù

- shweone.files.wordpress.com · ¶§ØÕ å§»”å '°”œ‡°‡¿§ ‘ fi•”å–…‰Ú ¿¶§‡“…µ«”œ‡ fi«µ“‡åfi« ˆˆ–·˙¯ ‡–· Û˝°”ðfi”å«Ù

GLR parsing.ppt [å ¼å®¹æ¨¡å¼ ]

GLR parsing.ppt [å ¼å®¹æ¨¡å¼ ]

å *m¡å¡8 å7 - Frisco, Texas

å *m¡å¡8 å7 - Frisco, Texas

Estimating the Observed Atmospheric Response to SST ...aos.wisc.edu/~zliu/publications/11_JCLI_MCA_MRE_Frankignoual.pdf · Covariance Analysis, Generalized Equilibrium Feedback Assessment,

Estimating the Observed Atmospheric Response to SST ...aos.wisc.edu/~zliu/publications/11_JCLI_MCA_MRE_Frankignoual.pdf · Covariance Analysis, Generalized Equilibrium Feedback Assessment,

2019.07.02 é é«®æ ç ¨è ¥å® å ¨æ ¨å± å®¶å»¢æ£ è ¥ç ©æª¢æ …

2019.07.02 é é«®æ ç ¨è ¥å® å ¨æ ¨å± å®¶å»¢æ£ è ¥ç ©æª¢æ …

$ ¯,Å¿ - mhlw.go.jp$ ¯,Å¿ - mhlw.go.jp ... 8£ ; ; $ ¯,

$ ¯,Å¿ - mhlw.go.jp$ ¯,Å¿ - mhlw.go.jp ... 8£ ; ; $ ¯,

J L M N O P Q - Monroe County, New York Maps - 2017/Chili 20… · å å å å å å å å å å å å å jg jg jg jg jg jg j jg College St. Pius X Sch ol ES #37 BOCES Vollmer Satelite

J L M N O P Q - Monroe County, New York Maps - 2017/Chili 20… · å å å å å å å å å å å å å jg jg jg jg jg jg j jg College St. Pius X Sch ol ES #37 BOCES Vollmer Satelite

s Ú å , » q å x ± q å s å x 9±Æ ,å å :å 9 N 5 5 e s s± ¼ · *pigxvmgep (levegxivmwxmgw 8efpi *pigxvmgep (levegxivmwxmgw 5evx 3yqfiv 3sqmrep ((8 8 g " s(0 3sqmrep )vmzi

s Ú å , » q å x ± q å s å x 9±Æ ,å å :å 9 N 5 5 e s s± ¼ · *pigxvmgep (levegxivmwxmgw 8efpi *pigxvmgep (levegxivmwxmgw 5evx 3yqfiv 3sqmrep ((8 8 g " s(0 3sqmrep )vmzi

8Ð å )6y å[W - Phila

8Ð å )6y å[W - Phila

pl e asno tify u ( 58 ) 73- 02 or I nt ed pr is z : 3 4x a ... Maps-2013/Rochester 2013.pdf · Ñ Ñ Ñ å å å å å å å å å å å å å å å å å å å å å å å å å

pl e asno tify u ( 58 ) 73- 02 or I nt ed pr is z : 3 4x a ... Maps-2013/Rochester 2013.pdf · Ñ Ñ Ñ å å å å å å å å å å å å å å å å å å å å å å å å å

September 17‐18, Poster Abstracts Æ Ä Å É · 2016-06-21 · Poster Abstracts September 17‐18, Æ Ä Å É Abstracts for posters presented at the 2015 State of the San Francisco

September 17‐18, Poster Abstracts Æ Ä Å É · 2016-06-21 · Poster Abstracts September 17‐18, Æ Ä Å É Abstracts for posters presented at the 2015 State of the San Francisco

arXiv:1707.01985v1 [cond-mat.soft] 6 Jul 2017 · å åå å åååå å åå åååååååå åååååå å å å åååå å å ååååååååååååååååååå å åå å

arXiv:1707.01985v1 [cond-mat.soft] 6 Jul 2017 · å åå å åååå å åå åååååååå åååååå å å å åååå å å ååååååååååååååååååå å åå å

N Éèˇ·~°å~å^èŒ# - Kinige

N Éèˇ·~°å~å^èŒ# - Kinige

å®®å ¤å³¶ã ¹ã ã ³ã å® è¨¼è¦ å¯ æ¡ å 170615 (AR P丸ã ...smaeco.co.jp/wp-content/uploads/2017/05/656406d525548a21...Microsoft Word - å®®å ¤å³ ã

å®®å ¤å³¶ã ¹ã ã ³ã å® è¨¼è¦ å¯ æ¡ å 170615 (AR P丸ã ...smaeco.co.jp/wp-content/uploads/2017/05/656406d525548a21...Microsoft Word - å®®å ¤å³ ã