Jianlin  Cheng,  PhD  Computer  Science  Department  University  of  Missouri,  Columbia  

Fall,  2014  

The  course  covers  typical  computa2onal  op2miza2on  methods  widely  used  in  many  compu2ng  domains,  such  as  bioinforma)cs,  data  mining  and  machine  learning.  The  theore2cal  founda2on  of  each  op2miza2on  method  is  rigorously  studied,  followed  by  typical  real-­‐world  applica2ons  in  one  or  more  domains.    

Development  of  transferable  professional  skills  •  Communica2on  •  Informa2on  collec2on  &  problem  solving  •  Project  management  •  Presenta2on  •  Collabora2on  •  Team  work  •  Leadership  

Instructor,  Office  Hours,  Course  Web  

•  Instructor:    Prof.  Jianlin  Cheng  (hJp://www.cs.missouri.edu/~chengji)    Office  Hours  Wed  &  Fri,  4  pm  –  5  pm      •  Course  Website      hJp://www.cs.missouri.edu/~chengji/com2014/    

Deb  BhaJacharya  

Renzhi  Cao  

1.  Markov  chain  Monte  Carlo  methods  (MCMC)  and  their  applicaQons  in  sequence  moQf  search      2.  Incremental  opQmizaQon  methods  and  their  applicaQons  in  travel  salesman  problem      3.  Dynamic  programming  and  its  applicaQons  in  graph  theory  and  sequence  alignment    4.  Linear  and  integer  programming  and  its  applicaQons  in  network  flow      5.  QuadraQc  programming  and  its  applicaQons  in  kernel  learning  methods      6.    ContrasQve  divergence  opQmizaQon  with  applicaQons  in  deep  learning  networks  

•  Reading  Assignments:  There  is  possibly  one  reading  assignment  for  each  of  some  topics.  Students  are  required  to  read  one  paper  regarding  a  topic  and  write  a  half-­‐page  overview  of  the  method  and  applica2on  described  in  the  paper.    

•  Group  Projects:  There  is  one  group  project  for  each  of  the  first  five  topics.  Under  the  instructor’s  guidance,  students  work  in  a  group  to  design  and  implement  one  op2miza2on  method  for  a  topic  and  apply  it  to  solve  one  compu2ng  problem.  Each  group  has  five  students.  –  start  to  form  your  group!  

•  Email:  mumachinelearning@gmail.com  •  Data  sharing  server:  one  account  per  group  on  a  server  for  sharing  data  and  document.  (maybe  should  use  JustCloud,  GoogleDrive,  BOX,  SourceForge,  GitHub,  DropBox,  or  other  cloud  storage:  create  your  group’s  account).    

•  Phase  I  –  Theory:  a  lecture  (problem,  algorithms,  data  structures)  by  instructor,  reviewing  a  paper  by  students,  1/4  –  1/3  class  2me  

•  Phase  II  –  PracQce:  Under  the  direc2on  of  the  faculty,  students  will  apply  the  techniques  learned  in  the  first  phase  to  develop  and  apply  a  computa2onal  op2miza2on  method  of  each  topic  by  working  on  a  group  sodware  development  project.    

•  Introduce  of  a  project  problem  (by  faculty)  

•  Discuss  solu2ons  and  tasks  by  students  

•  Elec2ng  a  coordinator  of  project  by  rota2on  

•  Present  ini2al  Solu2on  and  tasks  by  coordinator  

Brainstorm  Discussion  

In  Class  •  In-­‐depth  group  discussion  of  project  

plan  •  Make  slides  for  tasks  

and  solu2ons  of  the  project  (algorithms,  

implementa2on,  tes2ng,  task  assignment)    

A`er  Class  

•  Presenta2on  of  Solu2on  and  Plan  

•  Feedback  

•  Finalize  the  plan  •  Start  Implementa2on  and  

Evalua2on  •  Create  a  topic  report  

•  Informal  Presenta2on  of  Results  

•  Discussions  and  Feedback  

•  Improve  implementa2on  •  Finalize  topic  project  

report  

Plan  PresentaQon  

Results  Report  

Given  a  topic,  

•  Cover  all  the  topics  •  All  members  give  a  final  presenta2on  together  •  A  final  report  assembling  all  the  results  and  methods  of  all  the  topics  together  

•  Find  direc2ons  •  Given  a  map  of  Europe,  find  the  shortest  driving  path  from  Paris  to  Rome.  

•  A  Google  Interview  Ques2on  

•  Given  a  list  of  ads  and  their  probability  being  viewed  by  a  user  and  the  fees  offered  to  show  them,  decide  which  ad  to  show  by  Google?  

 •  Protein  Folding  •  Given  an  energy  func2on,  find  shape  /  conforma2on  of  a  protein  with  lowest  energy  

Related  to  investment  poraolio  Maximize  profit  with  limited  resource  

•  An  objec2ve  func2on  defining  a  quan2ty  to  be  op2mized  (maximize  or  minimize)  

•  A  set  of  variables  to  be  changed  in  order  to  op2mize  the  objec2ve  func2on  

•  (Op2onally)  a  set  of  constraints  on  the  variables    

•  An  op2miza2on  problem  in  which  some  or  all  variables  are  restricted  to  be  integers.    

•  Traveling  salesman  problem:  Given  a  list  of  ci2es  and  the  distances  between  each  pair  of  ci2es,  what  is  the  shortest  possible  route  that  visits  each  city  exactly  once  and  returns  to  the  origin  city?     William  Rowan  Hamilton  

ObjecQve:  Minimize  the  total  distance  of  the  tour  over  all  the  ci2es    Variables:    take  a  path  between  any  two  ci2es  or  not  (0/1)    Constraints:    one  city  can  be  visited  only  once  and  all  the  selected  paths  form  a  round  tour  

•  hJps://www.youtube.com/watch?v=RtqoGeXDDbQ&feature=youtube