RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

23
ENABLE FLEX CLUSTERS AND FLEX ASM Author: RAC Attack Community Creation Date: March 29, 2014 Last Updated: March 31, 2014 Version: 1.2

description

As part of #RACAttack, build a Oracle 12c cluster on your laptop and additionally with this lab learn how to convert that cluster and asm to flex!

Transcript of RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Page 1: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

     

     ENABLE  FLEX  CLUSTERS  AND  FLEX  ASM    Author:   RAC  Attack  Community  Creation  Date:   March  29,  2014  Last  Updated:   March  31,  2014  Version:   1.2        

Page 2: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  2  

1 PREFACE  RAC  Attack  is  an  Oracle  RAC  SIG  community  effort  to  invite  all  Oracle  Users  to  install  and  configure  a  2-­‐Node  RAC  environment  on  their  own  hardware  (laptops)  with  experienced  RAC  Attack  Ninja’s  support.  The  effort  has  gained  much  support  within  the  last  year  of  its  inception  and  is  held  at  most  major  conferences.  For  more  information,  visit  http://racattack.org/12c.  

2 PURPOSE  The  purpose  of  this  particular  is  to  illustrate  a  conversion  from  standard  to  flex  for  both  Cluster  and  ASM.  Although  the  names  Flex  Cluster  and  Flex  ASM  appear  similar,  they  are  two  distinct  and  for  the  most  part  mutually  exclusive,  components  of  RAC  in  12c.    

2.1 FLEX  CLUSTERS  

 Fig  1:  Flex  Cluster  Illustration    Flex  Clusters  introduces  (among  many  other  new  features)  the  concept  of  Hub  and  Leaf  nodes.    

2.1.1 HUB  NODES  Hub  Nodes  are  similar  to  Oracle  Grid  Infrastructure  nodes  in  an  Oracle  Clusterware  standard  Cluster  configuration.  

2.1.2 LEAF  NODES  Leaf  Nodes  are  different  from  standard  Oracle  Grid  Infrastructure  nodes,  in  that  they  do  not  require  direct  access  to  shared  storage,  but  instead  request  data  through  Hub  Nodes.      

Page 3: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  3  

 Fig  2:  Leaf  and  Hub  Nodes  in  Flex  Cluster    Leaf  nodes  were  designed  to  contain  application  (non-­‐database)  components  of  a  system.  For  example,  one  could  place  Fusion  Middleware,  EBS,  IDM  etc  on  a  set  of  leaf  nodes,  where  as  on  the  hub  nodes  the  actual  databases  for  the  application  would  reside.    For  a  standard  cluster  to  covert  to  a  Flex  Clusters,  Flex  ASM  must  be  enabled.  

2.2 FLEX  ASM  Oracle  Flex  ASM  enables  Oracle  ASM  instances  to  run  on  a  separate  physical  server  from  the  database  servers.  An  Oracle  ASM  instance  can  operate  in  several  configurations  in  Oracle  Flex  ASM.  The  aim  of  Flex  ASM  is  to  consolidate  ASM  instances  into  a  set  of  nodes  within  a  cluster.  

Page 4: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  4  

 

3 ASSUMPTIONS  This  lab  assumes  that  the  user  has  an  existing  2-­‐node  RAC  environment  configured  as  per  the  base  RAC  Attack  12c  manual  instructions  listed  here.    

Page 5: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  5  

         

4 CONVERT  TO  FLEX  ASM  

4.1 GET  CLUSTER  MODE  [oracle@collabn1  ~]$  crsctl  get  cluster  mode  status  Cluster  is  running  in  "standard"  mode  

4.2 GET  ASM  CLUSTER  MODE  [oracle@collabn1  ~]$  asmcmd  showclustermode  ASM  cluster  :  Flex  mode  disabled    [oracle@collabn1  ~]$  srvctl  status  asm  -­‐detail  ASM  is  running  on  collabn2,collabn1  ASM  is  enabled.    [oracle@collabn1  ~]$  srvctl  config  asm  ASM  home:  /u01/app/12.1.0/grid  

Page 6: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  6  

Password  file:  +DATA/orapwASM  ASM  listener:  LISTENER  [oracle@collabn1  ~]$  asm    To  convert  to  Flex  ASM,  according  to  Oracle’s  documentation,  ideally  there  should  be  a  third  (private)  NIC  attached  to  all  nodes  in  a  cluster.  However,  if  that  is  not  feasible  or  available,  the  existing  Private  Cluster  Intereconnect  NIC  could  be  utilizes  instead.  

4.2.1 VIA  ASMCA  GUI  Start  the  ASM  Configuration  Assistant.    [oracle@collabn1  ~]$  .  oraenv  ORACLE_SID  =  [oracle]  ?  +ASM1  The  Oracle  base  remains  unchanged  with  value  /u01/app/oracle  [oracle@collabn1  ~]$  asmca    

   Select  the  “ASM  Instances”  tab,  and  at  the  very  bottom  is  the  option  to  “Convert  to  Flex  ASM”.    

Page 7: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  7  

   On  the  next  screen,  and  for  the  purpose  of  this  lab,  we  will  select  the  default  listener  for  ASM  network  traffic,  and  the  private  interconnect  as  the  NIC.  Click  “OK”  to  continue.    

Page 8: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  8  

   Click  “Yes”  to  continue.    

   

Page 9: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  9  

   At  this  prompt,  you  are  requested  to  run  the  converttoFlexASM.sh  script  manually  as  a  privileged  user.    

   

4.2.2 VIA  ASMCA  SILENT  MODE  [oracle@collabn1  ~]$  asmca  –silent  convertToFlexASM  –asmNetworks  eth1,  interface_name/172.16.100.0  –asmListenerPort  1521    

4.2.3 RUN  SCRIPT  AS  ROOT  The  script  needs  to  be  executed  as  privileged  (root)  user  on  each  node.      

4.2.3.1 COLLABN1  

[root@collabn1  /]#  /u01/app/oracle/cfgtoollogs/asmca/scripts/converttoFlexASM.sh  CRS-­‐2673:  Attempting  to  stop  'ora.crsd'  on  'collabn1'  CRS-­‐2790:  Starting  shutdown  of  Cluster  Ready  Services-­‐managed  resources  on  'collabn1'  CRS-­‐2673:  Attempting  to  stop  'ora.LISTENER_SCAN2.lsnr'  on  'collabn1'  

Page 10: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  10  

CRS-­‐2673:  Attempting  to  stop  'ora.acfs.shared.acfs'  on  'collabn1'  CRS-­‐2673:  Attempting  to  stop  'ora.ACFS.dg'  on  'collabn1'  CRS-­‐2673:  Attempting  to  stop  'ora.LISTENER_SCAN3.lsnr'  on  'collabn1'  CRS-­‐2673:  Attempting  to  stop  'ora.cvu'  on  'collabn1'  CRS-­‐2673:  Attempting  to  stop  'ora.FRA.dg'  on  'collabn1'  CRS-­‐2673:  Attempting  to  stop  'ora.LISTENER.lsnr'  on  'collabn1'  CRS-­‐2677:  Stop  of  'ora.LISTENER_SCAN2.lsnr'  on  'collabn1'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.scan2.vip'  on  'collabn1'  CRS-­‐2677:  Stop  of  'ora.LISTENER_SCAN3.lsnr'  on  'collabn1'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.scan3.vip'  on  'collabn1'  CRS-­‐2677:  Stop  of  'ora.LISTENER.lsnr'  on  'collabn1'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.collabn1.vip'  on  'collabn1'  CRS-­‐2677:  Stop  of  'ora.cvu'  on  'collabn1'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.cvu'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.scan2.vip'  on  'collabn1'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.scan2.vip'  on  'collabn2'  CRS-­‐2676:  Start  of  'ora.cvu'  on  'collabn2'  succeeded  CRS-­‐2677:  Stop  of  'ora.acfs.shared.acfs'  on  'collabn1'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.ACFS.SHARED.advm'  on  'collabn1'  CRS-­‐2677:  Stop  of  'ora.ACFS.SHARED.advm'  on  'collabn1'  succeeded  CRS-­‐2677:  Stop  of  'ora.FRA.dg'  on  'collabn1'  succeeded  CRS-­‐2677:  Stop  of  'ora.collabn1.vip'  on  'collabn1'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.collabn1.vip'  on  'collabn2'  CRS-­‐2676:  Start  of  'ora.scan2.vip'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.LISTENER_SCAN2.lsnr'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.scan3.vip'  on  'collabn1'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.scan3.vip'  on  'collabn2'  CRS-­‐2676:  Start  of  'ora.collabn1.vip'  on  'collabn2'  succeeded  CRS-­‐2676:  Start  of  'ora.scan3.vip'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.LISTENER_SCAN3.lsnr'  on  'collabn2'  CRS-­‐2676:  Start  of  'ora.LISTENER_SCAN2.lsnr'  on  'collabn2'  succeeded  CRS-­‐2676:  Start  of  'ora.LISTENER_SCAN3.lsnr'  on  'collabn2'  succeeded  CRS-­‐2677:  Stop  of  'ora.ACFS.dg'  on  'collabn1'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.camera.db'  on  'collabn1'  CRS-­‐2677:  Stop  of  'ora.camera.db'  on  'collabn1'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.DATA.dg'  on  'collabn1'  CRS-­‐2677:  Stop  of  'ora.DATA.dg'  on  'collabn1'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.asm'  on  'collabn1'  CRS-­‐2677:  Stop  of  'ora.asm'  on  'collabn1'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.ASMNET1LSNR_ASM.lsnr'  on  'collabn1'  CRS-­‐2677:  Stop  of  'ora.ASMNET1LSNR_ASM.lsnr'  on  'collabn1'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.ons'  on  'collabn1'  CRS-­‐2677:  Stop  of  'ora.ons'  on  'collabn1'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.net1.network'  on  'collabn1'  CRS-­‐2677:  Stop  of  'ora.net1.network'  on  'collabn1'  succeeded  CRS-­‐2792:  Shutdown  of  Cluster  Ready  Services-­‐managed  resources  on  'collabn1'  has  completed  CRS-­‐2677:  Stop  of  'ora.crsd'  on  'collabn1'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.ctssd'  on  'collabn1'  CRS-­‐2673:  Attempting  to  stop  'ora.evmd'  on  'collabn1'  CRS-­‐2673:  Attempting  to  stop  'ora.storage'  on  'collabn1'  CRS-­‐2677:  Stop  of  'ora.storage'  on  'collabn1'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.asm'  on  'collabn1'  CRS-­‐2677:  Stop  of  'ora.evmd'  on  'collabn1'  succeeded  CRS-­‐2677:  Stop  of  'ora.ctssd'  on  'collabn1'  succeeded  CRS-­‐2677:  Stop  of  'ora.asm'  on  'collabn1'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.cluster_interconnect.haip'  on  'collabn1'  

Page 11: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  11  

CRS-­‐2677:  Stop  of  'ora.cluster_interconnect.haip'  on  'collabn1'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.cssd'  on  'collabn1'  CRS-­‐2677:  Stop  of  'ora.cssd'  on  'collabn1'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.evmd'  on  'collabn1'  CRS-­‐2676:  Start  of  'ora.evmd'  on  'collabn1'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.cssdmonitor'  on  'collabn1'  CRS-­‐2676:  Start  of  'ora.cssdmonitor'  on  'collabn1'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.cssd'  on  'collabn1'  CRS-­‐2672:  Attempting  to  start  'ora.diskmon'  on  'collabn1'  CRS-­‐2676:  Start  of  'ora.diskmon'  on  'collabn1'  succeeded  CRS-­‐2676:  Start  of  'ora.cssd'  on  'collabn1'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.ctssd'  on  'collabn1'  CRS-­‐2672:  Attempting  to  start  'ora.cluster_interconnect.haip'  on  'collabn1'  CRS-­‐2676:  Start  of  'ora.ctssd'  on  'collabn1'  succeeded  CRS-­‐2676:  Start  of  'ora.cluster_interconnect.haip'  on  'collabn1'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.asm'  on  'collabn1'  CRS-­‐2676:  Start  of  'ora.asm'  on  'collabn1'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.storage'  on  'collabn1'  CRS-­‐2676:  Start  of  'ora.storage'  on  'collabn1'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.crsd'  on  'collabn1'  CRS-­‐2676:  Start  of  'ora.crsd'  on  'collabn1'  succeeded  Cluster  bounced  in  node  collabn1  

4.2.3.2 COLLABN2  

[root@collabn1  /]#  /u01/app/oracle/cfgtoollogs/asmca/scripts/converttoFlexASM.sh  CRS-­‐2673:  Attempting  to  stop  'ora.crsd'  on  'collabn2'  CRS-­‐2790:  Starting  shutdown  of  Cluster  Ready  Services-­‐managed  resources  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.cvu'  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.LISTENER_SCAN3.lsnr'  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.acfs.shared.acfs'  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.LISTENER_SCAN2.lsnr'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.LISTENER_SCAN2.lsnr'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.scan2.vip'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.LISTENER_SCAN3.lsnr'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.scan3.vip'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.acfs.shared.acfs'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.ACFS.SHARED.advm'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.ACFS.SHARED.advm'  on  'collabn2'  succeeded  CRS-­‐2677:  Stop  of  'ora.scan2.vip'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.scan2.vip'  on  'collabn1'  CRS-­‐2677:  Stop  of  'ora.scan3.vip'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.scan3.vip'  on  'collabn1'  CRS-­‐2676:  Start  of  'ora.scan2.vip'  on  'collabn1'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.LISTENER_SCAN2.lsnr'  on  'collabn1'  CRS-­‐2676:  Start  of  'ora.scan3.vip'  on  'collabn1'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.LISTENER_SCAN3.lsnr'  on  'collabn1'  CRS-­‐2673:  Attempting  to  stop  'ora.LISTENER.lsnr'  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.ACFS.dg'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.LISTENER.lsnr'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.collabn2.vip'  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.gns'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.collabn2.vip'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.collabn2.vip'  on  'collabn1'  CRS-­‐2676:  Start  of  'ora.collabn2.vip'  on  'collabn1'  succeeded  

Page 12: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  12  

CRS-­‐2676:  Start  of  'ora.LISTENER_SCAN2.lsnr'  on  'collabn1'  succeeded  CRS-­‐2677:  Stop  of  'ora.ACFS.dg'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.FRA.dg'  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.DATA.dg'  on  'collabn2'  CRS-­‐2676:  Start  of  'ora.LISTENER_SCAN3.lsnr'  on  'collabn1'  succeeded  CRS-­‐2677:  Stop  of  'ora.DATA.dg'  on  'collabn2'  succeeded  CRS-­‐2677:  Stop  of  'ora.FRA.dg'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.asm'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.asm'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.ASMNET1LSNR_ASM.lsnr'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.gns'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.gns.vip'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.gns.vip'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.gns.vip'  on  'collabn1'  CRS-­‐2676:  Start  of  'ora.gns.vip'  on  'collabn1'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.gns'  on  'collabn1'  CRS-­‐2677:  Stop  of  'ora.ASMNET1LSNR_ASM.lsnr'  on  'collabn2'  succeeded  CRS-­‐2676:  Start  of  'ora.gns'  on  'collabn1'  succeeded  CRS-­‐2677:  Stop  of  'ora.cvu'  on  'collabn2'  succeeded  CRS-­‐2679:  Attempting  to  clean  'ora.cvu'  on  'collabn2'  CRS-­‐2681:  Clean  of  'ora.cvu'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.cvu'  on  'collabn1'  CRS-­‐2676:  Start  of  'ora.cvu'  on  'collabn1'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.ons'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.ons'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.net1.network'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.net1.network'  on  'collabn2'  succeeded  CRS-­‐2792:  Shutdown  of  Cluster  Ready  Services-­‐managed  resources  on  'collabn2'  has  completed  CRS-­‐2677:  Stop  of  'ora.crsd'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.ctssd'  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.evmd'  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.storage'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.storage'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.asm'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.evmd'  on  'collabn2'  succeeded  CRS-­‐2677:  Stop  of  'ora.ctssd'  on  'collabn2'  succeeded  CRS-­‐2677:  Stop  of  'ora.asm'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.cluster_interconnect.haip'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.cluster_interconnect.haip'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.cssd'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.cssd'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.evmd'  on  'collabn2'  CRS-­‐2676:  Start  of  'ora.evmd'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.cssdmonitor'  on  'collabn2'  CRS-­‐2676:  Start  of  'ora.cssdmonitor'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.cssd'  on  'collabn2'  CRS-­‐2672:  Attempting  to  start  'ora.diskmon'  on  'collabn2'  CRS-­‐2676:  Start  of  'ora.diskmon'  on  'collabn2'  succeeded  CRS-­‐2676:  Start  of  'ora.cssd'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.ctssd'  on  'collabn2'  CRS-­‐2672:  Attempting  to  start  'ora.cluster_interconnect.haip'  on  'collabn2'  CRS-­‐2676:  Start  of  'ora.ctssd'  on  'collabn2'  succeeded  CRS-­‐2676:  Start  of  'ora.cluster_interconnect.haip'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.asm'  on  'collabn2'  CRS-­‐2676:  Start  of  'ora.asm'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.storage'  on  'collabn2'  

Page 13: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  13  

CRS-­‐2676:  Start  of  'ora.storage'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.crsd'  on  'collabn2'  CRS-­‐2676:  Start  of  'ora.crsd'  on  'collabn2'  succeeded  Cluster  bounced  in  node  collabn2    

4.2.4 CHECK  ASM  CLUSTER  MODE  [oracle@collabn1  ~]$  asmcmd  showclustermode  ASM  cluster  :  Flex  mode  enabled  [oracle@collabn1  ~]$  srvctl  config  asm  -­‐a  ASM  home:  /u01/app/12.1.0/grid  Password  file:  +DATA/orapwASM  ASM  listener:  LISTENER  ASM  is  enabled.  ASM  instance  count:  ALL  Cluster  ASM  listener:  ASMNET1LSNR_ASM    

5 CONVERT  TO  FLEX  CLUSTER  Flex  Cluster  is  the  next  generation  of  clustware  release  with  version  12c.  It  introduces  the  concept  of  Hub  and  Leaf  nodes  where  hub  nodes  have  direct  access  to  storage  and  leaf  nodes  may  or  may  not.  The  basic  idea  is  to  extend  the  “standard”  cluster  and  encompass  application  servers  as  well.  One  could  run  all  databases  on  the  hub  nodes,  and  all  applications  on  leaf  nodes.    There  are  a  few  pre-­‐requisites  to  enabling  Flex  Clusters.  

1. Grid  Naming  Services  VIP  must  be  available.  2. Flex  ASM  must  be  enabled.  

 In  the  context  of  this  lab,  we  need  to  additionally  perform  the  steps  below:  

1. Add  a  new  DNS  entry  for  the  GNS  Host  Name  2. Install  and  Enable  DHCP  Daemon  

 

5.1 INSTALL  DHCP  

5.1.1 INVOKE  YUM  This  lab  assumes  that  the  OEL64  Media  is  still  mounted  and  configured  as  the  default  yum  repository.    [root@collabn1  yum.repos.d]#  yum  -­‐y  install  dhcp  Loaded  plugins:  refresh-­‐packagekit,  security  ol6_UEK_latest                                                                                                                                                                                                                                          |  1.2  kB          00:00            ol6_latest                                                                                                                                                                                                                                                  |  1.4  kB          00:00            ol6_latest/primary                                                                                                                                                                                                                                  |    36  MB          00:15            ol6_latest                                                                                                                                                                                                                                                                        24951/24951  Setting  up  Install  Process  

Page 14: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  14  

Resolving  Dependencies  -­‐-­‐>  Running  transaction  check  -­‐-­‐-­‐>  Package  dhcp.x86_64  12:4.1.1-­‐38.P1.0.1.el6  will  be  installed  -­‐-­‐>  Processing  Dependency:  dhcp-­‐common  =  12:4.1.1-­‐38.P1.0.1.el6  for  package:  12:dhcp-­‐4.1.1-­‐38.P1.0.1.el6.x86_64  -­‐-­‐>  Running  transaction  check  -­‐-­‐-­‐>  Package  dhcp-­‐common.x86_64  12:4.1.1-­‐34.P1.0.1.el6  will  be  updated  -­‐-­‐>  Processing  Dependency:  dhcp-­‐common  =  12:4.1.1-­‐34.P1.0.1.el6  for  package:  12:dhclient-­‐4.1.1-­‐34.P1.0.1.el6.x86_64  -­‐-­‐-­‐>  Package  dhcp-­‐common.x86_64  12:4.1.1-­‐38.P1.0.1.el6  will  be  an  update  -­‐-­‐>  Running  transaction  check  -­‐-­‐-­‐>  Package  dhclient.x86_64  12:4.1.1-­‐34.P1.0.1.el6  will  be  updated  -­‐-­‐-­‐>  Package  dhclient.x86_64  12:4.1.1-­‐38.P1.0.1.el6  will  be  an  update  -­‐-­‐>  Finished  Dependency  Resolution    Dependencies  Resolved    ==========================================================================================================================================================    Package                                                        Arch                                                    Version                                                                                  Repository                                                  Size  ==========================================================================================================================================================  Installing:    dhcp                                                              x86_64                                                12:4.1.1-­‐38.P1.0.1.el6                                                    ol6_latest                                                817  k  Updating  for  dependencies:    dhclient                                                      x86_64                                                12:4.1.1-­‐38.P1.0.1.el6                                                    ol6_latest                                                317  k    dhcp-­‐common                                                x86_64                                                12:4.1.1-­‐38.P1.0.1.el6                                                    ol6_latest                                                141  k    Transaction  Summary  ==========================================================================================================================================================  Install              1  Package(s)  Upgrade              2  Package(s)    Total  download  size:  1.2  M    Downloading  Packages:  (1/3):  dhclient-­‐4.1.1-­‐38.P1.0.1.el6.x86_64.rpm                                                                                                                                                                          |  317  kB          00:00            (2/3):  dhcp-­‐4.1.1-­‐38.P1.0.1.el6.x86_64.rpm                                                                                                                                                                                  |  817  kB          00:00            (3/3):  dhcp-­‐common-­‐4.1.1-­‐38.P1.0.1.el6.x86_64.rpm                                                                                                                                                                    |  141  kB          00:00            -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐  Total                                                                                                                                                                                                                                          787  kB/s  |  1.2  MB          00:01            Running  rpm_check_debug  Running  Transaction  Test  Transaction  Test  Succeeded  Running  Transaction  Warning:  RPMDB  altered  outside  of  yum.  

Page 15: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  15  

   Updating      :  12:dhcp-­‐common-­‐4.1.1-­‐38.P1.0.1.el6.x86_64                                                                                                                                                                                            1/5        Updating      :  12:dhclient-­‐4.1.1-­‐38.P1.0.1.el6.x86_64                                                                                                                                                                                                  2/5        Installing  :  12:dhcp-­‐4.1.1-­‐38.P1.0.1.el6.x86_64                                                                                                                                                                                                          3/5        Cleanup        :  12:dhclient-­‐4.1.1-­‐34.P1.0.1.el6.x86_64                                                                                                                                                                                                  4/5        Cleanup        :  12:dhcp-­‐common-­‐4.1.1-­‐34.P1.0.1.el6.x86_64                                                                                                                                                                                            5/5        Verifying    :  12:dhclient-­‐4.1.1-­‐38.P1.0.1.el6.x86_64                                                                                                                                                                                                  1/5        Verifying    :  12:dhcp-­‐common-­‐4.1.1-­‐38.P1.0.1.el6.x86_64                                                                                                                                                                                            2/5        Verifying    :  12:dhcp-­‐4.1.1-­‐38.P1.0.1.el6.x86_64                                                                                                                                                                                                          3/5        Verifying    :  12:dhcp-­‐common-­‐4.1.1-­‐34.P1.0.1.el6.x86_64                                                                                                                                                                                            4/5        Verifying    :  12:dhclient-­‐4.1.1-­‐34.P1.0.1.el6.x86_64                                                                                                                                                                                                  5/5      Installed:      dhcp.x86_64  12:4.1.1-­‐38.P1.0.1.el6                                                                                                                                                                                                                                                Dependency  Updated:      dhclient.x86_64  12:4.1.1-­‐38.P1.0.1.el6                                                                          dhcp-­‐common.x86_64  12:4.1.1-­‐38.P1.0.1.el6                                                                            Complete!  

5.1.2 CONFIGURE  DHCP  [root@collabn1  yum.repos.d]#  cd  /etc/dhcp/  [root@collabn1  dhcp]#  cp  dhcpd.conf  dhcpd.conf.old  [root@collabn1  dhcp]#  echo  “ddns-update-style interim; ignore client-updates; subnet 192.168.78.0 netmask 255.255.255.0 { option routers 192.168.78.1; # Default gateway to be used by DHCP clients option subnet-mask 255.255.255.0; # Default subnet mask to be used by DHCP clients. option ip-forwarding off; # Do not forward DHCP requests. option broadcast-address 192.168.78.255; # Default broadcast address to be used by DHCP client. option domain-name "racattack"; option domain-name-servers 192.168.78.51; # IP address of the DNS server. option time-offset -19000; # Central Standard Time # option ntp-servers 0.pool.ntp.org; # Default NTP server to be used by DHCP clients range 192.168.78.151 192.168.78.170; # Range of IP addresses that can be issued to DHCP client

Page 16: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  16  

default-lease-time 21600; # Amount of time in seconds that a client may keep the IP address max-lease-time 43200; }”  >  dhcpd.conf

5.1.3 START  DHCP  DAEMON  [root@collabn1  dhcp]#  service  dhcpd  start  Starting  dhcpd:                                                                                        [    OK    ]  [root@collabn1  dhcp]#  service  dhcpd  status  dhcpd  (pid    8822)  is  running...  [root@collabn1  dhcp]#  chkconfig  dhcpd  on  

5.2 CONFIGURE  GRID  NAMING  SERVICES  

5.2.1 ADD  ENTRIES  TO  DNS  [root@collabn1  /]#  cd  /var/named  [root@collabn1  named]#  cp  in-­‐addr.arpa  in-­‐addr.arpa.old  [root@collabn1  named]#  echo  @                              IN  NS                      collabn-­‐cluster-­‐gns.racattack.  ;  [root@collabn1  named]#  cat  in-­‐addr.arpa    $TTL  3H  @              IN  SOA    collabn1.racattack.                hostmaster.racattack.            (                                                                                  101      ;  serial                                                                                  1D            ;  refresh                                                                                  1H            ;  retry                                                                                  1W            ;  expire                                                                                  3H  )        ;  minimum                                  NS            collabn1.racattack.                                  NS            collabn2.racattack.    51.78.168.192      PTR          collabn1.racattack.  61.78.168.192      PTR          collabn1-­‐vip.racattack.  51.100.16.172      PTR          collabn1-­‐priv.racattack.  52.78.168.192      PTR          collabn2.racattack.  62.78.168.192      PTR          collabn2-­‐vip.racattack.  52.100.16.172      PTR          collabn2-­‐priv.racattack.  251.78.168.192    PTR          collabn-­‐cluster-­‐scan.racattack.  252.78.168.192    PTR          collabn-­‐cluster-­‐scan.racattack.  253.78.168.192    PTR          collabn-­‐cluster-­‐scan.racattack.  244.78.168.192    PTR          collabn-­‐cluster-­‐gns.racattack.  ;”  >  in-­‐addr.arpa    [root@collabn1  named]#  cp  racattack  racattack.old  [root@collabn1  named]#  echo  $TTL 3H $ORIGIN racattack. @ IN SOA collabn1 hostmaster ( 101 ; serial 1D ; refresh 1H ; retry 1W ; expire 3H ) ; minimum A 192.168.78.51 A 192.168.78.52 NS collabn1 NS collabn2 localhost A 127.0.0.1

Page 17: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  17  

collabn1 A 192.168.78.51 collabn1-vip A 192.168.78.61 collabn1-priv A 172.16.100.51 collabn2 A 192.168.78.52 collabn2-vip A 192.168.78.62 collabn2-priv A 172.16.100.52 collabn-cluster-scan A 192.168.78.251 collabn-cluster-scan A 192.168.78.252 collabn-cluster-scan A 192.168.78.253 collabn-cluster-gns A 192.168.78.244 ;sub-domain (collabn.racattack) $ORIGIN collabn.racattack. @ IN NS collabn-cluster-gns.racattack. ;”  >  racattack  

5.2.2 RUN  CLUSTER  VERIFY  oracle@collabn1:~  ()  $  /media/sf_Oracle/db12c/grid/runcluvfy.sh  comp  gns  -­‐precrsinst  -­‐domain  racattack  -­‐vip  collabn-­‐cluster-­‐gns.racattack  -­‐verbose  -­‐n  collabn1,collabn2  /bin/cp:  omitting  directory  `/media/sf_Oracle/db12c/grid/stage/ext/lib/log'    Verifying  GNS  integrity      Checking  GNS  integrity...  Checking  if  the  GNS  subdomain  name  is  valid...  The  GNS  subdomain  name  "racattack"  is  a  valid  domain  name  Checking  if  the  GNS  VIP  is  a  valid  address...  GNS  VIP  "collabn-­‐cluster-­‐gns.racattack"  resolves  to  a  valid  IP  address  Checking  the  status  of  GNS  VIP...  PRVF-­‐5229  :  GNS  VIP  is  active  before  Clusterware  installation    GNS  integrity  check  passed    Verification  of  GNS  integrity  was  successful.    

5.2.3 CHECK  CLUSTER  MODE  [oracle@collabn1  ~]$  crsctl  get  cluster  mode  status  Cluster  is  running  in  "standard"  mode  [oracle@collabn1  ~]$  srvctl  config  gns  PRKF-­‐1110  :  Neither  GNS  server  nor  GNS  client  is  configured  on  this  cluster  

5.2.4 ADD  GNS  TO  CLUSTER  Execute  the  command  as  the  root  user.  [root@collabn1  dhcp]#  /u01/app/12.1.0/grid/bin/srvctl  add  gns  –domain  racattack  -­‐vip  collabn-­‐cluster-­‐gns.racattack  -­‐verbose  GNS  was  successfully  added.  [root@collabn1  dhcp]#  /u01/app/12.1.0/grid/bin/srvctl  start  gns  

5.2.5 CHECK  GNS  CONFIGURATION  [root@collabn1  named]#  /u01/app/12.1.0/grid/bin/srvctl  config  gns  -­‐a  GNS  is  enabled.  GNS  is  listening  for  DNS  server  requests  on  port  53  GNS  is  using  port  5,353  to  connect  to  mDNS  GNS  status:  Self-­‐check  failed.  Domain  served  by  GNS:  racattack  GNS  version:  12.1.0.1.0  

Page 18: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  18  

Globally  unique  identifier  of  the  cluster  where  GNS  is  running:  23d4b0e8e55a5f2dffcd0bbfb5fe2400  Name  of  the  cluster  where  GNS  is  running:  collabn-­‐cluster  Cluster  type:  server.  GNS  log  level:  1.  GNS  listening  addresses:  tcp://192.168.78.244:42664.  Execute  Cluster  Verify  

5.2.6 POST  CONFIGURE  CLUVFY  CHECK  Execute  as  the  oracle  user.  oracle@collabn1:~  (+ASM1)  $  cluvfy  comp  gns  -­‐postcrsinst  -­‐verbose    Verifying  GNS  integrity      Checking  GNS  integrity...  Checking  if  the  GNS  subdomain  name  is  valid...  The  GNS  subdomain  name  "racattack"  is  a  valid  domain  name  Checking  if  the  GNS  VIP  belongs  to  same  subnet  as  the  public  network...  Public  network  subnets  "192.168.78.0,  192.168.78.0,  192.168.78.0,  192.168.78.0"  match  with  the  GNS  VIP  "192.168.78.0,  192.168.78.0,  192.168.78.0,  192.168.78.0"  Checking  if  the  GNS  VIP  is  a  valid  address...  GNS  VIP  "collabn-­‐cluster-­‐gns.racattack"  resolves  to  a  valid  IP  address  Checking  the  status  of  GNS  VIP...  Checking  if  FDQN  names  for  domain  "racattack"  are  reachable    GNS  resolved  IP  addresses  are  reachable    GNS  resolved  IP  addresses  are  reachable    GNS  resolved  IP  addresses  are  reachable  Checking  status  of  GNS  resource...      Node                    Running?                                    Enabled?                                      -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐    -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐    -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐      collabn1            yes                                              yes                                                collabn2            no                                                yes                                              GNS  resource  configuration  check  passed  Checking  status  of  GNS  VIP  resource...      Node                    Running?                                    Enabled?                                      -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐    -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐    -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐      collabn1            yes                                              yes                                                collabn2            no                                                yes                                              GNS  VIP  resource  configuration  check  passed.    GNS  integrity  check  passed    Verification  of  GNS  integrity  was  successful.    

5.3 CONVERT  CLUSTER  At  this  point,  the  cluster  can  be  easily  converted  to  flex  mode.  All  commands  must  be  run  as  the  root  user.  [root@collabn1  ~]#  /u01/app/12.1.0/grid/bin/crsctl  set  cluster  mode  flex  Cluster  mode  set  to  "flex"    

Page 19: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  19  

Cluster  Ready  Services  (CRS)  must  be  restarted  on  both  nodes  (one  at  a  time)  for  the  change  to  take  affect.  [root@collabn1  ~]#  /u01/app/12.1.0/grid/bin/crsctl  stop  crs  [root@collabn1  ~]#  /u01/app/12.1.0/grid/bin/crsctl  start  crs  -­‐  wait    [root@collabn2  ~]#  /u01/app/12.1.0/grid/bin/crsctl  stop  crs  [root@collabn2  ~]#  /u01/app/12.1.0/grid/bin/crsctl  start  crs  -­‐  wait    Check  the  cluster  mode.  [oracle@collabn1  ~]$  crsctl  get  cluster  mode  status  Cluster  is  running  in  "flex"  mode  

6 SWITCH  BETWEEN  LEAF  AND  HUB  NODE  ROLES  For  this  exercise,  the  collabn2  node’s  role  will  be  change  from  Hub  to  Leaf.  

6.1 CHECK  EXISTING  RESOURCES  ON  NODE  2  [root@collabn2  ~]#  /u01/app/12.1.0/grid/bin/crsctl  stat  res  -­‐t  -­‐n  collabn2  -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐  Name                      Target    State                Server                                      State  details                -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐  Local  Resources  -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐  ora.ACFS.SHARED.advm                                ONLINE    ONLINE              collabn2                                  Volume  device  /dev/a                                                                                                                            sm/shared-­‐32  is  onli                                                                                                                            ne,STABLE  ora.ACFS.dg                                ONLINE    ONLINE              collabn2                                  STABLE  ora.ASMNET1LSNR_ASM.lsnr                                ONLINE    ONLINE              collabn2                                  STABLE  ora.DATA.dg                                ONLINE    ONLINE              collabn2                                  STABLE  ora.FRA.dg                                ONLINE    ONLINE              collabn2                                  STABLE  ora.LISTENER.lsnr                                ONLINE    ONLINE              collabn2                                  STABLE  ora.acfs.shared.acfs                                ONLINE    ONLINE              collabn2                                  mounted  on  /shared,S                                                                                                                            TABLE  ora.net1.network                                ONLINE    ONLINE              collabn2                                  STABLE  ora.ons                                ONLINE    ONLINE              collabn2                                  STABLE  ora.proxy_advm                                ONLINE    ONLINE              collabn2                                  STABLE  -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐  Cluster  Resources  -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐  ora.LISTENER_SCAN1.lsnr              1                ONLINE    ONLINE              collabn2                                  STABLE  ora.asm              1                ONLINE    ONLINE              collabn2                                  STABLE  

Page 20: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  20  

ora.collabn2.vip              1                ONLINE    ONLINE              collabn2                                  STABLE  ora.house.db              1                ONLINE    ONLINE              collabn2                                  Open,STABLE  ora.scan1.vip              1                ONLINE    ONLINE              collabn2                                  STABLE  

6.2 CHECK  NODE  ROLE  [root@collabn2  ~]#  /u01/app/12.1.0/grid/bin/crsctl  get  node  role  config  Node  'collabn2'  configured  role  is  'hub'  

6.3 CHANGE  NODE  ROLE  [root@collabn2  ~]#  /u01/app/12.1.0/grid/bin/crsctl  set  node  role  leaf  CRS-­‐4408:  Node  'collabn2'  configured  role  successfully  changed;  restart  Oracle  High  Availability  Services  for  new  role  to  take  effect.  

6.4 RESTART  CRS  ON  NODE  [root@collabn2  ~]#  /u01/app/12.1.0/grid/bin/crsctl  stop  crs  CRS-­‐2791:  Starting  shutdown  of  Oracle  High  Availability  Services-­‐managed  resources  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.crsd'  on  'collabn2'  CRS-­‐2790:  Starting  shutdown  of  Cluster  Ready  Services-­‐managed  resources  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.LISTENER.lsnr'  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.acfs.shared.acfs'  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.DATA.dg'  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.house.db'  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.LISTENER_SCAN1.lsnr'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.LISTENER.lsnr'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.collabn2.vip'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.LISTENER_SCAN1.lsnr'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.scan1.vip'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.scan1.vip'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.scan1.vip'  on  'collabn1'  CRS-­‐2677:  Stop  of  'ora.house.db'  on  'collabn2'  succeeded  CRS-­‐2677:  Stop  of  'ora.collabn2.vip'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.collabn2.vip'  on  'collabn1'  CRS-­‐2677:  Stop  of  'ora.acfs.shared.acfs'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.ACFS.SHARED.advm'  on  'collabn2'  CRS-­‐2676:  Start  of  'ora.scan1.vip'  on  'collabn1'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.LISTENER_SCAN1.lsnr'  on  'collabn1'  CRS-­‐2676:  Start  of  'ora.collabn2.vip'  on  'collabn1'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.LISTENER.lsnr'  on  'collabn1'  CRS-­‐2676:  Start  of  'ora.LISTENER_SCAN1.lsnr'  on  'collabn1'  succeeded  CRS-­‐2676:  Start  of  'ora.LISTENER.lsnr'  on  'collabn1'  succeeded  CRS-­‐2677:  Stop  of  'ora.DATA.dg'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.ACFS.dg'  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.FRA.dg'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.FRA.dg'  on  'collabn2'  succeeded  CRS-­‐2677:  Stop  of  'ora.ACFS.dg'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.asm'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.asm'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.ASMNET1LSNR_ASM.lsnr'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.ASMNET1LSNR_ASM.lsnr'  on  'collabn2'  succeeded  CRS-­‐2677:  Stop  of  'ora.ACFS.SHARED.advm'  on  'collabn2'  succeeded  CRS-­‐2679:  Attempting  to  clean  'ora.ACFS.SHARED.advm'  on  'collabn2'  

Page 21: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  21  

CRS-­‐2681:  Clean  of  'ora.ACFS.SHARED.advm'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.proxy_advm'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.proxy_advm'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.ons'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.ons'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.net1.network'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.net1.network'  on  'collabn2'  succeeded  CRS-­‐2792:  Shutdown  of  Cluster  Ready  Services-­‐managed  resources  on  'collabn2'  has  completed  CRS-­‐2677:  Stop  of  'ora.crsd'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.storage'  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.evmd'  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.drivers.acfs'  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.ctssd'  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.mdnsd'  on  'collabn2'  CRS-­‐2673:  Attempting  to  stop  'ora.gpnpd'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.storage'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.asm'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.drivers.acfs'  on  'collabn2'  succeeded  CRS-­‐2677:  Stop  of  'ora.mdnsd'  on  'collabn2'  succeeded  CRS-­‐2677:  Stop  of  'ora.gpnpd'  on  'collabn2'  succeeded  CRS-­‐2677:  Stop  of  'ora.ctssd'  on  'collabn2'  succeeded  CRS-­‐2677:  Stop  of  'ora.evmd'  on  'collabn2'  succeeded  CRS-­‐2677:  Stop  of  'ora.asm'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.cluster_interconnect.haip'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.cluster_interconnect.haip'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.cssd'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.cssd'  on  'collabn2'  succeeded  CRS-­‐2673:  Attempting  to  stop  'ora.gipcd'  on  'collabn2'  CRS-­‐2677:  Stop  of  'ora.gipcd'  on  'collabn2'  succeeded  CRS-­‐2793:  Shutdown  of  Oracle  High  Availability  Services-­‐managed  resources  on  'collabn2'  has  completed  CRS-­‐4133:  Oracle  High  Availability  Services  has  been  stopped.    [root@collabn2  ~]#  /u01/app/12.1.0/grid/bin/crsctl  start  crs  -­‐wait  CRS-­‐4123:  Starting  Oracle  High  Availability  Services-­‐managed  resources  CRS-­‐2672:  Attempting  to  start  'ora.evmd'  on  'collabn2'  CRS-­‐2672:  Attempting  to  start  'ora.mdnsd'  on  'collabn2'  CRS-­‐2676:  Start  of  'ora.evmd'  on  'collabn2'  succeeded  CRS-­‐2676:  Start  of  'ora.mdnsd'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.gpnpd'  on  'collabn2'  CRS-­‐2676:  Start  of  'ora.gpnpd'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.gipcd'  on  'collabn2'  CRS-­‐2676:  Start  of  'ora.gipcd'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.cssdmonitor'  on  'collabn2'  CRS-­‐2676:  Start  of  'ora.cssdmonitor'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.cssd'  on  'collabn2'  CRS-­‐2672:  Attempting  to  start  'ora.diskmon'  on  'collabn2'  CRS-­‐2676:  Start  of  'ora.diskmon'  on  'collabn2'  succeeded  CRS-­‐2789:  Cannot  stop  resource  'ora.diskmon'  as  it  is  not  running  on  server  'collabn2'  CRS-­‐2676:  Start  of  'ora.cssd'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.cluster_interconnect.haip'  on  'collabn2'  CRS-­‐2672:  Attempting  to  start  'ora.ctssd'  on  'collabn2'  CRS-­‐2676:  Start  of  'ora.cluster_interconnect.haip'  on  'collabn2'  succeeded  CRS-­‐2676:  Start  of  'ora.ctssd'  on  'collabn2'  succeeded  CRS-­‐2672:  Attempting  to  start  'ora.storage'  on  'collabn2'  CRS-­‐2676:  Start  of  'ora.storage'  on  'collabn2'  succeeded  

Page 22: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  22  

CRS-­‐2672:  Attempting  to  start  'ora.crsd'  on  'collabn2'  CRS-­‐2676:  Start  of  'ora.crsd'  on  'collabn2'  succeeded  CRS-­‐6017:  Processing  resource  auto-­‐start  for  servers:  collabn2  CRS-­‐6016:  Resource  auto-­‐start  has  completed  for  server  collabn2  CRS-­‐6024:  Completed  start  of  Oracle  Cluster  Ready  Services-­‐managed  resources  CRS-­‐4123:  Oracle  High  Availability  Services  has  been  started.  

6.5 CHECK  RESOURCES  IN  CLUSTER  At  this  point,  no  clusterware  resources  will  show  on  a  crsctl  status  check.    [root@collabn2  ~]#  /u01/app/12.1.0/grid/bin/crsctl  stat  res  –t  -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐  Name                      Target    State                Server                                      State  details                -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐  Local  Resources  -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐  ora.ACFS.SHARED.advm                                ONLINE    ONLINE              collabn1                                  Volume  device  /dev/a                                                                                                                            sm/shared-­‐32  is  onli                                                                                                                            ne,STABLE  ora.ACFS.dg                                ONLINE    ONLINE              collabn1                                  STABLE  ora.ASMNET1LSNR_ASM.lsnr                                ONLINE    ONLINE              collabn1                                  STABLE  ora.DATA.dg                                ONLINE    ONLINE              collabn1                                  STABLE  ora.FRA.dg                                ONLINE    ONLINE              collabn1                                  STABLE  ora.LISTENER.lsnr                                ONLINE    ONLINE              collabn1                                  STABLE  ora.acfs.shared.acfs                                ONLINE    ONLINE              collabn1                                  mounted  on  /shared,S                                                                                                                            TABLE  ora.net1.network                                ONLINE    ONLINE              collabn1                                  STABLE  ora.ons                                ONLINE    ONLINE              collabn1                                  STABLE  ora.proxy_advm                                ONLINE    ONLINE              collabn1                                  STABLE  -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐  Cluster  Resources  -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐  ora.LISTENER_SCAN1.lsnr              1                ONLINE    ONLINE              collabn1                                  STABLE  ora.LISTENER_SCAN2.lsnr              1                ONLINE    ONLINE              collabn1                                  STABLE  ora.LISTENER_SCAN3.lsnr              1                ONLINE    ONLINE              collabn1                                  STABLE  ora.asm              1                ONLINE    OFFLINE                                                              STABLE              2                ONLINE    ONLINE              collabn1                                  STABLE  ora.camera.db              1                OFFLINE  OFFLINE                                                              STABLE              2                OFFLINE  OFFLINE                                                              Instance  Shutdown,ST                                                                                                                            ABLE  

Page 23: RACATTACK Lab Handbook - Enable Flex Cluster and Flex ASM

Enable  Flex  Cluster  and  Flex  ASM  

Author:  RAC  Attack  Community  Last  Updated:  March  31,  2014  

Page#:  23  

ora.collabn1.vip              1                ONLINE    ONLINE              collabn1                                  STABLE  ora.collabn2.vip              1                ONLINE    INTERMEDIATE  collabn1                                  FAILED  OVER,STABLE  ora.cvu              1                ONLINE    ONLINE              collabn1                                  STABLE  ora.gns              1                ONLINE    ONLINE              collabn1                                  STABLE  ora.gns.vip              1                ONLINE    ONLINE              collabn1                                  STABLE  ora.house.db              1                ONLINE    OFFLINE                                                              Instance  Shutdown,ST                                                                                                                            ABLE              2                ONLINE    ONLINE              collabn1                                  Open,STABLE  ora.oc4j              1                OFFLINE  OFFLINE                                                              STABLE  ora.scan1.vip              1                ONLINE    ONLINE              collabn1                                  STABLE  ora.scan2.vip              1                ONLINE    ONLINE              collabn1                                  STABLE  ora.scan3.vip              1                ONLINE    ONLINE              collabn1                                  STABLE  -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐  

6.6 CHECK  NODE  ROLE  [root@collabn2  ~]#  /u01/app/12.1.0/grid/bin/crsctl  get  node  role  config  Node  'collabn2'  configured  role  is  'leaf'    Changing  the  role  back  to  Hub  follows  the  same  process.  In  step  6.3,  change  the  word  leaf  to  hub  in  the  crsctl  command.