Visit Counter

Wednesday, April 1, 2015

Cluster verify utility fails with the user eqivelence test



[oracle@rac1 bin]$ ./cluvfy stage -pre dbcfg -n rac1,rac2 -d /ora/oracle/app/oracle/product/12.1.0/dbhome_1 -verbose 

Performing pre-checks for database configuration

ERROR:
PRVF-0006 : Unable to check the existence of Oracle Home "/ora/oracle/app/oracle/product/12.1.0/dbhome_1"

ERROR:
Oracle home "/ora/oracle/app/oracle/product/12.1.0/dbhome_1" does not exist

Checking node reachability...

Check: Node reachability from node "rac1"
Destination Node Reachable?
------------------------------------ ------------------------
rac1 yes
rac2 yes
Result: Node reachability check passed from node "rac1"


Checking user equivalence...

Check: User equivalence for user "oracle"
Node Name Status
------------------------------------ ------------------------
rac2 failed
rac1 failed
PRVG-2019 : Check for equivalence of user "oracle" from node "rac1" to node "rac2" failed

PRKC-1044 : Failed to check remote command execution setup for node rac2 using shells /usr/bin/ssh and /usr/bin/rsh
File "/usr/bin/rsh" does not exist on node "rac2"
Agent admitted failure to sign using the key.Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
PRVG-2019 : Check for equivalence of user "oracle" from node "rac1" to node "rac1" failed

PRKC-1044 : Failed to check remote command execution setup for node rac1 using shells /usr/bin/ssh and /usr/bin/rsh
File "/usr/bin/rsh" does not exist on node "rac1"
Agent admitted failure to sign using the key.Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).

ERROR:
User equivalence unavailable on all the specified nodes
Verification cannot proceed


Pre-check for database configuration was unsuccessful on all the nodes. 

Fixed: 
Say you have two nodes, rac1 and rac2 and user oracle. You have created the ssh keys in oracle on both nodes.

On node: rac1

$ exec /usr/bin/ssh-agent $SHELL
$ /usr/bin/ssh-add

On node: rac2


$ exec /usr/bin/ssh-agent $SHELL
$ /usr/bin/ssh-add




[oracle@rac1 bin]$ ./cluvfy stage -pre dbcfg -n rac1,rac2 -d /ora/oracle/app/oracle/product/12.1.0/dbhome_1 -verbose




Performing pre-checks for database configuration 

Checking node reachability...

Check: Node reachability from node "rac1"
  Destination Node                      Reachable?              
  ------------------------------------  ------------------------
  rac1                                  yes                     
  rac2                                  yes                     
Result: Node reachability check passed from node "rac1"


Checking user equivalence...

Check: User equivalence for user "oracle"
  Node Name                             Status                  
  ------------------------------------  ------------------------
  rac2                                  passed                  
  rac1                                  passed                  
Result: User equivalence check passed for user "oracle"

Checking node connectivity...

Checking hosts config file...
  Node Name                             Status                  
  ------------------------------------  ------------------------
  rac1                                  passed                  
  rac2                                  passed                  

Verification of the hosts config file successful


Interface information for node "rac1"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.10.1    192.168.10.0    0.0.0.0         UNKNOWN         08:00:27:23:AD:3F 1500  
 eth0   169.254.134.21  169.254.0.0     0.0.0.0         UNKNOWN         08:00:27:23:AD:3F 1500  
 eth2   192.0.0.22      192.0.0.0       0.0.0.0         UNKNOWN         08:00:27:F9:4D:79 1500  
 eth2   192.0.0.26      192.0.0.0       0.0.0.0         UNKNOWN         08:00:27:F9:4D:79 1500  
 eth2   192.0.0.34      192.0.0.0       0.0.0.0         UNKNOWN         08:00:27:F9:4D:79 1500  
 eth2   192.0.0.36      192.0.0.0       0.0.0.0         UNKNOWN         08:00:27:F9:4D:79 1500  


Interface information for node "rac2"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.10.2    192.168.10.0    0.0.0.0         UNKNOWN         08:00:27:23:AD:3F 1500  
 eth0   169.254.190.151 169.254.0.0     0.0.0.0         UNKNOWN         08:00:27:23:AD:3F 1500  
 eth2   192.0.0.23      192.0.0.0       0.0.0.0         UNKNOWN         08:00:27:F9:4D:79 1500  
 eth2   192.0.0.35      192.0.0.0       0.0.0.0         UNKNOWN         08:00:27:F9:4D:79 1500  
 eth2   192.0.0.29      192.0.0.0       0.0.0.0         UNKNOWN         08:00:27:F9:4D:79 1500  


Check: Node connectivity using interfaces on subnet "192.0.0.0"

Check: Node connectivity of subnet "192.0.0.0"
  Source                          Destination                     Connected?      
  ------------------------------  ------------------------------  ----------------
  rac1[192.0.0.36]                rac1[192.0.0.22]                yes             
  rac1[192.0.0.36]                rac2[192.0.0.23]                yes             
  rac1[192.0.0.36]                rac1[192.0.0.26]                yes             
  rac1[192.0.0.36]                rac1[192.0.0.34]                yes             
  rac1[192.0.0.36]                rac2[192.0.0.35]                yes             
  rac1[192.0.0.36]                rac2[192.0.0.29]                yes             
  rac1[192.0.0.22]                rac2[192.0.0.23]                yes             
  rac1[192.0.0.22]                rac1[192.0.0.26]                yes             
  rac1[192.0.0.22]                rac1[192.0.0.34]                yes             
  rac1[192.0.0.22]                rac2[192.0.0.35]                yes             
  rac1[192.0.0.22]                rac2[192.0.0.29]                yes             
  rac2[192.0.0.23]                rac1[192.0.0.26]                yes             
  rac2[192.0.0.23]                rac1[192.0.0.34]                yes             
  rac2[192.0.0.23]                rac2[192.0.0.35]                yes             
  rac2[192.0.0.23]                rac2[192.0.0.29]                yes             
  rac1[192.0.0.26]                rac1[192.0.0.34]                yes             
  rac1[192.0.0.26]                rac2[192.0.0.35]                yes             
  rac1[192.0.0.26]                rac2[192.0.0.29]                yes             
  rac1[192.0.0.34]                rac2[192.0.0.35]                yes             
  rac1[192.0.0.34]                rac2[192.0.0.29]                yes             
  rac2[192.0.0.35]                rac2[192.0.0.29]                yes             
Result: Node connectivity passed for subnet "192.0.0.0" with node(s) rac1,rac2


Check: TCP connectivity of subnet "192.0.0.0"
  Source                          Destination                     Connected?      
  ------------------------------  ------------------------------  ----------------
  rac1:192.0.0.36                 rac1:192.0.0.22                 passed          
  rac1:192.0.0.36                 rac2:192.0.0.23                 passed          
  rac1:192.0.0.36                 rac1:192.0.0.26                 passed          
  rac1:192.0.0.36                 rac1:192.0.0.34                 passed          
  rac1:192.0.0.36                 rac2:192.0.0.35                 passed          
  rac1:192.0.0.36                 rac2:192.0.0.29                 passed          
Result: TCP connectivity check passed for subnet "192.0.0.0"


Check: Node connectivity using interfaces on subnet "192.168.10.0"

Check: Node connectivity of subnet "192.168.10.0"
  Source                          Destination                     Connected?      
  ------------------------------  ------------------------------  ----------------
  rac2[192.168.10.2]              rac1[192.168.10.1]              yes             
Result: Node connectivity passed for subnet "192.168.10.0" with node(s) rac2,rac1


Check: TCP connectivity of subnet "192.168.10.0"
  Source                          Destination                     Connected?      
  ------------------------------  ------------------------------  ----------------
  rac2:192.168.10.2               rac1:192.168.10.1               passed          
Result: TCP connectivity check passed for subnet "192.168.10.0"

Checking subnet mask consistency...
Subnet mask consistency check passed for subnet "192.168.10.0".
Subnet mask consistency check passed for subnet "192.0.0.0".
Subnet mask consistency check passed.

Result: Node connectivity check passed

Checking multicast communication...

Checking subnet "192.168.10.0" for multicast communication with multicast group "224.0.0.251"...
Check of subnet "192.168.10.0" for multicast communication with multicast group "224.0.0.251" passed.

Check of multicast communication passed.

Check: Group existence for "dba" 
  Node Name     Status                    Comment                 
  ------------  ------------------------  ------------------------
  rac2          passed                    exists                  
  rac1          passed                    exists                  
Result: Group existence check passed for "dba"

Check: Total memory 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          2.1961GB (2302768.0KB)    1GB (1048576.0KB)         passed    
  rac1          2.1961GB (2302768.0KB)    1GB (1048576.0KB)         passed    
Result: Total memory check passed

Check: Available memory 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          1.614GB (1692392.0KB)     50MB (51200.0KB)          passed    
  rac1          1.4389GB (1508812.0KB)    50MB (51200.0KB)          passed    
Result: Available memory check passed

Check: Swap space 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          9.7656GB (1.0239992E7KB)  2.1961GB (2302768.0KB)    passed    
  rac1          9.7656GB (1.0239992E7KB)  2.1961GB (2302768.0KB)    passed    
Result: Swap space check passed

Check: Free disk space for "rac2:/tmp" 
  Path              Node Name     Mount point   Available     Required      Status      
  ----------------  ------------  ------------  ------------  ------------  ------------
  /tmp              rac2          /             8.1064GB      1GB           passed      
Result: Free disk space check passed for "rac2:/tmp"

Check: Free disk space for "rac1:/tmp" 
  Path              Node Name     Mount point   Available     Required      Status      
  ----------------  ------------  ------------  ------------  ------------  ------------
  /tmp              rac1          /             8.1104GB      1GB           passed      
Result: Free disk space check passed for "rac1:/tmp"

Check: User existence for "oracle" 
  Node Name     Status                    Comment                 
  ------------  ------------------------  ------------------------
  rac2          passed                    exists(501)             
  rac1          passed                    exists(501)             

Checking for multiple users with UID value 501
Result: Check for multiple users with UID value 501 passed 
Result: User existence check passed for "oracle"

Check: Group existence for "oinstall" 
  Node Name     Status                    Comment                 
  ------------  ------------------------  ------------------------
  rac2          passed                    exists                  
  rac1          passed                    exists                  
Result: Group existence check passed for "oinstall"

Check: Group existence for "dba" 
  Node Name     Status                    Comment                 
  ------------  ------------------------  ------------------------
  rac2          passed                    exists                  
  rac1          passed                    exists                  
Result: Group existence check passed for "dba"

Check: Membership of user "oracle" in group "oinstall" [as Primary]
  Node Name         User Exists   Group Exists  User in Group  Primary       Status      
  ----------------  ------------  ------------  ------------  ------------  ------------
  rac2              yes           yes           yes           yes           passed      
  rac1              yes           yes           yes           yes           passed      
Result: Membership check for user "oracle" in group "oinstall" [as Primary] passed

Check: Membership of user "oracle" in group "dba" 
  Node Name         User Exists   Group Exists  User in Group  Status          
  ----------------  ------------  ------------  ------------  ----------------
  rac2              yes           yes           yes           passed          
  rac1              yes           yes           yes           passed          
Result: Membership check for user "oracle" in group "dba" passed

Check: Run level 
  Node Name     run level                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          5                         3,5                       passed    
  rac1          5                         3,5                       passed    
Result: Run level check passed

Check: Hard limits for "maximum open file descriptors" 
  Node Name         Type          Available     Required      Status          
  ----------------  ------------  ------------  ------------  ----------------
  rac2              hard          65536         65536         passed          
  rac1              hard          65536         65536         passed          
Result: Hard limits check passed for "maximum open file descriptors"

Check: Soft limits for "maximum open file descriptors" 
  Node Name         Type          Available     Required      Status          
  ----------------  ------------  ------------  ------------  ----------------
  rac2              soft          4096          1024          passed          
  rac1              soft          4096          1024          passed          
Result: Soft limits check passed for "maximum open file descriptors"

Check: Hard limits for "maximum user processes" 
  Node Name         Type          Available     Required      Status          
  ----------------  ------------  ------------  ------------  ----------------
  rac2              hard          16384         16384         passed          
  rac1              hard          16384         16384         passed          
Result: Hard limits check passed for "maximum user processes"

Check: Soft limits for "maximum user processes" 
  Node Name         Type          Available     Required      Status          
  ----------------  ------------  ------------  ------------  ----------------
  rac2              soft          2047          2047          passed          
  rac1              soft          2047          2047          passed          
Result: Soft limits check passed for "maximum user processes"

Check: System architecture 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          x86_64                    x86_64                    passed    
  rac1          x86_64                    x86_64                    passed    
Result: System architecture check passed

Check: Kernel version 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          2.6.32-100.28.5.el6.x86_64  2.6.32                    passed    
  rac1          2.6.32-100.28.5.el6.x86_64  2.6.32                    passed    
Result: Kernel version check passed

Check: Kernel parameter for "semmsl" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  rac1              250           250           250           passed          
  rac2              250           250           250           passed          
Result: Kernel parameter check passed for "semmsl"

Check: Kernel parameter for "semmns" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  rac1              32000         32000         32000         passed          
  rac2              32000         32000         32000         passed          
Result: Kernel parameter check passed for "semmns"

Check: Kernel parameter for "semopm" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  rac1              100           100           100           passed          
  rac2              100           100           100           passed          
Result: Kernel parameter check passed for "semopm"

Check: Kernel parameter for "semmni" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  rac1              128           128           128           passed          
  rac2              128           128           128           passed          
Result: Kernel parameter check passed for "semmni"

Check: Kernel parameter for "shmmax" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  rac1              33554432      unknown       1179017216    failed        Current value incorrect. Configured value unknown. 
  rac2              33554432      unknown       1179017216    failed        Current value incorrect. Configured value unknown. 
Result: Kernel parameter check failed for "shmmax"

Check: Kernel parameter for "shmmni" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  rac1              4096          4096          4096          passed          
  rac2              4096          4096          4096          passed          
Result: Kernel parameter check passed for "shmmni"

Check: Kernel parameter for "shmall" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  rac1              2097152       unknown       230276        failed (ignorable)  Configured value unknown. 
  rac2              2097152       unknown       230276        failed (ignorable)  Configured value unknown. 
Result: Kernel parameter check passed for "shmall"

Check: Kernel parameter for "file-max" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  rac1              6815744       6815744       6815744       passed          
  rac2              6815744       6815744       6815744       passed          
Result: Kernel parameter check passed for "file-max"

Check: Kernel parameter for "ip_local_port_range" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  rac1              between 9000 & 65500  between 9000 & 65500  between 9000 & 65535  passed          
  rac2              between 9000 & 65500  between 9000 & 65500  between 9000 & 65535  passed          
Result: Kernel parameter check passed for "ip_local_port_range"

Check: Kernel parameter for "rmem_default" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  rac1              262144        262144        262144        passed          
  rac2              262144        262144        262144        passed          
Result: Kernel parameter check passed for "rmem_default"

Check: Kernel parameter for "rmem_max" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  rac1              4194304       4194304       4194304       passed          
  rac2              4194304       4194304       4194304       passed          
Result: Kernel parameter check passed for "rmem_max"

Check: Kernel parameter for "wmem_default" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  rac1              126976        unknown       262144        failed        Current value incorrect. Configured value unknown. 
  rac2              126976        unknown       262144        failed        Current value incorrect. Configured value unknown. 
Result: Kernel parameter check failed for "wmem_default"

Check: Kernel parameter for "wmem_max" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  rac1              1048586       1048586       1048576       passed          
  rac2              1048586       1048586       1048576       passed          
Result: Kernel parameter check passed for "wmem_max"

Check: Kernel parameter for "aio-max-nr" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  rac1              1048576       1048576       1048576       passed          
  rac2              1048576       1048576       1048576       passed          
Result: Kernel parameter check passed for "aio-max-nr"

Check: Package existence for "binutils" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          binutils-2.20.51.0.2-5.11.el6  binutils-2.20.51.0.2      passed    
  rac1          binutils-2.20.51.0.2-5.11.el6  binutils-2.20.51.0.2      passed    
Result: Package existence check passed for "binutils"

Check: Package existence for "compat-libcap1" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          compat-libcap1-1.10-1     compat-libcap1-1.10       passed    
  rac1          compat-libcap1-1.10-1     compat-libcap1-1.10       passed    
Result: Package existence check passed for "compat-libcap1"

Check: Package existence for "compat-libstdc++-33(x86_64)" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          compat-libstdc++-33(x86_64)-3.2.3-69.el6  compat-libstdc++-33(x86_64)-3.2.3  passed    
  rac1          compat-libstdc++-33(x86_64)-3.2.3-69.el6  compat-libstdc++-33(x86_64)-3.2.3  passed    
Result: Package existence check passed for "compat-libstdc++-33(x86_64)"

Check: Package existence for "libgcc(x86_64)" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          libgcc(x86_64)-4.4.4-13.el6  libgcc(x86_64)-4.4.4      passed    
  rac1          libgcc(x86_64)-4.4.4-13.el6  libgcc(x86_64)-4.4.4      passed    
Result: Package existence check passed for "libgcc(x86_64)"

Check: Package existence for "libstdc++(x86_64)" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          libstdc++(x86_64)-4.4.4-13.el6  libstdc++(x86_64)-4.4.4   passed    
  rac1          libstdc++(x86_64)-4.4.4-13.el6  libstdc++(x86_64)-4.4.4   passed    
Result: Package existence check passed for "libstdc++(x86_64)"

Check: Package existence for "libstdc++-devel(x86_64)" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          libstdc++-devel(x86_64)-4.4.4-13.el6  libstdc++-devel(x86_64)-4.4.4  passed    
  rac1          libstdc++-devel(x86_64)-4.4.4-13.el6  libstdc++-devel(x86_64)-4.4.4  passed    
Result: Package existence check passed for "libstdc++-devel(x86_64)"

Check: Package existence for "sysstat" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          sysstat-9.0.4-11.el6      sysstat-9.0.4             passed    
  rac1          sysstat-9.0.4-11.el6      sysstat-9.0.4             passed    
Result: Package existence check passed for "sysstat"

Check: Package existence for "gcc" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          gcc-4.4.4-13.el6          gcc-4.4.4                 passed    
  rac1          gcc-4.4.4-13.el6          gcc-4.4.4                 passed    
Result: Package existence check passed for "gcc"

Check: Package existence for "gcc-c++" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          gcc-c++-4.4.4-13.el6      gcc-c++-4.4.4             passed    
  rac1          gcc-c++-4.4.4-13.el6      gcc-c++-4.4.4             passed    
Result: Package existence check passed for "gcc-c++"

Check: Package existence for "ksh" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          missing                   ksh-...                   failed    
  rac1          missing                   ksh-...                   failed    
Result: Package existence check failed for "ksh"

Check: Package existence for "make" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          make-3.81-19.el6          make-3.81                 passed    
  rac1          make-3.81-19.el6          make-3.81                 passed    
Result: Package existence check passed for "make"

Check: Package existence for "glibc(x86_64)" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          glibc(x86_64)-2.12-1.7.el6  glibc(x86_64)-2.12        passed    
  rac1          glibc(x86_64)-2.12-1.7.el6  glibc(x86_64)-2.12        passed    
Result: Package existence check passed for "glibc(x86_64)"

Check: Package existence for "glibc-devel(x86_64)" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          glibc-devel(x86_64)-2.12-1.7.el6  glibc-devel(x86_64)-2.12  passed    
  rac1          glibc-devel(x86_64)-2.12-1.7.el6  glibc-devel(x86_64)-2.12  passed    
Result: Package existence check passed for "glibc-devel(x86_64)"

Check: Package existence for "libaio(x86_64)" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          libaio(x86_64)-0.3.107-10.el6  libaio(x86_64)-0.3.107    passed    
  rac1          libaio(x86_64)-0.3.107-10.el6  libaio(x86_64)-0.3.107    passed    
Result: Package existence check passed for "libaio(x86_64)"

Check: Package existence for "libaio-devel(x86_64)" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  rac2          libaio-devel(x86_64)-0.3.107-10.el6  libaio-devel(x86_64)-0.3.107  passed    
  rac1          libaio-devel(x86_64)-0.3.107-10.el6  libaio-devel(x86_64)-0.3.107  passed    
Result: Package existence check passed for "libaio-devel(x86_64)"

Checking for multiple users with UID value 0
Result: Check for multiple users with UID value 0 passed 

Check: Current group ID 
Result: Current group ID check passed

Starting check for consistency of primary group of root user
  Node Name                             Status                  
  ------------------------------------  ------------------------
  rac2                                  passed                  
  rac1                                  passed                  

Check for consistency of root user's primary group passed

Checking CRS integrity...

Clusterware version consistency passed.
The Oracle Clusterware is healthy on node "rac1"
The Oracle Clusterware is healthy on node "rac2"

CRS integrity check passed

Checking node application existence...

Checking existence of VIP node application (required)
  Node Name     Required                  Running?                  Comment   
  ------------  ------------------------  ------------------------  ----------
  rac1          yes                       yes                       passed    
  rac2          yes                       yes                       passed    
VIP node application check passed

Checking existence of NETWORK node application (required)
  Node Name     Required                  Running?                  Comment   
  ------------  ------------------------  ------------------------  ----------
  rac1          yes                       yes                       passed    
  rac2          yes                       yes                       passed    
NETWORK node application check passed

Checking existence of ONS node application (optional)
  Node Name     Required                  Running?                  Comment   
  ------------  ------------------------  ------------------------  ----------
  rac1          no                        yes                       passed    
  rac2          no                        yes                       passed    
ONS node application check passed

Check: Time zone consistency 
Result: Time zone consistency check passed

Pre-check for database configuration was unsuccessful on all the nodes. 
[oracle@rac1 bin]$