2 Replies Latest reply on May 28, 2010 12:09 PM by cbo_

    RejectedExecutionException on distributed cache environment

    chandu2708

      Hi There,

       

        Im running a distributed cache setup on my test environment in which im facing the "RejectedExecutionException" quite frequently and all the cache operations during that time all cache related operation are failing. Any idea what would be causing the issue.

       

       

      Caused by: java.util.concurrent.RejectedExecutionException
              at java.util.concurrent.ThreadPoolExecutor$AbortPolicy.rejectedExecution(ThreadPoolExecutor.java:1768)
              at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:767)
              at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:658)
              at java.util.concurrent.AbstractExecutorService.submit(AbstractExecutorService.java:92)
              at org.jboss.cache.marshall.CommandAwareRpcDispatcher.invokeRemoteCommands(CommandAwareRpcDispatcher.java:189)
              at org.jboss.cache.RPCManagerImpl.callRemoteMethods(RPCManagerImpl.java:458)
              at org.jboss.cache.RPCManagerImpl.callRemoteMethods(RPCManagerImpl.java:432)
              at org.jboss.cache.RPCManagerImpl.callRemoteMethods(RPCManagerImpl.java:437)
              at org.jboss.cache.interceptors.BaseRpcInterceptor.replicateCall(BaseRpcInterceptor.java:161)
              at org.jboss.cache.interceptors.BaseRpcInterceptor.replicateCall(BaseRpcInterceptor.java:135)
              at org.jboss.cache.interceptors.BaseRpcInterceptor.replicateCall(BaseRpcInterceptor.java:107)
              at org.jboss.cache.interceptors.ReplicationInterceptor.handleCrudMethod(ReplicationInterceptor.java:160)
              at org.jboss.cache.interceptors.ReplicationInterceptor.visitPutKeyValueCommand(ReplicationInterceptor.java:107)
              at org.jboss.cache.commands.write.PutKeyValueCommand.acceptVisitor(PutKeyValueCommand.java:100)
              at org.jboss.cache.interceptors.base.CommandInterceptor.invokeNextInterceptor(CommandInterceptor.java:116)
              at org.jboss.cache.interceptors.base.CommandInterceptor.handleDefault(CommandInterceptor.java:131)
              at org.jboss.cache.commands.AbstractVisitor.visitPutKeyValueCommand(AbstractVisitor.java:65)
              at org.jboss.cache.commands.write.PutKeyValueCommand.acceptVisitor(PutKeyValueCommand.java:100)
              at org.jboss.cache.interceptors.base.CommandInterceptor.invokeNextInterceptor(CommandInterceptor.java:116)
              at org.jboss.cache.interceptors.TxInterceptor.attachGtxAndPassUpChain(TxInterceptor.java:284)
              at org.jboss.cache.interceptors.TxInterceptor.handleDefault(TxInterceptor.java:271)
              at org.jboss.cache.commands.AbstractVisitor.visitPutKeyValueCommand(AbstractVisitor.java:65)
              at org.jboss.cache.commands.write.PutKeyValueCommand.acceptVisitor(PutKeyValueCommand.java:100)
              at org.jboss.cache.interceptors.base.CommandInterceptor.invokeNextInterceptor(CommandInterceptor.java:116)
              at org.jboss.cache.interceptors.CacheMgmtInterceptor.visitPutKeyValueCommand(CacheMgmtInterceptor.java:119)
              at org.jboss.cache.commands.write.PutKeyValueCommand.acceptVisitor(PutKeyValueCommand.java:100)
              at org.jboss.cache.interceptors.base.CommandInterceptor.invokeNextInterceptor(CommandInterceptor.java:116)
              at org.jboss.cache.interceptors.InvocationContextInterceptor.handleAll(InvocationContextInterceptor.java:178)
              at org.jboss.cache.interceptors.InvocationContextInterceptor.visitPutKeyValueCommand(InvocationContextInterceptor.java:82)
              at org.jboss.cache.commands.write.PutKeyValueCommand.acceptVisitor(PutKeyValueCommand.java:100)
              at org.jboss.cache.interceptors.InterceptorChain.invoke(InterceptorChain.java:265)
              at org.jboss.cache.invocation.CacheInvocationDelegate.put(CacheInvocationDelegate.java:560)
              at org.jboss.cache.invocation.CacheInvocationDelegate.put(CacheInvocationDelegate.java:565)
              at com.rgb.core.cache.DefaultCache.put(DefaultCache.java:183)
              at com.rgb.core.server.util.element.ElementEntityUtil.getElementId(ElementEntityUtil.java:76)
      
      
      

       

       

      2010-03-26 09:26:40,467 INFO  [STDOUT] 2010-03-26 09:26:40,467 [OOB-2,JBossCache-cluster,10.10.1.81:34173] WARN   - 10.10.1.81:34173] discarded message from non-member 10.10.1.87:34324, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:40,467 INFO  [STDOUT] 2010-03-26 09:26:40,467 [OOB-2,JBossCache-cluster,10.10.1.81:34175] WARN   - 10.10.1.81:34175] discarded message from non-member 10.10.1.87:34324, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:40,468 INFO  [STDOUT] 2010-03-26 09:26:40,467 [OOB-1,JBossCache-cluster,10.10.1.81:34179] WARN   - 10.10.1.81:34179] discarded message from non-member 10.10.1.87:34324, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:40,468 INFO  [STDOUT] 2010-03-26 09:26:40,468 [OOB-1,JBossCache-cluster,10.10.1.81:34171] WARN   - 10.10.1.81:34171] discarded message from non-member 10.10.1.87:34324, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:40,468 INFO  [STDOUT] 2010-03-26 09:26:40,468 [OOB-2,JBossCache-cluster,10.10.1.81:34172] WARN   - 10.10.1.81:34172] discarded message from non-member 10.10.1.87:34324, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:40,552 INFO  [STDOUT] 2010-03-26 09:26:40,552 [OOB-2,JBossCache-cluster,10.10.1.81:34175] WARN   - 10.10.1.81:34175] discarded message from non-member 10.10.1.87:34355, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:40,553 INFO  [STDOUT] 2010-03-26 09:26:40,553 [OOB-1,JBossCache-cluster,10.10.1.81:34171] WARN   - 10.10.1.81:34171] discarded message from non-member 10.10.1.87:34355, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:40,553 INFO  [STDOUT] 2010-03-26 09:26:40,553 [OOB-2,JBossCache-cluster,10.10.1.81:34172] WARN   - 10.10.1.81:34172] discarded message from non-member 10.10.1.87:34355, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:40,553 INFO  [STDOUT] 2010-03-26 09:26:40,552 [OOB-2,JBossCache-cluster,10.10.1.81:34173] WARN   - 10.10.1.81:34173] discarded message from non-member 10.10.1.87:34355, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:40,554 INFO  [STDOUT] 2010-03-26 09:26:40,553 [OOB-1,JBossCache-cluster,10.10.1.81:34179] WARN   - 10.10.1.81:34179] discarded message from non-member 10.10.1.87:34355, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:40,917 INFO  [STDOUT] 2010-03-26 09:26:40,917 [OOB-2,JBossCache-cluster,10.10.1.81:34179] WARN   - 10.10.1.81:34179] discarded message from non-member 10.10.1.87:34355, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:40,917 INFO  [STDOUT] 2010-03-26 09:26:40,917 [OOB-1,JBossCache-cluster,10.10.1.81:34172] WARN   - 10.10.1.81:34172] discarded message from non-member 10.10.1.87:34355, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:40,918 INFO  [STDOUT] 2010-03-26 09:26:40,917 [OOB-1,JBossCache-cluster,10.10.1.81:34175] WARN   - 10.10.1.81:34175] discarded message from non-member 10.10.1.87:34355, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:40,918 INFO  [STDOUT] 2010-03-26 09:26:40,918 [OOB-2,JBossCache-cluster,10.10.1.81:34171] WARN   - 10.10.1.81:34171] discarded message from non-member 10.10.1.87:34355, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:40,918 INFO  [STDOUT] 2010-03-26 09:26:40,918 [OOB-1,JBossCache-cluster,10.10.1.81:34173] WARN   - 10.10.1.81:34173] discarded message from non-member 10.10.1.87:34355, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:41,031 INFO  [STDOUT] 2010-03-26 09:26:41,031 [OOB-2,JBossCache-cluster,10.10.1.81:34179] WARN   - 10.10.1.81:34179] discarded message from non-member 10.10.1.87:34294, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:41,032 INFO  [STDOUT] 2010-03-26 09:26:41,032 [OOB-1,JBossCache-cluster,10.10.1.81:34172] WARN   - 10.10.1.81:34172] discarded message from non-member 10.10.1.87:34294, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:41,033 INFO  [STDOUT] 2010-03-26 09:26:41,033 [OOB-1,JBossCache-cluster,10.10.1.81:34175] WARN   - 10.10.1.81:34175] discarded message from non-member 10.10.1.87:34294, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:41,033 INFO  [STDOUT] 2010-03-26 09:26:41,033 [OOB-1,JBossCache-cluster,10.10.1.81:34173] WARN   - 10.10.1.81:34173] discarded message from non-member 10.10.1.87:34294, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:41,033 INFO  [STDOUT] 2010-03-26 09:26:41,033 [OOB-1,JBossCache-cluster,10.10.1.81:34171] WARN   - 10.10.1.81:34171] discarded message from non-member 10.10.1.87:34294, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:43,439 INFO  [STDOUT] 2010-03-26 09:26:43,439 [OOB-2,JBossCache-cluster,10.10.1.81:34179] WARN   - 10.10.1.81:34179] discarded message from non-member 10.10.1.87:34294, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:43,439 INFO  [STDOUT] 2010-03-26 09:26:43,439 [OOB-2,JBossCache-cluster,10.10.1.81:34173] WARN   - 10.10.1.81:34173] discarded message from non-member 10.10.1.87:34294, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:43,439 INFO  [STDOUT] 2010-03-26 09:26:43,439 [OOB-1,JBossCache-cluster,10.10.1.81:34171] WARN   - 10.10.1.81:34171] discarded message from non-member 10.10.1.87:34294, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:43,440 INFO  [STDOUT] 2010-03-26 09:26:43,439 [OOB-1,JBossCache-cluster,10.10.1.81:34172] WARN   - 10.10.1.81:34172] discarded message from non-member 10.10.1.87:34294, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:43,440 INFO  [STDOUT] 2010-03-26 09:26:43,439 [OOB-1,JBossCache-cluster,10.10.1.81:34175] WARN   - 10.10.1.81:34175] discarded message from non-member 10.10.1.87:34294, my view is [10.10.1.81:34171|27] [10.10.1.81:34171, 10.10.1.81:34172, 10.10.1.81:34175, 10.10.1.81:34173, 10.10.1.87:34332, 10.10.1.81:34179, 10.10.1.87:34334, 10.10.1.121:32956, 10.10.1.121:32957, 10.10.1.121:32958, 10.10.1.121:32959, 10.10.1.121:32960, 10.10.1.87:34338, 10.10.1.96:3730, 10.10.1.87:34339, 10.10.1.96:3746, 10.10.1.87:34340, 10.10.1.96:3754, 10.10.1.87:34341, 10.10.1.96:3772, 10.10.1.87:34343, 10.10.1.87:34344]
      2010-03-26 09:26:48,093 INFO  [STDOUT] 2010-03-26 09:26:48,093 [ViewHandler,JBossCache-cluster,10.10.1.81:34171] WARN   - GMS flush by coordinator at 10.10.1.81:34171 failed
      

       

      Im running on MVCC node locking scheme and isolation level as READ_COMITTED.

       

      your help would be very much appreciated.

       

      Thank you,

      bala.

        • 1. Re: RejectedExecutionException on distributed cache environment
          girishadat

          I am also getting similar exceptions as follows.

           

          1) Following exception occured during the run without calling any API of cache in current node. This happened 21 times.

           

          ERROR [org.jboss.cache.cluster.ReplicationQueue] failed replicating 3 elements in replication queue
          java.util.concurrent.RejectedExecutionException
              at java.util.concurrent.ThreadPoolExecutor$AbortPolicy.rejectedExecution(ThreadPoolExecutor.java:1477)
              at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:384)
              at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:856)
              at java.util.concurrent.AbstractExecutorService.submit(AbstractExecutorService.java:45)
              at org.jboss.cache.marshall.CommandAwareRpcDispatcher.invokeRemoteCommands(CommandAwareRpcDispatcher.java:210)
              at org.jboss.cache.RPCManagerImpl.callRemoteMethods(RPCManagerImpl.java:744)
              at org.jboss.cache.RPCManagerImpl.callRemoteMethods(RPCManagerImpl.java:712)
              at org.jboss.cache.RPCManagerImpl.callRemoteMethods(RPCManagerImpl.java:717)
              at org.jboss.cache.cluster.ReplicationQueue.flush(ReplicationQueue.java:170)
              at org.jboss.cache.cluster.ReplicationQueue$2.run(ReplicationQueue.java:114)
              at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:417)
              at java.util.concurrent.FutureTask$Sync.innerRunAndReset(FutureTask.java:280)
              at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:135)
              at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$101(ScheduledThreadPoolExecutor.java:65)
              at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.runPeriodic(ScheduledThreadPoolExecutor.java:142)
              at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:166)
              at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:650)
              at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:675)
              at java.lang.Thread.run(Thread.java:595)
          

           

          2) Following happened when I tried to call the removeNode operation of core cache. This happened for ~10K times on a run with approximately 6 million removeNode() operations. But I think each time the executor skipped the entire replication queue containing large number of elements. We are using removeNode() core cache API to prevent the internalFqns to stay in cache, after the pojocache.detach() operation.

           

          ERROR [org.jboss.cache.cluster.ReplicationQueue] failed replicating 500 elements in replication queue
          
          java.util.concurrent.RejectedExecutionException
              at java.util.concurrent.ThreadPoolExecutor$AbortPolicy.rejectedExecution(ThreadPoolExecutor.java:1477)
              at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:384)
              at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:856)
              at java.util.concurrent.AbstractExecutorService.submit(AbstractExecutorService.java:45)
              at org.jboss.cache.marshall.CommandAwareRpcDispatcher.invokeRemoteCommands(CommandAwareRpcDispatcher.java:210)
              at org.jboss.cache.RPCManagerImpl.callRemoteMethods(RPCManagerImpl.java:744)
              at org.jboss.cache.RPCManagerImpl.callRemoteMethods(RPCManagerImpl.java:712)
              at org.jboss.cache.RPCManagerImpl.callRemoteMethods(RPCManagerImpl.java:717)
              at org.jboss.cache.cluster.ReplicationQueue.flush(ReplicationQueue.java:170)
              at org.jboss.cache.cluster.ReplicationQueue.add(ReplicationQueue.java:145)
              at org.jboss.cache.interceptors.BaseRpcInterceptor.replicateCall(BaseRpcInterceptor.java:145)
              at org.jboss.cache.interceptors.BaseRpcInterceptor.replicateCall(BaseRpcInterceptor.java:135)
              at org.jboss.cache.interceptors.BaseRpcInterceptor.replicateCall(BaseRpcInterceptor.java:107)
              at org.jboss.cache.interceptors.ReplicationInterceptor.handleCrudMethod(ReplicationInterceptor.java:160)
              at org.jboss.cache.interceptors.ReplicationInterceptor.visitRemoveNodeCommand(ReplicationInterceptor.java:125)
              at org.jboss.cache.commands.write.RemoveNodeCommand.acceptVisitor(RemoveNodeCommand.java:125)
              at org.jboss.cache.interceptors.base.CommandInterceptor.invokeNextInterceptor(CommandInterceptor.java:116)
              at org.jboss.cache.interceptors.base.CommandInterceptor.handleDefault(CommandInterceptor.java:131)
              at org.jboss.cache.commands.AbstractVisitor.visitRemoveNodeCommand(AbstractVisitor.java:75)
              at org.jboss.cache.commands.write.RemoveNodeCommand.acceptVisitor(RemoveNodeCommand.java:125)
              at org.jboss.cache.interceptors.base.CommandInterceptor.invokeNextInterceptor(CommandInterceptor.java:116)
              at org.jboss.cache.interceptors.TxInterceptor.attachGtxAndPassUpChain(TxInterceptor.java:301)
              at org.jboss.cache.interceptors.TxInterceptor.handleDefault(TxInterceptor.java:283)
              at org.jboss.cache.commands.AbstractVisitor.visitRemoveNodeCommand(AbstractVisitor.java:75)
              at org.jboss.cache.commands.write.RemoveNodeCommand.acceptVisitor(RemoveNodeCommand.java:125)
              at org.jboss.cache.interceptors.base.CommandInterceptor.invokeNextInterceptor(CommandInterceptor.java:116)
              at org.jboss.cache.interceptors.base.CommandInterceptor.handleDefault(CommandInterceptor.java:131)
              at org.jboss.cache.commands.AbstractVisitor.visitRemoveNodeCommand(AbstractVisitor.java:75)
              at org.jboss.cache.commands.write.RemoveNodeCommand.acceptVisitor(RemoveNodeCommand.java:125)
              at org.jboss.cache.interceptors.base.CommandInterceptor.invokeNextInterceptor(CommandInterceptor.java:116)
              at org.jboss.cache.interceptors.InvocationContextInterceptor.handleAll(InvocationContextInterceptor.java:178)
              at org.jboss.cache.interceptors.InvocationContextInterceptor.visitRemoveNodeCommand(InvocationContextInterceptor.java:88)
              at org.jboss.cache.commands.write.RemoveNodeCommand.acceptVisitor(RemoveNodeCommand.java:125)
              at org.jboss.cache.interceptors.InterceptorChain.invoke(InterceptorChain.java:287)
              at org.jboss.cache.invocation.CacheInvocationDelegate.removeNode(CacheInvocationDelegate.java:478)
              at org.jboss.cache.invocation.CacheInvocationDelegate.removeNode(CacheInvocationDelegate.java:485)
              at [removed custom code from stack trace]
          

           

          I am using CoreCache 3.2.4 GA, with JGroups 2.7.0 GA. POJO Cache version is 3.0.0 GA. I am also using 4.6.0 GA of JBossTS as transaction manager for distributed transactions.

          • 2. Re: RejectedExecutionException on distributed cache environment
            cbo_

            Any replies to this chain?  I am also seeing this exception 1208 times on a cache of 100K entries. 

             

            I am using 4.1BETA1 and using replication mode along with fetchInMemoryState=true.