Java RMI - время ожидания клиента

Вы можете установить системное свойство.
Что-то вроде sun.rmi.transport.connectionTimeout

Они подробно описаны здесь:
https://docs.oracle.com/javase/7/docs/technotes/guides/rmi/sunrmiproperties.html

Для тайм-аута чтения с сокета вы можете установить собственный завод следующим образом:

           RMISocketFactory.setSocketFactory( new RMISocketFactory()
            {
                public Socket createSocket( String host, int port )
                    throws IOException
                {
                    Socket socket = new Socket();
                    socket.setSoTimeout( timeoutMillis );
                    socket.setSoLinger( false, 0 );
                    socket.connect( new InetSocketAddress( host, port ), timeoutMillis );
                    return socket;
                }

                public ServerSocket createServerSocket( int port )
                    throws IOException
                {
                    return new ServerSocket( port );
                }
            } );