Использовать случайное наблюдение x количество раз

Почему мне нужно реализовать doOnError?

У вас нет, а doOnError не является обработчиком ошибок, а заглядывает в канал ошибок. Вы должны реализовать обработчик ошибок в subscribe:

.subscribe(result -> {
    // ...
},
error -> {
    // ...
});

. Как я могу достичь этого на определенных ошибках (например, 401). Я использую резервное наблюдение с некоторым временем отсрочки и после 5 раз

Используйте retryWhen:

Observable.defer(() -> getMyObservable(params))
.retryWhen(errors -> {
    AtomicInteger count = new AtomicInteger();
    return errors.flatMap(error -> {
       if (error.toString().contains("401")) {
           int c = count.incrementAndGet();
           if (c <= 5) {
               return Observable.timer(c, TimeUnit.SECONDS);
           }
           return Observable.error(new Exception("Failed after 5 retries"));
       }
       return Observable.error(error);
    })
})