Я бы просто сделал это по-старому. Это более пуленепробиваемый, чем ResponseHandler, если вы получите разные типы контента в ответе.
ByteArrayOutputStream outstream = new ByteArrayOutputStream();
response.getEntity().writeTo(outstream);
byte [] responseBody = outstream.toByteArray();