Вы можете посмотреть « Внутри JVM ». К сожалению, мне не известно о существовании каких-либо новых книг по этой теме.
Взгляните на «Спецификацию виртуальной машины Java»: http://java.sun.com/docs/books/jvms/