Действительно ли возможно сделать JFrame, который имеет прозрачный фон, и нарисуйте изображение на нем, поэтому только изображение будет видимо без границы или фона?
См. Полупрозрачные и фигурные поворотные окна Кирилла Гручникова.
Для примера Mac OS X см. Проблема перерисовки полупрозрачного кадра / панели / компонента .