Можно ли обновить формат файла .xslb без очистки существующих данных через Java?

Почему бы не использовать Insert / Picture, который принимает файлы png? Вы все равно можете присвоить ему макрос.

AFAIK только png-файлы поддерживают прозрачные фоны.

Если это для пользовательской формы, я не знаю ничего, что вы можете добавить, что поддерживает прозрачные объекты. Однако ваш фон должен быть статическим, чтобы вы могли его подделать.

Возможно, вы могли бы просто совместить цвет за изображением? Вы можете получить цветовой код из своих свойств формы.

Если это статический фон, но не один цвет, вы можете сделать снимок экрана и закрепить часть, которую вы хотите, в качестве фона для изображения, слой 2 изображения вместе в редакторе фотографий, затем выводятся как bmp, который сглаживает два слоя как один. Есть бесплатные редакторы фотографий, которые могут это сделать.