Вы можете создать таблицу как объект масштабируемой векторной графики (SVG) и включить это как внешний образ в вашем документе XSL-FO. SVG поддерживает закругленные углы, а FOP поддерживает SVG.
Я считаю, что вы также можете просто создать SVG-прямоугольник с закругленными углами и использовать его в качестве фона для вашего контента, а перед ним поставить таблицу. Кажется, однажды я сделал это, но не могу найти код ...