Вы можете добавить любой компонент в JOptionPane.
Итак, добавьте JEditorPane, который отображает ваш HTML и поддерживает HyperlinkListener.