Регулярное выражение атрибута HTML5 @pattern основано на JavaScript regex, поэтому вы можете использовать шестнадцатеричную нотацию или unicode notation для этого символа, как в JavaScript:
" = \x22 OR \u0022
' = \x27 OR \u0027
Чтобы вы могли легко использовать
pattern="[^'\x22]+"
TADA! Нет библиотек JavaScript! ;)