Попробуйте использовать одинарные кавычки ('), чтобы избежать экранирования вашей строки. Помните, что выражение должно соответствовать всему пути, то есть должно выглядеть так:
find . -regex '\./[a-f0-9-]*.jpg'
Кроме того, кажется, что моя находка (GNU 4.4.2) знает только основные регулярные выражения, особенно не синтаксис {36}. Думаю, вам придется обойтись без этого.