Как сказал @RobinBennet, ответ - O(n * (m + j))
.
Внешний цикл повторяется n раз (по одному на каждый элемент). Для каждого элемента во внешних циклах первый внутренний цикл повторяется m раз, а второй j - так что для каждого элемента вы выполняете O (m + j) шагов. Выполните итерацию по n элементам O (n * (m + j).
То есть, предполагая, что m, j не связаны с n - если, например, m = j = n, вы получите O (п ^ 2)
Попытайтесь пользоваться libjpeg библиотекой. Пример, как использовать его, находится в этом блоге.
Я не знаю то, что Вы используете, но мы используем обертку C++ в Меньшем программном обеспечении Животных, и мы довольны им. Если ничто иное, это могло бы работать примером кода.