Как я могу преобразовать строку в верхний - или нижний регистр с XSLT?

Ошибка означает, что возвращаемое значение console.log() не является функцией. Вам не хватает точки с запятой:

console.log('xxx', $scope.tableIndexes[i].columnName[j]);
//                                                      ^

, которая позволяет интерпретировать следующий (...) IIFE как вызов функции.

Сравнить сообщения об ошибках

> var foo = {bar: undefined};
> foo.bar();
Uncaught TypeError: foo.bar is not a function

и

> var foo = {bar: function(){}};
> foo.bar()();
Uncaught TypeError: foo.bar(...) is not a function