Что такое битовая маскировка?

запустите этот запрос перед вашим запросом:

SET @@global.innodb_large_prefix = 1;

это увеличит предел до 3072 bytes.