Проблемы с "при вводе формулы через .FORMULA и попытке использовать переменную для ссылки на строку

Компоненты NSColor имеют значения в [0..1], поэтому вы должны нормализовать значения, которые у вас есть, например:

NSColor * myColor = [NSColor colorWithDeviceRed:100.0/255 green:100.0/255 blue:100.0/255 alpha:1.0];

Если вы попытаетесь установить значения, превышающие 1, на цветные компоненты, re интерпретируется как 1, поэтому ваш код будет фактически эквивалентен

NSColor * myColor = [NSColor colorWithDeviceRed:1.0 green:1.0 blue:1.0 alpha:1.0];

, который создает белый цвет.