Как мне сообщить TortoiseHg, что файл не является двоичным?

К сожалению, нет. Общие аргументы должны быть разрешимы во время компиляции как 1) допустимый тип или 2) другой общий параметр. Невозможно создать общие экземпляры, основанные на значениях времени исполнения, без большого молотка с использованием отражения.