Ни то, ни другое. Канал по-прежнему будет находиться в состоянии Open.
После обработки операции с параметром IsTerminating, установленным в True, сервер пометит сеанс как завершенный, а последующие вызовы вернут ошибку с кодом SessionTerminated, который преобразуется в исключение ChannelTerminatedException.
Однако, если этот атрибут установлен на стороне клиента, он автоматически установит для канала значение Closed после вызова этой операции. Если это произойдет, попытка использовать канал вызовет исключение InvalidOperationException.
Единственный способ получить это исключение — не устанавливать этот атрибут для клиента и полагать, что канал все еще открыт. WCF не закроет канал в ответ на эту ошибку, поэтому он по-прежнему будет открыт.