Как выбрать только записи, у которых есть номер в столбце (SQL)

В основном я хочу сделать это:

Я хочу вернуть набор записей, преобразующий одно значение (ID) nvarchar в целое число, если он содержит число. Если ID можно преобразовать в число, добавьте эту строку в набор записей SELECT . Если нет, пропустите эту строку.

Я думаю, что SQL должен выглядеть примерно так:

(ID - nvarchar (10) в dbo.Table)

CREATE TABLE #Temp  (ID int)
INSERT INTO #Temp SELECT ID FROM Table Where ISNumeric(Id)=0

Но я получаю сообщение об ошибке: значение nvarchar 'Default' соответствует типу данных int. Если я сделаю SELECT CAST (ID as int) , это тоже не сработает.