Заменить все символы вне диапазона (Java String)

Как заменить все символы в строке, которые не соответствуют критериям. У меня проблемы именно с оператором НЕ.

В частности, я пытаюсь удалить все символы, не являющиеся цифрами, я пробовал это до сих пор:

String number = "703-463-9281";
String number2 = number.replaceAll("[0-9]!", ""); // produces: "703-463-9281" (no change)
String number3 = number.replaceAll("[0-9]", "");  // produces: "--" 
String number4 = number.replaceAll("![0-9]", ""); // produces: "703-463-9281" (no change)
String number6 = number.replaceAll("^[0-9]", ""); // produces: "03-463-9281"