Проблема заключается в том, что путь к классам может содержать несколько корневых каталогов, поэтому отличать то, что можно хранить, было бы сложно без существующего файла или каталога.
Если у вас уже загружен файл.
File existingFile = ...;
File parentDirectory = existingFile.getParentFile();
new File(parentDirectory, "newProperties.properties");
В противном случае попробуйте получить дескриптор каталога, который, как вам известно, уникален в вашем каталоге ресурсов. (Не уверен, что это работает)
URL url = this.getClass().getResource("/parentDirectory");
File parentDirectory = new File(new URI(url.toString()));
new File(parentDirectory, "newProperties.properties");