Заменить строку в файле, если строка начинается с другой строки

вместо этого использует FileWriter.

FileWriter(File file, boolean append)

второй аргумент в конструкторе сообщает FileWriter добавлять любой файл в файл, а не перезаписывать его.

вот некоторые код для вашего примера:

File log = new File("log.txt")

try{
    if(!log.exists()){
        System.out.println("We had to make a new file.");
        log.createNewFile();
    }

    FileWriter fileWriter = new FileWriter(log, true);

    BufferedWriter bufferedWriter = new BufferedWriter(fileWriter);
    bufferedWriter.write("******* " + timeStamp.toString() +"******* " + "\n");
    bufferedWriter.close();

    System.out.println("Done");
} catch(IOException e) {
    System.out.println("COULD NOT LOG!!");
}