Сначала вам нужно закрыть файл, используя fclose($handle);, он не удаляется, потому что файл используется. Поэтому сначала закройте файл, а затем попробуйте.
fclose($handle);