Атомарный удаляют для большого объема файлов

В * nix перемещение файлов внутри одной файловой системы является очень недорогой операцией, она работает, заставляя жесткая ссылка на новое имя с последующим отключением исходного файла. Это даже не меняет время файлов.

Если бы вы могли переместить файлы в один каталог, то вы могли бы переименовать этот каталог, чтобы убрать его с пути, как по-настоящему атомарную операцию, а затем удалить файлы (и каталог) позже более медленным, неатомарным способом.

Вы уверены, что вам нужна не просто база данных? Все они имеют встроенные функции фиксации и отката транзакции.

Вместо перемещения файлов создайте символические ссылки во временном каталоге. Затем, если все в порядке, удалите файлы. Или просто составьте где-нибудь список файлов, а затем удалите их.

Я думаю, что вы действительно ищете возможность совершить транзакцию. Поскольку диск может записывать только один сектор за раз, вы можете удалять файлы только по одному. Что вам нужно, так это возможность откатить предыдущие удаления, если одно из удалений не произошло успешно. Подобные задачи обычно предназначены для баз данных. Может ли ваша файловая система выполнять транзакции, зависит от того, какую файловую систему и ОС вы используете. NTFS в Windows Vista поддерживает транзакционную NTFS . Я не совсем уверен, как это работает, но это может быть полезно.

Кроме того, существует нечто, называемое теневая копия для Windows, которая в мире Linux называется LVM Snapshot . По сути, это снимок диска в определенный момент времени. Вы можете сделать снимок непосредственно перед удалением, а в случае неудачи скопируйте файлы обратно из снимка. Я создал теневые копии с помощью WMI в VBScript, уверен, что аналогичные API существуют и для C / C ++.

Одна вещь о теневом копировании и LVM Snapsots. Работа над всем разделом. Таким образом, вы не можете сделать снимок только одного каталога. Однако создание снимка всего диска занимает всего пару секунд. Итак, вы бы сделали снимок. Удалите файлы, а затем, если это не удалось, скопируйте файлы обратно из моментального снимка. Это будет медленно, но в зависимости от того, как часто вы планируете откатиться, это может быть приемлемо. Другая идея - восстановить весь снимок. Это может быть хорошо, а может и не быть, так как откатит все изменения на всем диске. Плохо, если там находится ваша ОС или другие важные файлы. Если этот раздел содержит только файлы, которые вы хотите удалить, восстановление всего снимка может быть проще и быстрее.

Не могли бы вы просто создать список путей для удаления, записать этот список в файл to_be_deleted.log , убедиться, что файл попал на диск ( fsync () ), затем начните удалять. После того, как все удаления были выполнены, удалите журнал транзакций to_be_deleted.log .

При запуске приложения оно должно проверить наличие to_be_deleted.log и если он там есть, воспроизвести удаления в этом файле (игнорируя ошибку «не существует»).

Я думаю, что метод копирования с последующим удалением является в значительной степени стандартным способом сделать это. Знаете ли вы, что вы не можете мириться с дополнительным вводом-выводом?

Я бы не стал считать себя экспортом в файловые системы, но я мог бы предположить, что любая реализация для выполнения транзакции должна сначала попытаться выполнить выполнить все желаемые действия, а затем потребуется вернуться и зафиксировать эти действия. IE, вы не можете избежать выполнения большего количества операций ввода-вывода, чем неатомарное выполнение.

В Windows Vista или новее Transactional NTFS должна делать то, что вам нужно:

HANDLE txn = CreateTransaction(NULL, 0, 0, 0, 0, NULL /* or timeout */, TEXT("Deleting stuff"));
if (txn == INVALID_HANDLE_VALUE) {
  /* explode */
}
if (!DeleteFileTransacted(filename, txn)) {
  RollbackTransaction(txn); // You saw nothing.
  CloseHandle(txn);
  die_horribly();
}
if (!CommitTransaction(txn)) {
  CloseHandle(txn);
  die_horribly();
}
CloseHandle(txn);

Основной ответ на ваш вопрос "Нет". Более сложный ответ заключается в том, что для этого требуется поддержка файловой системы, и очень немногие файловые системы имеют такую ​​поддержку. Очевидно NT имеет транзакционную FS, которая поддерживает это. Возможно, BtrFS для Linux также будет поддерживать это.

В отсутствие прямой поддержки, я думаю, что жесткая ссылка, перемещение, удаление - лучшее, что вы можете получить.

Есть ли у вас уровень абстракции (например, база данных) для доступа к файлам? (Если ваше программное обеспечение обращается непосредственно к файловой системе, мое предложение неприменимо.)

Если условие «правильное» для удаления файлов, измените состояние на «удалено» на уровне абстракции и начните фоновое задание на « действительно «удалите их из файловой системы.

Конечно, это предложение требует определенных затрат при открытии / закрытии файлов, но позволяет сэкономить на вводе-выводе при создании символических ссылок и т. д.