Как иметь файл контрольной точки с помощью mmap, который только синхронизируется к диску вручную

Все, что вы записываете в память в рамках сопоставления MAP_SHARED файла, считается записанным в файл в то время, как если бы вы использовали ] write () . msync () в этом смысле полностью аналогичен fsync () - он просто гарантирует, что изменения, которые вы уже внесли в файл, будут фактически перенесены на постоянное место. место хранения. Вы не можете это изменить - так определяется работа mmap () .

В общем, безопасный способ сделать это - записать полную непротиворечивую копию данных во временный файл, синхронизировать временный файл, а затем атомарно переименовать его по сравнению с предыдущим файлом контрольной точки.Это единственный способ гарантировать, что сбой между контрольными точками не приведет к возникновению несогласованного файла. Любое решение, которое делает меньше копирования, потребует как более сложного формата файла в стиле журнала транзакций, так и будет более навязчивым для остальной части вашего приложения (требуя, чтобы определенные хуки вызывались в каждом месте, где изменяется состояние в памяти) .

Как уже говорили другие респонденты, я не думаю, что существует переносимый способ сделать то, что вы хотите, без копирования. Если вы хотите сделать это в специализированной среде, где вы можете контролировать ОС и т.д., вы можете сделать это в Linux с файловой системой btrfs.

btrfs поддерживает новую операцию reflink(), которая, по сути, является копированием файловой системы по записи. Вы можете reflink() ваш файл во временный при запуске, mmap() временный, затем msync() и reflink() временный обратно в исходный для контрольной точки.

Я сильно подозреваю, что это не может быть использовано какой-либо ОС, но было бы возможно для ОС заметить оптимизацию для:

int fd = open("file", O_RDWR | O_SYNC | O_DIRECT);

size_t length = get_lenght(fd);

uint8_t * map_addr = mmap(NULL, length, PROT_READ | PROT_WRITE, MAP_PRIVATE, fd, 0);

...

// This represents all of the changes that could possibly happen before you
// want to update the on disk file.
change_various_data(map_addr);

if (is_time_to_update()) {
   write(fd, map_addr, length);
   lseek(fd, 0, SEEK_SET);
   // you could have just used pwrite here and not seeked
}

Причины, по которым ОС может, возможно, использовать это в том, что пока вы не записываете на определенную страницу (и никто другой тоже не записывает), ОС, вероятно, просто использует фактическую страницу файла в этом месте как своп для этой страницы.

Затем, когда вы записывали на некоторый набор этих страниц, ОС копировала на записывала эти страницы для вашего процесса, но при этом сохраняла незаписанные страницы в резервной копии исходного файла.

Затем, при вызове write ОС могла заметить, что запись была выровнена по блокам как в памяти, так и на диске, а затем она могла заметить, что некоторые страницы исходной памяти уже синхронизированы с теми страницами файловой системы, на которые они записывались, и записать только те страницы, которые изменились.

Учитывая все вышесказанное, я не удивлюсь, если эта оптимизация не выполняется ни в одной ОС, и такой код в итоге получается очень медленным и вызывает много записей на диск при вызове 'write'. Было бы здорово, если бы этим воспользовались.