Файлы с отображением памяти на C ++ [дубликат]

Карта памяти имеет потенциал для огромного преимущества по сравнению с традиционным IO. Он позволяет операционной системе считывать данные из исходного файла, когда затрагиваются страницы в файле с отображением памяти. Это работает путем создания страниц с ошибками, которые ОС обнаруживает, а затем ОС автоматически загружает соответствующие данные из файла.

Это работает так же, как механизм пейджинга, и обычно оптимизируется для высокоскоростного ввода-вывода путем считывания данных о границах и размерах системной страницы (обычно 4K) - размер, для которого оптимизированы большинство кэшей файловой системы.

Одна область, где я нашел mmap (), чтобы не быть преимуществом, - это чтение небольших файлов (до 16K). Накладные расходы на ошибку страницы для чтения всего файла были очень высокими по сравнению с простое выполнение одного системного вызова read (). Это связано с тем, что ядро ​​иногда может усвоить прочитанное полностью в вашем временном фрагменте, то есть ваш код не отключается. С ошибкой страницы казалось более вероятным, что другая программа будет запланирована, что сделает операцию файла более высокой.

mmap имеет преимущество, когда у вас есть случайный доступ к большим файлам. Другим преимуществом является то, что вы обращаетесь к нему с операциями памяти (memcpy, арифметикой указателей), не беспокоясь о буферизации. Обычный ввод-вывод иногда может быть довольно сложным при использовании буферов, когда у вас есть структуры, большие, чем ваш буфер. Код для обработки, который часто трудно получить, mmap обычно проще. Это говорит о том, что при работе с mmap есть определенные ловушки. Как уже упоминалось, mmap достаточно дорогостоящим, поэтому стоит использовать только для заданного размера (от машины к машине).

Для чистого последовательного доступа к файлу это также не всегда лучшее решение, хотя соответствующий вызов madvise может уменьшить проблему.

Вы должны быть осторожны с ограничения на выравнивание вашей архитектуры (SPARC, itanium), с IO для чтения / записи, буферы часто правильно выравниваются и не ловутся при разыменовании литого указателя.

Вы также должны быть осторожны, чтобы не получить доступ вне карты. Это легко осуществить, если вы используете строковые функции на своей карте, и ваш файл не содержит \ 0 в конце. Он будет работать большую часть времени, когда размер вашего файла не будет кратным размеру страницы, так как последняя страница заполнена 0 (отображаемая область всегда имеет размер кратного размера вашей страницы).

В дополнение к другим приятным ответам цитата из системного программирования Linux , написанная экспертом Google Робертом Лав:

Преимущества mmap( )

Манипулирование файлами через mmap( ) имеет несколько преимуществ перед стандартными системными вызовами read( ) и write( ). Среди них:

• Чтение и запись в файл с отображением памяти позволяет избежать посторонней копии, которая возникает при использовании системных вызовов read( ) или write( ), где данные должны быть скопированы в и из буфера пользовательского пространства.
• Помимо любых возможных ошибок страницы, чтение и запись в файл с отображением памяти не несет каких-либо системных вызовов или служебных сообщений коммутатора контекста. Это так же просто, как доступ к памяти.
• Когда несколько процессов сопоставляют один и тот же объект в памяти, данные распределяются между всеми процессами. Сопоставления только для чтения и совместного доступа доступны для совместного использования; частные записи, доступные для записи, имеют свои страницы с не-пока-COW (копирование на запись).
• Поиск вокруг отображения включает тривиальные манипуляции с указателями. Системный вызов lseek( ) не нужен.

По этим причинам mmap( ) является разумным выбором для многих приложений.

Недостатки mmap( )

При использовании mmap( ) следует иметь в виду несколько моментов:

• Отображения памяти всегда представляют собой целое число страниц в размере. Таким образом, разница между размером файла резервной копии и целым числом страниц «потеряна» в качестве незаполненного пространства. Для небольших файлов значительная часть картирования может быть потрачена впустую. Например, с страницами 4 КБ, 7-байтовое отображение отходов составляет 4089 байт.
• Отображения памяти должны вписываться в адресное пространство процесса. С 32-разрядным адресным пространством очень большое количество отображений различного размера может привести к фрагментации адресного пространства, что затрудняет поиск больших свободных смежных областей. Эта проблема, конечно, гораздо менее очевидна с 64-разрядным адресным пространством.
• В создании и обслуживании сопоставлений памяти и связанных структур данных внутри ядра возникают накладные расходы. Эти служебные данные, как правило, устраняются устранением двойной копии, упомянутой в предыдущем разделе, особенно для файлов с большими и часто доступными файлами.

По этим причинам преимущества mmap( ) наиболее важны реализуется при большом размере сопоставленного файла (и, следовательно, любое потраченное впустую пространство является небольшим процентом от общего сопоставления) или когда общий размер отображаемого файла равномерно делится на размер страницы (и, следовательно, нет пробельного пространства).