12
ответов
Что самый быстрый путь состоит в том, чтобы считать файл на 10 ГБ из диска?
Мы должны считать и считать различные типы сообщений/выполнения некоторой статистикой по текстовому файлу на 10 ГБ, например, журналом механизма FIX. Мы используем Linux, 32-разрядный, 4 центральных процессора, Intel, кодирующая в Perl, но язык не делает.
вопрос задан: 12 October 2009 16:47
9
ответов
mmap () по сравнению с чтением блоков
Я работаю над программой, которая будет обрабатывать файлы, которые могли потенциально составить 100 ГБ или больше в размере. Файлы содержат наборы записей переменной длины. У меня есть первая реализация и...
вопрос задан: 16 June 2016 03:59
8
ответов
проблема mmap, выделяет огромные объемы памяти
Я получил некоторые огромные файлы, которые я должен проанализировать, и люди рекомендовали mmap, потому что это должно избежать необходимости выделять весь файл, в оперативной памяти. Но рассмотрение 'вершины', действительно похоже, что я...
вопрос задан: 29 December 2009 03:48
8
ответов
Производительность Linux/perl mmap
Я пытаюсь оптимизировать обработку больших наборов данных с помощью mmap. Набор данных находится в диапазоне гигабайта. Идея была к mmap целым файлом в память, позволяя нескольким процессам работать над набором данных...
вопрос задан: 27 June 2009 12:50
7
ответов
Почему mmap Python не работает с большими файлами?
[Редактирование: Эта проблема применяется только к 32-разрядным системам. Если Ваш компьютер, Ваша ОС и Ваша реализация Python являются 64-разрядными, то mmap-луг огромные работы файлов надежно и чрезвычайно эффективен.] Я...
вопрос задан: 31 January 2017 19:36
6
ответов
Почему не делает POSIX mmap, возвращают энергозависимую пустоту*?
Mmap возвращает пустоту*, но не энергозависимый void*. Если я использую mmap для отображения общей памяти, то другой процесс мог писать в ту память, что означает два последующих чтения от той же памяти...
вопрос задан: 8 July 2010 20:28
6
ответов
Насколько большой файл с отображенной памятью может быть?
Что ограничивает размер файла с отображенной памятью? Я знаю, что это не может быть больше, чем самый большой непрерывный блок освобожденного адресного пространства, и что должно быть достаточно свободного пространства на диске. Но есть ли...
вопрос задан: 7 April 2009 16:04
5
ответов
Исследование отображенных адресов с помощью GDB
Я использую драйвер, я отправил при Прямом доступе к памяти в Linux к mmap некоторый физический поршень в адрес пространства пользователя. Однако я не могу использовать GDB для рассмотрения любого адреса; т.е. x 0x12345678 (где...
вопрос задан: 23 May 2017 12:18
5
ответов
Может грязь страниц mmap быть найденной от пространства пользователя?
Может грязь страниц (необщего) mmap быть полученной доступ от пространства пользователя в соответствии с Linux 2.6.30 +? Определенные для платформы взломы и приветствующиеся клуджи. Идеально, я ищу массив битов, один на страницу (...
вопрос задан: 17 June 2010 09:57
5
ответов
Как к mmap стек для клона () системный вызов на Linux?
Клон () системный вызов на Linux берет параметр, указывающий на стек для нового созданного потока для использования. Очевидный способ сделать это только к malloc некоторое пространство, и передайте это, но затем Вы имеете...
вопрос задан: 4 July 2009 23:30
5
ответов
Файлы с отображением памяти на C ++ [дубликат]
Я хочу использовать файлы сопоставления памяти для данных, которые я читаю только один раз. В настоящее время я использую: FILE * f = fopen ("data.dat", "rb"); fseek (f, 0L, SEEK_END); size_t fileSize = ftell (f); fseek (f, 0L, SEEK_SET) ...
вопрос задан: 3 November 2008 08:56
4
ответа
mmap не работает в ассемблере [дубликат]
Я написал 2 одинаковых кода в asm и c ++. ASM PROT_READ equ 1; Страница может быть прочитана. * / PROT_WRITE equ 2; Страница может быть написана. * / PROT_EXEC ...
вопрос задан: 3 October 2017 03:03
4
ответа
Файл Python Хлебает w/преобразование порядка байтов
Недавно попросили, как сделать, файл хлебает в Python, и принятый ответ предложил что-то как: с открытым ('x.txt') как x: f = x.read (), Как я пошел бы о выполнении этого для чтения файла в...
вопрос задан: 23 May 2017 10:33
4
ответа
Реализации malloc возвратят память свободного редактора назад системе?
У меня есть долго живущее приложение с частым освобождением выделения памяти. Какая-либо malloc реализация возвратит освобожденную память назад системе? Что является, в этом отношении, поведением:...
вопрос задан: 11 November 2011 05:27
4
ответа
То, как обменяться данными между Python, обрабатывает, не пишущий в диск
Helllo, я хотел бы совместно использовать небольшие объемы данных (<1K) между Python и процессами. Данные являются физическим ПК/104 данные IO, которые изменяются быстро и часто (24x7x365). Будет сингл "...
вопрос задан: 8 October 2010 18:56
4
ответа
Как иметь файл контрольной точки с помощью mmap, который только синхронизируется к диску вручную
Мне нужен самый быстрый способ периодически синхронизировать файл с памятью. То, что я думаю, что хотел бы, должно иметь mmap'd файл, который является только sync'd к диску вручную. Я не уверен, как предотвратить любого автоматического...
вопрос задан: 30 June 2010 04:34
4
ответа
Действительно ли возможно сохранить указатели в общей памяти, не используя смещения?
При использовании общей памяти каждый процесс может mmap общий регион в другую область его соответствующего адресного пространства. Это означает, что при хранении указателей в общем регионе, Вы должны...
вопрос задан: 22 March 2010 04:21
4
ответа
Два приложения C++, совместно использующие регион только для чтения памяти на Linux
У меня есть два процесса P1 и P2. У меня есть этот большой ресурс только для чтения, названный "R", к которому я хочу, чтобы и P1 и P2 имели доступ. R не является просто "плоской" группой байтов; это - набор объектов C++ это...
вопрос задан: 18 January 2010 06:33
4
ответа
Shmem по сравнению с tmpfs по сравнению с [закрытым] mmap
Делает кто-то знает, как хорошо следующие 3 выдерживают сравнение с точки зрения скорости: общая память tmpfs (/dev/shm) mmap (/dev/shm) Спасибо!
вопрос задан: 24 May 2009 21:43
3
ответа
Смещение для mmap () должно быть выровнено по странице [дублировать]
Я прошел через руководство по функции mmap и наткнулся на эту строку: pa_offset = offset & amp; ~ (sysconf (_SC_PAGE_SIZE) - 1); / * смещение для mmap () должно быть выровнено по странице * / Я думаю, что я ...
вопрос задан: 9 April 2014 19:08
3
ответа
Почему делает mmap (), перестали работать с ENOMEM на редком файле на 1 ТБ?
Я работал с большими редкими файлами на openSUSE 11.2 x86_64. Когда я пробую к mmap () редкий файл на 1 ТБ, он перестал работать с ENOMEM. Я думал бы, что 64 бита адресного пространства будут соответствовать...
вопрос задан: 26 May 2010 03:31
3
ответа
Malloc против Mmap в C
Я создал две программы, одну из которых использует malloc, а другую - mmap. Время выполнения с использованием mmap намного меньше, чем с использованием malloc. Я знаю, например, что когда вы используете mmap, вы избегаете чтения / записи ...
вопрос задан: 15 November 2009 23:41
3
ответа
Linux внутренности MMAP
У меня есть несколько вопросов относительно mmap реализации в системах Linux, которые, кажется, очень не документируются: При отображении файла на память с помощью mmap, как Вы обработали бы упреждающую выборку...
вопрос задан: 15 April 2009 15:20
3
ответа
То, как совместно использовать кэш APC между несколькими PHP, обрабатывает при выполнении под FastCGI?
Я в настоящее время выполняю несколько копий PHP/FastCGI с включенным APC (под Apache+mod_fastcgi, если это имеет значение). Я могу совместно использовать кэш между процессами? Как я могу проверить, совместно используется ли это уже? (...
вопрос задан: 28 February 2009 18:35
2
ответа
Какие значения хранятся в неиспользуемом пространстве памяти?
Я использую mmap (), чтобы выделить 4096 длин памяти из / dev / zero, и я нахожу, что я все еще могу получить доступ к памяти из этого пространства (например, start_pt - указатель, который указывает на пространство, и я могу ...
вопрос задан: 2 March 2019 03:26
2
ответа
Действительно ли в Дарвине нет mremap?
Я пытаюсь чтобы узнать, как переназначить отображенные в памяти файлы на Mac (когда я хочу расширить доступное пространство). Я вижу, что у наших друзей в мире Linux есть mremap, но я не могу найти такую функцию в ...
вопрос задан: 20 March 2012 07:54
2
ответа
Когда я должен использовать mmap для доступа к файлу?
Среды POSIX обеспечивают по крайней мере два способа получить доступ к файлам. Существуют стандартные открытые системные вызовы (), читайте (), запишите (), и друзья, но существует также опция использования mmap () для отображения файла...
вопрос задан: 2 November 2008 21:56
1
ответ
Linux сразу же выделяет память для процесса после mmap ()?
Я читаю исходный код mmap () и обнаружил, что ядро Linux сделает карту файлов в структуре vma. vma представляет только области памяти. Итак, будет ли ОС немедленно выделять физическую память ...
вопрос задан: 15 January 2019 13:42
1
ответ
Что если я буду выделять память с помощью mmap вместо malloc?
Каковы недостатки выделения памяти с помощью mmap (с MAP_PRIVATE и MAP_ANONYMOUS) по сравнению с malloc? Для данных в области видимости функции я бы в любом случае использовал стековую память и поэтому не malloc.
...
вопрос задан: 15 January 2012 13:38
1
ответ
Changing the filename of a memory mapped file
Is it possible to change the name of an already open memory mapped file,
или мне нужно закрыть его, переименовать, а затем снова отобразить его?
вопрос задан: 23 August 2010 04:27