0
ответов
Как можно отслеживать, какая часть большого файла изменилась
Есть ли решение для ядра Linux 3.0 (или новее), которое позволяет получать уведомления, подобные inotify, описывающие определенный сегмент файла, который был изменен? Был патч fschange до ...
вопрос задан: 30 April 2012 23:31
0
ответов
Обработка больших файлов на C#
У меня есть файл размером 4 Гб, в котором я хочу выполнить поиск и замену на основе байтов. Я написал простую программу, чтобы сделать это, но это занимает слишком много времени (90 минут + ), чтобы выполнить только один поиск и замену. Несколько шестнадц
вопрос задан: 30 April 2012 17:17
0
ответов
Разбор больших текстовых файлов, измененных на лету
Мне нужно разобрать большой файл CSV в реальном -времени, пока он модифицируется (с добавлением )другой процесс. Под большим я подразумеваю ~20 ГБ на данный момент и постепенно увеличивается. Приложению нужно только...
вопрос задан: 27 April 2012 11:41
0
ответов
Разбор большого (20 ГБ )текстового файла с помощью python -чтение в 2 строки как 1
Я разбираю файл размером 20 ГБ и вывожу строки, соответствующие определенному условие в другой файл, однако иногда python читает 2 строки сразу и объединяет их. inputFileHandle = open (...
вопрос задан: 19 April 2012 02:30
0
ответов
Очень большой zip-файл (> 50 ГБ)--> ZipException:недопустимый заголовок CEN
Я пытаюсь открыть ZIP-файл в JAVA. Приведенный ниже код работает нормально, за исключением некоторых больших файлов, и в этом случае я получаю следующее исключение :Исключение в потоке "main" java.util.zip.ZipException :...
вопрос задан: 10 April 2012 20:52
0
ответов
Работаете с большим количеством данных и растров в R?
Добрый день, я работаю с большим набором данных с ~125 000 местоположений долготы/широты с датой, для записей присутствия/отсутствия видов. Потому что в каждом месте я хочу выяснить, какая погода была в каждом...
вопрос задан: 7 April 2012 00:14
0
ответов
Как аккуратно обрабатывать исходный код и данные в репозитории
Я работаю над совместным научным проектом, который состоит из нескольких Скрипты Python (максимум 1 млн) и относительно большой набор данных (1,5 ГБ). Наборы данных тесно связаны с Python ...
вопрос задан: 10 March 2012 11:34
0
ответов
Низкая производительность при работе с большими списками Java
Я пытаюсь прочитать большой текстовый блок в память с помощью Java. В какой-то момент он ударяется о стену, и просто бесконечно накапливается мусор. Я хотел бы знать, есть ли у кого-нибудь опыт победы над сборщиком мусора Java в...
вопрос задан: 7 March 2012 15:42
0
ответов
Запись больших файлов с помощью Node.js
Я пишу большой файл с помощью node.js, используя доступный для записи поток: var fs = require ('fs');
var stream = fs.createWriteStream ('someFile.txt', {флаги: 'w'}); var lines;
while (lines = getLines ()) {
...
вопрос задан: 28 February 2012 17:28
0
ответов
Парсинг большого файла с помощью SaxMachine, кажется, загружает весь файл в память
У меня есть xml файл размером 1.6gb, и когда я разбираю его с помощью Sax Machine, он не кажется потоковым или съедающим файл по частям - скорее он кажется загружающим весь файл в память (или, может быть, там ...
вопрос задан: 9 February 2012 00:49
0
ответов
Загрузка файлов размером более 2Gb в IIS 8 / ASP.NET 4.5?
Мне нужно загрузить 10Gb файлов в IIS одним куском. Насколько я знаю, IIS 7.x / ASP.NET 4.0 не поддерживает загрузку файлов размером более 2Gb (некоторые говорят о 4Gb). Исправлено ли это в IIS 8 / ASP.NET 4.5?
вопрос задан: 24 January 2012 16:55
0
ответов
Как объединить пары последовательных строк в большой файл (1 миллион строк) с помощью vim, sed или другого аналогичного инструмента?
Мне нужно переместить содержимое каждой второй строки вверх на строку выше, так чтобы данные line2 находились рядом с line1, работами, разделенными запятыми или пробелами. Вход: строка1 строка2 строка3 строка4 Выход: ...
вопрос задан: 20 December 2011 10:31
0
ответов
Падение производительности с fputs после записи более 2,5 ГБ. Почему?
В настоящее время я работаю над небольшой программой, которая читает большие файлы и сортирует их. После некоторого тестирования я наткнулся на странную проблему с производительностью. Когда входной файл стал большим, запись ...
вопрос задан: 16 November 2011 09:08
0
ответов
Нужна помощь в разработке для алгоритма поиска более эффективным способом
У меня есть проблема, которая включает в себя область биологии. Прямо сейчас у меня есть 4 очень больших файлов (каждый с 0,1 миллиарда линий), но структура довольно проста, каждая строка этих файлов имеет только 2 поля, оба ...
вопрос задан: 9 September 2011 04:07
0
ответов
Скорость чтения текстового файла c ++
Я пытаюсь перенести программу с C # на C ++.
Программа на C # считывает текстовый файл размером от 1 до 5 ГБ построчно и выполняет некоторый анализ каждой строки.
Код C # приведен ниже. using (var f = File.OpenRead (...
вопрос задан: 23 August 2011 05:34
0
ответов
Поиск строки в большом текстовом файле - профилирование различных методов в python
Этот вопрос задавали много раз. Потратив некоторое время на чтение ответов, я провел небольшое профилирование, чтобы опробовать различные методы, упомянутые ранее ... У меня есть файл 600 МБ с ...
вопрос задан: 6 June 2011 10:20
0
ответов
Отображение огромных объемов данных
В настоящее время мы используем ZedGraph, чтобы рисовать линейный график некоторых данных. Входные данные поступают из файла произвольного размера, поэтому мы заранее не знаем, какое максимальное количество точек данных. ...
вопрос задан: 8 May 2011 07:34
0
ответов
Сбой Python при вычислении хэшей SHA-1 для больших файлов в ОС Windows
Мне интересно, могу ли я свежим взглядом взглянуть на этот скрипт Python. Он отлично работает с файлами малого и среднего размера, но с большими (4-8 ГБ или около того) он по необъяснимым причинам вылетает после запуска в течение ...
вопрос задан: 2 April 2011 19:01
0
ответов
Чтение и отображение данных, считываемых из огромных файлов
У нас есть довольно большие файлы, порядка 1–1,5 ГБ вместе (в основном файлы журналов) с необработанными данными, которые легко анализируются в CSV, который впоследствии предполагается построить в виде графика для создания набора графиков ...
вопрос задан: 29 March 2011 12:53
0
ответов
Обнаружение изменений между 2 ОГРОМНЫМИ (текстовыми) файлами зоны
У меня есть доступ к файлам зоны .com. Файл зоны - это текстовый файл со списком доменных имен и их серверов имен. Он имеет такой формат, как: mydomain NS ns.mynameserver.com.
mydomain NS ns2 ....
вопрос задан: 22 March 2011 13:30
0
ответов
Загрузка большого файла через html-форму (более 2 ГБ)
Есть ли способ загрузить файл размером более 2 ГБ, используя простую загрузку HTML-формы? Раньше я загружал большие файлы через silverlight, используя фрагменты (разделение большого файла на сегменты и ...
вопрос задан: 19 February 2011 20:42
0
ответов
Каков самый быстрый способ отправить большой двоичный файл с одного компьютера на другой через Интернет?
Мне нужно отправить большие двоичные данные (2–10 ГБ) с одного компьютера (клиента) на другой компьютер (сервер) через интернет. Сначала я попытался использовать службу WCF, размещенную в IIS, используя привязку wsHttpBinding с безопасностью сообщений ..
вопрос задан: 14 February 2011 09:51
0
ответов
Эффективное чтение больших текстов в C ++
Мне нужно прочитать большой текстовый файл (> 10 ГБ) в C ++. Это файл csv со строками переменной длины. когда я пытаюсь читать построчно с помощью ifstream, это работает, но занимает много времени, я думаю, это потому, что ...
вопрос задан: 1 February 2011 06:05
0
ответов
Как я могу эффективно прочитать первые несколько строк из многих файлов в Delphi
У меня есть функция «Найти файлы» в моей программе, которая найдет текстовые файлы с суффиксом .ged, которые я программа читает. Я отображаю найденные результаты в окне, похожем на проводник, которое выглядит следующим образом: Я использую ...
вопрос задан: 1 February 2011 03:44
0
ответов
наиболее эффективный способ найти частичные совпадения строк в большом файле строк (python)
Я загрузил файл заголовков статей из Википедии, который содержит название каждой статьи в Википедии. Мне нужно найти все названия статей, которые могут быть подходящими. Например, я мог бы ...
вопрос задан: 29 January 2011 21:36
0
ответов
Есть ли способ читать и записывать файлы в памяти в R?
Я пытаюсь использовать R для анализа больших файлов последовательностей ДНК (файлов fastq, несколько гигабайт каждый), но стандартный интерфейс R для этих файлов (ShortRead) должен читать весь файл сразу. Это не ...
вопрос задан: 24 January 2011 15:39
0
ответов
numpy: эффективное чтение большого массива
У меня есть двоичный файл, который содержит плотную матрицу n * m 32- бит плавает. Какой самый эффективный способ прочитать его в массиве numpy, упорядоченном по Фортрану? Размер файла составляет несколько гигабайт. Я добираюсь до ...
вопрос задан: 6 December 2010 16:08
0
ответов
java.io. RandomAccessFile Недопустимый аргумент для больших файлов на Mac
Я запускаю программу, которой требуется произвольный доступ к очень большому файлу (примерно 151 гигабайт). Я обнаружил, что всякий раз, когда он запускается на одной из машин MacPro в лаборатории Orchard (подробности на http: ...
вопрос задан: 5 December 2010 20:08
0
ответов
Просмотр файла в emacs, размер которого превышает максимальный размер буфера
Можно ли одновременно просматривать часть файла? Кстати, я использую 64-битную Ubuntu
вопрос задан: 29 November 2010 18:45
0
ответов
Как прочитать большой CSV-файл с помощью класса Scala Stream?
Как мне прочитать большой CSV-файл (> 1 Гб) с помощью Scala Stream? У вас есть пример кода? Или вы бы использовали другой способ чтения большого файла CSV, не загружая его сначала в память?
вопрос задан: 23 November 2010 10:23