16
ответов

Станьте последними 10 строк файла очень крупного текста> 10 ГБ

Что является самым эффективным способом отобразить последние 10 строк файла очень крупного текста (этот конкретный файл составляет более чем 10 ГБ). Я думал о просто записи простого приложения C#, но я не уверен, как сделать...
вопрос задан: 14 December 2015 23:59
15
ответов

Большая загрузка файла

Internet Explorer имеет предел загрузки файла 4 ГБ (2 ГБ на IE6). Firefox не имеет этой проблемы (еще не протестировали сафари) (Больше информации здесь: http://support.microsoft.com/kb/298618) я работаю...
вопрос задан: 26 May 2019 04:16
15
ответов

Как можно связать два огромных файла с очень небольшим количеством пространства резервного диска? [закрытый]

Предположим, что у Вас есть два огромных файла (несколько ГБ), которые Вы хотите связать вместе, но что у Вас есть очень мало пространства резервного диска (скажем, пара сотни МБ). Таким образом, данный file1 и file2...
вопрос задан: 4 April 2014 18:47
15
ответов

Лучшая свободная поддержка текстового редактора *больше, чем* файлы на 4 ГБ? [закрытый]

Я ищу текстовый редактор, который сможет загрузить 4 + файл Гигабайта в него. Textpad не работает. Я владею копией его и был к ее сайту поддержки, это просто не делает этого. Возможно, мне нужно...
вопрос задан: 26 April 2011 20:02
11
ответов

Совет относительно обработки больших объемов данных

Таким образом, у меня есть "большое" количество "очень больших" ASCII-файлов числовых данных (гигабайты в целом), и моя программа должна будет обработать полноту их последовательно, по крайней мере, однажды. Любой совет относительно...
вопрос задан: 21 October 2015 08:44
11
ответов

Есть ли системы управления версиями, которые позволяют Вам постоянно удалять файлы?

Я должен сохранить под версией некоторые большие файлы (некоторые Концерты). Мне не нужно, и я не могу сохранить под версией всю версию файлов. Я хочу смочь удалить из моего VCS большую версию файлов в...
вопрос задан: 26 October 2014 18:27
11
ответов

Очень большие загрузки с PHP

Я хочу разрешить загрузку очень больших файлов в наше PHP-приложение (сто мегабайт - 8 гигабайт). Однако есть несколько проблем с этим. Браузер: HTML-загрузки имеют дерьмовый отзыв, нам нужно ...
вопрос задан: 14 March 2010 19:55
9
ответов

Как лучше всего использовать XPath с очень большими XML-файлами в.NET?

Я должен сделать некоторую обработку на довольно больших XML-файлах (большой сюда быть потенциально вверх гигабайта) в C# включая выполнение некоторого комплекса xpath запросы. Проблема, которую я имею, состоит в том что...
вопрос задан: 25 April 2010 04:23
9
ответов

Как я могу считать строки из конца файла в Perl?

Я работаю над сценарием Perl, чтобы прочитать файл CSV и сделать некоторые вычисления. Файл CSV имеет только два столбца, что-то как ниже. Один Два 1.00 44.000 3.00 55 000 Теперь этих файлов CSV являются очень большими, может быть...
вопрос задан: 19 March 2010 19:05
8
ответов

большой объем данных во многих текстовых файлах - как обработать?

У меня есть большие объемы данных (несколько терабайт) и накопление... Они содержатся во многих разграниченных вкладкой плоских текстовых файлах (каждый приблизительно 30 МБ). Большая часть задачи включает чтение данных и...
вопрос задан: 30 May 2010 07:01
8
ответов

Самый быстрый XML, обрабатывающий в Delphi для очень больших документов

Мне нужны рекомендации на том, что использовать в Delphi (я использую Delphi 2009) обработать очень большие XML-файлы (например, 100 МБ) максимально быстро. Я должен ввести XML, доступ и обновить данные в нем от...
вопрос задан: 19 March 2010 19:01
8
ответов

Чтение огромного файла в Python

У меня есть текстовый файл 384 МБ с 50 миллионами строк. Каждая строка содержит 2 разделенных пробелом целых числа: ключ и значение. Файл отсортирован по ключу. Мне нужен эффективный способ искать значения списка...
вопрос задан: 14 March 2010 20:25
8
ответов

Как просканировать через действительно огромные файлы на диске?

Рассматривая действительно огромный файл (возможно, больше чем 4 ГБ) на диске, я хочу просканировать через этот файл и вычислить, времена определенного двоичного шаблона происходит. Моя мысль: Используйте файл с отображенной памятью (...
вопрос задан: 14 March 2010 20:25
7
ответов

Другие редакторы сценариев?

Я ' Мне просто интересно, какие редакторы вы знаете, и какие из них «поддерживают сценарии». Например, возьмем Emacs, действительно можно сказать, что вы можете делать все из редактора: писать, читать, программировать. Все с "...
вопрос задан: 29 October 2010 06:10
7
ответов

Что лучший способ состоит в том, чтобы синхронизировать большие объемы данных во всем мире?

У меня есть много данных для хранения синхронизируемым более чем 4 или 5 сайтов во всем мире, приблизительно половина терабайта на каждом сайте. Это изменяется (или добавляет или изменения) приблизительно на 1,4 гигабайта в день, и...
вопрос задан: 19 March 2010 19:04
6
ответов

оптимизация sed (большая модификация файла на основе меньшего набора данных)

Я действительно должен иметь дело с очень большими файлами простого текста (более чем 10 гигабайтов, да я знаю, что это зависит, что мы должны назвать большим), с очень длинными строками. Моя новая задача включает некоторое базирующееся редактирование стр
вопрос задан: 5 November 2015 10:12
6
ответов

Как я могу вставить большие файлы в дб MySQL с помощью PHP?

Я хочу загрузить большой файл максимального размера 10 МБ к моей базе данных MySQL. Используя .htaccess я изменил собственный предел загрузки файла PHP "10485760" = 10 МБ. Я могу загрузить файлы до 10 МБ ни с кем...
вопрос задан: 27 July 2015 17:15
6
ответов

Чтение файлов крупного текста с потоками в C#

У меня есть прекрасная задача разработки, как обработать большие файлы, загружаемые в редактор сценариев нашего приложения (это похоже на VBA для нашего внутреннего продукта для быстрых макросов). Большинство файлов - приблизительно 300-...
вопрос задан: 28 June 2015 21:59
6
ответов

Двоичный поиск в отсортированном (отображенном в памяти?) Файле в Java

Я изо всех сил пытаюсь перенести программу на Perl на Java и изучаю Java по ходу дела. Центральным компонентом исходной программы является модуль Perl, который выполняет поиск по строковому префиксу в отсортированном текстовом файле +500 ГБ ...
вопрос задан: 17 November 2011 17:15
6
ответов

Мультилиния regex ищет в целом файле

Я нашел загрузки примеров на заменить текст в файлах с помощью regex. Однако все это сводится к двум версиям: 1. Выполните итерации по всем строкам в файле и примените regex к каждой одной строке 2. Загрузка...
вопрос задан: 19 March 2010 15:52
6
ответов

Существует ли память эффективный и быстрый способ загрузить большие json файлы в Python?

У меня есть некоторые json файлы с 500 МБ. Если я буду использовать "тривиальный" json.load для загрузки его содержания внезапно, то он использует большую память. Существует ли способ считать частично файл? Если это был текст...
вопрос задан: 14 March 2010 20:15
5
ответов

Что является самым быстрым способом создать контрольную сумму для больших файлов в C#

Я должен синхронизировать большие файлы через некоторые машины. Файлы могут составить до 6 ГБ в размере. Синхронизация будет сделана вручную каждые несколько недель. Я не могу принять имя файла во внимание, потому что они могут измениться...
вопрос задан: 1 October 2019 02:49
5
ответов

Чтение очень больших файлов в PHP

fopen перестал работать, когда я пытаюсь читать в очень умеренно размерном файле в PHP. 6 meg файлов заставляют его дросселировать, хотя меньшие файлы вокруг 100k очень хорошо. я считал, что это иногда необходимо для...
вопрос задан: 5 June 2015 22:00
5
ответов

Проблемы с ОГРОМНЫМИ XML-файлами

У меня есть 16 больших XML-файлов. Когда я говорю Большой, говорю я в гигабайтах. Один из этих файлов составляет более чем 8 ГБ. Несколько из них - более чем 1 ГБ. Они даны мне от внешнего поставщика. Я пробую...
вопрос задан: 6 August 2010 17:33
5
ответов

Количество строк в файле в Java

Я использую огромные файлы данных, иногда я только должен знать количество строк в этих файлах, обычно я открываю их и читаю их линию за линией, пока я не достигаю конца файла, я задавался вопросом если там...
вопрос задан: 4 April 2010 06:35
5
ответов

Поиск и чтение больших файлов в приложении C++ Linux

Я сталкиваюсь с целочисленным переполнением с помощью стандарта ftell и fseek опций в G ++, но я предполагаю, что ошибался, потому что кажется, что ftell64 и fseek64 не доступны. Я был...
вопрос задан: 19 March 2010 19:11
5
ответов

Загрузите большие файлы в.NET

Я внес свою лепту исследования для нахождения компонента загрузки для.NET, которую я могу использовать для загрузки больших файлов, имею индикатор выполнения и могу возобновить загрузку больших файлов. Я столкнулся с некоторыми...
вопрос задан: 19 March 2010 19:09
5
ответов

Python: Как считать огромный текстовый файл в память

Я использую Python 2.6 на Mac, Мини-с 1 ГБ RAM. Я хочу читать в огромном $ текстового файла ls-l links.csv; файл links.csv; хвост links.csv-rw-r - r - 1 пользовательский пользователь 469904280 30 ноября 22:42 links.csv ссылки....
вопрос задан: 14 March 2010 20:29
5
ответов

Лучший способ обработать большой XML в PHP [дубликат]

Я должен проанализировать большие XML-файлы в php, один из них - 6,5 МБ, и они могли быть еще больше. Расширение SimpleXML, поскольку я читал, загружает весь файл в объект, который не может быть очень эффективным....
вопрос задан: 14 March 2010 19:57
4
ответа

Как я загружаю большой файл (через HTTP) в.NET?

Я должен загрузить большой файл (2GB) по HTTP в консольном приложении C#. Проблема, приблизительно после 1.2 ГБ, выполнение приложения из памяти. Вот код, который я использую: WebClient...
вопрос задан: 1 August 2015 20:46