11
ответов
Совет относительно обработки больших объемов данных
Таким образом, у меня есть "большое" количество "очень больших" ASCII-файлов числовых данных (гигабайты в целом), и моя программа должна будет обработать полноту их последовательно, по крайней мере, однажды. Любой совет относительно...
вопрос задан: 21 October 2015 08:44
10
ответов
Самый быстрый способ искать 1 ГБ + строка данных для первого вхождения шаблона в Python
Существует строка на 1 гигабайт произвольных данных, которые можно принять для эквивалента чему-то как: 1_gb_string=os.urandom (1*gigabyte) Мы будем искать эту строку, 1_gb_string, для...
вопрос задан: 25 April 2017 17:11
9
ответов
Что, если 2^32 просто недостаточно?
что, если у Вас есть столько записей в таблице, это 2^32 недостаточно для Вашего auto_increment идентификатора в установленном сроке (день, неделя, месяц...)? Что, если самый большой MySQL типа данных обеспечивает, недостаточно?...
вопрос задан: 2 September 2009 19:40
8
ответов
большой объем данных во многих текстовых файлах - как обработать?
У меня есть большие объемы данных (несколько терабайт) и накопление... Они содержатся во многих разграниченных вкладкой плоских текстовых файлах (каждый приблизительно 30 МБ). Большая часть задачи включает чтение данных и...
вопрос задан: 30 May 2010 07:01
8
ответов
Можно ли изменить argv или мне нужно создать настроенную копию?
Моему приложению может быть передано огромное количество аргументов, и я хочу избежать попадания в память дублирующих аргументы в отфильтрованный список. Я хотел бы отфильтровать их на месте, но я ...
вопрос задан: 8 June 2009 05:14
7
ответов
Самый быстрый путь к вставке очень большого количества записей в Таблицу в SQL
Проблема, у нас есть огромное количество записей (больше чем миллион), чтобы быть вставленными в единственную таблицу из JAVA-приложения. Записи создаются кодом Java, это не перемещение от...
вопрос задан: 4 May 2010 14:15
6
ответов
Как ограничить пропускную способность, используемую mysqldump
Я должен вывести большую базу данных по сетевому каналу, который не имеет так большого количества пропускной способности, и другие люди должны использовать одновременно. Если я пробую его, это впитывает всю пропускную способность, и задержка взлетает и...
вопрос задан: 1 May 2015 13:25
6
ответов
Большой первичный ключ: 1 + миллиард MySQL строк + InnoDB?
Я задавался вопросом, будет ли InnoDB лучшим способом отформатировать таблицу? Таблица содержит одно поле, первичный ключ, и таблица получит 816k строки день (оценка).. Это станет очень большим очень быстрый! Я...
вопрос задан: 21 March 2014 22:20
6
ответов
Как избежать OOM (Из памяти) ошибка при получении всех записей от огромной таблицы?
Мне дают задачу преобразовать огромную таблицу в пользовательский XML-файл. Я буду использовать Java для этого задания. Если я просто выпускаю "ВЫБОР * ОТ клиента", он может возвратить огромный объем данных это в конечном счете...
вопрос задан: 1 February 2014 20:26
6
ответов
Эффективно хранение 7.300.000.000 строк
Как Вы занялись бы следующим устройством хранения данных и проблемой извлечения? Примерно 2 000 000 строк будут добавляться каждый день (365 дней/год) со следующей информацией на строку: идентификатор (уникальный идентификатор строки)...
вопрос задан: 20 March 2009 12:44
5
ответов
Как загрузить 1 миллион записей из базы данных быстро?
Теперь у нас есть firebird база данных с 1.000.000, который должен быть обработан, в конце концов, загружаются в Оперативной памяти. Для получения всех тех, мы должны извлечь использование данных (выбор * сначала 1000...) в течение 8 часов. Что...
вопрос задан: 20 April 2010 17:10
5
ответов
Практические ограничения размера для RDBMS
Я работаю над проектом, который должен сохранить очень большие наборы данных и связанные справочные данные. Я никогда не сталкивался с проектом, который потребовал таблиц вполне это большое. Я доказал это по крайней мере один...
вопрос задан: 7 April 2010 00:49
5
ответов
структура таблиц mysql - одна очень большая таблица или отдельные таблицы?
Я работаю над проектом, который подобен по своей природе анализу посетителя веб-сайта. Это будет использоваться 100 с веб-сайтов со средним числом 10 000 с к 100 000 просмотров страницы с в день каждый так, что сумма данных будет...
вопрос задан: 21 July 2009 18:30
4
ответа
Альтернативы огромным выпадающим спискам (24,000 + объекты)
В моем администраторском разделе, когда я редактирую объекты, я должен присоединить каждый объект к родительскому элементу. У меня есть список более чем 24 000 родительских элементов, которые перечислены в алфавитном порядке в выпадающем списке (список му
вопрос задан: 3 August 2010 21:26
4
ответа
Используя ScrollableResults Hibernate для медленного чтения 90 миллионов записей
Я просто должен читать, каждая строка в таблице в моем использовании базы данных MySQL В спящем режиме и пишут файл на основе его. Но существует 90 миллионов строк, и они являются довольно большими. Таким образом, это походило на следующее...
вопрос задан: 13 May 2010 07:25
4
ответа
Обработка апача регистрируется быстро
Я в настоящее время запускаю awk скрипт для обработки большого файла журнала доступа (на 8.1 ГБ), и он берет навсегда для окончания. За 20 минут это записало 14 МБ (1000 + - 500) МБ, которого я ожидаю, что это запишет, и я...
вопрос задан: 22 January 2010 05:04
3
ответа
JavaScript для нахождения памяти доступной
Давайте заставим его сразу очиститься: это не вопрос об утечке памяти! У меня есть страница, которая позволяет пользователю вводить некоторые данные и JavaScript, чтобы обработать эти данные и привести к результату...
вопрос задан: 11 March 2016 17:30
3
ответа
Нужна некоторая вычислительная процентиль справки
rpc сервер дан, который получает миллионы запросов в день. Каждый запрос i занимает время обработки Ti, который будет обработан. Мы хотим найти 65-е время обработки процентили (когда время обработки...
вопрос задан: 21 June 2010 00:11
3
ответа
что изменяется, когда Ваш вход является измеренным giga/terabyte?
Я просто взял свой первый маленький шаг сегодня в реальные научные вычисления сегодня, когда мне показали набор данных, где самый маленький файл является 48 000 полей 1 600 строками (гаплотипы для нескольких человек, для...
вопрос задан: 10 June 2010 06:34
3
ответа
Как вывести большие векторы данных на печать точно на всех уровнях масштабирования в режиме реального времени?
У меня есть большие наборы данных (данные на 10 Гц, таким образом, точки 864k в 24 Часа), который я должен вывести на печать в режиме реального времени. Идея является пользователем, может масштабировать и панорамирование в очень подробные диаграммы рассея
вопрос задан: 3 February 2009 20:03
2
ответа
Плохая идея передать большую полезную нагрузку с помощью веб-сервисов?
Я заключаю, что в основном нет предела на сумму данных, которые могут быть отправлены при использовании REST через POST или ДОБРАТЬСЯ. В то время как я не использовал REST или веб-сервисы, кажется, что большинство сервисов включает...
вопрос задан: 23 May 2017 11:52
2
ответа
Поиск простого в использовании встроенного значения ключа хранит для C++
Я должен записать приложение C++, которое читает и пишет большие объемы данных (больше, чем доступная RAM), но всегда последовательным способом. Для удержания данных соответствующее требованиям завтрашнего дня и легкое к...
вопрос задан: 23 July 2010 13:55
2
ответа
Какая технология для крупномасштабной очистки/парсинга? [закрытый]
Мы разрабатываем крупномасштабный веб-проект очистки/парсинга. В основном сценарий должен пройти список веб-страниц, извлечь содержание конкретного тега и сохранить его в базе данных. Что...
вопрос задан: 29 June 2010 17:50
2
ответа
JDBC пакетная вставка OutOfMemoryError
Я записал, что метод вставляет (), в котором я пытаюсь использовать Пакет JDBC для вставки полумиллиона записей в базу данных MySQL: общедоступная пустая вставка (интервал nameListId, Строка [] имена) {Строка...
вопрос задан: 9 February 2010 08:05
1
ответ
Передача больших полезных нагрузок данных (Сериализованные объекты) с помощью wsHttp в WCF с безопасностью сообщения
У меня есть случай, где я должен перевести большие суммы графиков сериализованного объекта (через NetDataContractSerializer) использующий WCF, использующий wsHttp. Я использую безопасность сообщения и хотел бы продолжить делать так...
вопрос задан: 18 August 2011 22:01
1
ответ
Как выбрать chunksize для многопроцессорной обработки Python с большими наборами данных
Я пытаюсь для использования Python для получения некоторой производительности на задаче, которая может быть высоко параллелизирована с помощью http://docs.python.org/library/multiprocessing. При рассмотрении их библиотеки они говорят для использования...
вопрос задан: 24 April 2010 20:09
0
ответов
Java-реализация разложения по сингулярным значениям для больших разреженных матриц
Мне просто интересно, знает ли кто-нибудь о реализации java сингулярного разложения (SVD) для больших разреженных матриц? Мне нужна эта реализация для скрытого семантического анализа (LSA). Я ...
вопрос задан: 22 September 2017 17:44
0
ответов
Может ли Apache Solr обрабатывать большие данные размером в терабайт
Я являюсь пользователем apache solr около года. Я использовал solr для простых инструментов поиска, но теперь я хочу использовать solr с данными объемом 5 ТБ. Я предполагаю, что 5 ТБ данных станут 7 ТБ, когда solr проиндексирует их в соответствии с фильтр
вопрос задан: 22 September 2017 17:44
0
ответов
Какую структуру данных следует использовать для геокодирования?
Я пытаюсь создать скрипт Python, который будет принимать адрес в качестве входных данных и выдавать его широту и долготу или широту и долготу в случае множественных совпадений, совсем как Nominatim....
вопрос задан: 22 September 2017 17:44
0
ответов
Рекомендации по сетке jQuery для больших наборов данных?
Я искал рекомендации по сетке jQuery и наткнулся на этот вопрос / ответы:
https://stackoverflow.com/questions/159025/jquery-grid-recommendations Просматривая множество jQuery ...
вопрос задан: 23 May 2017 10:30