5
ответов

Масштабируемый, быстрый, текстовый файл поддержал механизм базы данных?

Я имею дело с большими объемами научных данных, которые хранятся на вкладке разделенные .tsv файлы. Типичные операции, которые будут выполнены, читают несколько больших файлов, отфильтровывая только бесспорный...
вопрос задан: 22 September 2017 17:44
4
ответа

С Haskell, как я обрабатываю большие объемы XML?

Я исследовал дампы данных Переполнения стека и к настоящему времени использовал в своих интересах дружественный XML и “анализировал” с регулярными выражениями. Мои попытки с различными библиотеками Haskell XML для нахождения...
вопрос задан: 22 September 2017 17:44
1
ответ

& ldquo; Большие данные & rdquo; рабочие потоки с использованием панд

Я пытался найти ответ на этот вопрос в течение многих месяцев, изучая панд. Я использую SAS для своей повседневной работы, и он отлично подходит для поддержки из ядра. Однако SAS ужасен ...
вопрос задан: 22 September 2017 17:44
1
ответ

SQL Server - Слияние больших таблиц, не блокируя данные

У меня есть очень большой набор данных (~3 миллиона записей), который должен быть объединен с обновлениями и новыми записями в ежедневном расписании. У меня есть хранимая процедура, которая на самом деле разбивает официальный набор документов в...
вопрос задан: 22 September 2017 07:44
0
ответов

Parallel.ForEach может вызвать исключение «Недостаточно памяти» при работе с перечислимым объектом с большим объектом.

Я пытаюсь перенести базу данных, где изображения хранились в базе данных, в запись в базе данных, указывающую на файл на жестком диске. Я пытался использовать Parallel.ForEach, чтобы ускорить ...
вопрос задан: 29 July 2018 20:26
0
ответов

использование RavenDB для массовых вставок данных

Я пытаюсь импортировать большие объемы данных (поток Twitter со скоростью около 20-25 твитов в секунду) в RavenDB для тестирования и крупномасштабного тестирования данных.У меня есть код, который довольно хорошо записывает данные, ...
вопрос задан: 22 September 2017 17:48
0
ответов

Arbre negre vermell contra arbre B

Tinc un projecte en el qual he de realitzar operacions de cerca, inserció i supressió ràpides de dades que van des de megabytes fins a terabytes. Havia estat estudiant les estructures de dades darrerament i analitzant-les. Com que ...
вопрос задан: 22 September 2017 17:44
0
ответов

Показывать страницу по-другому (css), если она внутри iframe

Есть ли способ, как сказано в заголовке: «Показывать страницу иначе (css), если внутри iframe». Я ищу метод jQuery / JavaScript, чтобы потенциально использовать другую таблицу стилей css, если сайт находится внутри ...
вопрос задан: 22 September 2017 17:44
0
ответов

Повторить массив NumPy без репликации данных?

Я хотел бы создать одномерный массив NumPy, который бы состоял из 1000 последовательных повторений другого массива 1D без репликации данных 1000 раз. Является ли это возможным? Если это поможет, я намерен лечить ...
вопрос задан: 22 September 2017 17:44
0
ответов

Сколько данных может обработать R? [closed]

Под "обработкой" я подразумеваю управление многоколоночными строками данных. Чем отличается R от таких инструментов, как Excel, SPSS, SAS и других? Подходит ли R для просмотра «БОЛЬШИХ ДАННЫХ» (от сотен миллионов до ...
вопрос задан: 22 September 2017 17:44
0
ответов

Обработка очень большого количества данных в MyBatis

Моя цель - фактически выгрузить все данные базы данных в XML-файл. База данных не очень большая, около 300 МБ. Проблема в том, что у меня ограничение памяти 256 МБ (в JVM). Итак ...
вопрос задан: 22 September 2017 17:44
0
ответов

Как быстро получить отсортированный подвектор из отсортированного вектора

У меня есть такая структура данных: struct X {float value; int id; }; вектор из них (размер N (думаю, 100000), отсортированный по значению (остается постоянным во время выполнения программы): std :: vector & ...
вопрос задан: 22 September 2017 17:44
0
ответов

сортировка слиянием на основе файлов для больших наборов данных в Java

с большими наборами данных, которые не не умещается в памяти, есть ли какая-нибудь библиотека или API для сортировки в Java? реализация могла бы быть похожа на сортировку утилиты linux.
вопрос задан: 22 September 2017 17:44
0
ответов

Работа с огромными данными в полях выбора

Привет, я использую jQuery и получение «элементов» из одной из моих таблиц mySQL. У меня около 20 000 «элементов» в этой таблице, и она будет использоваться в качестве параметра поиска в моей форме. Так что в основном они могут ...
вопрос задан: 22 September 2017 17:44
0
ответов

Высокопроизводительная многоуровневая фильтрация тегов

У меня есть большая база данных исполнителей, альбомов и треков. Каждый из этих элементов может иметь один или несколько тегов, назначенных через таблицы склеивания (track_attributes, album_attributes, artist_attributes). Есть ...
вопрос задан: 22 September 2017 17:44
0
ответов

Работа с очень большими наборами данных & как раз вовремя загрузки

У меня есть приложение .NET, написанное на C # (.NET 4.0). В этом приложении мы должны прочитать большой набор данных из файла и отобразить его содержимое в виде сетки. Итак, для этого я разместил ...
вопрос задан: 22 September 2017 17:44
0
ответов

Python fork (): передача данных от дочернего к родительскому

У меня есть основной процесс Python и группа или рабочие, созданные основной процесс с использованием os.fork (). Мне нужно передать большие и довольно сложные структуры данных от рабочих обратно в основной процесс. ...
вопрос задан: 22 September 2017 17:44
0
ответов

Как оптимизировать операции с большими (75 000 элементов) наборами логических значений в Python?

Там есть скрипт svnmerge.py, который я пытаюсь немного настроить и оптимизировать. Я совершенно новичок в Python, так что это непросто. Текущая проблема, похоже, связана с классом под названием ...
вопрос задан: 22 September 2017 17:44
0
ответов

Как обновить одну таблицу из другой без указания имен столбцов?

У меня есть две таблицы с идентичной структурой и ОЧЕНЬ БОЛЬШОЕ количество полей (около 1000). Мне нужно выполнить 2 операции 1) Вставить из второй таблицы все строки в кулак. Пример: INSERT INTO [...
вопрос задан: 22 September 2017 17:44
0
ответов

Каковы передовые методы сбора, хранения и обеспечения точности огромного набора данных?

Я задаю этот вопрос в поисках практического совета о том, как спроектировать систему. Такие сайты, как amazon.com и pandora, имеют и поддерживают огромные наборы данных для ведения своего основного бизнеса. Например, amazon (...
вопрос задан: 22 September 2017 17:44
0
ответов

импорт / экспорт очень большой базы данных mysql в phpmyadmin

У меня есть база данных в phpmyadmin, имеющая 3000000 записей. Я хочу экспортировать это на другой компьютер. теперь, когда я экспортирую только 200000 записей, экспортированных в файл .sql, и это также не импортируется на другой компьютер.
вопрос задан: 22 September 2017 17:44
0
ответов

numpy: логическое индексирование и использование памяти

Рассмотрим следующий код numpy: A [начало: конец] = B [маска] Здесь: A и B - 2D-массивы с одинаковым количеством колонны; начало и конец - скаляры; маска - это одномерный логический массив; (end - start) == sum (...
вопрос задан: 22 September 2017 17:44
0
ответов

Java-реализация разложения по сингулярным значениям для больших разреженных матриц

Мне просто интересно, знает ли кто-нибудь о реализации java сингулярного разложения (SVD) для больших разреженных матриц? Мне нужна эта реализация для скрытого семантического анализа (LSA). Я ...
вопрос задан: 22 September 2017 17:44
0
ответов

Все k ближайших соседей в 2D, C ++

Мне нужно найти для каждой точки набора данных всех ее ближайших соседей. Набор данных содержит ок. 10 миллионов 2D точек. Данные близки к сетке, но не образуют точной сетки ... Это ...
вопрос задан: 22 September 2017 17:44
0
ответов

Можно ли сохранить только половину симметричной матрицы для экономии памяти?

В задаче типа Ax = b используется большая матрица. A является симметричным. Есть ли какой-либо алгоритм, позволяющий мы сохраняем только половину матрицы и выполняем над ней операцию типа x = A \ b?
вопрос задан: 22 September 2017 17:44
0
ответов

Поддержание большого таблица уникальных значений в MySQL

Вероятно, это обычная ситуация, но я не смог найти конкретного ответа на SO или Google. У меня есть большая таблица (> 10 миллионов строк) отношений друзей в базе данных MySQL, что очень важно ...
вопрос задан: 22 September 2017 17:44
0
ответов

Запрос ОБНОВЛЕНИЯ в MySQL для большой таблицы

У меня есть база данных MySQL с 21 млн записей, и я пытаюсь обновить примерно 1M записей, но запрос не выполняется с ОШИБКОЙ 1206 (HY000): общее количество блокировок превышает размер таблицы блокировок. Это ...
вопрос задан: 22 September 2017 17:44
0
ответов

Наиболее эффективный способ хранения и доступа к огромной матрице данных в MySQL

Я собираюсь хранить огромное количество матричных данных в MySQLDB, что является наиболее эффективным способом хранения и доступа к данным? Эффективность наиболее важна при получении данных, таблица не будет ...
вопрос задан: 22 September 2017 17:44
0
ответов

PHP Connection Reset on Large File Upload Regardless Correct Setting

У меня очень распространенная проблема, которая, кажется, не работает во всех доступных решениях. У нас есть LAMP сервер, который получает большое количество трафика. Используя этот сервер, мы выполняем ...
вопрос задан: 22 September 2017 17:44
0
ответов

Добавить строки в файл

Я впервые использую R. Я пытаюсь добавить новые строки в файл с моими существующими данными в R. Проблема в том, что мои данные содержат около 30000 строк и 13000 столбцов. . Я уже пытаюсь добавить строку с writeLines ...
вопрос задан: 22 September 2017 17:44