0
ответов
Как закрыть / удалить только одного работника Dask среди многих клиентов или планировщика
Похоже на проблему в этом посте, но только для одного работника. Я реализовал код в ответе, заданном mdurant, и передал один рабочий идентификатор, полученный от scheduler_id ['worker'], но что ...
вопрос задан: 28 March 2019 20:58
0
ответов
Облачные виртуальные машины доступны бесплатно для тестирования с открытым исходным кодом? [закрыто]
Кто-нибудь знает о местах в облаке, где вы можете создавать (виртуальные )машины (, такие как Amazon EC2 ), чтобы использовать их для своих вычислительных задач -места, которые предлагают число (не менее 5 -10 )свободных машин, если они...
вопрос задан: 26 March 2019 04:57
0
ответов
Изменить размер разделения файла в Hadoop
У меня есть куча небольших файлов в каталоге HDFS. Хотя объем файлов относительно невелик, количество времени обработки каждого файла огромно. То есть 64-мегабайтный файл, который используется по умолчанию...
вопрос задан: 25 February 2019 12:22
0
ответов
Dask: отложенная и фьючерсная генерация и генерация графа задач [закрыто]
У меня есть несколько основных вопросов по Dask: правильно ли мне использовать Futures, когда я хочу использовать dask для распределенных вычислений (т.е. в кластере)? В этом случае, то есть при работе с фьючерсами, ...
вопрос задан: 17 January 2019 09:09
0
ответов
как безопасно реализовать аренду в распределенной системе
Я реализую алгоритм изменения асинхронной схемы Google f1 онлайн с помощью C ++, в котором предполагается, что сервер 1 записывает данные в общее хранилище, а сервер 2 должен читать данные из общего хранилища в X ...
вопрос задан: 15 January 2019 16:26
0
ответов
От чего зависит потребительское смещение Кафки?
Я относительно новичок в Кафке. Я немного поэкспериментировал с этим, но некоторые вещи мне неясны в отношении компенсации потребителю. Из того, что я понял до сих пор, когда потребитель начинает, ...
вопрос задан: 19 October 2018 08:37
0
ответов
В чем разница между «получать» и «доставлять» в распределенной многоадресной рассылке?
В чем разница между процессом, получающим сообщение, и процессом, доставляющим сообщение, в контексте многоадресной рассылки?
вопрос задан: 17 October 2018 17:38
0
ответов
В чем разница между распределенными вычислениями и облачными вычислениями?
В чем разница между распределенными вычислениями и облачными вычислениями?
вопрос задан: 13 October 2018 10:13
0
ответов
Объясняя Apache ZooKeeper
Я пытаюсь понять ZooKeeper, как это работает и что делает. Есть ли какое-нибудь приложение, сопоставимое с ZooKeeper? Если вы знаете, как бы вы описали ZooKeeper неспециалисту? У меня ...
вопрос задан: 18 July 2018 10:47
0
ответов
Дает ли std :: hash одинаковый результат для одного и того же ввода для разных скомпилированных сборок и разных машин?
У меня есть несколько случайных тестовых параметров, для которых мне нужно вычислить хеш, чтобы определить, выполнялся ли я с теми же параметрами. Я мог бы запустить тест с использованием того же источника, перекомпилированного в другое время, или запусти
вопрос задан: 3 July 2018 15:11
0
ответов
Почему в kubernetes cron задании могут быть созданы два задания или задание не может быть создано?
В k8s Cron Job Limitations упоминается, что нет гарантии, что задание будет выполнено ровно один раз: задание cron создает объект задания примерно один раз за время выполнения своего расписания. Мы говорим "...
вопрос задан: 11 January 2018 00:16
0
ответов
Поиск / поиск файла и содержимого файла в Hadoop
В настоящее время я работаю над проектом с использованием Hadoop DFS. Я заметил, что в Hadoop Shell нет команды поиска или поиска. Есть ли способ найти файл (например, testfile.doc) в Hadoop DFS? Есть ...
вопрос задан: 22 December 2017 03:06
0
ответов
Согласованность кэша при использовании memcached и rdbms, таких как MySQL
В этом семестре я изучил класс базы данных, и мы изучаем поддержание согласованности кеша между RDBMS и сервером кеширования, таким как memcached. Проблемы с согласованностью возникают, когда ...
вопрос задан: 3 December 2017 19:15
0
ответов
Централизованное ведение журнала Java
Я ищу способ централизовать ведение журналов распределенного программного обеспечения (, написанного на Java ), что было бы довольно просто, поскольку рассматриваемая система имеет только один сервер. Но имея в виду,...
вопрос задан: 23 May 2017 12:01
0
ответов
Sharding vs DFS
Насколько я понимаю, сегментирование (например, в MongoDB) и распределенные файловые системы (например, HDFS в HBase или HyperTable) - это разные механизмы, которые базы данных используют для горизонтального масштабирования, однако мне интересно, как он
вопрос задан: 18 January 2016 01:48
0
ответов
Быстрая отправка 4 [ГБ] для обработки со 100 машин?
В моем кластере 100 серверов. В 17:35:00 всем 100 серверам предоставляются данные (размером 1 [МБ]). Каждый сервер обрабатывает данные и выдает на выходе около 40 [МБ]. Время обработки ...
вопрос задан: 2 December 2015 09:32
0
ответов
Проектирование системы аналитической обработки в реальном времени
Я разрабатываю систему, которая должна анализировать большое количество пользовательских транзакций и выдавать агрегированные показатели (, такие как тенденции и т. д. ). Система должна работать быстро, быть надежной и масштабируемой. Система - это...
вопрос задан: 23 November 2015 13:24
0
ответов
Не могу начать игру
Я работаю с MATLAB примерно полтора года назад. И я пытался подготовить matlabpool к работе раз в три месяца. Прежде чем полностью отказаться от этого, я решил спросить ...
вопрос задан: 12 November 2015 20:21
0
ответов
Как воспроизвести эксперименты не по назначению
Для магистерской диссертации в области распределенных вычислений (например, Hadoop и двухуровневых планировщиков, таких как Mesos) я ставлю различные эксперименты на университетском кластере. Однако я уже наваливаю ...
вопрос задан: 22 February 2015 15:38
0
ответов
Paxos против двухфазного коммита
Я пытаюсь понять разницу между paxos и двухфазным коммитом как средство достижения консенсуса между несколькими машинами. Двухфазное принятие и трехфазное принятие очень легко понять. Это ...
вопрос задан: 4 December 2014 21:56
0
ответов
Каковы компромиссы при генерации уникальных порядковых номеров в распределенной и параллельной среде?
Мне любопытно на предмет ограничений и компромиссов для генерации уникальных порядковых номеров в распределенной и параллельной среде. Вообразите это: у Меня есть система, где все, что она делает, отдают...
вопрос задан: 14 November 2014 19:12
0
ответов
Линейное программирование MapReduce
Можно ли решить простую задачу линейного программирования в распределенной системе с помощью MapReduce?
вопрос задан: 1 November 2013 03:22
0
ответов
Celery, как программное обеспечение для Ruby?
Есть ли что-нибудь похожее на Celery для Ruby? Есть ли у кого-нибудь опыт работы с rcelery? Это хороший выбор для производства? Обновление :Я наткнулся на resque, который выглядит как то, чем я мог бы быть...
вопрос задан: 19 October 2013 00:08
0
ответов
Открыть MPI / MPICH - Что произойдет, если узел завершит работу?
Я хотел бы знать, что произойдет, если узел кластера OpenMPI / MPICH2 завершится? Есть ли какой-то механизм, толерантный к этому случаю и продолжающий выполнение? Спасибо за ответы
...
вопрос задан: 12 August 2013 16:38
0
ответов
Найти количество определенного числа в бесконечном потоке чисел в определенный момент
Я столкнулся с этой проблемой в недавнем интервью :У вас есть поток входящих чисел в диапазоне от 0 до 60000, и у вас есть функция, которая берет число из этого диапазона и возвращает количество...
вопрос задан: 29 July 2012 11:51
0
ответов
C/C++ Framework для распределенных вычислений в динамическом кластере
Я ищу фреймворк для использования в распределенном приложении для обработки чисел на С++. Настройка выглядит следующим образом :Имеется мастер-узел, который делит проблемную область на маленькие...
вопрос задан: 12 July 2012 08:04
0
ответов
Как создать распределенное Java-приложение?
Прежде всего, у меня есть концептуальный вопрос. Означает ли слово «распределенный» только то, что приложение запускается на нескольких машинах? или есть другие способы рассмотрения заявки...
вопрос задан: 4 July 2012 23:44
0
ответов
Соединить два сокета TCP без определения роли клиент/сервер [закрыто]
Вопрос Я хочу соединить два процесса через TCP, но не хочу указывать, какой из них это сервер, а кто клиент, но они знают IP и хост друг друга. Они должны решить...
вопрос задан: 6 June 2012 15:07
0
ответов
Внедрение распределенной блокировки с помощью файлов
У меня есть сетевой диск (Z:\), который используется несколькими компьютерами Windows. Можно ли реализовать межмашинную блокировку, просто создав/удалив файлы на этом сетевом диске? Например, два ...
вопрос задан: 6 June 2012 04:13
0
ответов
Платформа Haskell для распараллеливания библиотеки C++ без поддержки потоков
У меня есть разделяемая библиотека C++ без поддержки потоков с закрытым исходным кодом, которая предоставляет одну функцию f :: ByteString -> ByteString. Время выполнения этой функции может составлять от одной секунды до пары часов. ...
вопрос задан: 13 May 2012 15:59