1
ответ
OLAP может быть сделан в BigTable?
В прошлом я раньше создавал WebAnalytics с помощью работы кубов OLAP MySQL. Теперь куб OLAP путем, я использовал его, является просто большой таблицей (хорошо, это было сохранено немного более умное, чем это), где каждая строка...
вопрос задан: 14 September 2009 21:59
0
ответов
Как я могу решить среднюю проблему в mapreduce?
Я выучил Mapreduce. И я не знаю, как понять среднюю проблему Mapreduce. Сценарий 1: я хочу в среднем от 1 до 10 по Mapreduce. Итак, я разделил три карты ниже. А. карта 1: 1, 2, 3 / средняя: ...
вопрос задан: 14 April 2019 11:54
0
ответов
Как я могу преобразовать этот скрипт Python в MapReduce
Я пытаюсь преобразовать этот скрипт, я запустил префект в карту mrjob. Уменьшите импорт CSV-городов = [] с открытым ('data.csv', newline = '') как csvfile: file = csv.reader (csvfile, delimiter = ' , ') ...
вопрос задан: 13 April 2019 14:53
0
ответов
ОШИБКА сжатия Hadoop: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy () Z
Когда я запускаю Apache Kylin в Hadoop, я встретил следующую ошибку, связанную с Hadoop MapReduce: 2019-03-20 08: 06: 00,193 ОШИБКА [main] org.apache.kylin.engine.mr.KylinMapper: java.lang. ...
вопрос задан: 20 March 2019 08:51
0
ответов
Узел MapReduce с максимальной степенью
Я написал код, используя MRJob для вычисления максимальной степени графа. Но мой подход неверен, потому что у меня есть ограничение, что все узлы не могут быть загружены в память одной машины. Мои данные поступают ...
вопрос задан: 17 March 2019 22:07
0
ответов
Будет ли полезно планирование по умолчанию на основе локальности, если оно используется для планирования сокращения задач?
По умолчанию локальное планирование в первую очередь предназначено для задач карты. Было бы полезно, если бы он использовался для планирования сокращения задач?
вопрос задан: 5 March 2019 17:10
0
ответов
Mapreduce-Eclipse: создание Eclipse для первого запуска моей программы, а затем запуска ее
Я пытаюсь отправить задание mapreduce из Eclipse, задание отправляется, но происходит сбой с ClassNotFoundException. После некоторого исследования я нашел причину (пожалуйста, прочитайте объяснение ниже), и я был ...
вопрос задан: 3 March 2019 10:20
0
ответов
Распределенные звонки отдыха и совокупности
У меня есть сценарий использования для клиента, который должен загружать большие данные из службы веб-отдыха. Этот API-интерфейс остатка хорошо масштабируется, и, по-видимому, нет проблем при обработке более 10000+ одновременных запросов. ...
вопрос задан: 27 February 2019 07:54
0
ответов
Изменить размер разделения файла в Hadoop
У меня есть куча небольших файлов в каталоге HDFS. Хотя объем файлов относительно невелик, количество времени обработки каждого файла огромно. То есть 64-мегабайтный файл, который используется по умолчанию...
вопрос задан: 25 February 2019 12:22
0
ответов
Mapreduce Блок-схема задания для операции записи в HDFS
Я пытаюсь выяснить диаграмму, на которой показан поток заданий MapReduce в случае операции записи (например, в hive INSERT INTO tablename select * from temptable). В Hadoop Definitive Guide ...
вопрос задан: 18 February 2019 09:46
0
ответов
Состояние Map-Reduce в Appengine?
Существует appengine-mapreduce, который кажется официальным способом делать что-то в AppEngine. Но, похоже, документации нет, кроме нескольких взломанных вместе страниц Wiki и длинных видеороликов. Есть утверждения ...
вопрос задан: 23 January 2019 21:48
0
ответов
MapReduce выводит строки из входного файла помимо ожидаемого результата
Мне удалось реализовать Map-Reduce в Java, он работает для моего случая, но по какой-то причине вывод отображает помимо желаемого некоторые данные из входного файла, и я не могу понять, почему? Вот ...
вопрос задан: 16 January 2019 19:12
0
ответов
Откройте файл в MapReduce Mapper
Я работаю над проектом MapReduce, и мне нужна помощь. В моем классе mapper я должен открыть текстовый файл и работать с ним. Этот файл не является вводом карт, но это файл, который я должен использовать для ...
вопрос задан: 16 January 2019 16:11
0
ответов
комбайнер и редуктор могут быть разными?
Во многих программах MapReduce я вижу, что редьюсер также используется в качестве объединителя. Я знаю, что это из-за специфики этих программ. Но мне интересно, могут ли они быть другими.
вопрос задан: 22 November 2018 10:39
0
ответов
Mapreduce для чайников
Хорошо, я пытаюсь изучить Hadoop и mapreduce. Я действительно хочу начать с mapreduce, и то, что я нахожу, - это много-много упрощенных примеров преобразователей и редукторов и т. Д. Однако я заметил, что они отсутствуют ...
вопрос задан: 17 October 2018 21:14
0
ответов
Нахождение среднего числа с помощью MapReduce
Я пытался написать код для нахождения среднего числа с помощью MapReduce. Я пытаюсь использовать глобальные счетчики для достижения своей цели, но не могу установить значение счетчика в методе карты...
вопрос задан: 21 February 2018 02:29
0
ответов
Задание по уменьшению карты hadoop с входом HDFS и выходом HBASE
Я новичок в hadoop.
У меня есть задание MapReduce, которое должно получать входные данные из Hdfs и записывать выходные данные редуктора в Hbase. Я не нашел хорошего примера. Вот код, ошибка ...
вопрос задан: 2 December 2017 07:45
0
ответов
Что такое файлы SUCCESS и part-r-00000 в hadoop
Хотя я часто использую Hadoop на своем компьютере с Ubuntu, я никогда не задумывался о файлах SUCCESS и part-r-00000. Вывод всегда находится в файле part-r-00000, но какой смысл в файле SUCCESS? ...
вопрос задан: 1 December 2017 04:06
0
ответов
Объединение двух наборов данных в Mapreduce/Hadoop
Кто-нибудь знает, как реализовать операцию Natural -Join между двумя наборами данных в Hadoop? Точнее, вот что мне точно нужно сделать :У меня есть два набора данных :точечная информация…
вопрос задан: 8 October 2017 18:15
0
ответов
Вопрос об агрегировании карты / сокращения массива MongoDB
У меня есть коллекция MongoDB, в документации которой используется несколько уровней вложенности, из которой я хотел бы извлечь многомерный массив, скомпилированный из подмножество их полей. У меня есть решение, которое работает ...
вопрос задан: 22 September 2017 18:01
0
ответов
MongoDB: ужасная производительность MapReduce
У меня долгая история с реляционными базами данных, но я новичок в MongoDB и MapReduce, поэтому Я почти уверен, что что-то делаю не так. Я сразу перейду к вопросу. Извините, если это долго. Я ...
вопрос задан: 22 September 2017 18:01
0
ответов
Когда мне нужно уменьшить карту для запросов к базе данных?
В CouchDB вы всегда должны использовать сокращение карты для результатов запроса. В MongoDB вы можете использовать их методы запросов для получения данных, но они также позволяют вам сокращать карту. Интересно, когда мне действительно нужна карта -...
вопрос задан: 22 September 2017 18:01
0
ответов
Как получить среднее значение больших данных в MongoDB и CouchDB?
Я смотрю на эту диаграмму ... http: //www.mongodb. org / display / DOCS / MongoDB, + CouchDB, + MySQL + Compare + Grid ... в котором говорится: Метод запроса CouchDB - Сопоставление / сокращение функций javascript для ленивого построения ...
вопрос задан: 22 September 2017 18:01
0
ответов
Самый быстрый способ получить среднее значение определенного поля в MongoDB
Допустим, у меня есть следующий набор данных: {"_id": ObjectId ("4dd51c0a3f42cc01ab0e6506") , "views": 1000, "status": 1}
{"_id": ObjectId ("4dd51c0e3f42cc01ab0e6507"), "views": 2000, "status": ...
вопрос задан: 22 September 2017 18:01
0
ответов
Несколько входов с MRJob
Я пытаюсь научиться использовать Yelp Python API для MapReduce, MRJob. Их простой пример счетчика слов имеет смысл, но мне любопытно, как можно обрабатывать приложение, включающее несколько входов. Для ...
вопрос задан: 24 July 2017 17:12
0
ответов
Map-Reduce count number of documents in each minute MongoDB
У меня есть коллекция MongoDB, в каждом документе которой хранится created_at. Они хранятся как объект даты MongoDB, например {"_id": "4cacda7eed607e095201df00", "created_at": "Wed Oct 06 2010 21:22: ...
вопрос задан: 23 June 2017 21:54
0
ответов
Улей не может вручную установить количество редукторов
У меня есть следующий запрос улья: выберите количество (отдельный идентификатор) как общее из mytable; который автоматически порождает:
1408 картографов
1 Редуктор Мне нужно вручную установить количество редукторов, и я попробовал ...
вопрос задан: 12 June 2017 17:20
0
ответов
Найти все повторяющиеся документы в коллекции MongoDB по ключевому полю.
Предположим, у меня есть коллекция с некоторым набором документов. что-то вроде этого. {"_id": ObjectId ("4f127fa55e7242718200002d"), "id": 1, "name": "foo"}
{"_id": ObjectId ("4f127fa55e7242718200002d"), "...
вопрос задан: 1 June 2017 23:06
0
ответов
Объединение двух таблиц в Hive с помощью HiveQL (Hadoop )[дубликат]
Возможный дубликат :SQL-запрос JOIN with Table CREATE EXTERNAL TABLE IF NOT EXISTS TestingTable1 (Это ГЛАВНАЯ таблица, по которой необходимо проводить сравнения)
(
ПОКУПАТЕЛЬ _ID БОЛЬШОЙ, ПУНКТ _ID...
вопрос задан: 23 May 2017 12:33
0
ответов
CouchDB Views: удалить дубликаты * и * упорядочить по времени
На основе отличного ответа на В моем предыдущем вопросе я частично решил проблему с CouchDB. Это привело к новому взгляду. Теперь следующее, что мне нужно сделать, это удалить дубликаты из этого ...
вопрос задан: 23 May 2017 12:31