Второй подход позволяет вам указать num разделов, и в некоторых случаях из-за этого может работать быстрее, верно?
blockquote>Не совсем. Оба подхода позволяют указать количество разделов - в первом случае через
spark.sql.shuffle.partitions
spark.conf.set("spark.sql.shuffle.partitions", parallelism)
Однако второй подход по своей сути менее эффективен, если дубликаты являются общими, поскольку он тасует сначала, а потом сокращает, пропуская сокращение на стороне карты (другими словами, это еще одна группировка по ключу). Если дубликаты редки, это не будет иметь большого значения.
В примечании стороны
Dataset
уже представленыdropDuplicates
варианты , которые принимают набор столбцов, иfirst
/last
не имеет особого смысла здесь (см. Обсуждение в Как выбрать первый ряд каждой группы? ).
Вам не нужен конкретный клиент, это довольно просто для большинства библиотек. Например, в jQuery вы можете просто вызвать универсальную функцию $.ajax
с типом запроса, который вы хотите сделать:
$.ajax({
url: 'http://example.com/',
type: 'PUT',
data: 'ID=1&Name=John&Age=10', // or $('#myform').serializeArray()
success: function() { alert('PUT completed'); }
});
Вы можете заменить PUT
на GET
/ POST
/ DELETE
или что-то еще.
Вы можете использовать этот плагин jQuery, который я только что создал :) https://github.com/jpillora/jquery.rest/
Поддерживает базовые операции CRUD, вложенные ресурсы, базовую аутентификацию
var client = new $.RestClient('/api/rest/');
client.add('foo');
client.foo.add('baz');
client.add('bar');
client.foo.create({a:21,b:42});
// POST /api/rest/foo/ (with data a=21 and b=42)
client.foo.read();
// GET /api/rest/foo/
client.foo.read("42");
// GET /api/rest/foo/42/
client.foo.update("42");
// PUT /api/rest/foo/42/
client.foo.delete("42");
// DELETE /api/rest/foo/42/
//RESULTS USE '$.Deferred'
client.foo.read().success(function(foos) {
alert('Hooray ! I have ' + foos.length + 'foos !' );
});
Если вы нашли ошибки или хотите получить новые функции, опубликуйте их на странице «Проблемы» в репозиториях, пожалуйста
Для справки я хочу добавить о ExtJS, как описано в Руководстве: RESTful Web Services . Вкратце, используйте метод для указания GET, POST, PUT, DELETE. Пример:
Ext.Ajax.request({
url: '/articles/restful-web-services',
method: 'PUT',
params: {
author: 'Patrick Donelan',
subject: 'RESTful Web Services are easy with Ext!'
}
});
Если необходим заголовок Accept, его можно установить по умолчанию для всех запросов:
Ext.Ajax.defaultHeaders = {
'Accept': 'application/json'
};
Вы можете попробовать restful.js , независимый от фреймворка клиент RESTful, использующий синтаксис, подобный популярному Restangular.
Вы можете использовать http://adodson.com/hello.js/ , который имеет
Хотя вы можете использовать библиотеку, такую как превосходный jQuery , вам не обязательно: все современные браузеры очень хорошо поддерживают HTTP в своих реализациях JavaScript через XMLHttpRequest API , который, несмотря на свое название, не ограничивается представлениями XML.
Вот пример выполнения синхронного запроса HTTP PUT в JavaScript:
var url = "http://host/path/to/resource";
var representationOfDesiredState = "The cheese is old and moldy, where is the bathroom?";
var client = new XMLHttpRequest();
client.open("PUT", url, false);
client.setRequestHeader("Content-Type", "text/plain");
client.send(representationOfDesiredState);
if (client.status == 200)
alert("The request succeeded!\n\nThe response representation was:\n\n" + client.responseText)
else
alert("The request did not succeed!\n\nThe response status was: " + client.status + " " + client.statusText + ".");
Этот пример является синхронным, потому что это делает его немного проще, но с помощью этого API довольно легко выполнять асинхронные запросы.
В Интернете есть тысячи страниц и статей об изучении XmlHttpRequest - они обычно используют термин AJAX - к сожалению, я не могу рекомендовать конкретный один. Вы можете найти эту ссылку под рукой.
Dojo делает, например, через JsonRestStore, см. http://www.sitepen.com/blog/2008/06/13/restful-json-dojo-data/ .
jQuery имеет плагин JSON-REST со стилем REST шаблонов параметров URI. Согласно его описанию, пример использования следующий: $. Read ("/ {b} / {a}", {a: 'foo', b: 'bar', c: 3})
становится GET в "/ bar / foo? c = 3".