Как мне CURL www.google.com - он продолжает перенаправлять меня на .co.uk

Попробуйте обработать полученные данные постепенно.

В приведенном ниже фрагменте элементы, сгенерированные в блоках 250, в основном с использованием jQuery offferred.notify () и deferred.progress () .

Когда все 10000 обработанных объектов, deferred объект resolved с коллекцией из 10 000 элементов. Затем элементы добавляются к document при одном вызове .html() в обратном вызове отложен. Then () .done(); .fail() callback cast как null.

В качестве альтернативы, можно добавить элементы к document в блоках 250, в пределах deferred.progress обратного вызова; вместо [1]

setTimeout используется для предотвращения «замораживания веб-браузера».

g4]

$(function() {
// 10k items 
var arr = $.map(new Array(10000), function(v, k) {
  return v === undefined ? k : null
});
  
var len = arr.length;
var dfd = new $.Deferred();
// collection of items processed at `for` loop in blocks of 250
var fragment = [];
var redraw = function() {
  for (i = 0 ; i < 250; i++)
    {
        // configurationVariableChart.row.add(
        // $(
        fragment.push('' +
                '' + arr[i] + '' +
            '')
        // )[0]);
    };
    arr.splice(0, 250);
    console.log(fragment, arr, arr.length);
    return dfd.notify([arr, fragment])
};

$.when(redraw())
// `done` callbacks
.then(function(data) {
  $("#results").html(data.join(","));
  delete fragment;
}
  // `fail` callbacks      
 , null
  // `progress` callbacks
 , function(data) {
  // log ,  display `progress` of tasks
     console.log(data);
     $("progress").val(data[1].length);
     $("output:first").text(Math.floor(data[1].length / 100) + "%");
     $("output:last").text(data[1].length +" of "+ len + " items processed");
     $("#results").html("processing data...");
     if (data[0].length) {
         var s = setTimeout(function() {
             redraw()
         }, 100)
     } else {
       clearTimeout(s);
       dfd.resolve(data[1]);
     }
})
})

jsfiddle http://jsfiddle.net/guest271314/ess28zLh/