Как я говорю многоядерному / машина мульти-ЦП обрабатывать вызовы функции в цикле параллельно?

В Java все переменные, которые вы объявляете, на самом деле являются «ссылками» на объекты (или примитивы), а не самими объектами.

При попытке выполнить один метод объекта , ссылка просит живой объект выполнить этот метод. Но если ссылка ссылается на NULL (ничего, нуль, void, nada), то нет способа, которым метод будет выполнен. Тогда runtime сообщит вам об этом, выбросив исключение NullPointerException.

Ваша ссылка «указывает» на нуль, таким образом, «Null -> Pointer».

Объект живет в памяти виртуальной машины пространство и единственный способ доступа к нему - использовать ссылки this. Возьмем этот пример:

public class Some {
    private int id;
    public int getId(){
        return this.id;
    }
    public setId( int newId ) {
        this.id = newId;
    }
}

И в другом месте вашего кода:

Some reference = new Some();    // Point to a new object of type Some()
Some otherReference = null;     // Initiallly this points to NULL

reference.setId( 1 );           // Execute setId method, now private var id is 1

System.out.println( reference.getId() ); // Prints 1 to the console

otherReference = reference      // Now they both point to the only object.

reference = null;               // "reference" now point to null.

// But "otherReference" still point to the "real" object so this print 1 too...
System.out.println( otherReference.getId() );

// Guess what will happen
System.out.println( reference.getId() ); // :S Throws NullPointerException because "reference" is pointing to NULL remember...

Это важно знать - когда больше нет ссылок на объект (в пример выше, когда reference и otherReference оба указывают на null), тогда объект «недоступен». Мы не можем работать с ним, поэтому этот объект готов к сбору мусора, и в какой-то момент VM освободит память, используемую этим объектом, и выделит другую.

7
задан Hanno Fietz 10 November 2008 в 16:30
поделиться

9 ответов

Я мог бы пропускать что-то здесь, но это это кажется довольно прямым использованием pthreads.

Настройте небольшой пул потоков с потоками N в нем и имейте один поток для управления ими всеми.

Основной поток просто находится в цикле, делающем что-то как:

  1. Получите блок данных от DB
  2. Найдите следующий свободный поток, Если никакой поток не свободен, затем ожидают
  3. Передайте блок рабочему потоку
  4. Возвратитесь и получите следующий блок от DB

Тем временем рабочие потоки они находятся и делают:

  1. Mark меня как свободный
  2. Ожидайте потока мачты, чтобы дать мне блок данных
  3. Обработайте блок данных
  4. Mark меня как свободный снова

Метод, которым Вы реализуете это, может быть столь простым, как два взаимных исключения управляли массивами. У каждого есть обработанные потоки в нем (пул потоков) и другой обозначенный, если каждый соответствующий поток свободен или занят.

Настройте N к своей симпатии...

2
ответ дан 6 December 2019 в 19:45
поделиться

Ну, если .NET является опцией, они приложили много сил для Параллельных вычислений.

3
ответ дан 6 December 2019 в 19:45
поделиться

Если Вы все еще планируете использование Python, Вы могли бы хотеть взглянуть на Обработку. Это использует процессы, а не потоки для параллельных вычислений (из-за GIL Python) и обеспечивает классы для распределения "объектов работы" на несколько процессов. Используя класс пула, можно написать код как следующее:

import processing

def worker(i):
    return i*i
num_workers = 2
pool = processing.Pool(num_workers)
result = pool.imap(worker, range(100000))

Это - параллельная версия itertools.imap, который распределяет переклички процессам. Можно также использовать apply_async методы пула и сохранить ленивые объекты результата в списке:

results = []
for i in range(10000):
    results.append(pool.apply_async(worker, i))

Для дальнейшей ссылки см. документацию класса Пула.

Глюки:

  • обработка ветвления использования (), таким образом, необходимо быть осторожными на Win32
  • объекты, переданные между процессами, должны быть pickleable
  • если рабочие относительно быстры, можно настроить chunksize, т.е. количество объектов работы отправляет к рабочему процессу в одном пакете
  • обработка. Пул использует фоновый поток
3
ответ дан 6 December 2019 в 19:45
поделиться

Можно реализовать алгоритм из MapReduce Google, не имея физически отдельных машин. Просто полагайте, что каждая из тех "машин" "потоки". Потоки автоматически распределяются на многоядерных машинах.

3
ответ дан 6 December 2019 в 19:45
поделиться

Если Вы работаете с компилятором, который будет поддерживать его, я предложил бы смотреть на http://www.openmp.org для способа аннотировать Ваш код таким способом, которым будут параллелизированы определенные циклы.

Это делает намного больше также, и Вы могли бы найти это очень полезным.

Их веб-страница сообщает, что gcc4.2 будет поддерживать openmp, например.

2
ответ дан 6 December 2019 в 19:45
поделиться

Тот же пул потоков используется в Java. Но потоки в пулах потоков являются сериализуемыми и отправляются на другие компьютеры и десериализованные для выполнения.

0
ответ дан 6 December 2019 в 19:45
поделиться

Я разработал библиотеку MapReduce для многопоточного / многоядерного использования на одном сервере. Обо всем позаботится библиотека, и пользователю просто нужно реализовать Map и Reduce. Она позиционируется как библиотека Boost, но еще не принята как формальная библиотека. Проверьте http://www.craighenderson.co.uk/mapreduce

0
ответ дан 6 December 2019 в 19:45
поделиться

Возможно, вам будет интересно изучить код libdispatch , который является реализацией Grand Central Dispatch от Apple с открытым исходным кодом.

0
ответ дан 6 December 2019 в 19:45
поделиться

Intel TBB или boost :: mpi также могут вас заинтересовать.

0
ответ дан 6 December 2019 в 19:45
поделиться
Другие вопросы по тегам:

Похожие вопросы: