CUDA: синхронизация потоков

Внутри основы никакие потоки не «опережают» другие. Если существует условная ветвь, и она выполняется одними потоками в деформации, но не выполняется другими (иначе говоря, деформация «дивергенция»), другие потоки будут просто бездействовать, пока ветвление не будет завершено, и все они «сойдутся» обратно вместе по общей инструкции. . Так что, если вам нужна только синхронизация потоков внутри основы, это происходит «автоматически».

Но разные деформации таким образом не синхронизируются. Поэтому, если ваш алгоритм требует, чтобы определенные операции выполнялись во многих деформациях, вам необходимо использовать явные вызовы синхронизации (см. Руководство по программированию CUDA, раздел 5.4).

---

РЕДАКТИРОВАТЬ: реорганизовал следующие несколько абзацев, чтобы прояснить некоторые

Здесь действительно две разные проблемы: Синхронизация инструкций и видимость памяти.

• __ syncthreads () обеспечивает синхронизацию инструкций и обеспечивает видимость памяти, но только внутри блока, а не между блоками (Руководство по программированию CUDA, Приложение B.6). Это полезно для записи и чтения в разделяемой памяти, но не подходит для синхронизации доступа к глобальной памяти.

• __ threadfence () обеспечивает видимость глобальной памяти, но не выполняет синхронизацию инструкций, поэтому, по моему опыту, он имеет ограниченное использование (но см. Пример кода в Приложении B.5).

• Глобальная синхронизация инструкций - это невозможно в ядре. Если вам нужно выполнить f () во всех потоках перед вызовом g () в любом потоке, разделите f () и g () на два разных ядра и последовательно вызывать их с хоста.

• Если вам просто нужно увеличить общие или глобальные счетчики, рассмотрите возможность использования функции атомарного увеличения atomicInc () (Приложение B.10). В случае приведенного выше кода, если x1 и x2 не являются глобально уникальными (для всех потоков в вашей сетке), неатомарные приращения приведут к состоянию гонки, аналогичному к последнему абзацу Приложения B.2.4.

Наконец, имейте в виду, что любые операции с глобальной памятью и, в частности, с функциями синхронизации (включая атомики) плохо сказываются на производительности.

Не зная, какую проблему вы решаете, сложно строить предположения, но, возможно, вы сможете изменить свой алгоритм, чтобы в некоторых местах использовать разделяемую память вместо глобальной. Это снизит потребность в синхронизации и повысит производительность.

рассмотрите возможность использования функции атомарного приращения atomicInc () (Приложение B.10). В случае приведенного выше кода, если x1 и x2 не являются глобально уникальными (для всех потоков в вашей сетке), неатомарные приращения приведут к состоянию гонки, аналогичному к последнему абзацу Приложения B.2.4.

Наконец, имейте в виду, что любые операции с глобальной памятью и, в частности, с функциями синхронизации (включая атомики) плохо сказываются на производительности.

Не зная, какую проблему вы решаете, сложно строить предположения, но, возможно, вы сможете изменить свой алгоритм, чтобы в некоторых местах использовать разделяемую память вместо глобальной. Это снизит потребность в синхронизации и повысит производительность.

рассмотрите возможность использования атомарной функции приращения atomicInc () (Приложение B.10). В случае приведенного выше кода, если x1 и x2 не являются глобально уникальными (для всех потоков в вашей сетке), неатомарные приращения приведут к состоянию гонки, аналогичному к последнему абзацу Приложения B.2.4.

Наконец, имейте в виду, что любые операции с глобальной памятью и, в частности, с функциями синхронизации (включая атомики) плохо сказываются на производительности.

Не зная, какую проблему вы решаете, сложно строить догадки, но, возможно, вы сможете изменить свой алгоритм, чтобы в некоторых местах использовать разделяемую память вместо глобальной. Это снизит потребность в синхронизации и повысит производительность.

В случае приведенного выше кода, если x1 и x2 не являются глобально уникальными (для всех потоков в вашей сетке), неатомарные приращения приведут к состоянию гонки, аналогичному к последнему абзацу Приложения B.2.4.

Наконец, имейте в виду, что любые операции с глобальной памятью и, в частности, с функциями синхронизации (включая атомики) плохо сказываются на производительности.

Не зная, какую проблему вы решаете, сложно строить догадки, но, возможно, вы сможете изменить свой алгоритм, чтобы в некоторых местах использовать разделяемую память вместо глобальной. Это снизит потребность в синхронизации и повысит производительность.

В случае приведенного выше кода, если x1 и x2 не являются глобально уникальными (для всех потоков в вашей сетке), неатомарные приращения приведут к состоянию гонки, аналогичному к последнему абзацу Приложения B.2.4.

Наконец, имейте в виду, что любые операции с глобальной памятью и, в частности, с функциями синхронизации (включая атомики) плохо сказываются на производительности.

Не зная, какую проблему вы решаете, сложно строить догадки, но, возможно, вы сможете изменить свой алгоритм, чтобы в некоторых местах использовать разделяемую память вместо глобальной. Это снизит потребность в синхронизации и повысит производительность.

аналогично последнему абзацу приложения B.2.4.

Наконец, имейте в виду, что любые операции с глобальной памятью и, в частности, с функциями синхронизации (включая атомики) плохо сказываются на производительности.

Не зная, какую проблему вы решаете, сложно строить предположения, но, возможно, вы сможете изменить свой алгоритм, чтобы в некоторых местах использовать разделяемую память вместо глобальной. Это снизит потребность в синхронизации и повысит производительность.

аналогично последнему абзацу приложения B.2.4.

Наконец, имейте в виду, что любые операции с глобальной памятью и, в частности, с функциями синхронизации (включая атомики) плохо сказываются на производительности.

Не зная, какую проблему вы решаете, сложно строить догадки, но, возможно, вы сможете изменить свой алгоритм, чтобы в некоторых местах использовать разделяемую память вместо глобальной. Это снизит потребность в синхронизации и повысит производительность.