CUDA: Сколько всего параллельных потоков?

У меня есть GeForce GTX 580, и я хочу сделать заявление об общем количестве потоков, которые (в идеале) могут быть запущены параллельно, по сравнению с 2 или 4 многоядерными процессорами.

deviceQuery дает мне следующую, возможно, относящуюся к делу информацию:

CUDA Capability Major/Minor version number:    2.0
(16) Multiprocessors x (32) CUDA Cores/MP:     512 CUDA 
Maximum number of threads per block:           1024

Мне кажется, я слышал, что каждое ядро ​​CUDA может выполнять деформацию параллельно, а деформация - это 32 потока. Правильно ли будет сказать, что карта может запускать 512 * 32 = 16384 потока параллельно, или я далеко, и ядра CUDA почему-то не работают параллельно?