Правильный способ ограничить максимальное количество одновременно работающих потоков?

Это приведет к выполнению команды и отключению от выполняемого процесса. Конечно, это может быть любая команда, которую вы хотите. Но для теста вы можете создать файл php с командой sleep (20).

exec("nohup /usr/bin/php -f sleep.php > /dev/null 2>&1 &");