Сколько памяти я могу выделить на карте cuda

Я пишу серверный процесс, который выполняет вычисления на графическом процессоре с использованием cuda. ​​Я хочу встать в очередь в- поступающие запросы до тех пор, пока на устройстве не станет достаточно памяти для выполнения задания, но мне сложно определить, сколько памяти ory я могу разместить на своем устройстве. У меня довольно хорошая оценка того, сколько памяти требуется для задания (по крайней мере, сколько будет выделено из cudaMalloc ()), но у меня заканчивается память устройства задолго до того, как я выделил общий объем доступной глобальной памяти.

Есть ли какой-нибудь король формул, чтобы вычислить из общей глобальной памяти объем, который я могу выделить? Я могу поиграть с этим, пока не получу оценку, которая работает эмпирически, но я обеспокоен тем, что мои клиенты в какой-то момент развернут разные карты, и мои подтасованные числа не будут работать очень хорошо.