Я думаю, что вы хотите следующее:
ind = abs(C - A) < abs(C - B) ; C(ind) = A(ind);
ind = abs(C - A) > abs(C - B) ; C(ind) = B(ind);
ind = abs(C - A) == abs(C - B) ; C(ind) = 0;
Интересная идея. Некоторый поиск в Google дал несколько интересных страниц, в том числе:
Надеюсь, это поможет.