Как освободить пространство указателя в памяти?

У меня есть вопрос об указателях в C. Каждый указатель имеет 4 байта в памяти (адресе). Когда я вызываю malloc (), он только выделяет память и помещает ее адрес в указатель, также только free () освобождает память, на которую указывает указатель. Но как мне удалить указатель (4 байта) в памяти, который мне больше не нужен? Нет ли утечки памяти?