Динамически удалить компонент из JPanel

Я добавляю и удаляю компоненты динамически в JPanel . Функциональность добавления и удаления работает нормально, но когда я удаляю компонент, удаляется последний компонент, а не компонент, который нужно удалить.

Как я могу решить эту проблему?