Используйте BorderLayout и поместите свою панель в BorderLayout.SOUTH из нее
BorderLayout
BorderLayout.SOUTH