ПОИ Apache xls столбец Remove

Я думаю, вам нужно спускаться по каждому HSSFRow и вызывать HSSFRow.getCell, а затем HSSFRow.removeCell. API ориентирован на строки, а не на столбцы, и очень немногие операции работают на уровне всего столбца.

Пример кода (непроверенный):

HSSFSheet sheet = ...
int colToRemove = 5;
Iterator rowIter = sheet.iterator();
while (rowIter.hasNext()) {
   HSSFRow row = (HSSFRow)rowIter.next();
   HSSFCell cell = row.getCell(colToRemove);
   row.removeCell(cell);
}