Как указать RTL-специфичные отрисовки

Для вашей ячейки updateItem(...) вашей фабрики необходимо обработать случай, когда ячейка пуста. Это будет именно тот сценарий, когда элемент удаляется (или становится пустым, потому что узел в TreeView был свернут), и ячейка, которая ранее показывала элемент, повторно используется как пустая ячейка:

public ListCell<T> call(final ListView<T> param) {
    ListCell<T> cell = new ListCell<T>(){
        @Override
        protected void updateItem(final T persistentObject, final boolean empty) {
            super.updateItem(persistentObject, empty);
            if (empty) {
                setText(null);
                setGraphic(null);
            } else {
                // ... rest of your code.
            }
       }
    }
    return cell ;
}