Просто добавьте все свои элементы в Set : он не позволяет повторять его элементы. Если вам понадобится список позже, используйте новый конструктор ArrayList(theSet) впоследствии (где theSet - ваш результирующий набор).
Set
ArrayList(theSet)
theSet