Сравнение производительности и распределения памяти между списком и набором

Я хочу узнать сравнение между List и Set с точки зрения производительности, выделения памяти и удобства использования.

Если у меня нет требований по сохранению уникальности в списке объектов, а также не требуется поддерживать порядок вставки, могу ли я использовать ArrayList и SortedSet/HashSet взаимозаменяемо? Будет ли хорошо напрямую использовать класс Collections вместо списка/набора?

П.С. У меня также нет необходимости в списке или наборе конкретных функций, предоставляемых java. Я использую List/Set вместо Array только потому, что они могут динамически расти без дополнительных усилий по программированию.