Список «токенов» в Lucene 3

Я новичок в Lucene, я начал изучать ветку версии 3, и есть одна вещь, которую я не понимаю (очевидно, потому что я ' м не разбираюсь в теме).

В Lucene 2.9, если мне нужен список токенов, я бы создал класс ArrayList класса Token, например ArrayList. Для меня это довольно интуитивно понятно, а концепция токена очень ясна.

Теперь, когда использование класса Token не приветствуется в пользу API на основе атрибутов, мне нужно создать свой собственный класс для инкапсуляции нужных мне атрибутов? Если да, то разве это не воссоздание класса Token Lucene?

Я делаю класс для тестирования анализаторов, и, полагаю, наличие списка полученных токенов облегчает тестирование.

Любая помощь будет оценил;)

Теперь, когда использование класса Token не поощряется в пользу API на основе атрибутов, нужно ли мне создавать свой собственный класс для инкапсуляции нужных мне атрибутов? Если да, то разве это не воссоздание класса Token Lucene?

Я делаю класс для тестирования анализаторов, и, полагаю, наличие списка полученных токенов облегчает тестирование.

Любая помощь будет оценил;)

Теперь, когда использование класса Token не поощряется в пользу API на основе атрибутов, нужно ли мне создавать свой собственный класс для инкапсуляции нужных мне атрибутов? Если да, то разве это не воссоздание класса Token Lucene?

Я делаю класс для тестирования анализаторов, и, полагаю, наличие списка полученных токенов облегчает тестирование.

Любая помощь будет оценил;) Спасибо!