Коллекция с очень быстрой итерацией и хорошей скоростью добавления и удаления

Мне нужна коллекция, которую я могу перебирать очень быстро. Я также буду добавлять элементы и удалять (определенные) элементы довольно регулярно, поэтому в идеале хотелось бы, чтобы эти операции также выполнялись быстро.

Я разрабатываю на xbox и поэтому ограничен компактной структурой (более или менее). Очень важно свести к минимуму объем мусора и выделения объектов, поэтому все, где я могу предварительно выделить место для своих объектов, было бы замечательно.

Я буду хранить uint s (но при необходимости может быть int s) в коллекции. Тем не менее, общее решение было бы неплохим, поскольку я уверен, что мне это понадобится в будущем.

Коллекция .net была бы идеальной, если бы что-то легкое и с открытым исходным кодом было бы замечательно.

Есть ли класс коллекции, который подошел бы мне? Если нет, то как я могу его создать?

Чтобы уточнить, это идентификаторы объекта, которые класс должен обрабатывать каждый кадр. Обычно они добавляются в порядке возрастания с пробелами. Верхнего предела нет. Однако все можно было удалить, что оставило бы пробелы.
Порядок итераций не совсем важен, но было бы очень полезно (особенно для отладки), если бы он был в последовательном порядке.