Работа с очень огромным XML-файлом в C#

У меня есть этот очень огромный XML-файл размера 2.8 ГБ. Это - дамп статей польской Википедии. Размер этого файла очень проблематичен для меня. Задача состоит в том, чтобы искать этот файл некоторый большой объем данных. Все, что я имею, является заголовками статей. Я думал, что мог отсортировать это заголовки и использовать один линейный цикл через файл. Идея не так плоха, но статьи не отсортированы в алфавитном порядке. Они отсортированы по идентификатору, который я не знаю априорно.

Так, мое долгое размышление должно было сделать индекс того файла. Сохранить в другом файле (или база данных) строки в следующем формате: title;id;index (возможно, без идентификатора). Я мой другой вопрос я обратился за помощью с этим. Гипотеза была то, что, если у меня был индекс необходимого тега, я мог бы использовать просто простой Seek метод для перемещения курсора в файле, не читая все содержание, и т.д. Для меньших файлов я думаю, что это могло хорошо работать. Но на моем компьютере (ноутбук, C2D proc, Win7, VS2008) я получаю ошибку, что приложение не отвечает.

В моей программе я читаю каждую строку из файла и проверяю, содержит ли это тег, в котором я нуждаюсь. Я также считаю все байты, я считал и сохраняю строки в упомянутом выше формате. Таким образом, в то время как индексация программы зависается. Но до того времени индексный файл результата составляет 36.2 МБ, и последний индекс похож 2,872,765,202 (B), в то время как целый XML-файл является 3,085,439,630 B долго.

Моя треть думала, должен был разделить файл на мелкие кусочки. Чтобы быть точными в 26 частей (существует 26 букв на латинском языке), каждый содержащий только записи, запускающиеся для той же буквы, например, в a.xml все записи, которые заголовки запускают в букве "A". Заключительные файлы были бы похожи на десятки МБ, макс. приблизительно 200 МБ, я думаю. Но существует та же проблема с чтением целого файла.

Для чтения файла, я использовал, вероятно, самый быстрый путь: использование StreamReader. Я считал где-нибудь это StreamReader и XmlReader класс от System.Xml самые быстрые методы. StreamReader еще быстрее это XmlReader. Очевидно, что я не могу загрузить весь этот файл в память. Я установил только 3 ГБ RAM, и Win7 берет как 800MB-1GB, когда полностью загружено.

Таким образом, я обращаюсь за помощью. Что должно сделать лучшее. Дело в том, что поиск этот XML-файл должен быть быстрым. Должен быстрее затем загружать единственные страницы Wikipedia в формате HTML. Я даже не уверен, возможно ли это.

Возможно, загрузите все необходимое содержание в базу данных? Возможно, это было бы быстрее? Но тем не менее я должен буду считать целый файл как наименьшее однажды.

Я не уверен, существуют ли некоторые пределы приблизительно 1 длина вопроса, но я помещу здесь также образец своего исходного кода индексации.

while (reading)
{
    if (!reader.EndOfStream)
    {
        line = reader.ReadLine();
        fileIndex += enc.GetByteCount(line) + 2; //+2 - to cover characters \r\n not included into line
        position = 0;
    }
    else
    {
        reading = false;
        continue;
    }

    if (currentArea == Area.nothing)    //nothing interesting at the moment
    {
         //search for position of