StreamReader и двоичные данные

У меня есть этот текстовый файл, содержащий разные поля. Некоторые поля могут содержать двоичные данные. Мне нужно получить все данные в файле, но прямо сейчас при использовании StreamReader он не будет читать блок двоичных данных и данные, которые будут после этого. Как лучше всего решить эту проблему?

Пример:

field1|field2|some binary data here|field3

Сейчас я читаю файл следующим образом:

public static string _fileToBuffer(string Filename)
{
    if (!File.Exists(Filename)) throw new ArgumentNullException(Filename, "Template file does not exist");

    StreamReader reader = new StreamReader(Filename, Encoding.Default, true);
    string fileBuffer = reader.ReadToEnd();
    reader.Close();

    return fileBuffer;
}

РЕДАКТИРОВАТЬ: Я знаю начальную и конечную позиции двоичных полей.