Delphi: Альтернатива использованию Reset/ReadLn для чтения текстового файла

Если вы нужна поддержка ansi и Unicode в старых версиях Delphis, вы можете использовать мой GpTextFile или GpTextStream .

Я использую TFileStream, но буферизирую входные данные в довольно большие блоки (например, по несколько мегабайт) и читаю и обрабатываю по одному блоку за раз. Таким образом, мне не приходится загружать весь файл сразу.

Это работает довольно быстро, даже для больших файлов.

У меня есть индикатор выполнения. По мере загрузки каждого блока я увеличиваю его на долю файла, которая была дополнительно загружена.

Чтение по одной строке за раз, без буферизации, просто слишком медленно для больших файлов.

Как кажется, переменная FileMode не действительна для Textfiles, но мои тесты показали, что многократное чтение из файла не является проблемой. Вы не упомянули об этом в своем вопросе, но если вы не собираетесь писать в текстовый файл во время его чтения, то все должно быть хорошо.

Почему бы просто не читать строки файла непосредственно из самого TFileStream по одной?

т.е. (в псевдокоде):

  readline: 
    while NOT EOF and (readchar <> EOL) do
      appendchar to result


  while NOT EOF do
  begin
    s := readline
    process s
  end;

Одна из проблем, с которой вы можете столкнуться, заключается в том, что iirc TFileStream не буферизуется, поэтому производительность для большого файла будет неоптимальной. Однако существует ряд решений проблемы небуферизованных потоков, в том числе этот , которые вы, возможно, захотите изучить, решит ли этот подход вашу первоначальную проблему.

Вы можете использовать этот пример кода:

TTextStream = class(TObject)
      private
        FHost: TStream;
        FOffset,FSize: Integer;
        FBuffer: array[0..1023] of Char;
        FEOF: Boolean;
        function FillBuffer: Boolean;
      protected
        property Host: TStream read FHost;
      public
        constructor Create(AHost: TStream);
        destructor Destroy; override;
        function ReadLn: string; overload;
        function ReadLn(out Data: string): Boolean; overload;
        property EOF: Boolean read FEOF;
        property HostStream: TStream read FHost;
        property Offset: Integer read FOffset write FOffset;
      end;

    { TTextStream }

    constructor TTextStream.Create(AHost: TStream);
    begin
      FHost := AHost;
      FillBuffer;
    end;

    destructor TTextStream.Destroy;
    begin
      FHost.Free;
      inherited Destroy;
    end;

    function TTextStream.FillBuffer: Boolean;
    begin
      FOffset := 0;
      FSize := FHost.Read(FBuffer,SizeOf(FBuffer));
      Result := FSize > 0;
      FEOF := Result;
    end;

    function TTextStream.ReadLn(out Data: string): Boolean;
    var
      Len, Start: Integer;
      EOLChar: Char;
    begin
      Data:='';
      Result:=False;
      repeat
        if FOffset>=FSize then
          if not FillBuffer then
            Exit; // no more data to read from stream -> exit
        Result:=True;
        Start:=FOffset;
        while (FOffset<FSize) and (not (FBuffer[FOffset] in [#13,#10])) do
          Inc(FOffset);
        Len:=FOffset-Start;
        if Len>0 then begin
          SetLength(Data,Length(Data)+Len);
          Move(FBuffer[Start],Data[Succ(Length(Data)-Len)],Len);
        end else
          Data:='';
      until FOffset<>FSize; // EOL char found
      EOLChar:=FBuffer[FOffset];
      Inc(FOffset);
      if (FOffset=FSize) then
        if not FillBuffer then
          Exit;
      if FBuffer[FOffset] in ([#13,#10]-[EOLChar]) then begin
        Inc(FOffset);
        if (FOffset=FSize) then
          FillBuffer;
      end;
    end;

    function TTextStream.ReadLn: string;
    begin
      ReadLn(Result);
    end;

Использование:

procedure ReadFileByLine(Filename: string);
var
  sLine: string;
  tsFile: TTextStream;
begin
  tsFile := TTextStream.Create(TFileStream.Create(Filename, fmOpenRead or    fmShareDenyWrite));
  try
    while tsFile.ReadLn(sLine) do
    begin
      //sLine is your line
    end;
  finally
    tsFile.Free;
  end;
end;