Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате
Форум программистов > Delphi: Общие вопросы > Загрузка файла в Stream через Thread


Автор: ZeroDivide 12.8.2005, 18:37
Я написал модуль, загружающий файл в TMemoryStream (надо для игрового движка).
Код

unit ZDLoader;

interface

uses
  SysUtils, Classes;

type
  TZDLoader = class(TThread)
  private
    FStream: TMemoryStream;
    FFileName: string;
  public
    property Stream: TMemoryStream read FStream write FStream;
    property FileName: string read FFileName write FFileName;
  published
    procedure Execute; override;
  end;

function LoadStream(AFileName: string): TMemoryStream;

implementation

procedure TZDLoader.Execute;
var
  Loader: TMemoryStream;
begin
  if not Assigned(FStream) then
    Exit;
  if not FileExists(FFileName) then
    Exit;
  Loader := TMemoryStream.Create;
  Loader.LoadFromFile(FFileName);
  FStream.CopyFrom(Loader, Loader.Size);
  FStream.Position := 0;
  Loader.Free;
  FreeOnTerminate := true;
end;

function LoadStream(AFileName: string): TMemoryStream;
var
  Thread: TZDLoader;
begin
  Thread := TZDLoader.Create(false);
  Result := TMemoryStream.Create;
  Thread.Stream := Result;
  Thread.FileName := AFileName;
  Thread.Execute;
  Thread.Free;
end;

end.


Файл загружаю функцией LoadStream.
На маленьких файлах работает отлично, но с большими (вроде более 800 килобайт) возникает исключение: "Stream read error. Out of memory while expanding memory stream".
Перепробовал кучу способов (Read/Write, через файлы, через хендлы), ничего не изменилось. smile
Как исправить?
Заранее спасибо за ответы.

Автор: _hunter 12.8.2005, 18:50
перед FStream.CopyFrom нужно позицию Loader-а в 0 поставить...

Автор: Guest 12.8.2005, 19:29
Это я просто криво код скопировал smile
Изменений нет. Всё тот же "Stream read error. Out of memory while expanding memory stream".
Памяти у меня 1024 МБ + файл подкачки.

Автор: p0s0l 12.8.2005, 21:30
По всей видимости, памяти у тебя маловато...
Может забываешь где-нибудь освобождать память ?...
У себя сейчас проверил - ошибка вылазит, если кончается вся виртуальная память (у меня 512RAM + 1GB Swap)...
Также даже если у тебя виртуальная память больше 2ГБ - проку мало, т.к. в NT-системах для пользовательских процессов доступна только половина адресного пространства, т.е. 2 Гб... (про Win9x - не знаю...)

Автор: Guest 13.8.2005, 09:39
У меня Windows XP.
Быть того не может, чтобы памяти не хватило...
А другого способа нет?

Автор: Illusion Dolphin 13.8.2005, 10:01
p0s0l, к чему размер памяти? Ты ж посмотри, что там в коде написано smile !

Код

unit ZDLoader;

interface

uses
  SysUtils, Classes;

type
  TZDLoader = class(TThread)
...
  end;

function LoadStream(AFileName: string): TMemoryStream;

implementation

...

function LoadStream(AFileName: string): TMemoryStream;
var
  Thread: TZDLoader;
begin
  Thread := TZDLoader.Create(false); //парамерт функции Create определяет, будет ли поток созданн приостановленным - у тебя нет, значит поток в этом месте уже запускается
  Result := TMemoryStream.Create; //тут идёт время на создание потока
  Thread.Stream := Result; // поток уже запущен, функция execute уже выполняется, так что присвоение Stream может немного запоздать ;)
  Thread.FileName := AFileName; //аналогично
  Thread.Execute; //таааак низя! эта функция уже выполняется и в какой-то стадии выполнения, так что что тут у тебя теперь получается знаит один бог
  Thread.Free; //и вот поток проработал ровно столько сколько выполнялось присвоение данных и создание нового потока, неудивительно что больше 800 кило он не успел прочитать  :D 
end;

end.

Для начала прочитай про многопоточность, может вопрос у тебя решится сам собой. Но если вопрос очень нужен, то тебе придётся сделать всё хотя бы по такому сценарию:
1) Создаём поток Thread := TZDLoader.Create(true);
2) присваиваем свойства
3) запускаем поток Thread.Resume; (Thread.free вызывать не нужно!)
4) из потока при завершении операции чтения вызываем функцию основного приложения для того чтобы передать указатель на поток с прочитанными данными (используй Synchronize)

Автор: p0s0l 13.8.2005, 11:16
Мдя... Тестил я на простом TMemoryStream.SetSize... На LoadStream не посмотрел smile, не думал, что можно догадаться такое написать, это всё равно что в одном слове допустить 10 ошибок smile...

Автор: Guest 13.8.2005, 19:10
А по-моему ничего смешного smile
Я впервые работаю с TThread`ами.
А вот про Synchronize я почти ничего не понимаю, я знаю, что его используют для синхронизации данных между двумя потоками.
Можете обеспечить ламера smile в потоках нормальным, рабочим кодом?
smile

Автор: p0s0l 13.8.2005, 19:36
ZeroDivide, почитай о потоках в в этой статье, всё расжевано.
http://forum.vingrad.ru/index.php?showtopic=60076&view=all
Потратишь время на чтение, но сэкономишь его на отлове багов...

PS: Можно уже и зарегистрироваться smile. Движок для игры - дело долгое, помощь еще не раз потребуется smile

Автор: ZeroDivide 13.8.2005, 20:20
p0s0l, я уже скачал, буду читать. Ты не думай, что я ламер smile я просто впервые с Thread`ами встречаюсь.
И всё таки ты можешь переписать мой модуль? Ведь про потоки читать-то много... smile

Автор: p0s0l 13.8.2005, 21:21
ZeroDivide, сделай так как написал Illusion Dolphin:
Код

unit ZDLoader;    

interface    

uses    
  SysUtils, Classes;    

type    
  TZDLoader = class(TThread)    
  private    
    FStream: TMemoryStream;    
    FFileName: string;
  protected
    procedure Signal;    
  public    
    property Stream: TMemoryStream read FStream write FStream;    
    property FileName: string read FFileName write FFileName;    
  published    
    procedure Execute; override;    
  end;    

function LoadStream(AFileName: string): TMemoryStream;    

implementation    

procedure TZDLoader.Execute;    
begin    
  if not Assigned(Stream) then    
    Exit;    
  if not FileExists(FileName) then    
    Exit;    
  Stream.LoadFromFile(FileName);    
  Stream.Position := 0;    
  Synchronize(Signal);
  FreeOnTerminate := True;
end;    

procedure TZDLoader.Signal;
begin
// как-нибудь оповещай, что мол загрузка закончилась, теперь можно юзать Stream, например так:
  MainForm.LoadingComplete (Stream, FileName);
end;

function LoadStream(const AFileName: string): TMemoryStream;    
var    
  Thread: TZDLoader;    
begin    
  Thread := TZDLoader.Create(True);
  Result := TMemoryStream.Create;
  Thread.Stream := Result;
  Thread.FileName := AFileName;
  Thread.Resume;
end;    

end.

Автор: Illusion Dolphin 13.8.2005, 21:40
Я бы сделал так:

Код

unit ZDLoader;

interface

uses
  SysUtils, Classes;

type
  TProcEndFileThreadLoadToStream = procedure(Sender : TObject; ID : String; Stream : TMemoryStream) of object;

type
  TZDLoader = class(TThread)
  private
    FStream: TMemoryStream;
    FFileName: string;
    FID : String;
    FProc : TProcEndFileThreadLoadToStream;
    procedure FileLoaded;
  public
    constructor Create(CreateSuspennded: Boolean; ID: String; FileName : String; Proc : TProcEndFileThreadLoadToStream);
    property Stream: TMemoryStream read FStream write FStream;
  published
    procedure Execute; override;
  end;

implementation

constructor TZDLoader.Create(CreateSuspennded: Boolean; ID: String; FileName: String; Proc : TProcEndFileThreadLoadToStream);
begin
 inherited Create(true);
 FFileName:=FileName;
 FID:=ID;
 FProc:=Proc;
 if not CreateSuspennded then Resume;
end;

procedure TZDLoader.Execute;
var
  Loader: TMemoryStream;

  procedure DoExit;
  begin
   Synchronize(FileLoaded);
  end;

begin
 FreeOnTerminate := true;
 if not FileExists(FFileName) then
 begin
  FStream:=nil;
  DoExit;
  Exit;
 end;
 FStream := TMemoryStream.Create;
 FStream.LoadFromFile(FFileName);
 DoExit;
end;

procedure TZDLoader.FileLoaded;
begin
 FProc(Self,FID,FStream);
end;

end.


Код

unit Unit1;

interface

uses
  Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,
  Dialogs, ZDLoader, StdCtrls;

type
  TForm1 = class(TForm)
    Button1: TButton;
    procedure Button1Click(Sender: TObject);
    procedure FileLoaded(Sender : TObject; ID : String; Stream : TMemoryStream);
  private
    { Private declarations }
  public
    { Public declarations }
  end;

var
  Form1: TForm1;

implementation

{$R *.dfm}

procedure TForm1.Button1Click(Sender: TObject);
begin
// типа зачем нужен ID? я его обычно генерирую как GUID и
//потом можно использовать одну процедуру для
//всех файлов и в ней разбираться в какой стриме какой файл
 TZDLoader.Create(false,'1','C:\test.dat',FileLoaded);
end;

procedure TForm1.FileLoaded(Sender: TObject; ID: String;
  Stream: TMemoryStream);
begin
 if ID='1' then
 begin
  if Stream=nil then showmessage('Афыпка!') else
  begin
   ShowMessage('Размер загруженного файла - '+inttostr(round(Stream.Size/(1024*1024)))+ ' Mb');
   Stream.Free;
  end;
 end;
end;

end.



P.S. запоздал ))) уже запостили почти тот же вариант

Автор: ZeroDivide 14.8.2005, 08:12
Я зарегистрировался smile smile
Спасибо все отвечавшим!

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)