Модераторы: feodorv, GremlinProg, xvr, Fixin

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Асинхронная запись в файлы 
:(
    Опции темы
Dem_max
Дата 17.4.2009, 05:11 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1780
Регистрация: 12.4.2007

Репутация: 16
Всего: 39



А есть смысл аварийно завершать поток по TerminateThread ??


--------------------
Американские программисты долго не могли понять, почему русские при зависании Windоws всё время повторяют "Твой зайка написал" ("Yоur bunnу wrоte")
PM MAIL   Вверх
Lazin
Дата 17.4.2009, 05:36 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Завсегдатай
Сообщений: 3820
Регистрация: 11.12.2006
Где: paranoid oil empi re

Репутация: 8
Всего: 154



Цитата(Dem_max @  17.4.2009,  05:11 Найти цитируемый пост)
А есть смысл аварийно завершать поток по TerminateThread ?? 

это не мне решать, а разработчику другого приложения, которое использует мою библиотеку
а вообще, эту ф-ю лучше не использовать
PM MAIL Skype GTalk   Вверх
Lazin
Дата 17.4.2009, 10:44 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Завсегдатай
Сообщений: 3820
Регистрация: 11.12.2006
Где: paranoid oil empi re

Репутация: 8
Всего: 154



Цитата(GremlinProg @ 16.4.2009,  23:46)
Цитата(Lazin @  17.4.2009,  00:51 Найти цитируемый пост)
я возможно неправильно выразился 

нет, я все понял, наверное, сам неверно выразился, смешав 2 очереди )

главное, что я выделяю - это то, что асинхронной ввод/вывод уже имеет очередь,
которую можно и даже нужно задействовать, иначе - зачем его вообще использовать?
запись в файл при таком раскладе можно осуществлять и синхронно прямо в твоем потоке, ничего от этого не изменится

мне кажется, что очередь, которую ты строишь дополнительно - лишняя нагрузка на my_class :: function,
если ты хотел отвязаться от ожидания завершения записи на диск при вызове function, то ты от него избавился, но прибавил в нагрузку практически тот же самый вес, формируя дополнительную очередь

тут достаточно просто асинхронно писать в файл, учитывая общее число байт (чтобы не выйти из потока преждевременно)

достаточно дополнить интерфейс библиотеки функцией flush, в которой просто подождать завершения всех операций (неважно каким способом)
поток - нужен, но только на стороне пользователя (как я понял, он там уже есть)
если flush невозможно встроить на стороне пользователя, то его можно вызвать в DllMain, перед отсоединением потока
тогда ошибок быть не должно

да, очередь есть, но есть один ньюанс )
у меня данные приходят маленькими порциями, а я реализую алгоритм Нагля, что-бы их объединить в большие буферы и записывать каждый такой буфер одним вызовом WriteFile. В очереди лежат именно такие буферы. При добавлении данных в очередь, на самом деле данные дописываются в последний буфер очереди, если он переполнен или его нет, то создается новый буфер и данные записываются в него.
То-есть получается примерно так, мне приходит первая порция данных, к пример 100 байт, я создаю буфер и записываю в него эти 100 байт, затем сразу извлекаю этот буфер из очереди и вызываю WriteFile для записи и пока в порт завершения не будет добавлен пакет, сигнализирующий о том, что эти данные записаны, WriteFile вызываться не будет. Все новые данные, которые будут приходить до завершения операции будут добавляться в новый буфер, затем когда он переполнится будет создан еще один и так далее. После того, как операция завершиться я извлеку первый буфер из очереди и начну операцию записи для него. И так далее, пока очередь не опустеет.
Если сразу писать все через WriteFile, то получится большой оверхэд, так-как простое дописывание в буфер намного быстрее чем syscall, пусть даже внутри WriteFile эти данные то-же будут только добавлены в очередь. Плюс, будет большая фрагментация, так как в очереди ввода вывода будет очень много очень маленьких элементов, а в очереди порта завершения - очень много указателей на overlapped структуры.

Добавлено через 13 минут и 18 секунд
В общем, если-бы все данные у меня были-бы сразу, или хотя-бы приходили большими кусками, то я конечно не использовал-бы очередь, но в данном случае так нельзя.

Это сообщение отредактировал(а) Lazin - 17.4.2009, 10:45
PM MAIL Skype GTalk   Вверх
xvr
Дата 17.4.2009, 11:15 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Комодератор
Сообщений: 7046
Регистрация: 28.8.2007
Где: Дублин, Ирландия

Репутация: 40
Всего: 223



А кто мешает держать один дежурный буфер и дописывать в него по мере прихода данных, пока не сформируется кусок достаточного размера? И только после этого отправлять его в очередь на запись.
Очередь при этом может висеть в отдельном потоке и сбрасывать готовые буфера через синхронный Write.

PM MAIL   Вверх
GremlinProg
Дата 17.4.2009, 13:45 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Комодератор
Сообщений: 2706
Регистрация: 9.8.2005
Где: Тюмень

Репутация: 99
Всего: 106



Цитата(xvr @  17.4.2009,  13:15 Найти цитируемый пост)
А кто мешает держать один дежурный буфер и дописывать в него по мере прихода данных, пока не сформируется кусок достаточного размера? И только после этого отправлять его в очередь на запись.

поддерживаю, очень хороший вариант, во избежание большой фрагментации
тогда поток с синхронной записью не будет стопорить приход новых данных
и будет полная гармония


--------------------
"Гений всегда разумнее, чем умнее. Ум — это машина, разум — водитель этой машины."
PM WWW ICQ   Вверх
Ответ в темуСоздание новой темы Создание опроса
Правила форума "C/C++: Системное программирование и WinAPI"
Fixin
GremlinProg
xvr
feodorv
  • Большое количество информации и примеров с использованием функций WinAPI можно найти в MSDN
  • Описание сообщений, уведомлений и примеров с использованием компонент WinAPI (BUTTON, EDIT, STATIC, и т.п.), можно найти в MSDN Control Library
  • Непосредственно, перед созданием новой темы, проверьте заголовок и удостоверьтесь, что он отражает суть обсуждения.
  • После заполнения поля "Название темы", обратите внимание на наличие и содержание панели "А здесь смотрели?", возможно Ваш вопрос уже был решен.
  • Приводите часть кода, в которой предположительно находится проблема или ошибка.
  • Если указываете код, пользуйтесь тегами [code][/code], или их кнопочными аналогами.
  • Если вопрос решен, воспользуйтесь соответствующей ссылкой, расположенной напротив названия темы.
  • Один топик - один вопрос!
  • Перед тем как создать тему - прочтите это .

На данный раздел распространяются Правила форума и Правила раздела С++:Общие вопросы .


Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, Chipset, Step, Fixin, GremlinProg, xvr. feodorv.

 
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | C/C++: Системное программирование и WinAPI | Следующая тема »


 




[ Время генерации скрипта: 0.0483 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.