VPF::boost::serialization ? баг : фича - Форум программистов

volatile

Дата 4.2.2011, 01:39 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 2107
Регистрация: 7.1.2011

Репутация: 37
Всего: 85

Сначала небольшой материал:

Код


#include "stdafx.h"
#include <fstream>
#include <boost/archive/text_oarchive.hpp>
#include <boost/archive/text_iarchive.hpp>
#include <string>

class test // Наш небольшой класс, который хранит имя и возраст.
{
    friend class boost::serialization::access;
    template<class Archive>
    void serialize(Archive & ar, const unsigned int version)
    {
        ar & name;
        ar & age;
    }
    std::wstring name; // Имя
    int age;           // Возраст
public:
    test () {;}
    test (const std::wstring &n, int a) : name(n), age(a) {;}
    bool operator==(const test& v) {return name==v.name && age==v.age;} // Это для стравнения
};
BOOST_CLASS_TRACKING(test, boost::serialization::track_never); // Это чтоб ворингов не было

int _tmain(int argc, _TCHAR* argv[])
{
   test a(L"Алла Пугачёва", 60); // Наши данные, их будем сериализовать.
   test b; // Сюда будем читать.
   
   {  // Сериализуем в файл наши данные
      std::ofstream ofs("name.txt", std::ios::out);
      boost::archive::text_oarchive oa(ofs);
      oa << a;
   }

   {  // Читаем наши данные из файла в другую переменную 
      std::ifstream ifs("name.txt", std::ios::in);
      boost::archive::text_iarchive ia(ifs);
      ia >> b;
   }
   //Проверяем на соответствие.
   std::cout << (b==a ? "Good" : "Bad") ;
   return 0;
}

Итак запускаем программку.
Выводит: "Good". Хорошо!.

Теперь вместо "Алла Пугачёва", вбиваем "Филипп Киркоров"
Запускаем... и тут ... нас ждёт неожиданный эксцепшн "stream error"!
Мы не поменяли ничего в программе, только данные изменились.
Я долго не мог понять, почему?!!

Оказывается дело в том что в юникодной кодировке, русская буква "К" имеет код 0x041A
а байт с кодом 1A буст воспринимает за конец файла.
Если бы не было дальнейшего вывода после имени, (а я специально для наглядности вывел здесь возраст),
то и исключения бы не было, просто считалось бы "Филипп " и всё, без "Киркорова" и без ксцепшна. smile

Не знаю это баг, или фича. Скорее все-же баг. Потому-что, если буст не поддреживает юникод, то и тип wstring поддерживать не нужно.
А вообще все работает нормально, с любым юникодным текстом, но только до тех пор, пока не встретится большая русская буква "К".
Теперь буду работать с бинарным выводом.
Прошу комментировать.

KaraKum

Дата 4.2.2011, 01:41 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 640
Регистрация: 3.12.2007

Репутация: 1
Всего: 1

Ну все давно поняли что Киркоров нехороший человек. Вон даже boost об него спотыкается smile

kemiisto

Дата 4.2.2011, 01:52 (ссылка)

(нет голосов)

Загрузка ...

Дикий Кот. =^.^=

Награды: 1

Профиль
Группа: Участник Клуба
Сообщений: 3292
Регистрация: 29.7.2007

Репутация: 2
Всего: 160

Цитата(volatile @ 3.2.2011, 23:39

)

Не знаю это баг, или фича. Скорее все-же баг.

Как ты смеешь, негодяй!? Это фича. Какие баги могут быть в величайшем творении человечества!? Да снизойдёт на тебя кара небесная, мерзавец!

Цитата(volatile @ 3.2.2011, 23:39

)

Прошу комментировать.

Да тут, собственно, нечего комментировать.

user posted image

Приятного аппетита!

Это сообщение отредактировал(а) kemiisto - 4.2.2011, 01:53

--------------------

XMPP-канал.

Unit testing isn't enough. You need static typing.

Пей, кури, пиши на си! smile

boostcoder

Дата 4.2.2011, 02:40 (ссылка)

(нет голосов)

Загрузка ...

pattern`щик

Профиль
Группа: Завсегдатай
Сообщений: 5458
Регистрация: 1.4.2010

Репутация: 49
Всего: 110

наверняка все же баг... но какой-то странный..

Цитата(volatile @ 4.2.2011, 01:39

)

байт с кодом 1A буст воспринимает за конец файла.

буст большой. о какой именно части буста вы говорите?

зы
в жизни не использовал юникод, и не очень понимаю для чего он.
но раз, или два, использовал кириллицу, и на такой баг не напоролся.

--------------------

компилятор онлайн с поддержкой C++11
сборки компиляторов MinGW

KaraKum

Дата 4.2.2011, 02:45 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 640
Регистрация: 3.12.2007

Репутация: 1
Всего: 1

Цитата(boostcoder @ 4.2.2011, 03:40

)

о какой именно части буста вы говорите?

Речь идёт о сериализации.

Вот тут похожая проблема - видимо это не совсем баг - нужно попробовать boost::archive::binary_archive вместо boost::archive::text_oarchive.

Alexeis

Дата 4.2.2011, 08:12 (ссылка)

(нет голосов)

Загрузка ...

Амеба

Профиль
Группа: Админ
Сообщений: 11743
Регистрация: 12.10.2005
Где: Зеленоград

Репутация: 12
Всего: 459

А я недавно также напоролся на баг именно с юникодом. Тоже анси все ок, а точка юникода смерть. Грешил на билдер, но сейчас подумал, что новый билдер содержит обновление буста....

--------------------

Vit вечная память.

Обсуждение действий администрации форума производятся только в этом форуме

гениальность идеи состоит в том, что ее невозможно придумать

xvr

Дата 4.2.2011, 13:38 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Комодератор
Сообщений: 7046
Регистрация: 28.8.2007
Где: Дублин, Ирландия

Репутация: 60
Всего: 223

Откройте выходной и входной файлы в бинарном режиме (в std::ofstream и std::ifstream добавить std::ios::binary) и не катите бочку на boost, он тут не пи чем smile

KaraKum

Дата 4.2.2011, 13:40 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 640
Регистрация: 3.12.2007

Репутация: 1
Всего: 1

Цитата(xvr @ 4.2.2011, 14:38

)

не катите бочку на boost

А что мешало хвалёному бусту получить размер файла при его открытии для определения его окончания чтобы не напарываться вот на такие костыли??

xvr

Дата 4.2.2011, 13:49 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Комодератор
Сообщений: 7046
Регистрация: 28.8.2007
Где: Дублин, Ирландия

Репутация: 60
Всего: 223

Цитата(KaraKum @ 4.2.2011, 13:40

)

А что мешало хвалёному бусту получить размер файла при его открытии для определения его окончания

Вы удивитесь, но файл будет короче, чем ожидалось smile

Проблема не в boost'е, а в файловом потоке, который открыли в текстовой моде (она такая по умолчанию).
Вот тут:

Код


std::ofstream ofs("name.txt", std::ios::out);
// и тут
std::ifstream ifs("name.txt", std::ios::in);

А так же в том, что туда попытались записать (а потом прочесть) байт 1A. И файловый поток обрезал по 1A содержимое, а не boost smile

KaraKum

Дата 4.2.2011, 13:51 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 640
Регистрация: 3.12.2007

Репутация: 1
Всего: 1

Цитата(xvr @ 4.2.2011, 14:49

)

Вы удивитесь, но файл будет короче, чем ожидалось

Что?

xvr

Дата 4.2.2011, 14:27 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Комодератор
Сообщений: 7046
Регистрация: 28.8.2007
Где: Дублин, Ирландия

Репутация: 60
Всего: 223

Цитата(KaraKum @ 4.2.2011, 13:51)

Цитата(xvr @ 4.2.2011, 14:49

)

Вы удивитесь, но файл будет короче, чем ожидалось

Что?

Пример -

Код


#include <fstream>
#include <iostream>
#include <string>


int main()
{
  {
   std::ofstream ofs("name.txt", std::ios::out);

   ofs<<"TestStrng" "\x1A" "eriuwiorwodjdkcdmncv"<<std::endl;
  }
  {
   std::ifstream ifs("name.txt", std::ios::in);

   while(ifs)
    {
     std::string s;
     getline(ifs,s);
     std::cout << s << std::endl;
     std::cout << s.size() << std::endl;
    }

  }

 return 0;
}

VS2008

Результат -

Цитата

TestStrng
9

0

Как видим хвост после 1A беследно исчез (хотя в файл 'name.txt' и записался, хотя был в праве обрезаться уже там)

Это сообщение отредактировал(а) xvr - 4.2.2011, 14:28

KaraKum

Дата 4.2.2011, 14:44 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 640
Регистрация: 3.12.2007

Репутация: 1
Всего: 1

Пример полный и понятный. Спасибо.
Получается мы перекладываем вину с boost'а на std, что не освобождает boost от ответственности, которого можно привлечь за бездействие smile

Это сообщение отредактировал(а) KaraKum - 4.2.2011, 14:44

boostcoder

Дата 4.2.2011, 14:48 (ссылка)

(нет голосов)

Загрузка ...

pattern`щик

Профиль
Группа: Завсегдатай
Сообщений: 5458
Регистрация: 1.4.2010

Репутация: 49
Всего: 110

я так понял, что в текстовом моде, код 1A, не является валидным.

--------------------

компилятор онлайн с поддержкой C++11
сборки компиляторов MinGW

KaraKum

Дата 4.2.2011, 14:53 (ссылка)

(голосов:1)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 640
Регистрация: 3.12.2007

Репутация: 1
Всего: 1

Это буква "К" - что в ней невалидного?
http://www.unicode.org/charts/PDF/U0400.pdf

xvr

Дата 4.2.2011, 14:54 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Комодератор
Сообщений: 7046
Регистрация: 28.8.2007
Где: Дублин, Ирландия

Репутация: 60
Всего: 223

Цитата(boostcoder @ 4.2.2011, 14:48)

я так понял, что в текстовом моде, код 1A, не является валидным.

Почему же, это вполне валидный признак конца файла smile

Ноги у этого 1A растут еще из CPM (была такая ОС, предшественник MSDOS). В CPM длинна файла определялась количеством блоков в нем (по 128 байт). Частичные блоки не поддерживались. Поэтому, что бы в текстах не было мусора в конце (до границы 128ми байтового блока), и был зарезервирован специальный код (1A), для обозначения конца данных в файле

0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| C/C++: Общие вопросы \| Следующая тема »