начитавшись манов по разработке расширений для GCC решил: хватит с меня макросов и кодогенерации осложненной нехваткой возможностей препроцессора и информации о типах доступной на стадии препроцессирования!!!  буду писать плагин.

интересует мнение форумчан:
какой вы видите reflection и introspection в С/С++? и чего вам от них надо?

спасибо.


Это сообщение отредактировал(а) boostcoder - 24.7.2011, 16:32

Может взять готовый? GCC-XML

я как-то пытался понять что это и с чем его едят, и ничего понял 

Добавлено через 26 секунд
попытаюсь снова..

что-то ответов маловато.. наверное всех уже достали мои темы связанные с кодогенерацией  

что мне видится необходимым:
1. генерация сериализаторов/десериализаторов. думаю использовать для этого прагмы.




в процессе написания...

  

boostcoder, плагины это конечно хорошо, но вы ведь навсегда свой проект привязываете к конеретной среде разработки.
Хорошо если вам никогда не придется переписывать это на другую IDE...
Но кто даст гарантию, что это вдруг когда-нибудь не понадобится?

эм... плагин для GCC.


так а проблема в чем? я и сам могу gcc и mingw`ы собирать. или я вас не понял?

я имел ввиду если нужен будет не gcc.

разве такое возможно? зачем? почему?

Это backend для gcc. Вместо генерации кода выводит внутреннее представление в виде XML. Правда выводится далеко не все внутреннее представление, а только декларации (вроде). Для introspection/reflection должно хватить

Есть еще один путь - парсить отладочную информацию (DWARF2 например)

да. уже проверил.


да. тоже проверил.
и да, должно хватить.

из этого:


получаем это:

многое не понятно. но члены вижу. нужно в доку посерьезней глянуть.

Добавлено через 1 минуту и 9 секунд
начало xml вырезал, а то форум ругался. там были только builtin функции/типы/переменные.

Добавлено через 2 минуты и 35 секунд

по моему, поздно что-то генерить в код, когда уже сгенерина отладочная инфа. или предлагаете двойной проход?

Добавлено через 5 минут и 39 секунд
и при использовании gcc-xml, выходной файл придется скармливать кодогенератору, я Вас правильно понял?
при использовании плагинов же, код можно обрабатывать и генерировать тем же плагином. ну или разделить парсер и генератор на два плагина.

еще хочется интроспекции типа такой:


вроде как согласно манам, это возможно. буду пробовать.

Добавлено @ 17:20
вот только нужно решить что удобней, аттрибуты или прагмы... согласно докам, обработка аттрибутов и прагм ничем не отличается. т.е. обработчики получают одинаковую инфу о контексте.

Это сообщение отредактировал(а) boostcoder - 24.7.2011, 18:12

глупая идея. исключить 

Угу

Да


Да, это явный плюс. В принципе такой плагин можно сделать на основе того же gcc-xml, а можно и не на основе   

по моему нет. gcc-xml это пропатченный gcc. т.е. и плагинами там и не пахнет. а разбирать его код ой как сложно 

Добавлено через 2 минуты и 19 секунд

кстати дочитал до того места, где объясняется как плагины могут "общаться" между собой.

тут, я думаю нужно получать ближайшую в скопе переменную с этим именем.
или как?

конечно, знание ЯП с нормальной introspection очень помогло бы в понимании...

Я знаю их не так много (точнее совсем почти не знаю), но в Java например это сделано отдельным пакетом (java.lang.reflect). В VCL это сделано так же отдельным классом, описывающим тип. Возможно, что и тут имеет смысл сделать нечто, расширяющее RTTI.   

например что/как и что желательно получить в итоге?

Добавлено через 3 минуты и 24 секунды
xvr, говорю же: мне, конкретно для моей задачи необходимы два момента:
1. генерация сериализаторов/десериализаторов.
2. reflection с возможностью указать куда и как рефлектиться. т.е. - сериализатор, БД, другой объект этого же типа.

но возможно в других ЯП есть более разумные и удобные моменты о которых я просто не знаю...

Погляди в Java, там есть класс Class, описывающий классы, экземпляр которого можно получить например так:

а из него можно получить всю информацию, например методы, поля, суперклассы и т. д...

спасибо. гляну.

•  Описатель структуры класса: все поля, методы. Включая их тип, сигнатуру параметров (для методов) и пр. Вот только не инстанциированные шаблоны так не получишь (и видимо вообще не получишь)
•  Метод для создания экземпляра класса
•  Метод для получения этого самого расширенного RTTI (в виде класса) по имени типа (в виде строки или идентификатора) или из существующего экземпляра объекта

осталось понять как это должно выглядеть в коде 


метод, или способ? тот же вопрос: как это должно выглядеть в коде?


т.е. _этот_расширенный_RTTI_ - это должен быть некий тип/класс?


и снова тот же вопрос: как это должно выглядеть в коде?

Например так:


К сожалению в С++ нету базового класса похожего на Object в Java, поэтому единственный на мой взгляд способ вернуть новый экземпляр класса, созданный через reflection - вернуть void*.

тут Class это кто? какая-то встроенная сущность?
а MyClass кто?
и в общем, что выполняется в этой строке?

итак. с чем разобрался:
1. для каждой единицы трансляции формируется Abstract syntax tree.
2. реальный компилятор(cc1plus) обрабатывает только по одному файлу за раз. при передаче g++ нескольких файлов, он поочередно выполняет cc1plus для каждого файла. а значит плагин будет запускаться столько же раз, сколько файлов.
3. есть возможность навесить свой обработчик на: 1) окончание разбора единицы трансляции, 2) глобальную обработку прагм, 3) глобальную обработку атрибутов.
4. плагин может добавлять/удалять в базу стандартных прагм и атрибутов свои прагмы и атрибуты.
5. есть возможность навесить обработчик на какую-то конкретную прагму или атрибут. т.е. сначала регаем имя, потом вешаем свой обработчик на реганное имя.
6. нет возможности навесить обработчик на разбор деклараций :( хотя в инете есть патч для этого.
7. нет возможности влиять на синтаксис языка.
8. AST можно генерить/изменять/удалять. т.е. при изменении AST можно с кодом сделать все что угодно.

далее...

Это сообщение отредактировал(а) boostcoder - 26.7.2011, 09:47

Пора уходить на более другой язык. 

условно :
Class - type_info
MyClass - struct MyClass
MyClass.class - typeid(MyClass)

но применительно не для всех типов, а только для полиморфных.. что позволяет после создания объекта имея ссылку на класс динамически кастовать его к нужному интерфейсу.. 

EnergoHokum, нет нужды 

mes, а можете показать то же самое ,но в виде примера на с++? ;) т.е. каким вы видите использование, и какие дополнительные возможности должен предоставлять этот самый расширенный type_info?

Добавлено через 1 минуту
и да, type_info и typeid() никогда не использовал  

это я к тому, что не очень представляю для чего они нужны, и как их использовать.

вот на скорую руку : http://liveworkspace.org/code/1e9029d8cabe...e9920a195e3336a

не понимаю... 

Добавлено через 6 минут и 52 секунды
mes, т.е. смысл в том, чтоб объект мог создать объект своего же типа? а как это можно использовать?
еще не понял что Вы хотели продемонстрировать с помощью dynamic_cast?

нет в том, что объектом не является не только инстанция класса, но и сам класс.. какими возможностями будет обладать объект-класс зависит от идеологии.. 


в рантайме мы можем создать только безличностный объект, а dynamic_cast показываеткак привести к нужному интерфейсу 

Добавлено через 1 минуту и 39 секунд
мой пример был приведен не по теме, а  как ответ на 


Добавлено через 5 минут и 37 секунд
если ближе к теме, то кусок должен выглядить так :


Добавлено через 7 минут и 50 секунд
P.S. и вместо type по смыслу больше подходит Class..

все равно не понял..
можете как-то псевдокодом показать пример того как это дело можно использовать... и для чего? ;)

Добавлено через 3 минуты и 52 секунды
я не понимаю я этого, наверное потому что никогда не писал на ЯП которые это умеют делать 

Вешать сюда. По AST со входа нужно генерить таблицы с расширенным RTTI (RTTIEx), и специальный сегмент для общей таблицы с именами типов и ссылками на RTTIEx для каждого типа.


Это вторая часть reflection - специальная библиотека. Этот Class использует таблицы RTTIEx для выдачи энумераторов на все member'ы класса. Каждый экземпляр Class описывает один конкретный тип

Кроме энумераторов Class должен содержать функции для чтения/записи/вызова member'ов исходного класса и функцию для создания этих самых исходных классов.

Конкретные интерфейсы написать прямо тут затрудняюсь - их слишком много

тут type - какой-то базовый тип?
т.е. таким образом мы можем получить объект базового типа который умеет создавать объекты типа "A" ?

таким образом мы получаем объект (объект-тип), который знает "все" о классе типа "А"  , а также может создатьинстанцию этого класса.. 
P.S. к базовым классам типа A отношение не имеет, это отдельная линия.. 

но в таком случае, дополнительный код будет генериться для всех классовых типов. разве это нужно?
я представлял что прогер сам помечает класс при помощи прагм или атрибутов. и для этих типов и будет генериться все необходимое..


очень желательно это объяснить в боооолее развернутой форме. ибо я никогда не разрабатывал/модифицировал компиляторы. и мне еще многое не понятно 


с этим понятно. вроде...


тоже понятно...


чьи интерфейсы?

Добавлено @ 11:22
вот еще пример 




Это сообщение отредактировал(а) mes - 26.7.2011, 11:48

mes, минутку... это нужно переварить..

Это сообщение отредактировал(а) boostcoder - 26.7.2011, 13:17

к примеру, если имя типа/объекта известны во время компиляции в виде строки, то как создать объект или получить ссылку на существующий объект - понятно.

тут все просто.

но для того чтоб интроспекция была динамической, нам нужно уметь выполнять все тоже самое но в рантайме... а для этого кодогенерация в компайлтайме не подходит...
т.е., все классовые типы должны наследовать базовый тип Class, к примеру...



Это сообщение отредактировал(а) boostcoder - 26.7.2011, 13:24

т.е. к примеру такая программа:


должна быть оттранслирована в нечто типа этого:

правильно?

еще не понятно, как быть с объектами... create и invoke должны возвращать указатели?

и еще, будет ли такой код считаться логичным, и нужно ли оно вообще?



Это сообщение отредактировал(а) boostcoder - 26.7.2011, 18:07

Чтобы это сделать, нужно при компиляции сгенерировать код, который для каждого класса в программе при ее запуске создаст объект типа Class (или type_info или как-нибуть еще) и положит его в какую-нибудь коллекцию (например в Java этим занимается ClassLoader виртуальной машины), чтобы можно было потом его в это коллекции найти, извлечь и использовать... Классы в программе не должны наследоваться от класса Class, для каждого класса должен быть создан объект класса Class, но желательно иметь что-то типа класса Object, от которого они бы наследовались... Ну или как-то так...

З.Ы. Все это взято мной из воспоминаний о том, как работает reflection в Java...

т.е. получается, что все объекты типа Class ссылаются на какую-то глобальную карту. и данные для этой карты нужно генерировать в компайлтайм. а инициализировать в рантайм? правильно мыслю?

Добавлено через 1 минуту и 36 секунд
kosmonaFFFt, можешь показать тоже самое в коде? или в псевдокоде.

все объекты, как принимаемые аргументы, так и возвращаемые, в том числе Void являются наследником Object..
просьба не путать типы Object и Class.. если первый является базой для всех полиморфных типов, то второй метаинформация о классе.. 
т.е. Class это такой объект с помощью которого можно создать наследника Object..

Добавлено через 2 минуты и 14 секунд

я приводил примеры по динамическому, потому как в статике и так все типы известны и никаких доп. ухищрений не надо.. 

о! понял  

mes, а по остальным вопросам что-нибудь ответите? ;)

Добавлено через 1 минуту и 14 секунд
еще нужно решить что нужно в интерфейсах Class и Object...

и этот момент мне все еще не понятен -

все принимают и возвращают объекты, а Void :

а Class что возвращает?

Class "умееет" создавать объект, знает его размер, может выдать енумерацию полей и функци, а возможно даже прикрепить нужную функцию.. 

mes, я себе это представлял так:

 

Добавлено через 14 минут и 11 секунд
еще не уверен что нужны все эти типы:

может нужен только Value у которого должны быть методы для каста его внутреннего значения в нужный тип?

Это сообщение отредактировал(а) boostcoder - 26.7.2011, 16:29

Class не состоит в иерархии Object`а.. грубо говоря он служит посредником между строковым именем и созданием объекта...

2 boostcoder: попробуйте представить часть описания типов из AST в виде иерархии классов - это и будет основа для интроспекции в RTTIEx (a-la Class, точнее его энумераторы)

Когда это более менее устаканится, можно будет переходить к проектированию 2й части интерфейсов Class'а - операции по модификации/вызовам через эти энумераторы

А уж к 3й части - созданию объектов, можно будет переходить когда первые 2 будут готовы.

Иначе у вас получится знатная каша, а не reflection   

а в более расширенной форме объяснить можете? ;)

Я не знаю спецификацию AST из gcc поэтому точно написать не смогу. Но в общей форме, это должно быть как то так

В общем все эти классы представляют один узел в AST. Для доступа к атрибутам узла и потомкам узла в AST используются методы этих классов

Методы Member::put_data/Member::get_data/Member::call_method используются для 2го уровня - манипуляция с member'ами объекта по имени

Кстати, одной интроспекции недостаточно для стриминга произвольных классов. Стримить указатели, базируясь только на их типах увы не получится - проблемы распределения памяти под данные все равно придется решать вручную   

xvr, спасибо. сначала попробую реализовать идею в терминах возможностей с++. а тогда уже и видно будет, что есть, а чего не хватает..

тут TypeKind - enum?

Добавлено через 12 минут и 22 секунды
xvr, еще типа Object не хватает? или так задумано?

Если wishlist ещё открыт, то могу предложить автогенерацию оператора == по указанным полям.
(как-то не очень понятно получается... щаз попробую на примере)

эта pragma (не обязательно pragma... можно что угодно ) должна сгенерить след. код

если же эта прагма стоит внутри структуры/класса, то должен генериться оператор == с одним параметром

borisbn, http://habrahabr.ru/blogs/personal/89874/

Да

Можно обойтись и без Object. Просто в VCL Object был введен, что бы отличить VCL классы от нормальных С++ классов. Наследование от Object автоматически включало всю машинерию Delphi классов.
В других языках этот класс автоматически становится в предки любому классу. В С++ такого класса нет, и собственно интроспекция не требует его наличия.

mes, спасибо. Вы последний комментарий читали (от юзера garex) ? 
Да и не хочется таскать boost только ради этого... плюс к тому скорость этого метода (там же в комментариях замеряли) раза в полтора (!!!) ниже.

borisbn, принято. это будет самая простая задача 

ссылку дал, как информацию к размышлению, не более   

Это сообщение отредактировал(а) mes - 27.7.2011, 11:30

xvr, поясните пожалуйста следующие моменты ;) а то в роде и понимаю, а вроде и нет..





Up.
понял 
get_size() - это sizeof(type)
get_align() - это выравнивание
get_shift() - смещение

Это сообщение отредактировал(а) boostcoder - 27.7.2011, 20:55

эм.. вопрос: метаинформацию генерить для всех типов в единице трансляции?


и еще один: при компиляции нужно собирать метаинформацию о типах. где ее сохранять?
идея первая - в генерить статический_константный_массив. но проблема в том, что типов может быть тысячи ,что вызовет переполнение стека.
идея вторая - генерировать только инициализатор для массива. а при старте программы выделять память в куче и инициализировать ее. для этого в AST находим функцию main() и в нее иньектим init() который это проделает.

выскажитесь кто-нибудь ;)

Это сообщение отредактировал(а) boostcoder - 27.7.2011, 14:50

мне кажется только для "нужных" типов помеченных нами какой-нить прагмой

а помечалка не устанет?  руки-то не казенные...
в смысле, это как-то не логично, писать reflection и заставлять юзера помечать классы...

Это сообщение отредактировал(а) boostcoder - 27.7.2011, 17:14

на данный момент разобрался со сбором инфы из AST.
1. итерироваться от глобального неймспейса по всем вложенным с неограниченным уровнем вложенности.
2. перечислять все декларации в любом из неймспейсов.
3. определить/фильтровать типы деклараций.
4. перечислять члены и вложенные декларации структур/классов с неограниченным уровнем вложенности.
5. добавлять/изменять AST.

вроде все что нужно...


пока что не нашел функцию, которая из строкового представления декларации генерит AST. потому как создавать AST "руками" это жесть  

Это сообщение отредактировал(а) boostcoder - 28.7.2011, 08:33

какие типы он должен перечислять? все POD`ы и один non_pod ?

Это должно настраиваться (через опции командной строки). Либо все, либо специально помеченные (и унаследованные от них)


угу, стек не переполнится - статические массивы помещаются не в стеке. Посмотрите, как генерятся RTTI таблицы, и постройте там же


Простые массивы с константами тоже сложно сгенерить?


Все PODы и по одной штуке на каждую разновидность неPODов - функция, структура, массив, класс, и т.д. и т.п.