Итак, имеем следующее : unmanaged функция вызывается с аргументами, являющимися экземплярами managed структур. Передавать такие аргументы с * и & запрещено (как мне показалось, из-за возможных плохих эффектов, связанных со сбором мусора). Хорошо. Тогда, передаём инициализированные аргументы через ref, а неинициализированные - через out. В unmanaged функции они нормально пишутся и читиются. Интересно становится, когда эта unmanaged функция вызывает другую unmanaged, передавая те самые аргументы. В ней уже попытка чтения/записи вываливается в виде :

An unhandled exception of type 'System.AccessViolationException' occurred in wrapperGslTest.exe

Additional information: Attempted to read or write protected memory. This is often an indication that other memory is corrupt. 

Что же делать? = Может, нужно передавать аргументы первой unmanaged функции как-то по-другому?

Судя по всему, это как-то связано с работой P/Invoke со стеком. Большего сказать не могу, потому что не знаю.

А вторая функция случаем не нарушает правил работы с переменными: не читает ли out-параметр или не пишет ли в in-параметр. Вообще, если попал в unmanaged и всё прошло нормально, то дальше можно делать с переменными как с родными, unmanaged.
Второй вопрос -- соглашения о вызовах (calling conventions). Это набор договорённостей о том, как передаются переменные, значим ли регистр, кто зачищает стек переменных после завершения и др. Можно попробовать просто вызывать из первой неуправляемой функции вторую. Может, они и не дружат вовсе...

Функция действительно пишет в ref параметр! Пока не решил, как с этим быть. Дело в том, что она поэлементно копирует матрицу source в матрицу dest, проверяя совпадение размерностей (т.е. dest не может быть out т.к. должен быть инициализирован), вот код :



Решил её тоже обернуть для проверки :


При вызове получил :



Значит, ref не является  аналогом *, потому что защищён от записи.   Что-то можно придумать, чтобы и инициалирован был, и запись разрешена? = Я пробовал пошаманить с IntPtr. Идея была в том, чтобы с помощью System.Runtime.InteropServices.Marshal сделать unmanaged копии managed структур inst_gsl_matrix  и передавать уже их в качестве аргументов функции. Пока не получается (наверно, следует отдельно задать такой вопрос). 



По-моему, не так уж и велик выбор возможных calling conventions. StdCall и Cdecl очищают стек сами (при этом-то и происходит вышеук. ошибка), ThisCall - для работы с классами, FastCall не поддерживается (нужен для мультиплатформенной совместимости, видимо), WinApi = StdCall или Cdecl в зависимости от системы (XP/CE). Так что выбор между StdCall и Cdecl...
Сами функции дружат, т.к. примеры использования на C работают.

Всё, разобрался, ура. Изменил типы аргументов в прототипе обёртки unmanaged функции на IntPtr, как предлагал Дрон в предыдущей теме, только без всяких ref/out :



Используя пример из MSDN скопировал структуры в unmanaged memory :



Работает без ошибок в стеке. Спасибо всем!