Я хочу написать мат программу типа МатЛаб. За основной тип беру матрицы, для которых прописываю все операции. Как реализовать хотя бы разбор строки
(out)=function(in)
где out или in - аргументы через запятую, каждый из которых выглядит так: 2 (число), A (переменная), A(B, C) (взять список строк из B и список столбцов из C), [1,2;3,4] (матрица), или A([1,2], [3, 4]) ... и другие модификации.

Где-нибудь есть статьи, или исходники по этому вопросу???

Поищи в гугле на темы "лексический анализ", "теория компиляторов" и т.д. В принципе, задача достаточно типичная, информация должна быть. Может, и у меня дома есть что-нибудь из институтского курса, вечером посмотрю.

P.S. А такой аватар на форуме уже занят Vex'ом

Если пишешь для себя, юзай обратную польскую нотацию. ИМХО, довольно приятный как в использовании, так и в программировании способ.

Да, и методы для него отработаны.

Карпов. Основы построения трансляторов.
Ахо и др. Компиляторы: принципы, ....