После вызова 10 fork система ругается, что не может выделить больше памяти, а при pthread_create - на второй раз слетает с той же ошибкой. Есть что-то, что меньше расходует ресурсы? Нужно создать около 150 потоков...

fork() возвращает ENOMEM или EAGAIN?
если второе, то поможет увеличение лимита на количество создаваемых дочерних процессов у родительского
man 2 setrlimit
man 2 getrlimit

ENOMEM

?
#include <sched.h>
int clone(int (*fn)(void *), void *child_stack, int flags, void *arg);
_syscall2(int, clone, int, flags, void *, child_stack);   
?

весь инет обрыл, и не мог найти, что передавать в child_stack.

Аргумент child_stack указывает на местонахождение стека, использованного дочерним процессом. Хотя дочерний и родительский процессы могут разделять память, дочернему процессу нельзя ипспользовать тот-же стек для исполнения, что и вызывающему процессу. Поэтому родительский процесс должен выделить пространство в памяти под стек дочернего процесса и передать указатель на это пространство функции clone. На всех процессорах с реализацией Linux (кроме процессоров HP PA) стек "растет вниз". child_stack обычно указывает на самый последний адрес памяти для стека дочернего процесса. 
(с) http://www.opennet.ru/man.shtml?topic=clon...2&russian=0
?

Это я читал. И что туда передавать?

Надо полагать, указатель на конец выделенного маллоком куска памяти. 

Anton Vatchenko, 
clone() не стандартизирован POSIX-ом
так что, если нужна совместимость не только с Linux, подумай прежде чем его использовать
лучше скажи, чем у тебя система загружена, что больше чем на 10 fork-ов памяти не хватает?

А это точно не лимиты самой системы?

он же написал - ENOMEM

точно-точно, извиняюсь