Для начала, нужно выяснить, что есть слово, в твоём понимании? После можно менять этот шаблон:

Например мы подразумеваем под словом, последовательность символов латинского алфавита.

Допустим у нас есть строка:

Нам необходимо найти такие слова как "This",  "is", "a", "simple", "test".  Изменим шаблон на такой:

В итоге мы будем считать все последовательности символов из латинского алфавита. Если же слова состоящие из одного символа нам не нужны, то их можно тоже отсеять немного изменив предидущий шаблон.

Теперь символ "a" не будет принят за слово.

Вобщем сначала нужно знать, что есть слово, в твоём случае.

Я применял другой подход. Выяснил для себя, что "точно есть не слово", затем эти "не слова" заменил на "мой разделитель" и разобрал строку спомощью split.

Что-то типа:



Получилось в несколько проходов, зато, ИМХО, более наглядно.

Вероятность что-то пропустить (не учесть) гораздо больше, когда ты исключаешь то, что не нужно. Легче выделить именно то, что нужно. Хотя основное приимущество такого подхода состоит в том, что вероятность допустить ошибку снижается до нуля. Об этом помоему, можно почитать в книге "Разработка CGI приложений на Perl", где автор очень хорошо это объясняет. Правда там речь шла об очистке данных, полученных из сети.

ЗЫ: Я точно не помню, в какой именно книге об этом написано, потому написал ПОМОЕМУ. Но если интересно, то могу уточнить это.