neic, 

самое простое - 
создаешь туннель ssh и гонишь по нему свой траффик.
на входе в туннель трафик шифруется, на выходе дешифруется средствами самого ssh
тебе остается только
а. сделать туннель
б. направить в него свой траффик

зависит от того, по какому принципу будет передаваться "секрет" (ключ). а вообще и в любом случае -- как проводить индентификацию, что делать после разрыва связи (восстанавливать старую сессию или начинать новую), когда обрывать сессию.
раз пишется "для себя", то и защита, скорее всего, нужна от "подглядывания", тогда можно брать сообщение клиента, коды символов сдвигать и результат отсылать. например клиент набрал абзац и кликнул "отправить", программа взяла число, номер дня в недели, недели и месяца, номер коннекта к серверу по модулю (где-то должен вестись счетчик корректный подключений, параллельно на клиенте и на сервере -- будет дополнительная защита), анси-коды символов имени клиента (пользователя), получится что-то вроде 010101013??? (1-е января понедельник 1-я неделя 1-й месяц 3-й коннект по модулю не более 9 дальше коды имени), по этому ключу сдвигаем по 12 символов относительно анси таблицы, результат отсылаем, сервер все восстанавливает
простой и быстрый в реализации (за пол дня с отладкой) минимальный и универсальный уровень защиты

aleksh, ну это тоже выход. Но хотелось бы чё-нить посильнее =)

Vaulter

Скажи как это всё сделать, хотя бы про а объясни. А то я не бум-бум в этой теме.

почему? серьезно -- принципа ради или есть причины?

aleksh, есть причины =)
Поверь, если бы нужно было сделать тупозащиту, я сюда не обращался бы.

в таком случае, окрамя уже отрекомендованного туннеля могу еще раз предложить cryptoapi, принцип тот же, но шифрование надежней

aleksh, 
как использовать это туннель? как создать, как закрыть (или что с ним нужно делать)?

наладить передачу данных через порт
мне сие реализовывать  не приводилось, посему мало чем могу помочь
тем более, это зависит от языка, так что, могу лишь посоветовать яндекс и соответствующий раздел форума (ведь правило один вопрос -- один топик никто не отменял)
но предлагаю еще раз задуматься, а действительно надо все так усложнять?

aleksh, да.
Как бы это потом (не очень долго) вытечет в более мощный протокол.

именно протокол или второй pgp?
neic, помимо защиты траффика есть много других факторов влияющих на безопасность. вообще, в вопросах обеспечения безопасности, одна из главных проблем это обрисовка того, что имеем, и выбор мощности усилия, накладываемых на выбранное.
если не сложно, в двух словах, почему такой упор на траффик?

Нужно обеспечить безопасную передачу данных от клиента на сервер и наоборот.

1) Нужно чтобы переписка была полностью конфиденциальной.
2) Также хочу подключить платёжную систему к протоколу.

Я думаю этих 2ух аргументов достаточно чтобы делать очень сильную защиту передаваемых данных.

В юридические вопросы пока не вдаюсь, хочу сначала испытать в тестовом режиме защиту и платёжную систему.

вопрос снимается. выходов, вроде два: если логика подразумевает обезательный он-лайн -- сертификаты и ssl (ключевые слова для дальнейшего поиска), если допускаются обрывы -- шифровать, благо алгоритмов асимметричных уже много
успехов, извиняюсь, что мало чем помог, но теме, видимо можно ставить галочку

aleksh, просто про них можно много чего найти, а как реализовать нигде практически не нет

Я тут так подумал и решил сделать своё шифрование с использованием формулы.