Добрый день!

Скажите, имеется ли возможность и как это можно реализовать хранение данных в dataset, точнее что нужно подключить, скачать, установить, в какую сторону копать, чтобы приложение установленное на другом компьютере не требовало установки никакого дополнительного софта, а изменения, вносимые в DataGridView сохранялись в некой БД приложения (только не файлы).

Спасибо!

На хабре недавно статья была про nosql embedded базу. А еще есть sqlite.
Эти базы можно расположить в оперативной памяти, а не в файле 

Спасибо.

А что Вы можете сказать про local database?

Зависит от того, что вы имеете ввиду под этим термином. 
Если базу, которая не требует установки и может запускаться сразу же с приложением, то можете взглянуть на те две выше и на firebird embedded.