Добрый день.
Такая ситуация.. Есть задания, допустим, лабораторные работы. Пишутся на Java. Есть сайт, на который люди выкладывают исходный код таких заданий, а система автоматически их тестирует на работоспособность и выводит результат (выполнено задание или нет).

Вот меня интересует, есть ли что-то подобное. Какие концепции. Идеи.

Моё видение на данный момент:

Задания заливаются на серевер. Maven-ом собираются. Плагин  (maven) выполняет тестирование скоплилированых классов на предмет правильности выполнения. Формируется и отображается репорт.

Задания вообще однотипные, или там может быть всё, что угодно, начиная от command-line утилитки и заканчивая тёхзвенным приложением?

Если command-line, то можно сделать и достаточно несложно. Если обычный гуй или апплеты - проблематично, но вроде бы тоже можно.
Если ком.строка:
Для компиляции использовать java.lang.Compiler. Потом запускаем с параметрами и смотрим на ответ. Запускаем и с верными параметрами и с неверными (чтобы проверить, а не обхитрил и нас писатель кода   )

Задания однотипые.  При чем заключаются в реализации определенного интерфейса.

Вот тема, можно попробовать с автором по сабжу связаться.