Подкиньте хотя бы идею ) а то что ни как не додумаю.
Ситуация следующая :
схематически отображено след образом
Form id='gruopFilter' 
*A
    *B
          *C
          *C
          *C
   *B
          *C
          *C
          *C
   *B
          *C
          *C
          *C
          *C
          *C
          *C

На странице выставлены чекбоксы , они разгруппированы (визуально) по группам
У ведущих checkbox'ов (A,B) естьфункция select all для своей подгруппы
Отсеить по id или name checkboxes нельзя .
функции getSelectedIds передаётся форма Form id='gruopFilter' 
нужно вернусь id выделенных листов(С)

Как можно выделить (Если можно) "листья" в жанном дереве?

а как работает означенная функция select all? она же определяет как-то детей в "подгруппе" - значит можно определить и их количество... Вообще, приведенная структура сложновата для подобный поисков - нет иерархии. Можно оттлакиваться от указанного checkbox'a - идти по nextSibling по checkbox'ам же, у которых нет метода select all.

Если дерево разложено в структуре документа, то просто проходя ноды контейнера. Если нет - то в классе каждого чекбокса пишется принадлежность, и выбор идёт по всем инпутам, в которых ищется нужный признак класса.

MrLjaO, выкладывай вёрстку всей формы, набивать её самому лень.
По вопросу: как уже сказал 12345c, сгруппируй чекбоксы в <div>ах или в любом другом контейнере. Затем пользуя tvoj_div.getElementsByTagName('input') получаем все чекбоксы (все input'ы). Пробежались циклом, выставили .checked в то что нужно.