Natürlich, das sollte man sogar.

Kompostwürmer sind super Restevertilger. Sie halten den Boden gesund und lockern ihn.
Eier fressen sie aber nicht....
Da anfangs ja noch nicht viel organisches Material im Boden vorhanden ist (außer vielleicht wenn Du Walderde nimmst), solltest Du nur wenige ( vielleicht 5 - 10) reinsetzen und ihnen am besten immer auch etwas Futter liegen lassen. Sie vermehren sich dann nach und nach von allein.