Чтоб его выгнать, нужно сначала развестись и определить место жительства детей с вами. Для начала собрать все доказательства его поведения, если оно выходит за рамки. Обратиться к адвокату, подать на развод, подать заявление в полицию