Для транспорта голоса обычно используется udp. Такая передача данных чувствительна к потере пакетов. Стоит искать в этом направлении, но проблема может быть как у вас дома, так и выше. Попробуйте начать с замены rj45 коннекторов между телефоном и роутером, роутером и cpe вашего оператора