mtr бы ещё посмотреть и пинг с флудом пакетов на 1000. Непонятно, при чём тут latency? Но проблема стара как мир. Высокий джиттер - увеличиваешь буфер. Низкий - уменьшаешь. Плюс иногда полезно уйти в udp. Голос и по спутниковым каналам с 600мс rtt и 100мс джиттером терпимо передаётся.

тогда снимаем дамп и медитируем над ним с wireshark