Итак вы подняли очередной хост KVM на базе Ubuntu и решили подключиться к нему удаленно с помощью virt-manager.

sudo apt-get install qemu-kvm libvirt-bin ubuntu-vm-builder bridge-utils

Проще всего использовать подключение по SSH.
Сначала настраиваем авторизацию по ключам.
На клиентской машине, с которой мы будем рулить удаленным сервером KVM запускаем:

ssh-keygen -t rsa

Место сохранения ключей оставляем по-умолчанию, ключевую фразу оставляем пустой.

Затем копируем соотвествующую часть ключа на удаленный хост:

ssh-copy-id -i ~/.ssh/id_rsa.pub user@remote_host

Тут user - имя пользователя на удаленной машине. Если имя локального пользователя и имя на удаленной машине совпадают - user@ можно не писать.
Или можно вручную доставить публичный ключ на удаленный хост и установить его в качестве authorized key:

cat ~/.ssh/id_rsa.pub | ssh username@server.address.com 'cat >> ~/.ssh/authorized_keys'

Проверяем, что все получилось - коннектимся:

ssh user@remote_host

Если имя локального пользователя и имя на удаленной машине совпадают - user@ можно не писать.

Дальше переходим к настройке хоста KVM.

Сначала - отключаем подключения TLS. Для этого в файле /etc/libvirt/libvirtd.conf раскомментируем строку:

#listen_tls = 0

Затем - добавляем пользователя в группу libvirtd, которая имеет права на подключение к соответствующему сокету:

sudo usermod -a -G libvirtd username

В более новых системах (Ubuntu 19.04) группа называется libvirt (без d на конце):

sudo usermod -a -G libvirt username

Собственно все.
В virt-manager создаем новое подключение. Жмакаем Connect to remote host.
Method - SSH.
Username - имя пользователя на удаленной машине.
Hostname - адрес удаленного компа

Если все сделано правильно - система подключит удаленный хост.