wiki.autosys.tk - proxmox

acme_change_challenge_request_port

anonymous@undisclosed.example.com (Anonymous) — Thu, 23 May 2019 14:25:05 +0000

Проблема

На хосте Proxmox 5.3-12 у меня работает балансировщик haproxy. Он слушает порт 80.
при попытке обновить сертификат Let's Encrypt (certificate renew) возникает ошибка:

Loading ACME account details
Placing ACME order
Order URL: https://acme-v02.api.letsencrypt.org/acme/order/53....12/46607.....

Getting authorization details from 'https://acme-v02.api.letsencrypt.org/acme/authz/sm0uHIBtl7...................4-A8Ox_kY'
... pending!
Setting up webserver
TASK ERROR: failed setting up webserver - Failed to initialize HTTP daemon

Очевидно, процесс обновления сертификата (клиент ACME) хочет поднять веб-сервер на порту 80, но не может этого сделать, так как порт занят процессом haproxy. Вот народ бьется так же: https://forum.proxmox.com/threads/no-configuration-is-done-letsencrypt-certificate.44065/

Решение

Решением был бы запуск вебсервера клиента ACME на порту, отличном от 80. Например - 8080. Штатно в proxmox такой возможности нет. Но логика proxmox написана на perl, что позволяет быстро и безболезненно изменить ее.
Легко и непринужденно в дебрях библиотек находим файл /usr/share/perl5/PVE/ACME/StandAlone.pm, а в нем кусок кода:

    my $server = HTTP::Daemon->new(
        LocalPort => 80,
        ReuseAddr => 1,
    ) or die "Failed to initialize HTTP daemon\n";

И заменяем номер порта, например на 8080, а в haproxy прописываем соответствующий http reverse-proxy.
А потом выполняем перезапуск сервисов proxmox:

service pve-cluster restart && service pvedaemon restart && service pvestatd restart && service pveproxy restart

apparmor_denied_operation_mount_info_failed_flags_match_error_-13

anonymous@undisclosed.example.com (Anonymous) — Wed, 11 Sep 2019 07:48:26 +0000

В журналах полно ошибок:

[137200.185910] audit: type=1400 audit(1542190140.997:411): apparmor="DENIED" operation="mount" info="failed flags match" error=-13 profile="lxc-container-default-cgns" name="/" pid=2774 comm="(ionclean)" flags="rw, rslave"
[137204.038105] audit: type=1400 audit(1542190144.849:412): apparmor="DENIED" operation="mount" info="failed flags match" error=-13 profile="lxc-container-default-cgns" name="/" pid=2849 comm="(ionclean)" flags="rw, rslave"
[137206.696135] audit: type=1400 audit(1542190147.505:413): apparmor="DENIED" operation="mount" info="failed flags match" error=-13 profile="lxc-container-default-cgns" name="/" pid=2906 comm="(ionclean)" flags="rw, rslave"
[137206.734793] audit: type=1400 audit(1542190147.545:414): apparmor="DENIED" operation="mount" info="failed flags match" error=-13 profile="lxc-container-default-cgns" name="/" pid=2919 comm="(ionclean)" flags="rw, rslave"

/etc/apparmor.d/lxc/lxc-default-cgns
mount options=(rw, rslave),

Добавляем в файл /etc/apparmor.d/lxc/lxc-default-cgns строку:

profile lxc-container-default flags=(attach_disconnected,mediate_deleted) {
  ...
    mount options=(rw, nosuid, noexec, remount, relatime, ro, bind, rbind),
  ...

Перезагружаем правила apparmor:

service apparmor reload

bind-mounts-proxmox-монтирование-папок-ноды-в-контеинер

anonymous@undisclosed.example.com (Anonymous) — Fri, 15 Nov 2019 13:10:09 +0000

Монтирование (bind) директории в контейнер

Current Proxmox (5.x, 6.x)

Конфигурационные файлы контейнеров лежат тут: /etc/pve/lxc/
Для монтирования папки в контейнер (создания mountpoint) нужно дабавить такое:

mp0: /mnt/data/files,mp=/files

Тут /mnt/data/files - это путь на ноде proxmox, а mp=/files - это точка монтирования в контейнере. В результате будет примерно так:

arch: amd64
cores: 4
hostname: ubuntu
memory: 2048
mp0: /mnt/data/files,mp=/files
nameserver: 192.168.0.1
net0: name=eth0,bridge=vmbr0,gw=192.168.0.1,hwaddr=22:E4:67:11:E0:53,ip=192.168.0.198/24,type=veth
onboot: 1
ostype: ubuntu
rootfs: /mnt/data/images/207/rootfs/
searchdomain: domain.local
swap: 2048

Old Proxmox

CTID=777
 
cat << EOF > /etc/vz/conf/${CTID}.mount
#!/bin/bash
. /etc/vz/vz.conf
. ${VE_CONFFILE}
SRC=/mnt/disk
DST=/mnt/disk
if [ ! -e ${VE_ROOT}${DST} ]; then mkdir -p ${VE_ROOT}${DST}; fi
mount -n -t simfs ${SRC} ${VE_ROOT}${DST} -o ${SRC}
EOF
 
chmod +x /etc/vz/conf/${CTID}.mount

If you want read-only mount, add -r option to mount command.

build_proxmox_pve_kernel_from_source

anonymous@undisclosed.example.com (Anonymous) — Sat, 16 Oct 2021 10:48:09 +0000

Как собрать ядро proxmox из исходников

https://forum.proxmox.com/threads/building-the-pve-kernel-on-proxmox-ve-6-x.76137/
https://www.programmersought.com/article/56918332617/#42__65

После обновления на Proxmox6 из ядра исчезли некоторые модули. В результате не удается запустить kubernetes в контейнере. Выхода два - запускать kubernetes в виртуальной машине или пересобрать ядро!
Мне нравится второй вариант.
Я буду собирать ядро в контейнере, чтобы не ставить лишние пакеты на сам хост proxmox.
Добавляем репу proxmox. Она нужна для установки пакета libpve-common-perl.

echo 'deb [ arch=amd64 ] http://download.proxmox.com/debian buster pve-no-subscription' | sudo tee -a /etc/apt/sources.list.d/pve-enterprise.list
curl http://download.proxmox.com/debian/key.asc | sudo apt-key add -
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 7BF2812E8A6E88E0

Устанавливаем необходимое:

sudo apt-get update
sudo apt-get install asciidoc-base autoconf automake bc bison cpio debhelper devscripts dh-python dkms file flex gcc git kmod libdw-dev libelf-dev libiberty-dev libncurses-dev libnuma-dev libpci-dev libpve-common-perl libslang2-dev libssl-dev libtool libudev-dev lintian lz4 openssl perl-modules rsync sed sphinx-common tar xmlto zlib1g-dev

Клонируем репу с исходниками ядра:

git clone git://git.proxmox.com/git/pve-kernel.git
cd pve-kernel/

Смотрим какие есть ветки:

git branch -a

Переключаемся на последнюю:

git checkout pve-kernel-5.0

подгрузим субмодули:

make update_modules
git submodule foreach git fetch --tags
git submodule update --init --recursive

Эта команда формирует метапакет с зависимостями, необходимыми для сборки. Метапакет затем проще удалить, чем множество отдельных пакетов:

mk-build-deps --install debian/control.in

Собираем ядро:

make

debian_9_proxmox_5_increase_number_of_loop_devices

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

В Proxmox 5 (5.2.1) на базе Debian 9.4 увеличить число loop-устройств можно путем редактирования cmdline ядра.
Для этого редактируем:

nano /etc/default/grub

И в строке GRUB_CMDLINE_LINUX_DEFAULT дописываем max_loop=. Примерно так:

GRUB_CMDLINE_LINUX_DEFAULT="quiet max_loop=32"

Пересобираем все и перезагружаемся:

update-grub
update-initramfs -u
reboot

expanding_windows_files_hangs_at_0

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

Имеем хост Proxmox 5.2.1, на нем пытаюсь установить Windows 7 x64.

Проблема

В виртуальной машине qemu-kvm при установке Windows 7 x64 система останавливается на этапе Expanding Windows files (0%)… (Распаковка файлов Windows (0%)…).
Аналогичные проблемы наблюдаются и в виртуалках под VirtualBox.

Решение

Оказалось, что такое наблюдается, если установка производится на диск (виртуальный), подключенный в конфигурации виртуальной машины через интерфейс SATA. Если диск в виртуалке подключен как IDE - установка идет нормально!

how_to_start_kubernetes_inside_proxmox_lxc_container

anonymous@undisclosed.example.com (Anonymous) — Sat, 18 Dec 2021 18:40:38 +0000

Задача

Для экспериментов мне требуется периодически поднимать кластер kubernetes (на момент написания - версия 1.16.0).
Я не хочу использовать виртуальные машины, а хочу использовать контейнеры. В первую очередь из-за некоторых аппаратных ограничений (мой хост довольно слабый - Pentium J5005 и 24Gb памяти DDR4).
В качестве инструмента развертывания я использую ansible.

Настройки хоста Proxmox 5.x/6

Вот тут есть описание профиля контейнера, с которыми все должно работать. Но я пока это не применял. https://discuss.linuxcontainers.org/t/not-able-to-run-kubernetes-inside-docker-inside-lxd/4643/3

модули ядра

В /etc/modules добавляем:

overlay
aufs

и чтобы не переазгружаться выполняем:

/sbin/lsmod | /bin/grep overlay || /sbin/modprobe overlay
/sbin/lsmod | /bin/grep aufs || /sbin/modprobe aufs

Параметры контейнеров

Запустить master-node в unprivileged контейнере пока не удалось, потому что нужен доступ к настройкам (в частности ядра memory overcommit). То есть при создании контейнера мнимаем галку unprivileged.
Объем swap - 0.

Параметры контейнера в Proxmox 5.x

К стандартным настройкам добавляем:

lxc.apparmor.profile: unconfined
lxc.cap.drop:
lxc.cgroup.devices.allow: a
lxc.mount.auto: proc:rw sys:rw

Параметры контейнера в Proxmox 6

К стандартным настройкам контейнера добавляем:

mp0: /boot,mp=/boot
mp1: /lib/modules,mp=/lib/modules
lxc.hook.autodev: sh -c "mknod -m 0644 ${LXC_ROOTFS_MOUNT}/dev/kmsg c 1 11"
lxc.apparmor.profile: unconfined
lxc.cap.drop:
lxc.cgroup.devices.allow: a
lxc.mount.auto: proc:rw sys:rw

Параметры контейнера в Proxmox 7

После апгрейда до Proxmox 7 в системе cgroups обновился до версии cgroups2. В итоге kubelet нормально стартовал с такими параметрами контейнера:

mp0: /boot,mp=/boot
mp1: /lib/modules,mp=/lib/modules
lxc.apparmor.profile: unconfined
lxc.cap.drop:
lxc.cgroup2.devices.allow: a
lxc.mount.auto: proc:rw sys:rw
lxc.mount.entry: /dev/kmsg dev/kmsg none defaults,bind,create=file

Также в версии Proxmox 7 используется ядро 5.11 и более новое. В нем запрещено изменения параметров net_filter (https://github.com/kubernetes-sigs/kind/issues/2240#issuecomment-838938881). В результате не стартует kube-proxy:

server.go:650] Version: v1.20.1
conntrack.go:100] Set sysctl 'net/netfilter/nf_conntrack_max' to 131072
server.go:495] open /proc/sys/net/netfilter/nf_conntrack_max: permission denied

Выхода три:

либо откатиться на pve-kernel-5.10.6-1-pve
обновить kube-proxy (в мае 2021 в него смерджили патч, который позволяет не изменять значения, которые уже достаточно хороши для работы kube-proxy - https://github.com/kubernetes-sigs/kind/pull/2241)
в конфиге kube-proxy дать параметру conntrack-max-per-core значение 0 - тогда kube-proxy будет использовать то значение, которое установлено сейчас. Для этого нужно найти и отредактировать значение в ConfigMap:
```
kubectl edit cm -n kube-system kube-proxy
```

Proxmox br_netfilter module absent

Недавно, после апгрейда ОС в контейнере - Ubuntu 20.04 → Ubuntu 21.04 перестали стартовать контейнеры kubelet и все выглядит так, словно отсутствует модуль br_filter. https://forum.proxmox.com/threads/missing-br_netfilter-module.53791/ Это прям шоустоппер!!
Оказалось, что не стоит обновлять систему раньше времени и обязательно перед такими манипуляциями делать бекапы!!! :).
В итоге - я просто создал новый контейнер, натянул на него чистый кластер k8s, а затем скопировал с ноды старого кластера директории:

/etc/kubernetes
/etc/var/lib/etcd
/etc/var/lib/kubelet

В общем-то всё… Кластер реанимировался.

Kubernetes CNI

В качетсве CNI можно использовать либо flannel:

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

либо kube-router:

kubectl apply -f https://raw.githubusercontent.com/cloudnativelabs/kube-router/master/daemonset/kubeadm-kuberouter.yaml

Kubernetes Dashboard Web UI

https://kubernetes.io/docs/tasks/access-application-cluster/web-ui-dashboard/#welcome-view
Установка Kubernetes Dashboard Web UI:

kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/master/aio/deploy/recommended/kubernetes-dashboard.yaml

Если мы админим кластер с машины, где есть kubectl и браузер, то для того, чтобы локально пользоваться Kubernetes Dashboard Web UI достаточно запустить:

kubectl proxy &

и консоль будет доступна по адресу: http://localhost:8001/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy/.
Если необходимо иметь доступ консоли не только с локального хоста, на котором исполняется kubectl proxy, то запускаем его так:

kubectl proxy --address='0.0.0.0' --accept-hosts='^*$'

В результате, консоль будет доступна и с других хостов.
Кроме того, для доступа к консоли Kubernetes Dashboard Web UI без kubectl proxy нужно сменить тип service'а который предоставляет доступ к pod'у kubernetes-dashboard. Вместо установленного по-умолчанию ClusterIP нужно сделать NodePort:

kubectl -n kube-system patch service kubernetes-dashboard  -p '{"spec":{"type":"NodePort"}}'

В результате, dashboard будет доступен на IP-адресе master-ноды.
Это можно сделать и вручную, отредактировав service, который предоставляет доступ к pod'у kubernetes-dashboard, где в качестве .spec.type указать NodePort:

kubectl -n kube-system edit service kubernetes-dashboard

Ошибки

Failed to start cAdvisor inotify_init: too many open files

Нужно увеличить inotify/max_user_instances
Текущее значение можно посмотреть так:

cat /proc/sys/fs/inotify/max_user_instances

Для увеличения лимита добавляем строку

fs.inotify.max_user_instances=999999

В файл /etc/sysctl.conf и применяем:

sysctl --system

Или вот одной строкой:

echo fs.inotify.max_user_instances=99999 | sudo tee -a /etc/sysctl.conf && sudo sysctl --system

Файловая система контейнера

При попытке запустить kubelet в контейнере, файловая система которого лежит просто в директории хоста, вываливается ошибка:

Failed to start ContainerManager failed to get rootfs info: failed to get device for dir "/var/lib/kubelet": could not find device with major: 0, minor: 49 in cached partitions map

Так делать нельзя. Файловая система контейнера должна лежать в каком-то контейнере, который будет смонтирован как loop-устройство(например по-умолчанию - в qcow2).

Ссылки

https://medium.com/@kvaps/run-kubernetes-in-lxc-container-f04aa94b6c9c (вот тоже самое на русском языке )
https://forum.proxmox.com/threads/docker-in-lxc-container.45204/

import_containers_from_lxc_host_to_proxmox

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

Задача

Имеем виртуальный хост LXC 3.0.1 на базе Ubuntu 18.04. Мне надо перенести контейнеры с этого хоста на хост Proxmox 5.2.1.

Решение

Перенос будет осуществляться путем экспорта контейнеров в архивы (поскольку физически это хост один - я просто меняю среду виртуализации с XenServer 7.6 на Proxmox 5.2.1).

Создание архива контейнера

На хосте LXC находим папку с контейнером и переходим в нее, в rootfs.

mount | grep wiki
lxd/containers/wiki on /var/lib/lxd/storage-pools/lxd/containers/wiki type zfs (rw,relatime,xattr,noacl)

cd /var/lib/lxd/storage-pools/lxd/containers/wiki/rootfs

Архивируем

tar -czvf /home/AUTOSYS/mike/wiki.tar.gz ./

Теперь копируем полученных архив имиджа контейнера на новый хост.

Разворачивание имиджа на хосте ProxMox

 pct restore 100 ./exported_image.tar.gz --storage pve-data

Однако, в таком случае контейнер будет развернут в файл, который будет монтироваться как loopback устройство.
Для того, чтобы файловая система контейнера на хосте ProxMox хранилась в папке нужно подмонтировать диск и скопировать все файлы в папку, а потом в конфигурации контейнера изменить путь к rootfs на путь к папке:

rootfs: /mnt/test/

Вот тут написано как переместить rootfs с loopback-устройства на файловую систему. http://wiki.janforman.com/lxc

Вот такой вариант разворачивания НЕ РАБОТАЕТ, поскольку в ProxMox используется свой собственный дистрибутив утилит lxc - lxc-pve.

sudo lxc snapshot wiki wiki_test
sudo lxc publish wiki/wiki_test --alias wiki-export
sudo lxc image export wiki-export .

При импорте будет ошибка:

ERROR: archive contains no configuration file

import_vm_from_xenserver_bsod

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

Импорт дисков виртуальных машин с XenServer

У меня есть хост, на котором раньше стоял Xenserver 6.5. В новых бесплатных версиях Xenserver убрали многие полезные фичи. Поэтому - переезжаем на ProxMox.

Импорт дисков с LVM Storage Repository

К хосту с установленным ProxMox я подключил диск, на котором была Storage Repository типа LVM. Предварительно, я сохранил в текстовый файлик сведения о соответствии томов lvm и виртуальных машин:

xe vm-disk-list vm=___vm__name__

Имя тома lvm будет: VHD- + VDI_uuid
В ProxMox активируем VolumeGroup и тома командами vgchange и lvchange и теперь можно конвертировать образы в формат raw (или другой).

qemu-img convert -O raw /dev/VG_XenStorage-60ec57cb-1e9f-097f-20e0-c0f52366e0a1/VHD-16f3a7b1-f881-4186-abb3-8931423282a8 /mnt/data/XenDesktop_Apps_xenapp3.autosys.tk_system.img

Windows 2008 R2/7

На хосте Proxmox нужно создать виртуальную машину.
Установить тип HDD - IDE.
Заменить созданный файл диска на импортированный.
Загрузиться.
В загруженной машине добавить еще один HDD и сетевое устройство типа VirtIO. В Windows появятся SCSI-контроллер и сетевая карта без драйверов. Устанавливаем для них драйверы с образа iso драйверов virt-io. В результате драйвер VirtIO будет доступен при загрузке системы. Теперь загрузочный диск можно сделать типа VirtIO - это сильно ускорит систему.
После установки - выключаем машину и меняем тип диска на VirtIO. Не забываем в Options поменять Boot Order - система будет пытаться грузиться со старого диска IDE.
Теперь удаляем XenTools и драйверы Xen. Перезагружаемся.

* Удаляем файлы xen*.sys и xen*_coinst*.dll из C:\Windows\system32\drivers\ и C:\Windows\system32, а также удаляем (обязательно!!!) их упоминания из реестра из ветки HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Setup\PnpLockdownFiles. Если не удалить из реестра - система не загрузится! Перезагружаемся.

Windows 2016/2012R2

Удалить XenTools и драйверы
В Device Manager удалить все скрытые устройства Xen* и все неактуальные/отсутсвующие “серенькие” устройства.
Удалить все файлы xen.* из директории C:\Windows\system32\drivers
Не выключая виртуалку добавить диск и сетевуху VirtIO и установить VirtIO-драйверы для них и для других неопознанных устройств.

improving_the_performance_of_the_qcow2_format

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

https://events.static.linuxfound.org/sites/events/files/slides/kvm-forum-2017-slides.pdf

В статье рассказывается о внутренних механизмах кеширования формата qcow2.
На производительность очень сильно влияет размер таблиц L2, которые размещаются в памяти.
Вот тут объяснения и методики расчета размеров кешей: https://github.com/qemu/qemu/blob/master/docs/qcow2-cache.txt
Задать размер таблиц L2 можно с помощью опции l2-cache-size так:

-drive file=img.qcow2,l2-cache-size=8M

Дефолтный размер - 1Мb, которого достаточно для диска размером 8Gb с кластером 64Kb.
Дефолтная формула для расчета размера таблиц L2 - disk_size*8/cluster_size
Вот табличка с замерами производительности диска 20Gb при случайном чтении блоками 4K:

L2 cache size	Average IOPS
1 MB	5100
1.5 MB	7300
2 MB	12700
2.5 Mb	63600

Также рекомендуется очищать неиспользуемые элементы кеша с помощью опции cache-clean-interval:

-drive file=hd.qcow2,cache-clean-interval=60

Утверждается, что в qemu версии 2.10 и более новых реализован более эффективный алгоритм размещения данных кластерах (cluster allocation), который увеличивает IOPS от 15% до 60%.

как написано тут: https://forum.proxmox.com/threads/qemu-2-5-setting-l2-cache-size-drive-option.27983/ в Proxmox можно добавить параметры к конфигурации диска с помощью qm set… Однако, такой диск не сможет нормально обслуживаться средствами proxmox и не сможет быть загрузочным.

Working Hack

В файлике /usr/share/perl5/PVE/QemuServer.pm нужно найти строчку:

$opts .= ",format=$format" if $format && !$drive->{format};

и после нее добавить чтобы получилось так:

  $opts .= ",format=$format" if $format && !$drive->{format};
  if ($format eq "qcow2") {
              $opts .= ",l2-cache-size=16M";
      }

lvm_snapshot_backup_timeouts_errors

anonymous@undisclosed.example.com (Anonymous) — Fri, 30 Aug 2019 06:21:35 +0000

Proxmox 6.0.4
Backup Storage - Dir
VM Storage - Thin LVM
Backup type - snapshot

INFO: Starting Backup of VM 115 (qemu)
INFO: Backup started at 2019-08-30 03:31:42
INFO: status = running
INFO: update VM 115: -lock backup
INFO: VM Name: GREEN-6015
INFO: exclude disk 'sata0' 'backup:115/vm-115-disk-0.qcow2' (backup=no)
INFO: include disk 'sata1' 'local-lvm:vm-115-disk-1' 140G
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: creating archive '/mnt/backup/dump/vzdump-qemu-115-2019_08_30-03_31_42.vma'
ERROR: got timeout
INFO: aborting backup job
ERROR: VM 115 qmp command 'backup-cancel' failed - got timeout
ERROR: Backup of VM 115 failed - got timeout
INFO: Failed at 2019-08-30 03:41:48

в логе dmesg такое:

[337488.297363] INFO: task kvm:2164 blocked for more than 120 seconds.
[337488.297384]       Tainted: P           O      5.0.15-1-pve #1
[337488.297397] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
[337488.297414] kvm             D    0  2164      1 0x00000000
[337488.297416] Call Trace:
[337488.297423]  __schedule+0x2d4/0x870
[337488.297424]  schedule+0x2c/0x70
[337488.297427]  jbd2_log_wait_commit+0xaf/0x120
[337488.297430]  ? wait_woken+0x80/0x80
[337488.297431]  jbd2_complete_transaction+0x57/0x90
[337488.297433]  ext4_sync_file+0x3b0/0x400
[337488.297436]  vfs_fsync_range+0x48/0x80
[337488.297438]  ? __fget_light+0x54/0x60
[337488.297439]  do_fsync+0x3d/0x70
[337488.297443]  ? fire_user_return_notifiers+0x3e/0x50
[337488.297444]  __x64_sys_fdatasync+0x17/0x20
[337488.297447]  do_syscall_64+0x5a/0x110
[337488.297449]  entry_SYSCALL_64_after_hwframe+0x44/0xa9
[337488.297451] RIP: 0033:0x7fbb64e412e7
[337488.297454] Code: Bad RIP value.
[337488.297455] RSP: 002b:00007fb5815ad780 EFLAGS: 00000293 ORIG_RAX: 000000000000004b
[337488.297456] RAX: ffffffffffffffda RBX: 000000000000000f RCX: 00007fbb64e412e7
[337488.297457] RDX: 0000000000000000 RSI: 0000000000000000 RDI: 000000000000000f
[337488.297457] RBP: 00007fbb5806c850 R08: 0000000000000000 R09: 00000000ffffffff
[337488.297457] R10: 00007fb5815ad760 R11: 0000000000000293 R12: 00005617df5b2ef2
[337488.297458] R13: 00007fbb5806c8b8 R14: 00007fbb4da28330 R15: 00005617df5af4c2

mainpage

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

manage_proxmox_with_ansible

anonymous@undisclosed.example.com (Anonymous) — Tue, 25 Aug 2020 18:41:27 +0000

https://iservit.ro/tutorial/setting-up-proxmox-with-ansible-part1/
https://docs.ansible.com/ansible/latest/modules/proxmox_kvm_module.html
https://docs.ansible.com/ansible/latest/modules/proxmox_module.html

Достаточно на хосте с скоторо запускаем playbook установить:

pip install proxmoxer requests

На хосте proxmox мне устанавливать эти компоненты не пришлось.

nfs_server_inside_lxc_container

anonymous@undisclosed.example.com (Anonymous) — Thu, 14 Feb 2019 09:55:37 +0000

Запуск NFS-сервера внутри контейнера ProxMox 5.3 - LXC

Создать файл профиля AppAromor - /etc/apparmor.d/lxc/lxc-default-with-nfsd

# Do not load this file.  Rather, load /etc/apparmor.d/lxc-containers, which
# will source all profiles under /etc/apparmor.d/lxc

profile lxc-container-default-with-nfsd flags=(attach_disconnected,mediate_deleted) {
  #include <abstractions/lxc/container-base>

  # the container may never be allowed to mount devpts.  If it does, it
  # will remount the host's devpts.  We could allow it to do it with
  # the newinstance option (but, right now, we don't).
  deny mount fstype=devpts,
  mount fstype=nfsd,
  mount fstype=rpc_pipefs,
  mount fstype=cgroup -> /sys/fs/cgroup/**,
}

Добавить профиль в текущую конфигурацию AppArmor:

apparmor_parser -r /etc/apparmor.d/lxc-containers

В конфигурацию контейнера добавить:

lxc.apparmor.profile = lxc-container-default-with-nfsd

openvz-failed-to-change-state-for-virtual-server-state-start-code-28

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

Проблема

Как-то раз после нештатной (аварийной) перезагрузки сервера OpenVZ (CentOS 6.4 Kernel 2.6.32-042stab081.3 on an x86_64) перестали загружаться контейнеры. В консоли сервера OpenVZ видно следующее:

Starting CT 105: Starting container...
Error: required UB parameter kmemsize not set
Error: required UB parameter lockedpages not set
Error: required UB parameter shmpages not set
Error: required UB parameter numproc not set
Error: required UB parameter vmguarpages not set
Error: required UB parameter oomguarpages not set
Error: required UB parameter numtcpsock not set
Error: required UB parameter numflock not set
Error: required UB parameter numpty not set
Error: required UB parameter numsiginfo not set
Error: required UB parameter tcpsndbuf not set
Error: required UB parameter tcprcvbuf not set
Error: required UB parameter othersockbuf not set
Error: required UB parameter dgramrcvbuf not set
Error: required UB parameter numothersock not set
Error: required UB parameter numfile not set
Error: required UB parameter dcachesize not set
Error: required UB parameter numiptent not set[FAILED]

КОнфигурационные файлы в порядке, перезагрузка сервера не помогает.
В чем причина - неизвестно.
Шаблон контейнеров - vswap-256m.

Лечение

Вылечились контейнеры так:
Открываем свойства контейнера, там меняем шаблон Server Template, например на vswap-512m, а на вкладке Additional Settings если значение RAM Memory задано unlimited, то задаем его в зависимости от потребностей, а если оно уже задано - немного увеличиваем или уменьшаем его. Теперь контейнер запустится. Затем можно изменить шаблон обратно на тот который был. И контейнер опять запускается.

В чем причина - неизвестно.

openvz-turnkey-default-passwords-пароли-по-умолчанию

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

OpenVZ Turnkey Linux - запуск

После первого запуска контейнера turnkey надо инициализировать контейнер командой

typingturnkey-init

По умолчанию - все пароли - “turnkey”.

Предустановленные пароли по умолчанию

Для запуска в безголовом режиме в контейнере OpenVZ есть inithook который задает пароли по-умолчанию, за исключением пароля root, который задается настройками контейнера в web-интерфейсе или VZ CLI.

/usr/lib/inithooks/firstboot.d/29preseed

DB_PASS=turnkey
APP_PASS=turnkey
APP_EMAIL=admin@example.com
APP_DOMAIN=DEFAULT
HUB_APIKEY=SKIP
SEC_UPDATES=FORCE

В зависимости от настроек, эти пароли применяются при создании контейнера, или же при выполнении команды

turnkey-init

proxmox-turnkey-gallery-не-работает-снаружи-а-только-в-локально ...

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

Если темплейт turnkey gallery отказывается показывать слайдшоу при доступе из интернета, но нормально все показывает в локальной сети, значит скорее всего нужно правильно задать имя сервера с галереей. Это делается в так:

nano /var/www/gallery/application/config/config.php

В этом файле ищем строки:

$config["site_domain"] =
  substr($_SERVER["SCRIPT_NAME"], 0,
         strpos($_SERVER["SCRIPT_NAME"], basename($_SERVER["SCRIPT_FILENAME"])));

Именно они задают имя сервера, которое будет передаваться плагину cooliris, который показывает слайдшоу.
Комментируем последние две строки, а в первой пишем имя сервера:

$config["site_domain"] = 'photos.autosys.tk';
 /* substr($_SERVER["SCRIPT_NAME"], 0,
         strpos($_SERVER["SCRIPT_NAME"], basename($_SERVER["SCRIPT_FILENAME"])));
*/

Все! теперь все работает как нада.

proxmox_get_task_status_from_cli

anonymous@undisclosed.example.com (Anonymous) — Wed, 10 Mar 2021 08:57:37 +0000

Если вдруг web-интерфейс proxmox перестал обвечать во время выполнения задачки, то посмотреть статус и лог задач можно с помощью утилиты pvesh.
В общем случае это делается так:

pvesh get nodes/<NODE>/tasks/<UPID>/log
pvesh get nodes/<NODE>/tasks/<UPID>/status

Имя ноды можно поглядеть так:

pvesh get nodes

Список задач, чтобы узнать UPID поглядеть так:

pvesh get nodes/proxmox/tasks/

В итоге команды будут какие-то такие:

pvesh get nodes/proxmox/tasks/UPID:proxmox:000265EB:112BC1FC:60480914:aptupdate::root@pam:/log
pvesh get nodes/proxmox/tasks/UPID:proxmox:000265EB:112BC1FC:60480914:aptupdate::root@pam:/status

proxmox_host_hibernate

anonymous@undisclosed.example.com (Anonymous) — Sun, 01 Sep 2019 12:50:58 +0000

Гибернация хоста Proxmox 6.0.6

Устанавливаем pm-utils

apt-get install pm-utils

В файлике /etc/default/grub прописываем раздел swap, откуда будем восстанвливать состояние:

GRUB_CMDLINE_LINUX_DEFAULT="resume=UUID=8a4aa3bd-cbc9-4616-81ca-62c68eb24704 quiet max_loop=32"

и применяем конфигурацию grub:

update-grub

Гасим все виртуальные машины. При запущенных виртуалках (не контейнерах) хост уходил в перезагрузку и не возвращался из hibernate, а просто загружался. Выполняем гибернацию.

pm-hibernate

Вот некоторые наблюдения:

Если виртуалка работает - хибернейт просто перезагрузит хост.
Если вирталка остановлена (зашатдаунена) - хибернейт сработает нормально и остановит хост.
Если виртуалка работала, но была захибернейчена, то хост перезагрузится.
Если хост был запущен, а захибернейченая виртуалка не запускалась с момента старта хоста, то хост нормально захибернейтится.

То есть получается, что в рамках одного хоста Proxmox нормально хибернейтятся или только виртуальные машины (средствами proxmox), или только контейнеры (средствами pm-utils). Это повод совсем избавиться от виндовых виртуалок :)

proxmox_ksmd_high_cpu_load

anonymous@undisclosed.example.com (Anonymous) — Tue, 12 Nov 2019 07:43:49 +0000

Проблема

На хосте Proxmox (многих версий, вплоть до 6.x) процесс ksmd потребляет много CPU (25-40% на четырехъядерном процессоре).

Решение

Очевидно - решение в тонкой настройке демона ksmd, который занимается поиском и слиянием (merging) страниц памяти с одинаковым содержимым для высвободжения памяти. Настройки демона хранятся в файле /etc/ksmtuned.conf.
Помогает увеличение интервала KSM_SLEEP_MSEC до 100 милисекунд:

KSM_SLEEP_MSEC=100

Значение остальных параметров:

KSM_MONITOR_INTERVAL - временной интервал в секундах между сканированиями.
KSM_SLEEP_MSEC - временной интервал в милисекундах между сканированиями кусков по 16Gb. текущее значение можно найти тут: /sys/kernel/mm/ksm/sleep_millisecs
KSM_NPAGES_BOOST - число страниц, на которое будет увеличено количество сканируемых страниц при достижении порогов заданных параметрами KSM_THRES_*
KSM_NPAGES_DECAY - число страниц, на которое будет уменьшено количество сканируемых страниц при достижении порогов заданных параметрами KSM_THRES_*
KSM_NPAGES_MIN - минимальное число страниц памяти, которое сканируется всегда.
KSM_NPAGES_MAX - максимальное число сканируемых страниц
KSM_THRES_COEF - порог количества свободной памяти в процентах, при достижении которого запускается процесс сканирования и слияния.
KSM_THRES_CONST - порог количества свободной памяти в килобайтах, при достижении которого запускается процесс сканирования и слияния.

Текущий размер страницы памяти можно получить так:

getconf PAGE_SIZE

На сервере с объемом памяти 32Gb я использую такие значения:

KSM_SLEEP_MSEC=1000
KSM_THRES_COEF=50

Перезапустить демон ksmd можно такой командой:

sudo service ksmtuned restart

proxmox_optimization_tips

anonymous@undisclosed.example.com (Anonymous) — Tue, 12 Nov 2019 07:27:35 +0000

Что (по моему мнению) следует сделать сразу после установки ProxMox.

минимизируем использование swap с помощью параметра swapiness. Для этого в файлик /etc/sysctl.conf добавляем строчку
```
vm.swappiness=0
```
и перезагружаемся.
отключаем transparent_hugepages. Как выключать и почему: НАПИСАНО ТУТ.
Оптимизировать подсистему хранения можно с помощью SSD-кеширования на уровне LVM. Например - вот так.
Если виртуальные машины используют диски в формате qcow2, то можно несколько оптимизировать работу qcow2.
Если предполагается работа виртуальной машины Windows с Microsoft SQL Server на борту, то к параметрам запуска SQL Server надо добавить флаг - Trace Flag T8038. Мне сильно помогло в случае с MS SQL 2014 (в SQL в свойствах сервиса на вкладке StartUp добавляем параметр -T8038). Без этого параметра Microsoft SQL Server сильно тормозит в виртуалке proxmox.
Если вы пользуетесь версией FREE, то, вероятно, вас раздражает баннер, который появляется при логине в Web-интерфейс.Убрать его можно так...
если процесс ksmd потребляет много процессорного времени, то можно несколько скорректировать его параметры .

proxmox_storage_optimization

anonymous@undisclosed.example.com (Anonymous) — Wed, 07 Sep 2022 14:18:40 +0000

proxmox storage optimization

Я хочу построить небольшой домашний сервер виртуализации на базе ProxMox. Требования к подсистеме хранения такие:

кеширование SSD
дедупликация при небольшом потреблении памяти. не обязательно inline, можно просто по расписанию.
сжатие

Варианты:

ZFS - все круто (“искаропки” есть кеширование, дедупликация и сжатие). Однако, дедупликация требует очень много памяти (>5GB на 1Tb данных). А также на производительность влияет неотключаемый Copy-On-Write.
ext3/4 over LVM - быстрая и стабильная. можно сделать кеширование на SSD. Нет дедупликации. Нет сжатия.
BTRFS over LVM - можно сделать кеширование на SSD. Есть дедупликация по запросу. Есть сжатие. Можно отключить Copy-On-Write (но тогда отключится сжатие).
Virtual Data Optimizer - VDO суперштука. Модуль ядра, который реализует inline-дедупликацию и сжатие для томов LVM. Пока что доступен только в RedHat и непонятно что со стабильностью/производительностью/ресурсами. Уже есть в составе Debian - https://manpages.debian.org/testing/lvm2/lvmvdo.7.en.html

Решение

Выбор пал на связку BTRFS over LVM. Она позволяет дедуплицировать данные по расписанию (с помощью duperemove), кешировать данные на SSD с помощью lvmcache.
Файлы образов дисков должны быть в формате qcow2, что позволит делать снепшоты.
Файловые системы контейнеров LXC можно хранить как в виде образов, так и просто в папках на BTRFS. Последний вариант будет скорее всего быстрее (вследствие отсутствия loop-устройства), позволит дедуплицировать и\или сжимать файлы контейнеров средствами BTRFS.
Забегая вперед, скажу, что SSD кеш делает виртуальные машины ГОРАЗДО отзывчивее. Даже в условиях нехватки оперативной памяти.

ВНИМАНИЕ!!!

Всем, кто решит использовать BTRFS + lvmcache на хосте ProxMox нужно помнить следующее:

lvmcache НЕ совместим с различными вариантами hibernate. Если вы попытаетесь выполнить pm-hibernate на хосте кешированными томами, то никакого hibernate не произойдет. Система просто перезагрузится, а данные на дисках будут повреждены. Я пробывал.
использование BTRFS с флагом nodatacow (то есть отключение Copy-On-Write) наверное, немного поднимет производительность, но взамен сделает и без того не самую надежную файловую систему абсолютно неремонтопригодной. Отключится весь функционал, обеспечивающий надежность хранения (CoW и контрольные суммы). В результате, при повреждения файловой системы даже btrfs check использовать не получится (по причине отсутствия ctree).

Создание кешированного тома LVM

https://superuser.com/questions/952016/how-can-i-use-one-lvmcache-cache-pool-lv-for-multiple-origin-lvs

Пример конфигурации такой. два диска - /dev/vdb (SSD) и /dev/vdc (HDD). Создаем физичесике тома и группу томов test:

pvcreate /dev/vdb
pvcreate /dev/vdc
vgcreate vgname /dev/vdb /dev/vdc

Создаем том с кешем на SSD:

lvcreate --type cache-pool -L1G -n cache vgname /dev/vdb

Создаем том с данными:

lvcreate -L9G -n data vgname /dev/vdc

И теперь собираем конструкцию:

lvconvert --type cache --cachepool vgname/cache vgname/data
Do you want wipe existing metadata of cache pool volume test/cache? [y/n]: y
Logical volume vgname/data is now cached.

Отсоединить кеш от тома можно командой:

lvconvert --splitcache vgname/data

Состояние тома можно поглядеть командой:

dmsetup -v status vgname/data

Тип кеша можно поменять командами:

lvchange --cachemode writeback vgname/data
lvchange --cachemode writethrough vgname/data

Создание хранилища Proxmox

Для начала надо смонтировать том с параметрами noatime,nodiratime

mkdir /mnt/vgname-data
echo '/dev/mapper/vgname-data  /mnt/vgname-data  btrfs   noatime,nodiratime  0  2' >> /etc/fstab
mount /mnt/vgname-data
pvesm add dir Test-Data --path /mnt/vgname-data

Тестирование FIO

Тестовый хост - Pentium Silver J5005, 8GB Ram, mdadm RAID1 2x2Tb Seagate HDD (подключены к SoC AHCI), OCZ Vertex2 EX 100Gb SSD Cache (подключен к ASMedia ASM1061), transparent_hugepage выключены.
FIO под Windows Server 2008R2 скачанный отсюда: https://bluestop.org/fio/ у меня не заработал. Все время при запуске падал - fio.exe has stopped working.
Очевидно, это проблемы со сборкой, потому что FIO скачанный отсюда: https://ci.appveyor.com/project/axboe/fio/build/job/1q9lno301yq74mxc/artifacts заработал без проблем.
Тесты запускались такими командами:

fio.exe   --name=baseline --rw=randread --direct=1 --size=1g --iodepth=32 --blocksize=4096 --thread --ioengine=windowsaio --filename=E\:fiotest --name=hddBaseline --stonewall
fio.exe   --name=baseline --rw=randwrite --direct=1 --size=1g --iodepth=32 --blocksize=4096 --thread --ioengine=windowsaio --filename=E\:fiotest --name=hddBaseline --stonewall

То есть тест блоками по 4k, случайные чтение и запись, глубина очереди 32, размер тестового файла - 1Gb, без кеширования на уровне Windows (direct=1).
Тесты запускались по три раза, чтобы тестовый файл попал в SSD-кеш.

LVM Cache/PM Cache/Format	Read, MiB/s	Write MiB/s	Read IOPS avg, k	Write IOPS avg, k	CPU Read, %	CPU Write, %
WB/NC/qcow2	133	100	34.0	25.6	26	0
WB/NC/raw	127	104	32.5	26,6	25	0
WB/WB/qcow2	158	107	40.5	27,4	0	0
WB/WT/qcow2	166	5.3	42.6	1.324	0	4
WB/WT/raw	154	5.47	39.5	1.335	0	3.5
WB/WB/raw	150	118	38.3	30.1	0	23
WT/WT/qcow2	213	0.046	54.5	0.011	21	0
WT/WB/qcow2	159	9.5	40.8	2.37	0	0.9
WT/NC/qcow2	128	0.612	32.8	0.152	12.5	0
WT/NC/raw	121	0.832	30.9	0.208	0	0
WT/WT/raw	288	0.041	73.7	0.010	56	0
WT/WB/raw	137	16.8	35.1	4.303	0	3.3
NC/WB/raw	146	4.4	37.3	1.099	0	0.4
NC/WT/raw	148	0.0476	37.8	0.011	0	0
NC/NC/raw	1.766	0.694	0.441	0.173	0	0.33
NC/NC/qcow2	1.830	0.244	0.457	0.061	0.86	0
NC/WT/qcow2	1.7	0.0465	0.449	0.011	0	0
NC/WB/qcow2	3.578	4.889	0.894	1.222	0	0.47

Результаты тестирования fio

Предсказуемо, стабильно высокие результаты при минимальной загрузке VCPU показал вариант, когда включено кеширование на LVM и Proxmox в режимах WriteBack. Его недостатком можно считать вероятность потери данных при выходе из строя SSD или отключении питания.
Не сильно отстает конфигурация с кешированием только на SSD в режиме WriteBack. От выхода из строя SSD можно защититься, использовав два накопителя в зеркальном массиве.
Разница между форматами qcow2 и raw несущественна, при большей функциональности qcow2.
В режимах Writeback на уровне proxmox без кеширования на SSD на уровне lvm, скорость записи очень нестабильна. Она может быть как довольно высокой (3000-4000 IOPS), так и довольно низкой (500-1000 IOPS) и меняется произвольным образом.
Режимы кеширования ProxMox WriteThrough - существенно ускоряют чтение (в 100 раз), но замедляют запись (в 5-20 раз) по сравнению с режимами без кеширования и writeback.
Возможно, на данной системе можно добиться более высоких результатов, если подключить cache SSD к SoC AHCI. Вот тут есть тестирование производительности разных контроллеров: http://www.thg.ru/storage/vliyaniye_kontrollera_na_skorost_ssd/print.html и ASMedia ASM1061 там далеко не лидер по производительности, а сам SSD по паспорту способен выдавать до 70000 IOPS. C PCI-E SSD результаты должны быть еще интереснее.

Тестирование с помощью CrystalDiskMark 6.0.2 x64

Тестирование производилось на VM - Windows Server 2008 R2, 4GB mem, 2 cores. Для тестирования виртуальной машине добавлен отдельный пустой диск 32Gb.
В качестве SSD cache выступал том LVM на SATA диске OCZ Vertex V2 EX.
Тест в Crystal Mark запускался по 3 раза, чтобы данные успевали закешироваться. В таблице приведены данные после третьего замера.
Параметры CrystalMark - 5, 1GiB.
Boot Time - время загрузки ОС от включения до появления приглашения Press Ctrl+Alt+Del.

1 - lvm cache - On WriteBack, proxmox cache - no cache, qcow2
2 - lvm cache - On WriteBack, proxmox cache - no cache, raw
3 - lvm cache - On WriteBack, proxmox cache - WriteBack, qcow2 . WARNING - Very High CPU Load while tests!!! Very Long test!!!
4 - lvm cache - On WriteBack, proxmox cache - WriteThrough, qcow2 WARNING - Very High CPU Load while tests!!! Very Long test!!!
5 - lvm cache - On WriteBack, proxmox cache - WriteThrough, raw WARNING - Very High CPU Load while tests!!! Very Long test!!!
6 - lvm cache - On WriteBack, proxmox cache - WriteBack, raw . WARNING - Very High CPU Load while tests!!! Very Long test!!!

Disk Config	Seq Read Q32T1	Seq Write Q32T1	4KiB Q8T8 Read	4KiB Q8T8 Write	4KiB Q32T1 Read	4KiB Q32T1 Write	4KiB Q1T1 Read	4KiB Q1T1 Write	Boot Time, sec
1	217,1	105,3	112,4	84,32	111,4	78,72	12,12	21,75	16
2	218,9	104,6	112,7	86,15	111,8	84,85	11,87	21,58
3	2423	245,6	329,0	163,6	285,6	165,5	39,83	34,49	16
4	2494	84,31	331,4	6,4	289,5	5,5	40,31	4,0
5	2566	90,61	347,9	6,67	301,8	5,86	40,73	4,2
6	2457	210,9	350,5	161	301,1	173,5	40,47	35,9

proxmox_storage_rebuild

anonymous@undisclosed.example.com (Anonymous) — Tue, 02 Jun 2020 09:44:56 +0000

Было

Диски HDD разбиты одиаково на три партиции (EFI, boot, data).
Разделы data - в зеркальном массиве mdadm. На нем лежит два lvm - корень системы и lvm с данными под ZFS.
Диски SSD - по одному разделу, в зеркальном массиве mdadm, поверх массива - LVM, а lmv используются как swap, zfs ZIL и ZFS L2ARC.
Зеркальные массивы mdadm на 2-х дисках HDD и 2-х SSD.
На массивах - LVM. На LVM - ZFS.

диски

sda, sdb - HDD
sdc, sdd - SSD

mdsdtat

cat /proc/mdstat 
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sda3[0] sdb3[1]
      1953250304 blocks [2/2] [UU]
      bitmap: 7/15 pages [28KB], 65536KB chunk

md2 : active raid1 sdd1[0] sdc1[1]
      97683584 blocks [2/2] [UU]
      
unused devices: <none>

pvdisplay

 
  --- Physical volume ---
  PV Name               /dev/md1
  VG Name               pve
  PV Size               <1.82 TiB / not usable 3.00 MiB
  Allocatable           yes (but full)
  PE Size               4.00 MiB
  Total PE              476867
  Free PE               0
  Allocated PE          476867
  PV UUID               rCzF98-PuUS-Meer-8Ger-vffN-vBXQ-kNciWH
   
  --- Physical volume ---
  PV Name               /dev/md2
  VG Name               pve
  PV Size               <93.16 GiB / not usable 2.12 MiB
  Allocatable           yes (but full)
  PE Size               4.00 MiB
  Total PE              23848
  Free PE               0
  Allocated PE          23848
  PV UUID               8d4I3j-p4UL-k8dq-bolM-pC8w-z21H-HoOZcv

lvdisplay -m

  --- Logical volume ---
  LV Path                /dev/pve/swap
  LV Name                swap
  VG Name                pve
  LV UUID                dGxWuM-iYbO-QHLU-SILo-LVJa-2NMX-ZWf2fe
  LV Write Access        read/write
  LV Creation host, time proxmox, 2018-10-24 22:47:17 +0300
  LV Status              available
  # open                 0
  LV Size                32.00 GiB
  Current LE             8192
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:0
   
  --- Segments ---
  Logical extents 0 to 8191:
    Type                linear
    Physical volume     /dev/md1
    Physical extents    0 to 8191
   
   
  --- Logical volume ---
  LV Path                /dev/pve/root
  LV Name                root
  VG Name                pve
  LV UUID                a7G2ko-sOhu-iM4f-kYQb-2Y8M-u9J2-dlLEQX
  LV Write Access        read/write
  LV Creation host, time proxmox, 2018-10-24 22:47:17 +0300
  LV Status              available
  # open                 1
  LV Size                16.00 GiB
  Current LE             4096
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:1
   
  --- Segments ---
  Logical extents 0 to 4095:
    Type                linear
    Physical volume     /dev/md1
    Physical extents    8192 to 12287
   
   
  --- Logical volume ---
  LV Path                /dev/pve/swap-ssd
  LV Name                swap-ssd
  VG Name                pve
  LV UUID                oS0M42-tXl0-0Lal-SJva-6ejX-kucf-xyfuC0
  LV Write Access        read/write
  LV Creation host, time proxmox, 2019-02-16 01:00:38 +0300
  LV Status              available
  # open                 2
  LV Size                32.00 GiB
  Current LE             8192
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:2
   
  --- Segments ---
  Logical extents 0 to 8191:
    Type                linear
    Physical volume     /dev/md2
    Physical extents    0 to 8191
   
   
  --- Logical volume ---
  LV Path                /dev/pve/data-zfs-lvm
  LV Name                data-zfs-lvm
  VG Name                pve
  LV UUID                0MBZHE-D1q2-A4Bd-VZPy-RUgb-l8es-erxcyy
  LV Write Access        read/write
  LV Creation host, time proxmox, 2019-08-14 13:14:39 +0300
  LV Status              available
  # open                 1
  LV Size                1.77 TiB
  Current LE             464579
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:3
   
  --- Segments ---
  Logical extents 0 to 464578:
    Type                linear
    Physical volume     /dev/md1
    Physical extents    12288 to 476866
   
   
  --- Logical volume ---
  LV Path                /dev/pve/zfs-zil
  LV Name                zfs-zil
  VG Name                pve
  LV UUID                kOW2k0-MhrC-97Fp-6kVf-qkdl-Jn35-3vXC6h
  LV Write Access        read/write
  LV Creation host, time proxmox, 2019-08-15 11:36:09 +0300
  LV Status              available
  # open                 1
  LV Size                8.00 GiB
  Current LE             2048
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:4
   
  --- Segments ---
  Logical extents 0 to 2047:
    Type                linear
    Physical volume     /dev/md2
    Physical extents    8192 to 10239
   
   
  --- Logical volume ---
  LV Path                /dev/pve/zfs-l2arc
  LV Name                zfs-l2arc
  VG Name                pve
  LV UUID                waJkhg-nRfS-rqTg-tvQk-Zpt3-30gm-t6bqTG
  LV Write Access        read/write
  LV Creation host, time proxmox, 2019-08-15 11:36:54 +0300
  LV Status              available
  # open                 1
  LV Size                <53.16 GiB
  Current LE             13608
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:5
   
  --- Segments ---
  Logical extents 0 to 13607:
    Type                linear
    Physical volume     /dev/md2
    Physical extents    10240 to 23847

ZFS

zpool status
  pool: pve-data
 state: ONLINE
  scan: scrub repaired 0B in 1 days 01:47:53 with 0 errors on Mon May 11 02:11:55 2020
config:

        NAME            STATE     READ WRITE CKSUM
        pve-data        ONLINE       0     0     0
          data-zfs-lvm  ONLINE       0     0     0
        logs
          zfs-zil       ONLINE       0     0     0
        cache
          zfs-l2arc     ONLINE       0     0     0

errors: No known data errors

Стало

диски

На каждом HDD - четыре раздела:

EFI
boot
root
data

На каждом SSD три раздела:

swap
ZIL
L2ARC

mdadm

Должны остаться два массива - первый root на HDD под LVM, второй - swap на SSD без LVM.

LVM

Одинственный pv - mdadm массив на HDD под root.

ZFS

Все функции зеркалирования для данных переезжают на ZFS.

Что делаем

Перенос будет происходить на живой системе.

SSD

Примерный порядок:

отключаем весь функционал на SSD (swap, ZIL, L2ARC).

zpool remove pve-data /dev/pve/zfs-zil
zpool remove pve-data  /dev/pve/zfs-l2arc
swapoff -a

переразбиваем диски. Размер раздела под ZIL - вычисляется по формуле 'скорость записи на SSD' * 'интервал сброса изменений на диск'. Дефолтный интервал сброса данных (commit interval) - 5 секунд. ТО есть в случае с SATA SSD размер ZIL должне быть 250MB/s * 5s = 1250 Mb. Получилось примерно так:
```
Device        Start       End   Sectors  Size Type
/dev/sdd1      2048  67110911  67108864   32G Linux swap
/dev/sdd2  67110912  75499519   8388608    4G Linux filesystem
/dev/sdd3  75499520 195369421 119869902 57.2G Linux filesystem
```

создаем mdadm-массив, создаем на нем swap, прописываем в /etc/fstab и включаем

sudo mdadm --create /dev/md2 --level=1 --raid-devices=2 --metadata=0.90 /dev/sdc1 /dev/sdd1
sudo mkswap /dev/md2
swapon -a

Включаем обратно ZIL в зеркальном режиме
```
sudo zpool add pve-data log mirror /dev/sdc2 /dev/sdd2
```
и L2ARC в обычном режиме (zfs не поддерживает cache в зеркальном режиме )
```
sudo zpool add pve-data cache /dev/sdc3 /dev/sdd3
```
.

HDD

Примерный порядок:

изымаем один из дисков из массива mdadm.
```
sudo mdadm /dev/md1 -r /dev/sda3
```

переразбиваем (количество разделов должно стать 4 - третий раздел должен разделиться на два - root и data).

sudo sgdisk --zap-all /dev/sda
sudo sgdisk -n 1:2048:4095 /dev/sda
sudo sgdisk -t 1:EF02 /dev/sda
sudo sgdisk -n 2:4096:528383 /dev/sda
sudo sgdisk -t 2:EF00 /dev/sda
sudo sgdisk -n 3:528384:+16394MiB /dev/sda
sudo sgdisk -t 3:FD00 /dev/sda
sudo sgdisk -n 4:34103296:0 /dev/sda

Было:

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048            4095   1024.0 KiB  EF02  
   2            4096          528383   256.0 MiB   EF00  
   3          528384      3907029134   1.8 TiB     FD00

Стало:

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048            4095   1024.0 KiB  EF02  
   2            4096          528383   256.0 MiB   EF00  
   3          528384        34103295   16.0 GiB    FD00  
   4        34103296      3907029134   1.8 TiB     8300

создаем на новом разделе root зеркальный массив mdadm из одного диска.

sudo mdadm --zero-superblock /dev/sda3
sudo mdadm --create /dev/md3 --level=1 --raid-devices=2 --metadata=0.90 /dev/sda3 missing
sudo mdadm --detail --scan | sudo tee /etc/mdadm/mdadm.conf

Добавляем новый зеркальный массив mdadm в Volume Group pve и перемещаем на него root lvm.
```
sudo pvcreate /dev/md3
sudo vgextend pve /dev/md3
sudo pvmove -n /dev/pve/root /dev/md1 /dev/md3
update-grub
update-initramfs -u
```
В существующий ZFS-pool подключаем новый data раздел в качестве зеркала.
```
sudo zpool attach pve-data /dev/pve/data-zfs-lvm /dev/sda4
```
и ждем синхронизации. Состояние синхронизации смотрим так:
```
sudo zpool status
```
Изымаем из ZFS-pool старое устрйоство (lvm)
```
sudo zpool detach pve-data /dev/pve/data-zfs-lvm
```
В результате старый массив mdadm (на котором были lvm root и data) освободится и его можно будет остановить:
```
 sudo lvremove /dev/pve/data-zfs-lvm
sudo vgreduce pve /dev/md1
sudo pvremove /dev/md1
sudo mdadm --stop /dev/md1
sudo mdadm --zero-superblock /dev/sdb3
```
Перезбиваем второй диск на четыре раздела, подключаем третий раздел в mdadm-массив, а четвертый в - качестве mirror в zfs-pool:
```
sudo sgdisk -d 3 /dev/sdb
sudo sgdisk -n 3:528384:34103295 /dev/sdb
sudo partprobe /dev/sdb
sudo sgdisk  -t 3:FD00 /dev/sdb
sudo partprobe /dev/sdb
sudo sgdisk -n 4:34103296:0 /dev/sdb
sudo partprobe /dev/sdb
```
Вот в этом месте надо бы перезагрузиться, поскольку есть сомнения, что таблица разделов хорошая. После ребута добавляем разделы в зеркала (mdadm и zfs)
```
sudo zpool attach pve-data /dev/sda4 /dev/sdb4
sudo mdadm --add /dev/md3 /dev/sdb3
```
ждем синхронизации
```
sudo mdadm --detail --scan | sudo tee /etc/mdadm/mdadm.conf
update-grub
update-initramfs -u
```

Всё. Тестировать на производительность не тестировал, но логично, что удаление двух промежуточных слоев абстракции (mdadm и lvm) из-под zfs pool должно пойти на пользу.

qemu_guest_agent_installation_error

anonymous@undisclosed.example.com (Anonymous) — Thu, 16 May 2019 12:14:55 +0000

Проблема

При установке Qemu Guest Agent из комплекта VirtIO версии 0.1.160 на Windows Server 2016 инсталлятор сообщает, что не смог установиться:

There is a problem with this Windows Installer package. A program run as part of the setup did not finish as expected. Contact your support personnel or package vendor.

В логах:

Product: QEMU guest agent -- Error 1722. There is a problem with this Windows Installer package. A program run as part of the setup did not finish as expected. Contact your support personnel or package vendor.  Action RegisterCom, location: cmd.exe, command: /c "C:\Program Files\Qemu-ga\qemu-ga.exe" -s vss-install

Решение

Исследование показало. что он не ставился из-за того, чтобы ли отключены сервисы MSDTC - Distributed Transaction Coordinator и VSS - Volume Shadow Copy после их включения и запуска все поставилось и заработало.

reclaim_free_space_lvm_thin_volumes

anonymous@undisclosed.example.com (Anonymous) — Wed, 18 Sep 2019 14:24:42 +0000

Вернуть свободное место LVM-Thin
https://belug.de/howtos-using_trim_inside_virtual_machines.html
https://forum.proxmox.com/threads/clear-unused-space-on-thin-lvm.32888/

setup_diskless_ubuntu_vm

anonymous@undisclosed.example.com (Anonymous) — Thu, 19 Sep 2019 10:11:01 +0000

Задача - запустить на хосте Proxmox виртуалку, которая загружалась бы по сети по NFS.
У виртуалки будет два интерфейса - один для выхода в сеть и один для взаимодействия с сервером NFS.

Настройка контейнера DHCP+NFS

На хосте Proxmox создаем профиль для запуска внутри контейнера сервера NFS.
В конфигурации контейнера два сетевых интерфейса. Один смотрит во внешнюю сеть, а второй - исключительно для загрузки виртуалки (на нем будут работать сервисы NFS и DHCP).
В данной конфигурации IP-адрес контейнера - 192.168.88.1. Этот интерфейс смотрит на виртуальную машину.
Запускаем это контейнер и в нем настраиваем:

sudo apt-get install isc-dhcp-server tftpd-hpa syslinux pxelinux nfs-kernel-server initramfs-tools

/etc/dhcp/dhcpd.conf

Настраиваем DHCP-зону в файлике /etc/dhcp/dhcpd.conf:

option domain-name "autosys.tk";
default-lease-time 600;
max-lease-time 7200;

allow booting;
allow bootp;

subnet 192.168.88.0 netmask 255.255.255.0 {
  range 192.168.88.100 192.168.88.254;
  option broadcast-address 192.168.88.255;
  filename "/pxelinux.0";
}

host pxe_client {
  hardware ethernet 76:4B:48:28:D3:A4;
  fixed-address 192.168.88.100;
}

Добавлять статичный адрес необходимо для того, чтобы у адаптера всегда был один IP-адрес. В противном случае - адаптер будет иметь два IP-адреса. Два адреса адаптер получает даже если интерфейс не сконфигурирован в netplan.

/etc/default/isc-dhcp-server

Указываем, что наш DHCP-сервер должен работать только на интерфейсе, который не смотри во внешнюю сеть:

INTERFACESv4="eth1"

перезагружаем контейнер и смотрим, что все норм:

service nfs-server status
service isc-dhcp-server status

/etc/default/tftpd-hpa

Настраиваем tftp-сервер:

# /etc/default/tftpd-hpa
TFTP_USERNAME="tftp"
TFTP_DIRECTORY="/var/lib/tftpboot"
TFTP_ADDRESS=":69"
TFTP_OPTIONS="--secure"

Копируем нужные файлы:

cp /usr/lib/PXELINUX/pxelinux.0 /var/lib/tftpboot/
cp /var/lib/tftpboot/boot/isolinux/menu.c32 /var/lib/tftpboot/
mkdir -p /var/lib/tftpboot/boot
cp -r /usr/lib/syslinux/modules/bios /var/lib/tftpboot/boot/isolinux
mkdir /var/lib/tftpboot/pxelinux.cfg

Настраиваем сервер NFS

Создаем папку, в которой будет размещаться корневая директория нашей бездисковой виртуалки:

mkdir /nfsroot

/etc/exports

Прописываем экспорт этой директории в файлике /etc/exports:

/nfsroot             192.168.88.0/24(rw,no_root_squash,async,insecure)

и применяем изменения

exportfs -rv

Готовим систему, которая будет грузиться с NFS-шары

Делаем обычную виртуальную машину и устанавливаем в ней нужный нам дистрибутив Linux. В моем случае это будет Ubuntu-18.04 Server + KDE.
Для начала я установлю только голый Ubuntu-18.04 Server и сделаю его бездисковым. После установки, внутри виртуалки выполняем:

sudo apt-get update
sudo apt-get upgrade
sudo apt-get -y purge cloud-init && sudo rm -rf /etc/cloud
sudo apt-get -y install nfs-common

Настраиваем и пересобираем initrd:

sudo cp /boot/vmlinuz-`uname -r` ~/
sudo sed -i 's/MODULES=.*$/MODULES=netboot/g' /etc/initramfs-tools/initramfs.conf
echo 'virtio_net' >> /etc/initramfs-tools/modules
sudo mkinitramfs -o ~/initrd.img-`uname -r`

Копируем систему на NFS-сервер:

sudo mount -t nfs -o nolock 192.168.88.1:/nfsroot /mnt
sudo cp -ax /. /mnt/.
sudo cp -ax /dev/. /mnt/dev/.
sudo cp -ax /boot/. /mnt/boot/.
sudo umount /mnt

Для быстрой загрузки хорошо бы, чтобы первым интерфейсом был тот, с которого будет грузиться система.

Настраиваем параметры загрузки по сети

Возвращаемся в контейнер, который у нас NFS-сервер и копируем ядро системы и initrd в папку tftp:

sudo cp /nfsroot/boot/vmlinuz-4.15.0-45-generic /var/lib/tftpboot/
sudo cp /nfsroot/boot/initrd.img-4.15.0-45-generic /var/lib/tftpboot/

В вашей системе версии наверное будут другие.

/var/lib/tftpboot/pxelinux.cfg/default

Создаем конфигурацию PXE. Тут пишем актуальные имена файлов (ядра и initrd), а также путь до корневой директории на NFS-сервере:

DEFAULT menu.c32
prompt 0
timeout 5

LABEL Ubuntu Linux 18.04
        menu default
        menu label Ubuntu Linux 18.04
        KERNEL vmlinuz-4.15.0-45-generic
        APPEND root=/dev/nfs initrd=initrd.img-4.15.0-45-generic nfsroot=192.168.88.1:/nfsroot ip=dhcp rw

даем права на чтение папки /var/lib/tftpboot:

chmod -R 777 /var/lib/tftpboot

Рестартуем сервис tftpd-hpa:

service tftpd-hpa restart

Финальные штрихи

В контейнере NFS-сервере в папке со скопированной системой поправляем /etc/fstab :

nano /nfsroot/etc/fstab

Указываем, что в качестве корня нужно монтировать /dev/nfs и отключаем swap:

/dev/nfs / ext4 defaults 0 0
#/swap.img      none    swap    sw      0       0

Также нужно прописать сетевому интерфейсу, который используется для загрузки тип static. Иначе система будет тупить при загрузке, пытаясь повторно сконфигурировать этот интерфейс.
Файлик /nfsroot/etc/netplan/50-cloud-init.yaml приводим к такому виду:

network:
    ethernets:
        ens18:
            addresses: []
            dhcp4: no
        ens19:
            addresses: [192.168.x.x/24]
            gateway4: 192.168.x.x
            nameservers:
              search: [domain.name]
              addresses: [192.168.x.x,192.168.x.x]
            dhcp4: no
            dhcp6: no
    version: 2

Тут первый интерфейс ens18, для доступа к корневой файловой системе имеет тип static без адреса, а для выхода в сеть используется второй интерфейс ens19, который получает статический адрес.

Пробуем загрузиться

Выключаем виртуалку. Отсоединяаем от нее диск и выставляем загрузку по сети.

setup_virtio_drivers_on_windows_core

anonymous@undisclosed.example.com (Anonymous) — Tue, 18 May 2021 10:47:03 +0000

Для того, чтобы установить драйверы на Windows Server Core можно воспользоваться утилитой pnputil.
Смотрим какие девайсы без драйверов:

pnputil /enum-devices /problem

Устанавливаем драйверы с помощью pnputil (проверено на ISO virtio-win-0.1.190.iso):

pnputil /add-driver D:\Balloon\2k19\amd64\*.inf /install
pnputil /add-driver D:\NetKVM\2k19\amd64\*.inf /install
pnputil /add-driver D:\pvpanic\2k19\amd64\*.inf /install
pnputil /add-driver D:\qemufwcfg\2k19\amd64\*.inf /install
pnputil /add-driver D:\qemupciserial\2k19\amd64\*.inf /install
pnputil /add-driver D:\qxl\2k8R2\amd64\*.inf /install
pnputil /add-driver D:\qxldod\2k19\amd64\*.inf /install
pnputil /add-driver D:\smbus\2k8\amd64\*.inf /install
pnputil /add-driver D:\sriov\2k19\amd64\*.inf /install
pnputil /add-driver D:\viofs\2k19\amd64\*.inf /install
pnputil /add-driver D:\vioinput\2k19\amd64\*.inf /install
pnputil /add-driver D:\viorng\2k19\amd64\*.inf /install
pnputil /add-driver D:\vioscsi\2k19\amd64\*.inf /install
pnputil /add-driver D:\vioserial\2k19\amd64\*.inf /install
pnputil /add-driver D:\viostor\2k19\amd64\*.inf /install

slow_windows_vm_install_startup

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

Проблема

На хосте ProxMox 5.2.1 с небольшим количеством памяти (8Gb) есть виртуальные машины Windows версий 7, Server 2008R2 и Server 2016. При установке или запуске виртуалок наблюдаются сильные тормоза. Система устанавливается и загружается очень медленно (может стартовать по 15 минут). Многие сервисы не могут запуститься.

Причина

Судя по всему - причина в проблемах при выделении памяти.

Решение

На хосте ProxMox 5.2.1 нужно выполнить такое:

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

Можно прямо на ходу. Выключать или перезагружать хост не требуется.
Для виртуалки Windows Server 2008R2 время запуска уменьшилось с 10 минут до 16 секунд!!!
Чтобы эти найстройки применялись после рестарта нужно сделать соответствующий файлик автозапуска для systemd - /etc/systemd/system/disable-thp.service с таким содержимым:

[Unit]
Description=Disable Transparent Huge Pages (THP)

[Service]
Type=simple
ExecStart=/bin/sh -c "echo 'never' > /sys/kernel/mm/transparent_hugepage/enabled && echo 'never' > /sys/kernel/mm/transparent_hugepage/defrag"

[Install]
WantedBy=multi-user.target

И затем включить и запустить получившийся “сервис”:

systemctl daemon-reload
systemctl start disable-thp
systemctl enable disable-thp

small_home_proxmox_box

anonymous@undisclosed.example.com (Anonymous) — Mon, 29 Jun 2020 07:32:43 +0000

Вот конфигурация моего маленького домашнего ProxMox хостика:

Asrock J5005-ITX MotherBoard
~~8Gb DDR4 SODIMM Transcend JM2666HSB-8G RAM, 1Gx8, CL19, 1.2V~~
16Gb DDR4 SODIMM HyperX HX426S15IB2/16, 2666Mhz, CL15, 16 Chips
16Gb DDR4 SODIMM Patriot PSD416G21332s, PC4-17000, CL15, 1.2V, Double-sided, 16 chips.
Seagate ST32000641AS 2Tb, SATA. mdadm RAID1.
OCZ Vertex2 EX, SATA, 100 Gb SLC SSD.
Silicon Power Slim S70 - SATA 120Gb SSD
Cooler Master Elite 110A ITX Case
OImaster MR - 9100 PCI 2.5 inch SATA HDD / SSD Mobile Rack
DeepCool Explorer DE530, 530W Power Supply

Работает под управлением ProxMox 6.x.
Система хранения - ZFS (L2ARC + ZIL на SSD). VM images format - qcow2.
Вот тут: http://asrock.com/mb/Intel/J5005-ITX/index.asp#Memory есть сведения о совместимых модулях. Судя по всему, работают и 16-чиповые модули(Crucial MTA16ATF2G64HZ – 16GB) и 8-чиповые (Crucial 16GB DDR4-2400 SODIMM CT16G4SFD824A).

snapshot_rollback_failed

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

Проблема

На хосте Proxmox 5.2.1 есть виртуальная машина Windows Server 2016. Диск машины единственный, в формате qcow2.
На виртуалке установлен Qemu Agent, разрешен Memory Balooning.
После того, как был был сделан snapshot с галочкой Include Memory, виртуалка ушла в BSOD с источником проблем - MEMORY MANAGEMENT.
В результате - невозможно загрузиться. Rollback выполнить невозможно - proxmox сообщает:

qemu-img: Could not open '/mnt/data/images/102/vm-102-disk-1.qcow2': qcow2: Image is corrupt; cannot be opened read/write
TASK ERROR: command '/usr/bin/qemu-img snapshot -a before_xendesktop_update /mnt/data/images/102/vm-102-disk-1.qcow2' failed: exit code 1

Также машина отказывется запускаться:

kvm: -drive file=/mnt/data/images/102/vm-102-disk-1.qcow2,if=none,id=drive-virtio0,cache=writeback,format=qcow2,aio=threads,detect-zeroes=on: qcow2: Image is corrupt; cannot be opened read/write
TASK ERROR: start failed: command '/usr/bin/kvm -id 102 -name .......' failed: exit code 1

Откатиться на более ранние снепшоты тоже не получается.
ProxMox Storage, на котором лежит виртуальная машина, представляет собой раздел BTRFS. В директории с файлами виртуальной машины тоже что-то непонятное. Файл диска vm-102-disk-1.qcow2 имеет размер 80 Tb, при том, что общий размер хранилища ~2Tb. Проверка с помощью

btrfs check --repair

проблем не выявила и размер файла не изменился.

Решение

Для того, чтобы восстановить доступ к диску, я смонтировал образ qcow2 и скопировать его содержимое в формат raw.

sudo modprobe nbd
sudo qemu-nbd -r --connect=/dev/nbd0 /mnt/data/images/102/vm-102-disk-1.qcow2
sudo apt-get install safecopy
sudo safecopy --stage1 /dev/nbd0 /mnt/data/images/102/vm-102-disk-1.raw
sudo qemu-nbd --disconnect /dev/nbd0

После этого, в конфигурации виртуальной машины я переписал путь к новому raw-диску.
Теперь система загружается в Repair Mode, однако системного диска не видно.
После того, как диск был отсоединен и присоединен как SATA, Repair Mode смог увидеть диск и выполнить Repairing Disk Errors.
Спустя примерно пару часов(!) ошибки на диске были исправлены и Windows ушел в перезагрузку, однако так как тип диска сменился - все закончилось BSOD - INACCESSIBLE_BOOT_DEVICE.
В итоге, повреждения на диске оказались критичными для винды и загрузиться она не могла с BSOD и ошибкой 0xc000021a, однако, файлы с диска достать было можно. Попытки восстановления системы штатными средствами с помощью

sfc /scannow

не помогли.

Вывод

Пользоваться механизмами снепшотов qcow2 следует с оторожностью. Вероятно, во избежание подобных ситуаций, виртуальную машину следует выключать перед созданием снепшота.

stop-и-shutdown

anonymous@undisclosed.example.com (Anonymous) — Thu, 28 Mar 2019 09:09:55 +0000

Чем отличается Shutdown от Stop в ProxMox

Если контейнер запущен при помощи OpenVZ / LXC, то “Shutdown” даёт команду на завершение процессов и выжидает 2 минуты, чтобы процессы могли корректно завершиться.
“Stop” завершает процессы контейнера принудительно без тайм-аута.

Если виртуальной машине на базе KVM нажать “Shutdown”, то ProxMox посылает ей ACPI-команду “выключись” и терпеливо ждет когда гостевая система остановится.
“Stop” без лишних вопросов завершает kvm-процесс. При этом гостевая машина выключается “некорректно” (с точки зрения ОС - ей внезапно вырубили питание).

Так что лучше без особой нужды кнопкой “Stop” не пользоваться, а давить на “Shutdown”, когда требуется остановить виртуальную машину или контейнер.

suppress_you_do_not_have_a_valid_subscription_message

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

Я использую бесплатную версию ProxMox 5.3.8 и мне захотелось убрать сообщение

You do not have a valid subscription for this server. Please visit www.proxmox.com to get a list of available options.

которое появляется каждый раз при входе в web-интерфейс.
Оказалось, что единого метода для всех версий нет. Для ProxMox 5.3.8 нашлось такое решение:

sudo sed -i.bak 's/NotFound/Active/g' /usr/share/perl5/PVE/API2/Subscription.pm && sudo systemctl restart pveproxy.service

или еще вот: https://gist.github.com/zentavr/f95194d99b7859a1de3d60c9c5a2e903

turnkey-dokuwiki-active-directory2

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

Сначала надо поставить модуль php для аутентификации в ldap:

apt-get install php5-ldap

Надо отредактировать два файла.

Первый - /etc/dokuwiki/local.protected.php. Тут важно правильно закоментировать строки с выбором шифрования - SSL или TLS.

<?php

  $conf['useacl']         = 1;
  $conf['disableactions'] = 'register';
  $conf['authtype']       = 'ad';
  $conf['auth']['ad']['account_suffix']     = '@cot.local';
  $conf['auth']['ad']['base_dn']            = 'DC=cot,DC=local';
  $conf['auth']['ad']['domain_controllers'] = 'dc1.cot.local';

 $conf['auth']['ad']['ad_username']        = 'domain_admin_login';
  $conf['auth']['ad']['ad_password']        = 'domain_admin_pass';
  $conf['auth']['ad']['sso']                = 1;
  $conf['auth']['ad']['real_primarygroup']  = 1;
#  $conf['auth']['ad']['use_ssl']            = 1;
  $conf['auth']['ad']['use_tls']            = 1;
  $conf['auth']['ad']['debug']              = 1;
  $conf['auth']['ad']['recursive_groups']   = 1;

$conf['manager']   = '@domain_group';
$conf['superuser'] = '@domain_group';

И второй - /usr/share/dokuwiki/inc/adLDAP.php - надо заполнить значения параметров в разделе class adLDAP. В реальном файле много каментов.

class adLDAP {

    protected $_account_suffix = "@cot.local";
    protected $_base_dn = "DC=cot,DC=local";
    protected $_domain_controllers = array ("dc1.cot.local");
    protected $_ad_username=domain_admin_login;
    protected $_ad_password=domain_admin_pass;
    protected $_real_primarygroup=true;
    protected $_use_ssl=false;
    protected $_use_tls=false;

Ошибки смотреть в файле /var/log/apache2/error.log

После внесения изменений надо перезапустить вебсервер. В данном случае - apache:

service apache2 restart

turnkey-linux-fileserver-включение-в-ad

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

Присоединение Turnkey Linux Fileserver к домену AD

Зависимости

apt-get update && apt-get install winbind krb5-user ntpdate samba-common-bin

Конфигурационные файлы

Регистр символов имеет значение!

/etc/hosts

192.168.1.88    dc1.cot.local   dc1
192.168.1.53     torrentserver

/etc/krb5.conf

[logging]
 default = FILE:/var/log/kerberos/krb5libs.log
 kdc = FILE:/var/log/kerberos/krb5kdc.log
 admin_server = FILE:/var/log/kerberos/kadmind.log

[libdefaults]
ticket_lifetime = 24000
default_realm = COT.LOCAL
dns_lookup_realm = false
dns_lookup_kdc = false
kdc_req_checksum_type = 2
checksum_type = 2
ccache_type = 1
forwardable = true
proxiable = true

[realms]
COT.LOCAL = {
 kdc = 192.168.1.88
 admin_server = 192.168.1.88
 default_domain = COT.LOCAL
}

[domain_realm]
.COT.LOCAL = COT.LOCAL

[pam]
debug = false
ticket_lifetime = 36000
renew_lifetime = 36000
forwardable = true
krb4_convert = false

[login]
krb4_convert = false
krb4_get_tickets = false

/etc/samba/smb.conf

[global]
workgroup = COT
realm = COT.LOCAL
preferred master = no
security = ads
encrypt passwords = true
password server = 192.168.1.88
winbind separator = /
idmap uid = 10000-20000
idmap gid = 10000-20000
client use spnego = true
auth methods = winbind
winbind use default domain = yes
winbind uid = 10000-15000
winbind gid = 10000-15000
winbind enum users = yes
winbind enum groups = yes
netbios name = TORRENTSERVER
server string = Cottage File Server
dos charset = UTF-8
unix charset = UTF-8
display charset = UTF-8

 os level = 20
 passdb backend = tdbsam
 null passwords = yes
 admin users = root
 obey pam restrictions = yes
 pam password change = yes
 unix password sync = yes
 passwd program = /usr/bin/passwd %u
 passwd chat = *Enter\snew\s*\spassword:* %n\n *Retype\snew\s*\spassword:* %n\n *password\supdated\ssuccessfully* .

 add user script = /usr/sbin/useradd -m '%u' -g users -G users
 delete user script = /usr/sbin/userdel -r '%u'
 add group script = /usr/sbin/groupadd '%g'
 delete group script = /usr/sbin/groupdel '%g'
 add user to group script = /usr/sbin/usermod -G '%g' '%u'
 guest account = nobody
 
 map to guest = Bad Password

 syslog = 0
 log file = /var/log/samba/samba.log
 max log size = 1000
 wins support = yes
 dns proxy = no
 socket options = TCP_NODELAY
 panic action = /usr/share/samba/panic-action %d

[Distr]
        read list = nobody
        writeable = yes
        public = yes
        path = /mnt/distr/
        write list = Mike

[allstuff]
        read list = nobody
        writeable = yes
        public = yes
        path = /mnt/allstuff/
        write list = Mike

/etc/nsswitch.conf
first 3 lines are most important, other vary according to the system

# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.
passwd:     compat winbind
shadow:     compat winbind
group:       compat winbind

/etc/pam.d/passwd

password    sufficient    pam_winbind.so
password    required     pam_unix.so

auth           include      system-auth
account      include      system-auth
password    include      system-auth
#
# The PAM configuration file for the Shadow `passwd' service
#

@include common-password

/etc/pam.d/common-account

account required        pam_access.so
account sufficient      pam_winbind.so
account required        pam_unix.so

#
# /etc/pam.d/common-account - authorization settings common to all services
#
# This file is included from other service-specific PAM config files,
# and should contain a list of the authorization modules that define
# the central access policy for use on the system.  The default is to
# only deny service to users whose accounts are expired in /etc/shadow.
#
# As of pam 1.0.1-6, this file is managed by pam-auth-update by default.
# To take advantage of this, it is recommended that you configure any
# local modules either before or after the default block, and use
# pam-auth-update to manage selection of other modules.  See
# pam-auth-update(8) for details.
#

# here are the per-package modules (the "Primary" block)
account [success=2 new_authtok_reqd=done default=ignore]        pam_unix.so
account [success=1 new_authtok_reqd=done default=ignore]        pam_winbind.so
# here's the fallback if no module succeeds
account requisite                       pam_deny.so
# prime the stack with a positive return value if there isn't one already;
# this avoids us returning an error just because nothing sets a success code
# since the modules above will each just jump around
account required                        pam_permit.so
# and here are more per-package modules (the "Additional" block)
# end of pam-auth-update config

Синхронизация времени с AD

kerberos is dependent on “the clock”
its recommended to sync with the active directory

dpkg-reconfigure tzdata

 ntpdate ad.example.com

gotcha: on win2ksrv the ntp server is disabled (use regedit)

System Key: HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\Parameters
Value Name: LocalNTP
Data Type: REG_DWORD (DWORD Value)
Value Data: (0 = disabled, 1 = enabled)

tips:
- timezones are calculated, including daylight saving
- ntp is 123/udp
- win2ksrv will deny NTP service if its clock hasn't sync'ed with a
NTP server in a while

net (stop|start) w32time
net time /setsntp:pool.ntp.org

- ntpdate -d (debug)

Перезапуск служб

Опытным путем установлено, что winbind надо запускать перед samba, хотя документация утверждает обратное.

Аутентификация kerberos

kinit Administrator@EXAMPLE.COM

Присоединение к домену

net ads join -U Administrator -S ad.example.com

- its recommended to change the Administrator password on win2k after
first joining (regenerates the kerberos settings or something, not
sure…)

Автоматизируем вход

Запускаем kutil. Она позволит создать keytab - файл, в котором будут храниться данные для входа.

> ktutil 
ktutil: addent -password -p username@ADS.IU.EDU -k 1 -e rc4-hmac
Password for username@ADS.IU.EDU: [enter your password] 
ktutil: addent -password -p username@ADS.IU.EDU -k 1 -e aes256-cts 
Password for username@ADS.IU.EDU: [enter your password] 
ktutil: wkt username.keytab 
ktutil: quit

username.keytab - это имя файла, созданного в текущей директории, в котором хранятся данные для входа.
Сам вход:

kinit -k -t username.keytab username@ADS.IU.EDU

Чтобы все правильно работало в rc.local лучше всего дописать так:

/etc/init.d/winbind stop && /etc/init.d/samba stop && /etc/init.d/winbind start && /etc/init.d/samba start &&
kinit -k -t username.keytab username@ADS.IU.EDU

Проверка

# smbclient -k -L nas.example.com

# wbinfo -u

EXAMPLE+administrator
EXAMPLE+guest
EXAMPLE+tsinternetuser
EXAMPLE+iusr_ad
EXAMPLE+iwam_ad
EXAMPLE+krbtgt

# wbinfo -g
BUILTIN+administrators
BUILTIN+users
EXAMPLE+domain computers
EXAMPLE+domain controllers
EXAMPLE+schema admins
EXAMPLE+enterprise admins
EXAMPLE+cert publishers
EXAMPLE+domain admins
EXAMPLE+domain users
EXAMPLE+domain guests
EXAMPLE+group policy creator owners
EXAMPLE+dnsupdateproxy

и контролируем его работу:

команда

wbinfo -p

должна вернуть:

'ping' to winbindd succeeded

команда

wbinfo -t

должна вернуть:

checking the trust secret via RPC calls succeeded

Если это не так, заглядываем в логи winbind и разбираемся в чем дело.

Еще сообщают вот что:

основное:
1) net ads join -U administrator
2) kinit username@REALM
3) раз в пол часа cron должен запускаь скрипт с простой коммандой
# net ads join -U administrator%password
,как говорят это особенность реализации, иначе просто ресурсы на smb linux машине не будут доступны тем пользователям которым открыт доступ к шарам на ней.

/etc/crontab содержит ->
20 * * * * root /etc/samba/chk-ad.sh

Добавление пользователей из AD в локальные группы

В разделе global в smb.conf был указан параметр username map = /etc/samba/smbusers. Данный параметр очень удобен, т.к. позволяет присоединить пользователей Windows к локальным пользователям UNIX. Например, можно назначить root'ом Вашего пользователя в домене и управлять всеми общими ресурсами с полными правами:

root@samba:~# cat /etc/samba/smbusers
root = AD^domain_admin

При внесении доменных пользователей в данный файл необходимо указывать полное имя в независимости от параметра winbind use default domain. Так же, возможно указать несколько пользователей или доменную группу разделенные пробелами.

Для сопоставления доменных групп по-умолчанию (т.е. таких как Domain Admins, Domain Users и др, которые создаются в SAMBA автоматом, их еще можно просмотреть командой net groupmap list или getent group) и групп UNIX, необходимо выполнить:

net groupmap add ntgroup="COT.LOCAL/Users" unixgroup=users

# net groupmap modify ntgroup="Domain_Group" unixgroup=namegroup

Для сопоставления новых доменных групп и групп UNIX, необходимо выполнить:

$ # добавление новой группы
$ net rpc group add "NewGroup"
$ # сопоставление групп
$ net groupmap modify ntgroup="NewGroup" unixgroup=newunixG

При этом, сопоставление сохраняется в одном из tdb файлов SAMBA.

Но! username map не работает, если в конфиге SAMBA на ресурс задан параметр valid users и пользователь, указанный в файле username map не входит в членов параметра valiud users. Чтобы обойти эту проблему, необходимо указать параметр admin users, который синтаксически аналогичен valid users, и определяет указанному пользователю работать с ресурсом в качестве пользователя root.

Раздача прав на папки.

Есть два варианта раздачи прав - стандартная девятибитная rwx система UNIX и система принятая в Windows - ACL.
Для использования ACL файловую систему надо монтировать с параметром acl.

Для того чтобы с ACL все работало правильно делаем так:
Добавляем группу в список доступа (названия групп смотрим в wbinfo -g):

setfacl -m g:'пользователи домена':rw /var/lib/vz/shared/files/exchange/

даем группе права:

setfacl -m group::rx /var/lib/vz/shared/files/exchange/

Если дать права только group::r, то не будет читаться каталог. Поэтому надо давать group::rx
Сбросить все права ACL можно командой

setfacl --remove-all /var/lib/vz/shared/files/exchange/

Для работы с поддиректориями и вложенными файлами надо использовать ключ -R, но указывать его надо перед -m

Например, настраиваем чтобы в папку /var/lib/vz/shared/files/exchange/ могли писать все, но не могли читать, а для пользователей владельцев папок сделаем разрешения и на чтение:

setfacl -R --remove-all /var/lib/vz/shared/files/exchange/ &&
setfacl -R -m g:'пользователи домена':wx /var/lib/vz/shared/files/exchange/ &&
setfacl -R -m group::wx /var/lib/vz/shared/files/exchange/ &&

Права по-умолчанию применяемые к вновь создаваемым файлам:

setfacl -R -m default:user:van:rwx /var/lib/vz/shared/files/exchange/van/

Дальше даем конкретным пользователям права:

setfacl -R -m user:van:rwx /var/lib/vz/shared/files/exchange/van/

Тут все просто. Раздавайте себе права на уровне Юникса, но прописывайте сразу доменных юзеров и группы. Например,

chown FC\JackSoft DiskK
chown :FC\Domain Admins ForAdmins

и т.д.

Или с использованием ACL

Для групп

 setfacl  -m  g:"domain users":r-x /c/install

Для пользователей

   setfacl  -m  u:"admin":rwx /c/install

Да и еще, у тебя включены директивы наследования не забудь про них

Вход доменных пользователей в linux

ЧТобы можно было менять права на папки из проводника Windows надо чтобы пользователи домена логинились в линукс.
Для этого:

Файл /etc/pam.d/common-account

account sufficient pam_winbind.so
account required pam_unix.so

Файл /etc/pam.d/common-auth

auth sufficient pam_winbind.so
auth required pam_unix.so use_first_pass

Файл /etc/pam.d/common-session

session required pam_mkhomedir.so skel=/etc/skel/ umask=0022
session sufficient pam_winbind.so
session required pam_unix.so

Для того чтобы работали права доступа из Windows и можно было менять права на папки из проводника надо раздел, на котором лежит шара монтировать с с опцией acl

пример файла /etc/fstab

# <file system> <mount point> <type> <options> <dump> <pass>
/dev/pve/root / ext3 errors=remount-ro 0 1

/dev/pve/data /var/lib/vz ext3 defaults,acl 0 1

/dev/md0 /boot ext3 defaults 0 1
/dev/pve/swap none swap sw 0 0
proc /proc proc defaults 0 0

Русские символы в именах

Для того чтобы работали русские символы в именах нужно правильно прописать ресурсы в файле /etc/samba/smbd.conf. У меня получалось правильно прописывать так:

Устанавливал локаль RU.UTF-8 с помощью:

dpkg-reconfigure locales

Потом в свойствах сесии putty тоже устанавливал Window→Translation→UTF-8

Потом оформлял файл в блокноте и потом просто в nano - копировать-вставить… Nano почему-то не работает с UTF-8… Говорят надо перекомпилить…

Или просто расшаривал /etc/samba/ и Блокнотом правил smbd.conf - блокнот делает все идеально :)

Пользователи из Active Directory в ajaxplorer

Для того чтобы увидеть пользователей из Active Directory в ajaxplorer есть плагин auth.ldap.
Сначала надо установить поддержку LDAP для php:

apt-get install php5-ldap

ПОтом редактируем файл с настройками плагинов:

nano /var/www/ajaxplorer/plugins/auth.ldap/class.ldapAuthDriver.php

Раздел “AUTH_DRIVER” целиком комментируем и заменяем на:

"AUTH_DRIVER" => array(
        "NAME" => "multi",
        "OPTIONS" => array(
                "MODE"=> "MASTER_SLAVE",
                "MASTER_DRIVER" => "ldap",
                "SLAVE_DRIVER" => "serial",
                "USER_BASE_DRIVER1" => "ldap",
                "USER_BASE_DRIVER2" => "serial",
                "TRANSMIT_CLEAR_PASS" => true,
                "USER_ID_SEPARATOR" => "_-_",
                        "DRIVERS" => array(
                                "serial" => array(
                                        "LABEL" => "Local",
                                        "NAME" => "serial",
                                        "OPTIONS" => array(
                                                "LOGIN_REDIRECT" => false,
                                                "USERS_FILEPATH" => "AJXP_DATA_PATH/plugins/auth.serial/users.ser",
                                                "AUTOCREATE_AJXPUSER" => true,
                                                "TRANSMIT_CLEAR_PASS" => true,
                                        ),
                                ),
/*configure:
"ip"': the ip or 1.2.com (domain name)
"userorganisationalunit": the OU that you have your users in (will automaticly read sub OU's)
"admin": the admin's name
"adminou": the OU of your admin (yes CN is correct infront of it)
"adminpassword": your admins password

you may remove all ""
*/
                                "ldap" => array(
                                        "LABEL" => "BLUESLATE",
                                        "NAME" => "ldap",
                                        "OPTIONS" => array(
                                                "LDAP_URL" => 'ldap://"ip"',
                                                "LDAP_PORT" => '389',
                                                "LDAP_USERATTR" => 'sAmAccountName',
                                                "LDAP_DN" => 'OU="userorganisationalunit",DC="yourdomain",DC="com"',
                                                "LDAP_FILTER" => 'objectClass=user',
                                                "LDAP_USER" => 'CN="admin",OU="adminou",DC="yourdomain",DC="com"',
                                                "LDAP_PASSWORD" => '"adminpassword"',
                                                "LOGIN_REDIRECT" => false,
                                                "AUTOCREATE_AJXPUSER" => true,
                                                "TRANSMIT_CLEAR_PASS" => true,
                                        ),
                                ),
                        ),
                ),
        ),

Тут задаются параметры:
“ip”': адрес контроллера домена (не обязательно IP)
“userorganisationalunit”: подразделение (OU) в котором находятся импортируемые пользователи
“admin”: логин админа
“adminou”: OU админа (указание CN обязательно)
“adminpassword”: пароль админа

Кавычки бывает нужно убрать, но не обязательно.

Узнать так называемые Distinguished Names можно в на машине с Windows запросом:

dsquery user

Квотирование диска.

Квоты раздаются на уровне ОС FreeBSD в файле /etc/fstab:

# Device Mountpoint FStype Options Dump Pass#
/dev/ad0s1b none swap sw 0 0
/dev/ad0s1a / ufs rw 1 1
/dev/ad0s1f /home ufs rw,userquota,groupquota
/dev/ad0s1e /usr ufs rw 2 2
/dev/ad0s1d /var ufs rw 2 2
/dev/acd0 /cdrom cd9660 ro,noauto 0 0
/dev/ad2s1d /home/mounted/diskq ufs rw,userquota,groupquota
/dev/ad2s1e /home/mounted/diskx ufs rw,userquota,groupquota

проверяем работает ли квота:

quota -v

, а уже потом создаются/меняются для группы и ли пользователя:

edquota FC\JackSoft
man edquota

редактируем тектстовый файл и записываем его.
Все квота изменена.

P.S. Установленная система так работает уже пол-года. Скорость файлового сервера на Юниксе на порядок выше чем тот же сервак на Винде. Дело стоит заморочек с переносом.

unknown_device_acpi_qemuvgid

anonymous@undisclosed.example.com (Anonymous) — Thu, 14 Nov 2019 06:25:44 +0000

Неизвестное устройство в Win7/Win2008

После установки все устройств в виртуальных машинах Windows 7 и Windows 2008R2 остается одно неизвестное устройство без драйвера с Hardware ID - ACPI\QEMUVGID

Что это?

Это устройство необходимо для генерации идентификатора виртуальной машины, а для правильной работы этого устройства нужно установить вот что: https://support.microsoft.com/en-us/help/3071740/hyper-v-integration-components-update-for-windows-virtual-machines-tha
Для Win7_x64/Win2008_R2 - скачал к себе: windows6.x-hypervintegrationservices-x64.cab
Установить вот так:

Dism /online /Add-Package /PackagePath:C:\packages\package.cab

В результате установится драйвер.

vnc-в-контейнере-openvz

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

Проверено на Debian 6.0 OpenVZ template

Устанавливаем пакеты:

apt-get install xserver-xorg-core vnc4server kde icewm-experimental xdm

Затем выполняем:

echo ':0 /usr/bin/Xvnc /usr/bin/Xvnc -geometry 1024x768 -depth 24' /usr/X11R6/lib/X11/xdm/Xservers

Перезапускаем xdm

/etc/init.d/xdm restart

Запускаем vncserver

vncserver

При первом запуске VNC попросит пароль. Его надо задать.
Теперь подключаемся с помощью VNC Viewer к vnc так:

192.168.1.69:1

Для того чтобы vnc запускался автоматом в /etc/rc.local добавляем:

su -l $USER -c "vncserver :0"

Вместо $USER надо написать имя пользователя, от имени которого будет запускаться VNC.

Соотвественно подключаться нужно так:
192.168.1.69:0

Все.

Ubuntu и Gnome

Обновляем списки пакетов и ставим ubuntu-desktop, gdm и vncserver:

apt-get update && apt-get install ubuntu-desktop gdm vnc4server

В процессе установки он спросит про клавиатурные раскладки и про менеджер окон - gdm или lightdm
В зависимости от того что выбрано запускаем

service gdm start

или

service lightdm start

Затем запускаем сам vncserver. При первом запуске он попросит задать пароль.

vncserver :1 -geometry 1024x768 -depth 16 -pixelformat rgb565

Отредактируем файл ~/.vnc/xstartup

nano ~/.vnc/xstartup

В самый конец допишем строку

gnome-session &

Для автоматического старта vncserver после каждой перезагрузки добавим в /etc/rc.local перед exit 0 строку:

su -l $USER -c "vncserver :1 -geometry 1024x768 -depth 16 -pixelformat rgb565"

Вместо $USER надо написать имя пользователя, от имени которого будет запускаться VNC.

Все.

windows10_windows2016_restart_boot_loop_stuck_on_proxmox_splashscreen

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

Проблема

В наличии имеются виртуальные машины Windows 10 и Windows Server 2016 на хосте Proxmox 5.2.1.
Машины нормально загружаются и работают.
При попытке программной перезагрузки машины (например, в результате установки обновлений) работа ОС нормально завершается, но загрузиться она не может - зацикливается на заставке proxmox.

Решение

В моем случае - у виртуальных машин тип процессора был выставлен host и именно это мешало им нормально работать.
После замены в параметрах виртуалок типа CPU на дефолтный - kvm64, всё заработало корректно.
Эта проблема связана с особенностями поведения некоторых (судя по всему не всех) CPU Intel. На форуме proxmox эта проблема описана.
У меня процессор - Intel(R) Pentium(R) Silver J5005 CPU @ 1.50GHz.
Нужно отметить, что виртуальные машины Windows 7/Windows 2008R2 с этой проблемой не сталкиваются.

windows_activation_using_bios_slic

anonymous@undisclosed.example.com (Anonymous) — Mon, 17 May 2021 13:38:42 +0000

We used this: https://forum.proxmox.com/threads/q-win10pro-vm-guest-install-bios-activation-key.47873/post-225013

Активировать виртуальные машины Windows можно с помощью легитимных SLIC-таблиц, выдраных с рабочих физических машин (или скачаных в интернете).
Чтобы выдрать легитимные SLIC-таблицы:

cat /sys/firmware/acpi/tables/SLIC> slic_table
dmidecode | grep -A8 'System Information'

И дальше помещаем полученную информацию в конфигурационный файл виртуалки:

args: -acpitable file=/path/to/slic_table
smbios1: uuid=<UUID>,manufacturer=<manufacturer>,product=<prodcut>,serial=<serial>

Коллекцию сликов можно найти тут: https://forums.mydigitallife.net/threads/oa-2-x-slic-oemcert-collection.5952/ ссылка на пост с архивом
Например. Я сделал виртуалку с Windows Server 2019 и хочу его активировать этим способом.
Я скачиваю архив со сликами, выбираю какой-то слик подходящей версии, например - DELL/2.5/, копирую оттуда файлик и прописываю в конфиг следующее:

где-лежат-фаилы-конфигурации-виртуальных-машин

anonymous@undisclosed.example.com (Anonymous) — Thu, 12 Sep 2019 11:44:22 +0000

ProxMox 5.x и 6.x

В ProxMox 5 и 6 файлы конфигурации контейнеров переехали в /etc/pve/lxc.
А файлы конфигураций виртуальных машин в ProxMox 5 лежат в директории /etc/pve/qemu-server/.

Proxmox 2.x

Файлы конфигураций машин qemu лежат в папке:

/etc/pve/nodes/proxmox/qemu-server/

Файлы конфигураций контейнеров OpenVZ лежат в папке:

 /etc/vz/conf/

В этих папках лежат файлы *.conf, а в файлах лежат все параметры виртуальных машин.

извлечение-фаилов-из-бекапов-tar-lzo

anonymous@undisclosed.example.com (Anonymous) — Thu, 21 Mar 2019 07:55:00 +0000

Извлечение файлов из архивов tar.lzo

lzo - это экономичный многопоточный алгоритм, который позволяет практически “на лету” сжимать/распаковывать данные с минимальным расходом памяти даже на небыстрых машинах. Поэтому он применяется в системах компрессии на уровне файловой (BTRFS) системы, а также для создания бекапов/снепшотов в среде proxmox.

Просмотреть список файлов в архиве .tar.lzo

lzop -d -c archive.tar.lzo | tar tf -

Извлечь все файлы из архива .tar.lzo

lzop -d -c archive.tar.lzo | tar xvf -

Извлечь один файл из архива .tar.lzo

lzop -d -c archive.tar.lzo | tar xvf - myfile1 dir2/myfile2

как-убить-машину-которая-не-хочет-выключаться

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

Как принудительно выключить виртуальную машину, которая не хочет выключаться

1. Определите PID процесса виртуалки:

ps aux | grep "/usr/bin/kvm -id VMID"

2. Завершите процесс:

kill -9 PID

3. Запустить машину снова можно командой:

qm start VMID

4. Убедитесь, что вы теперь можете остановить машину из web-интерфейса или CLI:

qm stop VMID

монтирование-ресурсов-windows-в-контеинер-openvz

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

Для того чтобы смонтировать расшареную папку Windows в контейнер OpenVZ надо смонтировать папку в файловую систему ноды, и потом пробросить в контейнер (bind).

МОнтируем папку на ноде:

apt-get update && apt-get install smbclient smbfs

mount -t cifs -o username=username,password=userpassword //192.168.1.1/share /mnt/shared/

или даже добавляем в fstab

//192.168.1.1/ftp /mnt/shared/ftp cifs credentials=/root/.smbclient,iocharset=utf8,file_mode=0666,dir_mode=0777,_netdev 0 0

Для прописываем имя и пароль для доступа к создаем файл
/root/.smbclient

В нем пишем имя пользователя и пароль, которые имеют доступ к шаре:

username=user
password=userpassword

Биндим папку в контейнер:

CTID=777
 
cat << EOF > /etc/vz/conf/${CTID}.mount
#!/bin/bash
. /etc/vz/vz.conf
. ${VE_CONFFILE}
SRC=/mnt/disk
DST=/mnt/disk
if [ ! -e ${VE_ROOT}${DST} ]; then mkdir -p ${VE_ROOT}${DST}; fi
mount -n -t simfs ${SRC} ${VE_ROOT}${DST} -o ${SRC}
EOF
 
chmod +x /etc/vz/conf/${CTID}.mount

настроика-backup

anonymous@undisclosed.example.com (Anonymous) — Tue, 28 May 2019 08:38:21 +0000

Приведенная тут информация актуальна для Proxmox 2.x. На более новых не проверял.

Зависания при бекапе на NFS могут быть связаны с ошибками в ядре Linux. Сообщают, что в ядре 2.6.32 ошибка есть, а в ядре 2.6.33 она пофиксена.

В любом случае - все настройки бекапа proxmox хранятся в файле /etc/vzdump.conf.
Для улучшения ситуации с быстродействием во время бекапа можно ограничить предельную скорость. За это отвечает параметр bwlimit. Он выражается в килобайтах в секунду.

bwlimit: 5000

И вообще:

man vzdump

http://forum.proxmox.com/archive/index.php/t-2649.html

настроика-программного-raid-на-хосте-proxmox

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

mdadm software RAID ProxMox 5

Задача - сделать на хосте Proxmox 5.2.1 зеркальный mdadm RAID.
Хост - машина с загрузкой только через EFI.

Предполагаем, что на первый диск /dev/sda у нас установлен ProxMox. Он может даже иметь виртуальные машины на борту.
В итоге, в массиве RAID1 у нас будут только корень, своп и данные. Два раздела с загрузчиками Legacy BIOS и EFI будут вне массивов, однако это не страшно - содержимое этих разделов практически не меняется и обоих дисках эти разделы будут идентичны.

Устанавливаем компоненты:

apt-get update
apt-get install mdadm initramfs-tools screen

Переносим разметку на второй диск.

sfdisk -d /dev/sda | sfdisk --force /dev/sdb

Назначаем разделу номер 3 тип Linux RAID:

echo -e "\nt\n3\n29\nw\nx" | fdisk /dev/sdb

Чистим и стартуем массивы:

mdadm --zero-superblock /dev/sdb3
yes|mdadm --create /dev/md0 --level=1 --raid-devices=2 --metadata=0.90 /dev/sdb3 missing

Дальше нам предстоят длительные операции и, если мы не работаем на физической консоли, то, на всякий случай, запустим screen:

screen

Создаем Physycal Volume на /dev/md0, расширяем имеющуюся Volume Group новым томом, перемещаем данные с /dev/sda3 и изымаем /dev/sda3 из Volume Group:

pvcreate /dev/md0
vgextend pve /dev/md0
pvmove /dev/sda3 /dev/md0
vgreduce pve /dev/sda3

Чистим и добавляем /dev/sda3 в массив:

pvremove /dev/sda3
echo -e "\nt\n3\n29\nw\nx" | fdisk /dev/sda
mdadm --add /dev/md0 /dev/sda3

Сохраняем конфигурацию mdadm:

mdadm --detail --scan >> /etc/mdadm/mdadm.conf

Добавляем модули RAID в GRUB:

echo '' >> /etc/default/grub
echo '# RAID' >> /etc/default/grub
echo 'GRUB_PRELOAD_MODULES="part_gpt mdraid09 mdraid1x lvm"' >> /etc/default/grub

Обновляем GRUB и initrmfs:

update-grub
update-initramfs -u

Ставим GRUB

mkdir /mnt/efi-boot
mount /dev/sda2 /mnt/efi-boot
grub-install /dev/sda
grub-install --target x86_64-efi --efi-directory /mnt/efi-boot

Копируем разделы 1 и 2 с /dev/sda на /dev/sdb

dd if=/dev/sda1 of=/dev/sdb1
dd if=/dev/sda2 of=/dev/sdb2

В результате, при загрузке с любого из дисков система будет работать идентично, а данные будут в зеркале.

Теперь нужно дождаться синхронизации массива и перезагрузиться.

cat /proc/mdstat

переещд-виртуальнои-машины-с-физического-хоста-или-� ...

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

Важно!
При загрузке русской версии винды, невозможно переключить язык ввода в окне входа в консоли web-интерфейса proxmox, поэтому нужно перед переездом в русской версии вин заводить админа с русским именем и паролем из пробелов и цифр или русских букв

Переключение работает, при подключени с помощью tigerVNC

ЧТо нужно сделать для переезда:
1. Загрузить переезжающую виртуальную машину с Linux Rescue CD
2. Оживить сеть в загруженном Linux Rescue CD

ifconfig eth0 192.168.1.10 netmask 255.255.255.0 up

или DHCP

dhcpcd eth0

3. Теперь можно копировать данные с диска переносимой машины непосредственно на хост proxmox:

dd if=/dev/sda | ssh root@proxmox dd of=/var/lib/vz/images/vmid/diskname.raw

4. Файл /var/lib/vz/images/vmid/diskname.raw - это файл диска виртуалки в формате raw. Теперь создаем виртуалку с диском минимального размера (1гб) и заменем её диск только что скопированным файлом.

Ниже приведен англоязычный оригинал и некоторые дополнения. Приведенный метод подходит и для WIndows и для Linux. Я так переносил, например, Kerio Control 7.

How to migrate directly from a Windows physical machine to a VM raw file using SSH
assumptions:
* you have a physical machine in which you imported the mergeide.reg, as shown on top of this page
* the physical machine has disk device /dev/sda (read this with “fdisk -l”, and look for “hda” or “sda” or similar, NOT dm- or other…)
* you have already created a virtual machine with a raw type, file-based disk and not running.
* the VM has VMid 101 (read this from the VM list in the web interface)

download SystemRescueCD ( http://www.sysresccd.org ), burn it and reboot the physical machine with it in the cd tray.
At its bash prompt, give eth0 an ip, or use dhcp:
To assign ip:

ifconfig eth0 192.168.1.10 netmask 255.255.255.0 up (use ip on same subnet as proxmox server)

To use DHCP:

dhcpcd eth0

To start the image process on the physical machine:

dd if=/dev/sda | ssh root@proxmox dd of=/var/lib/vz/images/vmid/diskname.raw

Change the root@proxmox to root@yourproxmoxip and change the vmid/diskname to the VMid number and the name you want to call the disk. I.E. VMid 101 and disk called vm-101-disk-1.raw would be:
dd if=/dev/sda | ssh root@proxmox dd of=/var/lib/vz/images/101/vm-101-disk-1.raw
Once this completes you can assign this disk file to your VM on the Proxmox interface.
Tested a 8GB physical server over gigabit network and was running in about 10 minutes.
How to migrate directly from a Windows physical machine to a VM logical volume using NETCAT
assumptions:

you have a physical machine in which you imported the mergeide.reg, as shown on top of this page
the physical machine has disk device /dev/sda (read this with “fdisk -l”, and look for “hda” or “sda” or similar, NOT dm- or other…)
you have already created a virtual machine with a disk on LVM, larger in size than the physical machine one (at least 1Gb more), STOPPED, do NOT start it during this procedure!
the VM has VMid 103 (read this from the VM list in the web interface)
the LVM VG is named SHARED-VG (read this with: “vgdisplay -s”)
so the LV partition is /dev/SHARED-VG/vm-103-disk-1 (read this with: “lvdisplay |grep LV|grep 103”)

download SystemRescueCD ( http://www.sysresccd.org ), burn it and reboot the physical machine with it in the cd tray.
At its bash prompt, give eth0 an ip, coherent with the network of one proxmox server (in the following example: 10.0.0.27):
ifconfig eth0 10.0.0.17 netmask 255.255.255.0 up
then assign root user a password, so you can log in via ssh:
passwd
log in via ssh on both the physical machine and the proxmox server, then on the proxmox server, give the command:
date; netcat -w30 -vvnlp 3333 | gzip -dc > /dev/SHARED-VG/vm-103-disk-1; date
and on the physical machine give the command:
dd if=/dev/sda | gzip -c | nc -w30 -vvn 10.0.0.27 3333
You have to start the second command WITHIN 30 seconds from the first one (the -w30…)!
This way, the proxmox machine is waiting for a stream of bytes on tcp port 3333, then gunzip it and redirects on the vm virtual disk.
The physical machine outputs its ENTIRE hd as a stream of bytes, gzip it and pass it via netcat to the proxmox server.
The 2 date commands are useful to have a trace of when this process starts and ends.
Tested migrating a 75gb hd in about 90 minutes on a 100mbit lan. VM started and worked as expected, after recognizing at first boot the new ide controllers.
How to migrate from a physical machine to a VM, on a smaller partition
While it's quite easy to “clone” a partition to another (real or virtual) of the same or bigger size, it's not so simple to do the same if the destination partition is smaller than the original one. This is possible, fortunately, and at least a proved method follows, but you have to take care of some preconditions:

since you want to clone to a smaller partition, we will operate at the filesystem level, copying all the files from the source filesystem to the destination one.
so, we have to make sure that the destination partition has enough room to get all the files, at least, with better some free space left there.
the cloning is not possible directly, i.e disk-to-disk, but we have to “save” the source partition, and then “restore” it on the destination one.
we have to be sure that the tools used know very well how to copy files on the filesystems involved, including symlinks, hardlinks, filesystem specific attributes, and so on.

main tool: fsarchiver
One free tool you can use for this is fsarchiver, which «is a system tool that allows you to save the contents of a file-system to a compressed archive file. The file-system can be restored on a partition which has a different size and it can be restored on a different file-system. Unlike tar/dar, FSArchiver also creates the file-system when it extracts the data to partitions. Everything is checksummed in the archive in order to protect the data. If the archive is corrupt, you just loose the current file, not the whole archive. Fsarchiver is released under the GPL-v2 license. It's still under heavy development so it must not be used on critical data.», So, you've been warned. Latest fsarchiver should be in the latest SystemRescueCD, although you can obtain it on your favourite recent distribution.
Cloning NTFS, be sure to use either version 0.6.10 or a patched previous version, because there was a bug that caused errors with NTFS junctions (something like linux symlinks).
mergeide
As other said, install mergeide.reg on the physical Windows machine (see Microsoft KB article for details) to provide support for the natively supported IDE controllers in Windows. Without this, cloned XP booting failed for me.
running fsarchiver from ubuntu livecd
I used a Ubuntu 10.04 LiveCD, where I installed the package 0.6.8-1ubuntu0.1 from the universe repository: this repository is disabled by default, you have to enable it before, doing:
#sudo nano /etc/apt/sources.lst

then, after uncommenting universe lines, installing it:
#sudo apt-get update
#sudo apt-get install fsarchiver

once installed, confirm the version is right typing
# sudo aptitude show fsarchiver

it shoud be at least “0.6.10”, or “0.6.8-1ubuntu0.1” (pathced from 0.6.9 and 0.6.10), particularly if you are cloning NTFS filesystems.
then run
#sudo fsarchiver probe simple

that will report your disks/partitions current layout in a simple, understandable way, like:
ubuntu@ubuntu:~$ sudo fsarchiver probe simple
======DISK====== =============NAME============== ====SIZE==== MAJ MIN
vda RED HAT VIRTIO SCSI DEVICE 15.00 GB 8 0

=====DEVICE===== ==FILESYS== ======LABEL====== ====SIZE==== MAJ MIN
loop0 squashfs <unknown> 671.85 MB 7 0
vda1 ntfs System 15.00 GB 8 1
ramzswap0 swap <unknown> 248.47 MB 251 0

then, you have to provide a folder to save the partition “backup”, which will be quite large (fsarchiver has several compression level, but just to be sure have enough free space there to accomodate all the uncompressed file…) if you need to reach a “tmpfolder” windows share, you have to install the smbfs package before (standard repositories), so that then you can
#sudo mkdir /mnt/tmpfolder
#sudo mount -t smbfs //windows/tmpfolder /mnt/tmpfolder -o user=username

giving a suitable password when asked.
backup the partition
then,you have to perform the “backup”, BE CAREFUL the first path is the backup file to save, the second the source partition, do not invert
I used:
#sudo fsarchiver savefs -v -o /mnt/tmpfolder/physical.fsa /dev/sda1

then (if no errors reported) mounted the same LiveCD in a kvm vm with a 15GB virtual empty disk (virtio), so /dev/vda. After installing smbfs and fsarchiver in the same way, i've run Gparted (installed on the LiveCD) and created a empty ntfs partition there, /dev/vda1.
restore the partition
Then, I run
Note: i use here /dev/vda1 while the original was /dev/sda1, and id=0 because i restore the first partition in the physical.fsa (yes, it may store more than one) as /dev/vda1
#sudo fsarchiver restfs -v /mnt/tmpfolder/physical.fsa id=0,dest=/dev/vda1

check if there are no restore errors. It was quite quick and just worked. Well, no, the first times i tried a few and in the end it worked :-^
successful cases

I successfully cloned an Windows XP professional machine from a physical 40GB (used 12GB) partition to a virtual (kvm) 15GB one, stored on pve LVM. The archive file was around 7GB. (i had just 2 hardlink restore errors, but in the log were reported on non critical files, although i would prefer 0 errors…)
I successfully cloned an Windows 2003 AD controller machine from a physical 250GB (used 5GB) partition to a virtual (kvm) 15GB one, stored on pve LVM. The archive file was around 3,4GB. (i had just 0 restore errors of any kind)
Cloned a physical ubuntu 9.04 desktop from a 32 raid5 disk to a virtual kvm 12 disk. Just had to reinstall grub to make it boot inside kvm. No errors.

переименование-контеинера-openvz

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

Для того, чтобы переименовать контейнер OpenVZ достаточно на ноде запустить команду:

vzctl set XXX --hostname newname --save

Где XXX - это ID контейнера, а newname - новое имя.

подключение-к-vm-proxmox-с-помощью-внешнего-клиента-vnc

anonymous@undisclosed.example.com (Anonymous) — Tue, 14 May 2019 14:36:57 +0000

https://pve.proxmox.com/wiki/VNC_Client_Access

Все что написано тут может не работать с текущей версией Proxmox 5.x

Для того чтобы можно было подключаться к консолям виртуалок не только из web-интерфейса надо сделать вот что:

1. Установить хосте proxmox openbsd-inetd:

aptitude install openbsd-inetd

2. Получаем список машин:

qm list

root@homenet-home10 /etc # qm list
     VMID NAME                 STATUS     MEM(MB)    BOOTDISK(GB) PID       
      101 freenas              stopped    1024              32.00 0         
      102 debpbx               running    512                0.00 573304    
      105 winxp                stopped    512               15.01 0         
     7012 ltsp-ldap-openfire-KVM running    512                9.00 495870    
     7016 fbc16-kvm            running    512                8.00 462697    
     7159 win7                 stopped    2048               0.00 0         
    27014 ltsp-term-KVM        stopped    512                0.00 0

3. Редактируем /etc/inetd.conf и добавляем туда порты для каждой машины, которую мы хотим видеть не только из web-интерфейса:

port                                                 kvm
59055 stream tcp nowait root /usr/sbin/qm qm vncproxy 105
59058 stream tcp nowait root /usr/sbin/qm qm vncproxy 7159

4. Перезапускаем openbsd-inetd

/etc/init.d/openbsd-inetd restart

5. Проверяем что получилось:

telnet home10 59058   # home10 - это имя сервера proxmox

Trying 192.168.1.10...
Connected to home10.fantinibakery.com.
Escape character is '^]'.
RFB 003.008

Для того чтобы выйти нажимаем Ctrl+] и затем вводим exit.

6. На момент написания заметки нормально работал только один клиент - это tigervnc. (Клиент должен поддерживать TLS vencrypt)
Для подключения надо указывать имя клиента в формате: root@pam.

Подключение к консолям VNC со старыми клиентами не поддерживающими TLS vencrypt, а поддерживающими только и plain auth (VNC 2.0)

Без пароля консоль не рекомендуется! Но если надо, то вот:

1. Создайте машину и запоните её KVM ID (номер - 100, 101 и т.д)
2. В консоли сервера отредактируйте файл:

 nano /etc/pve/local/qemu-server/(KVM ID).conf

4. В самом конце дописать следующее:

args: -vnc 0.0.0.0:100

Эта строка заставляет KVM создать VNC-консоль на адресе 0.0.0.0 и порту 5900 + номер порта. В данном случае - на порту 5900+100 = 6000.

Теперь запускаем наш любимый клиент и подключаемся к порту 6000

Для того чтобы задать пароль - ставим его через запятую после адреса:

args: -vnc 0.0.0.0:100,password

7. Для контейнеров openvz надо использовать vncterm.

vncterm [VNCOPTS] [-c command [ARGS]]

#example:
vncterm -c vzctl enter VMID

vncterm -rfbport 5900 -passwdfile FILE -timeout 20 -c vzctl enter 104

способ-создать-vmbr-на-хосте-proxmox-без-перезагрузки-сис� ...

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

Создание bridge-интерфейса без перезагрузки хоста proxmox

vconfig add eth1 2
ifconfig eth1.2 up
brctl addbr vmbr2
brctl addif vmbr2 eth1.2

/etc/network/interfaces

auto vmbr2
iface vmbr2 inet manual
bridge_ports eth1.2
bridge_stp off
bridge_fd 0

ifconfig vmbr2 up

Проверка состояния:

cat /proc/net/vlan/config
cat /proc/net/vlan/eth1.2

установка-rdp-vnc-шлюза-guacomole-под-ubuntu-12

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

Guacamole - это HTTP шлюз для подключения к RDP и VNC консолям. Оно работает.

У Guacamole наконец-то появились стабильные сборки :)

apt-get update && apt-get install apache2 php5 libapache2-mod-php5 tomcat6 libcairo2 libpng12-0 libvncserver0 libfreerdp1 libfreerdp-plugins-standard

Скачаваем отсюда:
http://guac-dev.org/

http://downloads.sourceforge.net/project/guacamole/current/binary/ubuntu-12.04-i386/guacamole-0.7.0-ubuntu-12.04-i386.tar.gz

http://sourceforge.net/projects/guacamole/files/current/binary/ubuntu-12.04-i386/guacamole-0.6.4-ubuntu-12.04-i386.tar.gz
http://sourceforge.net/projects/guacamole/files/current/binary/ubuntu-12.04-amd64/guacamole-0.6.4-ubuntu-12.04-amd64.tar.gz

Распаковываем и ставим все:

tar -xvf guacamole-0.6.4-ubuntu-12.04-i386.tar.gz
cd guacamole-0.6.4-ubuntu-12.04-i386
dpkg -i ./*

Внимательно следим, чтобы не было ошибок к конце!
Все… Оно запустилось…
Логи Вываливаются в файл /var/log/syslog и в папку /var/log/tomcat6/

Если вдруг в /var/log/syslog написано что
Could not write PID file
то делаем так:

mkdir /var/run/guacd
chown guacd:guacd /var/run/guacd
service guacd restart

Настройка

nano /etc/guacamole/user-mapping.xml

VNC Plugin Parameters
<protocol>vnc</protocol> 

hostname
port
password
read-only
swap-red-blue
encodings

RDP Plugin Parameters

<protocol>rdp</protocol>

hostname #- обязательный
port  #- обязательный
domain
username 
password
initial-program
color-depth
width 	
height

Если надо несколько соединений для одного пользователя, то есть тег <connection>

  <authorize
            username="username"
            password="pass"
            >
 <connection name="rdpserver">
        <protocol>rdp</protocol>
        <param name="hostname">rdpserver</param>
        <param name="port">3389</param>
        <param name="domain">DOMAIN</param>
        <param name="username">Username</param>
</connection>
<connection name="Debian with wine">
        <protocol>vnc</protocol>
        <param name="hostname">vnchost</param>
        <param name="port">5900</param>
        <param name="password">vncpassword</param>
</connection>
</authorize>

Запуск под конкретного юзера

http://<server>:8080/guacamole/?username=USER&password=PASS

Guacamole через nginx reverse proxy

Проксирование через nginx работает при таких вот настройках location:

location /guacamole/ {
proxy_buffering off;
proxy_pass http://192.168.1.46:8080/guacamole/;
}

Аутентификация LDAP

Компиляция и установка guacamole-auth-ldap

apt-get update
apt-get install maven git default-jdk
git clone git://guacamole.git.sourceforge.net/gitroot/guacamole/guacamole-auth-ldap/
cd guacamole-auth-ldap/
mvn package

В результате в папке ./target должен быть файл guacamole-auth-ldap-0.5.0.jar . Этот файл надо скопировать в папку с библиотеками, указанную в файле /etc/guacamole/guacamole.properties.

mkdir /var/lib/guacamole/lib/
cp ./target/guacamole-auth-ldap-0.5.0.jar /var/lib/guacamole/lib/

Если эта папка не задана, то её надо задать с помощью свойства “lib-directory”.

lib-directory: /var/lib/guacamole/lib

Не рекомендуется складывать библиотеки guacamole в папку /var/lib/tomcat6. При установке guacamole .war файл попадает в папку /var/lib/guacamole , а библиотеки .jar рекомендуется хранить в папке /var/lib/guacamole/lib.

Настройка guacamole-auth-ldap

Для того чтобы пользователи аутентифицировались в домене, в каталог LDAP надо добавить соответствующий класс объектов “guacConfig”.
В папке doc, пакета guacamole-auth-ldap лежат файлы exampleConfigGroup.ldif guacConfigGroup.ldif guacConfigGroup.schema, в которых описаны объекты, необходимые для аутентификации пользователей.
Для создания объектов в схеме предусмотрены файлы guacConfigGroup.ldif и guacConfigGroup.schema.

root@rdp:~/guacamole-auth-ldap/doc# cat guacConfigGroup.ldif
dn: cn=guacConfig,cn=schema,cn=config
objectClass: olcSchemaConfig
cn: guacConfig
olcAttributeTypes: {0}( 1.3.6.4822.112 NAME 'protocol' SYNTAX 1.3.6.1.4.1.1466
 .115.121.1.15 )
olcAttributeTypes: {1}( 1.3.6.4822.113 NAME 'parameter' SYNTAX 1.3.6.1.4.1.146
 6.115.121.1.15 )
olcObjectClasses: {0}( 1.3.6.4822.212 NAME 'guacConfig' DESC 'Guacamole config
 uration' AUXILIARY MUST protocol MAY parameter )

root@rdp:~/guacamole-auth-ldap/doc# cat guacConfigGroup.schema

attributetype ( 1.3.6.4822.112 NAME 'guacConfigProtocol'
        SYNTAX 1.3.6.1.4.1.1466.115.121.1.15 )

attributetype ( 1.3.6.4822.113 NAME 'guacConfigParameter'
        SYNTAX 1.3.6.1.4.1.1466.115.121.1.15 )

objectClass ( 1.3.6.4822.212 NAME 'guacConfigGroup'
    DESC 'Guacamole configuration group'
    SUP groupofnames
    MUST protocol
    MAY parameter )

А пример конфигурации соединения приведен в файле exampleConfigGroup.ldif, который содержит наименование протокола и параметров:

~/guacamole-auth-ldap/doc# cat exampleConfigGroup.ldif

dn: cn=Example Config,dc=guac-dev,dc=org
objectClass: guacConfigGroup
cn: Example Config
protocol: vnc
parameter: hostname=localhost
parameter: port=5900
parameter: password=secret
member: cn=user1,dc=example,dc=com
member: cn=user2,dc=example,dc=com

Добавление информации из файлов *.ldif на контроллере домена AD

Конфигурирование '''/etc/guacamole/guacamole.properties'''

# Use LDAP authentication
auth-provider: net.sourceforge.guacamole.net.auth.ldap.LDAPAuthenticationProvider

# Configuration for LDAP connection
ldap-hostname:           LDAP_SERVER_HOSTNAME
ldap-port:               389

# The attribute which uniquely identifies users
ldap-username-attribute: uid

# The base DN which, when appended to the user identifier attribute,
# produces the full DN of the user being authenticated.
ldap-user-base-dn:       ou=people,dc=example,dc=net

# The base DN within which all guacConfig objects can be found.
ldap-config-base-dn:     dc=example,dc=net

установка-останавливается-с-ошибкои-command-chroot-target-dpkg-f ...

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:28 +0000

Проблема - Иногда установка proxmox останавливается с ошибкой:

command 'chroot /target dpkg --force-confold --configure -a' failed with the exit code 1 at /usr/bin/proxinstall line...

Причина - некорректное имя хоста, указанное при установке! Имя хоста должно быть FQDN типа proxmox.domain.com
Ошибка может возникать, если имя хоста имеет вид 000.proxmox.domain.com или proxmox3.1

что-делать-если-proxmox-говорит-что-машина-locked

anonymous@undisclosed.example.com (Anonymous) — Tue, 06 Aug 2019 12:33:18 +0000

Если вы запустили backup, он завершился (или вы его заершили принудительно) и после этого proxmox говорит что VM locked и нихочет ничего с ней делать

# qm unlock <vmid>

Для контейнеров есть утилита pct:

pct unlock <ctid>

За дополнительной информацией сюда -

man qm

или

man pct