Încerc să creez un cluster HA k3s folosind Proxmox și o flotă mică de Raspberriy PIs 4B.
Pentru PI totul funcționează bine, dar când încercați să instalați un master pe o VM Proxmox, acesta nu va porni.
Configurarea mea:
- Gazdă: Proxmox 7.0.7 (am încercat și cu 6.4.4)
- Invitat: Ubuntu 20.04.2
- K3S: v1.21.3+k3s1 (am încercat și cu v1.19.13+k3s1)
- MariaDB: 10.3
Rulez aceste comenzi pentru a instala masterul
export K3S_DATASTORE_ENDPOINT='mysql://DB_USER:DB_PASSWORD@tcp(DB_IP:DB_PORT)/DB_SCHEME'
curl -sfL https://get.k3s.io | sh -s - server --node-taint CriticalAddonsOnly=true:NoExecute --tls-san NGINX_LOADBALANCER_IP
Aceasta este rezultatul instalării și pornirii:
[INFO] Folosind v1.19.13+k3s1 ca lansare
[INFO] Se descarcă hash https://github.com/k3s-io/k3s/releases/download/v1.19.1 3+k3s1/sha256sum-amd64.txt
[INFO] Descărcarea binarului https://github.com/k3s-io/k3s/releases/download/v1.19 .13+k3s1/k3s
[INFO] Se verifică descărcarea binară
[INFO] Instalarea k3s în /usr/local/bin/k3s
[INFO] Se creează un link simbolic /usr/local/bin/kubectl către k3s
[INFO] Se creează un link simbolic /usr/local/bin/crictl către k3s
[INFO] Se creează un link simbolic /usr/local/bin/ctr către k3s
[INFO] Se creează script-ul killall /usr/local/bin/k3s-killall.sh
[INFO] Se creează scriptul de dezinstalare /usr/local/bin/k3s-uninstall.sh
[INFO] env: se creează fișierul de mediu /etc/systemd/system/k3s.service.env
[INFO] systemd: Se creează fișierul de serviciu /etc/systemd/system/k3s.service
[INFO] systemd: Se activează unitatea k3s
S-a creat legătura simbolică /etc/systemd/system/multi-user.target.wants/k3s.service â /etc/systemd/system/k3s.service.
[INFO] systemd: Pornește k3s
Lucrarea pentru k3s.service a eșuat deoarece procesul de control a ieșit cu un cod de eroare.
Consultați „starea systemctl k3s.service” și „journalctl -xe” pentru detalii.
Am verificat jurnalele:
starea systemctl k3s.service
â k3s.service - Kubernetes ușor
Încărcat: încărcat (/etc/systemd/system/k3s.service; activat; prestabilit furnizor: activat)
Activ: se activează (repornire automată) (Rezultat: cod de ieșire) din Mar 2021-08-03 20:27:40 UTC; acum 2 secunde
Documente: https://k3s.io
Proces: 6181 ExecStartPre=/bin/sh -xc ! /usr/bin/systemctl este activat --quiet nm-cloud-setup.service (code=exited, status=0/SUCCESS)
Proces: 6193 ExecStartPre=/sbin/modprobe br_netfilter (code=exit, status=0/SUCCESS)
Proces: 6194 ExecStartPre=/sbin/modprobe overlay (cod=exit, status=0/SUCCESS)
Proces: 6195 ExecStart=/usr/local/bin/k3s server --node-taint CriticalAddonsOnly=true:NoExecute --tls-san NGINX_LOADBALANCER_IP (cod=exit, status=1/FAILURE)
PID principal: 6195 (cod=ieșit, stare=1/Eșec)
03 august 20:27:40 k3svm1 systemd[1]: k3s.service: Proces principal ieșit, cod=ieșit, stare=1/Eșec
03 august 20:27:40 k3svm1 systemd[1]: k3s.service: a eșuat cu rezultatul „cod de ieșire”.
03 august 20:27:40 k3svm1 systemd[1]: Nu s-a pornit Lightweight Kubernetes.
și:
journalctl -u k3s.service
03 august 20:06:17 k3svm1 systemd[1]: Se pornește Kubernetes ușor...
03 august 20:06:17 k3svm1 sh[19450]: + /usr/bin/systemctl este activat --quiet nm-cloud-setup.service
03 august 20:06:17 k3svm1 sh[19451]: Nu s-a putut obține starea fișierului unității pentru nm-cloud-setup.service: Nu există un astfel de fișier sau director
03 august 20:06:17 k3svm1 k3s[19460]: time="2021-08-03T20:06:17Z" level=info msg="Achiziționarea fișierului de blocare /var/lib/rancher/k3s/data/.lock"
Aug 03 20:06:17 k3svm1 k3s[19460]: time="2021-08-03T20:06:17Z" level=info msg="Se pregătesc date dir /var/lib/rancher/k3s/data/9df574741d2573cbbed062cbd78164bd68164bd68664bd78664bd64bd64bd64bd66bd64bd64bd66bd64bd64bd4b
03 august 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.748397535Z" level=info msg="Se pornește k3s v1.21.3+k3s1 (1d1f220f)"
Aug 03 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.751745749Z" level=info msg="Configurarea conexiunii la baza de date mysql: maxIdleConns=2, maxOpenConnsLi=0, maxOpenConnsLi=0, maxOpenConns0, "
Aug 03 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.751876220Z" level=info msg="Configurarea schemei tabelului bazei de date și a indecșilor, aceasta poate dura un moment..."
Aug 03 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.753348552Z" level=info msg="Tabelele și indecșii bazei de date sunt actualizate"
Aug 03 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.757714719Z" level=info msg="Kine ascultând pe unix://kine.sock"
Aug 03 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.764631916Z" level=info msg="certificat CN=system:admin,O=system:masters semnat de CN=k3s -client-ca@1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:>
03 august 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.765377675Z" level=info msg="certificat CN=system:kube-controller-manager semnat de CN=k3s-client -ca@1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20>
Aug 03 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.766187231Z" level=info msg="certificat CN=system:kube-scheduler semnat de CN=k3s-client-ca @1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0>
Aug 03 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.766815165Z" level=info msg="certificat CN=kube-apiserver semnat de CN=k3s-client-ca@11628021628 : notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 UTC"
Aug 03 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.767415198Z" level=info msg="certificat CN=system:kube-proxy semnat de CN=k3s-client-ca @1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 >
Aug 03 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.767950031Z" level=info msg="certificat CN=system:k3s-controller semnat de CN=k3s-client-ca @1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0>
03 august 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.768698847Z" level=info msg="certificat CN=k3s-cloud-controller-manager semnat de CN=k3s-client -ca@1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:0>
Aug 03 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.769745716Z" level=info msg="certificat CN=kube-apiserver semnat de CN=k3s-server-ca@11628021628 : notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 UTC"
03 august 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.770870630Z" level=info msg="certificat CN=system:auth-proxy semnat de CN=k3s-request-header -ca@1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:1>
Aug 03 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.771882180Z" level=info msg="certificat CN=etcd-server semnat de CN=etcd-server-ca@116280216280@116280 : notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 UTC"
Aug 03 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.772508382Z" level=info msg="certificat CN=etcd-client semnat de CN=etcd-server-ca@116280216280@116:18 : notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 UTC"
Aug 03 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.773399505Z" level=info msg="certificat CN=etcd-peer semnat de CN=etcd-peer-ca@116280211 : notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 UTC"
Aug 03 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.813171353Z" level=info msg="certificat CN=k3s,O=k3s semnat de CN=k3s-server @1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 UTC"
Aug 03 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.813556476Z" level=info msg="Active TLS secret (ver=) (count 9): map[listener.cattle .io/cn-10.43.0.1:10.43.0.1 listener.cattle.io/cn-127.0.0.1:127.0.0.1 listener.cattle.io/cn->
Aug 03 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.819862032Z" level=fatal msg="pornire kubernetes: pregătirea serverului: date bootstrap deja găsite și criptate cu un simbol diferit"
03 august 20:06:18 k3svm1 systemd[1]: k3s.service: Procesul principal ieșit, cod=ieșit, stare=1/Eșec
03 august 20:06:18 k3svm1 systemd[1]: k3s.service: a eșuat cu rezultatul „cod de ieșire”.
03 august 20:06:18 k3svm1 systemd[1]: Nu s-a putut porni Lightweight Kubernetes.
03 august 20:06:23 k3svm1 systemd[1]: k3s.service: Lucrare de repornire programată, contorul de repornire este la 1.
03 august 20:06:23 k3svm1 systemd[1]: Kubernetes ușor oprit.
03 august 20:06:23 k3svm1 systemd[1]: Se pornește Kubernetes ușor...
03 august 20:06:23 k3svm1 sh[19478]: + /usr/bin/systemctl este activat --quiet nm-cloud-setup.service
03 august 20:06:23 k3svm1 sh[19483]: Nu s-a putut obține starea fișierului unității pentru nm-cloud-setup.service: Nu există un astfel de fișier sau director
03 august 20:06:24 k3svm1 k3s[19489]: time="2021-08-03T20:06:24.115279840Z" level=info msg="Se pornește k3s v1.21.3+k3s1 (1d1f220f)"
Aug 03 20:06:24 k3svm1 k3s[19489]: time="2021-08-03T20:06:24.119390931Z" level=info msg="Configurarea conexiunii la baza de date mysql: maxIdleConns=2, maxOpenConnsLi=0, maxOpenConnsLi=0, maxOpenConns0, "
Aug 03 20:06:24 k3svm1 k3s[19489]: time="2021-08-03T20:06:24.119554649Z" level=info msg="Configurarea schemei tabelului bazei de date și a indecșilor, aceasta poate dura un moment..."
Aug 03 20:06:24 k3svm1 k3s[19489]: time="2021-08-03T20:06:24.121305745Z" level=info msg="Tabelele și indecșii bazei de date sunt actualizate"
Aug 03 20:06:24 k3svm1 k3s[19489]: time="2021-08-03T20:06:24.125898745Z" level=info msg="Kine ascultând pe unix://kine.sock"
Aug 03 20:06:24 k3svm1 k3s[19489]: time="2021-08-03T20:06:24.146164308Z" level=fatal msg="pornirea kubernetes: pregătirea serverului: date bootstrap deja găsite și criptate cu alt simbol"
03 august 20:06:24 k3svm1 systemd[1]: k3s.service: Procesul principal a fost ieșit, cod=ieșit, stare=1/Eșec
03 august 20:06:24 k3svm1 systemd[1]: k3s.service: a eșuat cu rezultatul „exit-code”.
03 august 20:06:24 k3svm1 systemd[1]: Nu s-a pornit Lightweight Kubernetes.
03 august 20:06:29 k3svm1 systemd[1]: k3s.service: Lucrare de repornire programată, contorul de repornire este la 2.
03 august 20:06:29 k3svm1 systemd[1]: Kubernetes ușor oprit.
03 august 20:06:29 k3svm1 systemd[1]: Se pornește Kubernetes ușor...
03 august 20:06:29 k3svm1 sh[19507]: + /usr/bin/systemctl este activat --quiet nm-cloud-setup.service
03 august 20:06:29 k3svm1 sh[19508]: Nu s-a putut obține starea fișierului unității pentru nm-cloud-setup.service: Nu există un astfel de fișier sau director
03 august 20:06:29 k3svm1 k3s[19511]: time="2021-08-03T20:06:29.565328025Z" level=info msg="Se pornește k3s v1.21.3+k3s1 (1d1f220f)"
Aug 03 20:06:29 k3svm1 k3s[19511]: time="2021-08-03T20:06:29.568959518Z" level=info msg="Configurarea poolingului de conexiuni la baza de date mysql: maxIdleConns=2, maxOpenConnsLi=0, maxOpenConnsMax=0, "
Aug 03 20:06:29 k3svm1 k3s[19511]: time="2021-08-03T20:06:29.568994906Z" level=info msg="Configurarea schemei tabelului bazei de date și a indecșilor, aceasta poate dura un moment..."
Aug 03 20:06:29 k3svm1 k3s[19511]: time="2021-08-03T20:06:29.570693830Z" level=info msg="Tabelele și indecșii bazei de date sunt actualizate"
Aug 03 20:06:29 k3svm1 k3s[19511]: time="2021-08-03T20:06:29.575194321Z" level=info msg="Kine ascultând pe unix://kine.sock"
Aug 03 20:06:29 k3svm1 k3s[19511]: time="2021-08-03T20:06:29.594809727Z" level=fatal msg="pornirea kubernetes: pregătirea serverului: date bootstrap deja găsite și criptate cu un simbol diferit"
03 aug 20:06:29 k3svm1 systemd[1]: k3s.service: Proces principal ieșit, cod=ieșit, stare=1/Eșec
03 august 20:06:29 k3svm1 systemd[1]: k3s.service: a eșuat cu rezultatul „cod de ieșire”.
03 august 20:06:29 k3svm1 systemd[1]: Nu s-a pornit Lightweight Kubernetes.
03 august 20:06:34 k3svm1 systemd[1]: k3s.service: Lucrare de repornire programată, contorul de repornire este la 3.
03 august 20:06:34 k3svm1 systemd[1]: Kubernetes ușor oprit.
03 august 20:06:34 k3svm1 systemd[1]: Se pornește Kubernetes ușor...
03 august 20:06:34 k3svm1 sh[19527]: + /usr/bin/systemctl este activat --quiet nm-cloud-setup.service
03 august 20:06:34 k3svm1 sh[19530]: Nu s-a putut obține starea fișierului unității pentru nm-cloud-setup.service: Nu există un astfel de fișier sau director
De acolo repornirile continua.
După cum am menționat, am încercat cu mai multe versiuni, dar nimic nu pare să funcționeze. De asemenea, nu primesc cu adevărat o eroare.
Singurul indiciu pe care l-am găsit în diferite probleme GitHub a fost să activez containerizarea în ceea ce privește Raspberry PI prin editarea /boot/cmdline.txt.
Cu toate acestea, nu primesc problema pe un PI, ci mai degrabă pe un Proxmox-VM.
Există ceva care îmi lipsește?
Oarecum acest băiat a reușit să funcționeze în aceeași configurație.
A făcut-o altcineva să ruleze și ar putea oferi vreo referință?