Întrebare simplă, dar până acum foarte greu de răspuns... =-[
Încerc să implementez OpenShift (OKD) 4.5 sau 4.7 conform instrucțiunilor de aici Ghid: Instalarea unui cluster OKD 4.5. Uită-te la „Pornirea nodurilor planului de control” secțiune.
Încerc să creez clusterul folosind un UPI (Infrastructură asigurată de utilizator)/Bare Metal (KVM).
PROBLEMĂ:
Nodul master nu poate termina instalarea după repornire. Continuă să afișeze următoarea eroare...
[ 1304.254380] aprindere[485]: GET https://api-int.mbr.okd.local:22623/config/master: încercare #92
[ 1314.264629] aprindere[485]: eroare GET: obțineți „https://api-int.mbr.okd.local:22623/config/master”: net/http: timeout în așteptare anteturi de răspuns
Pentru versiunea 4.5 folosim „Fedora CoreOS 32.20200715.3.0”.
Nodul master nu poate termina instalarea după repornire.Continuă să afișeze următoarea eroare...
[ 543.933709] aprindere[505]: GET https://api-int.mbr.okd.local:22623/config/master: încercare #112
[ 543.939340] aprindere[505]: eroare GET: obțineți „https://api-int.mbr.okd.loca1:22623/config/master”: EOF
Pentru versiunea 4.7 folosim „Fedora CoreOS 34.20210518.3.0”.
Am așteptat ore și ore și nodurile master sunt încă în aceeași situație. Ce pot face pentru a rezolva asta?
Mulțumiri! =D
MAI MULTE INFORMATII:
Vezi dacă asta ajută...
Această ieșire are loc în okd_master_3 (10.3.0.7)....
[ 1304.254380] aprindere[485]: GET https://api-int.mbr.okd.local:22623/config/master: încercare #92
[ 1314.264629] aprindere[485]: eroare GET: obțineți „https://api-int.mbr.okd.local:22623/config/master”: net/http: timeout în așteptare anteturi de răspuns
Conectare okd_master_2 (10.3.0.6) din okd_services (10.3.0.14)...
NOTĂ: The okd_master_2 (10.3.0.6) a putut să pornească (a ajuns la ecranul de conectare).
[root@okd_services ~]# ssh [email protected]
Autenticitatea gazdei „10.3.0.6 (10.3.0.6)” nu poate fi stabilită.
Amprenta cheii ECDSA este SHA256:1xdq65g0ljnZYR6uXHaXW6EsxO3u6X268s4Z9Kfq0ng.
Sigur doriți să continuați conectarea (da/nu/[amprenta])? da
Avertisment: A fost adăugat permanent „10.3.0.6” (ECDSA) la lista de gazde cunoscute.
Fedora CoreOS 32.20200629.3.0
Tracker: https://github.com/coreos/fedora-coreos-tracker
Discută: https://discussion.fedoraproject.org/c/server/coreos/
Pingând pe okd_bootstrap (10.3.0.4) din okd_master_2 (10.3.0.6)...
[core@localhost ~]$ ping 10.3.0.4
PING 10.3.0.4 (10.3.0.4) 56(84) octeți de date.
64 de octeți din 10.3.0.4: icmp_seq=1 ttl=64 time=0,973 ms
64 de octeți din 10.3.0.4: icmp_seq=2 ttl=64 time=0,801 ms
64 de octeți din 10.3.0.4: icmp_seq=3 ttl=64 time=0,373 ms
64 de octeți din 10.3.0.4: icmp_seq=4 ttl=64 time=0,647 ms
^C
--- 10.3.0.4 statistici ping ---
4 pachete transmise, 4 primite, 0% pierdere de pachete, timp 3032 ms
rtt min/avg/max/mdev = 0,373/0,698/0,973/0,220 ms
Apelarea adresei URL problematice de la okd_master_2 (10.3.0.6)...
[core@localhost ~]$ curl -kv https://api-int.mbr.okd.local:22623/config/master
* Se încearcă 10.3.0.14:22623...
* Conectat la portul 22623 (#0) api-int.mbr.okd.local (10.3.0.14)
* ALPN, oferind h2
* ALPN, oferind http/1.1
* setați cu succes locațiile de verificare a certificatelor:
* CAfile: /etc/pki/tls/certs/ca-bundle.crt
CApath: niciunul
* TLSv1.3 (OUT), strângere de mână TLS, salut client (1):
* TLSv1.3 (IN), strângere de mână TLS, salut server (2):
* TLSv1.3 (IN), strângere de mână TLS, extensii criptate (8):
* TLSv1.3 (IN), strângere de mână TLS, Certificat (11):
* TLSv1.3 (IN), strângere de mână TLS, verificare CERT (15):
* TLSv1.3 (IN), strângere de mână TLS, Terminat (20):
* TLSv1.3 (OUT), TLS schimbă cifra, Schimbă specificația cifrului (1):
* TLSv1.3 (OUT), TLS handshake, Terminat (20):
* Conexiune SSL folosind TLSv1.3 / TLS_AES_128_GCM_SHA256
* ALPN, server acceptat să utilizeze h2
* Certificat de server:
* subiect: CN=api-int.mbr.okd.local
* data începerii: 16 iunie 23:52:22 2021 GMT
* data expirării: 14 iunie 23:52:23 2031 GMT
* emitent: OU=openshift; CN=rădăcină-ca
* Rezultatul verificării certificatului SSL: nu se poate obține certificatul de emitent local (20), continuând oricum.
* Utilizând HTTP2, serverul acceptă utilizarea multiplă
* Starea conexiunii a fost schimbată (HTTP/2 confirmat)
* Copierea datelor HTTP/2 din bufferul de flux în bufferul de conexiune după actualizare: len=0
* Folosind ID-ul fluxului: 1 (easy handle 0x561ed249aa40)
> GET /config/master HTTP/2
> Gazdă: api-int.mbr.okd.local:22623
> user-agent: curl/7.69.1
> accept: */*
>
* TLSv1.3 (IN), strângere de mână TLS, bilet pentru sesiune de știri (4):
* Starea conexiunii a fost schimbată (MAX_CONCURRENT_STREAMS == 250)!
< HTTP/2 500
< lungimea conținutului: 0
< data: joi, 17 iunie 2021 14:55:43 GMT
<
* Conexiunea #0 la gazda api-int.mbr.okd.local a rămas intactă
INFRASTRUCTURĂ:
Mașini virtuale...
NUME ROL OS IP MAC
okd_boostrap bootstrap Fedora CoreOS 10.3.0.4 52:54:00:07:80:62
okd_master_1 master Fedora CoreOS 10.3.0.5 52:54:00:7d:97:70
okd_master_2 master Fedora CoreOS 10.3.0.6 52:54:00:6e:52:85
okd_master_3 master Fedora CoreOS 10.3.0.7 52:54:00:a3:65:d9
okd_worker_1 worker Fedora CoreOS 10.3.0.8 52:54:00:e3:7c:fb
okd_worker_2 worker Fedora CoreOS 10.3.0.9 52:54:00:20:ec:4f
okd_services DNS/LB/web/NFS CentOS 8 10.3.0.14 52:54:00:3a:fd:a2
10.2.0.18 52:54:00:92:ce:78
okd_pfsense firewall/router/DHCP FreeBSD 10.3.0.2 52:54:00:d8:27:82
10.2.0.19 52:54:00:ac:82:7d
. OKD_LAN: „10.3.0”;
. EXT_LAN: „10.2.0”.
Cateva acronime...
_ DNS - Sistem de nume de domeniu;
_ LB - Echilibrarea sarcinii;
_ Web - Web Server;
_ NFS - Partajarea fișierelor în rețea.
Aspectul rețelei...
...â.[N]WAN/EXT_LAN([R]dhcp).â... (10.2.0.0/24)
â â
[I]WAN/EXT_LAN [I]WAN/EXT_LAN
[V]OKD_PFSENSE([R]dhcp) [V]OKD_SERVICES
[I]OKD_LAN [I]OKD_LAN
â â
.........â.[N]OKD_LAN.â.......... (10.3.0.0/24)
â
...................................
â â â
[V]OKD_BOOSTRAP [V]OKD_MASTER_1 [V]OKD_WORKER_1
[V]OKD_MASTER_2 [V]OKD_WORKER_2
[V]OKD_MASTER_3
_ [N] - Rețea;
_ [R] - Resursa de retea;
_ [I] - Interfață de rețea;
_ [V] - Mașină virtuală.
FIȘIERE DE CONFIGURARE:
BIND 9 (DNS):
. db.10.3.0
604800 USD TTL
@ ÎN SOA okd-services.okd.local. admin.okd.local. (
6; Serial
604800; Reîmprospăta
86400; Reîncercați
2419200; Expira
604800; Cache negativ TTL
)
; Servere de nume - înregistrări „NS”.
ÎN NS okd-services.okd.local.
; Servere de nume - înregistrări „PTR”.
14 IN PTR okd-services.okd.local.
; Cluster platformă container OpenShift - înregistrări „PTR”.
4 ÎN PTR okd-boostrap.mbr.okd.local.
5 IN PTR okd-master-1.mbr.okd.local.
6 IN PTR okd-master-2.mbr.okd.local.
7 IN PTR okd-master-3.mbr.okd.local.
8 IN PTR okd-worker-1.mbr.okd.local.
9 IN PTR okd-worker-2.mbr.okd.local.
14 ÎN PTR api.mbr.okd.local.
14 ÎN PTR api-int.mbr.okd.local.
. db.okd.local
604800 USD TTL
@ ÎN SOA okd-services.okd.local. admin.okd.local. (
1; Serial
604800; Reîmprospăta
86400; Reîncercați
2419200; Expira
604800; Cache negativ TTL
)
; Servere de nume - înregistrări „NS”.
IN NS okd-servicii
; Servere de nume - înregistrări „A”.
okd-services.okd.local. ÎN A 10.3.0.14
; Cluster platformă container OpenShift - înregistrări „A”.
okd-boostrap.mbr.okd.local. ÎN A 10.3.0.4
okd-master-1.mbr.okd.local. ÎN A 10.3.0.5
okd-master-2.mbr.okd.local. ÎN A 10.3.0.6
okd-master-3.mbr.okd.local. ÎN A 10.3.0.7
okd-worker-1.mbr.okd.local. ÎN A 10.3.0.8
okd-worker-2.mbr.okd.local. ÎN A 10.3.0.9
; IP-uri interne ale clusterului Openshift - înregistrări „A”.
api.mbr.okd.local. ÎN A 10.3.0.14
api-int.mbr.okd.local. ÎN A 10.3.0.14
*.apps.mbr.okd.local. ÎN A 10.3.0.14
etcd-0.mbr.okd.local. ÎN A 10.3.0.5
etcd-1.mbr.okd.local. ÎN A 10.3.0.6
etcd-2.mbr.okd.local. ÎN A 10.3.0.7
cons-okd.apps.mbr.okd.local. ÎN A 10.3.0.14
oauth-okd.apps.mbr.okd.local. ÎN A 10.3.0.14
; IP-urile interne ale clusterului OpenShift - înregistrări „SRV”.
_etcd-server-ssl._tcp.mbr.okd.local. 86400 IN SRV 0 10 2380 etcd-0.mbr
_etcd-server-ssl._tcp.mbr.okd.local. 86400 IN SRV 0 10 2380 etcd-1.mbr
_etcd-server-ssl._tcp.mbr.okd.local. 86400 IN SRV 0 10 2380 etcd-2.mbr
. numit.conf.local
zona „okd.local” {
tip master;
fișierul „/etc/named/zones/db.okd.local”; // Calea fișierului de zonă.
};
zona "0.3.10.in-addr.arpa" {
tip master;
fișierul „/etc/named/zones/db.10.3.0”; // 10.3.0.0/24 subrețea.
};
. numit.conf
//
// numit.conf
//
// Furnizat de pachetul de legătură Red Hat pentru a configura serverul DNS numit ISC BIND (8).
// ca server de nume doar pentru cache (numai ca solutor DNS localhost).
//
// Vedeți /usr/share/doc/bind*/sample/ pentru exemplu fișierele de configurare denumite.
//
// Consultați Manualul de referință al administratorului BIND (ARM) pentru detalii despre configurare
// situat în /usr/share/doc/bind-{version}/Bv9ARM.html .
Opțiuni {
portul de ascultare 53 { 127.0.0.1; 10.3.0.14; };
directorul „/var/named”;
dump-file "/var/named/data/cache_dump.db";
fișierul-statistici „/var/named/data/named_stats.txt”;
memstatistics-file "/var/named/data/named_mem_stats.txt";
fișier recurs "/var/named/data/named.recursing";
secroots-file "/var/named/data/named.secroots";
allow-query { localhost; 10.3.0.0/24; };
// - Dacă construiți un server DNS AUTORITAT, NU activați recursiunea.
// - Dacă construiți un server DNS RECURSIV (caching), trebuie să îl activați
// recursivitate.
// - Dacă serverul DNS recursiv are o adresă IP publică, TREBUIE să activați accesul
// controlează limitarea interogărilor la utilizatorii tăi legitimi. Nerespectarea acestui lucru va cauza
// serverul dvs. să devină parte a atacurilor de amplificare DNS la scară largă. Implementarea
// BCP38 în rețeaua dvs. ar reduce foarte mult o astfel de suprafață de atac.
recursivitate da;
expeditori {
8.8.8.8;
8.8.4.4;
};
dnssec-activare da;
validare dnssec da;
// Calea către cheia ISC DLV.
bindkeys-fișier „/etc/named.root.key”;
directorul-chei-gestionate „/var/named/dynamic”;
pid-file „/run/named/named.pid”;
session-keyfile „/run/named/session.key”;
};
Logare {
canal default_debug {
fișierul „data/named.run”;
dinamica severității;
};
};
zona "." ÎN {
tip indiciu;
fișierul „named.ca”;
};
includ „/etc/named.rfc1912.zones”;
includ „/etc/named.root.key”;
includ „/etc/named/named.conf.local”;
HAProxy (echilibrator de încărcare):
. haproxy.cfg
#--------------------------------------------- --------------------
# Setări globale.
#--------------------------------------------- --------------------
global
maxconn 20000
log /dev/log local0 informații
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
utilizator haproxy
haproxy de grup
demon
# Porniți soclul Unix pentru statistici.
socket statistici /var/lib/haproxy/stats
#--------------------------------------------- --------------------
# Valori implicite comune pe care toate secțiunile „ascultă” și „backend” le vor folosi dacă nu sunt desemnate
# în blocul lor.
#--------------------------------------------- --------------------
implicite
modul http
jurnal global
opțiunea httplog
opțiunea dontlognull
opțiunea http-server-close
reexpedierea opțiunii
reîncercări 3
timeout http-request 10s
timeout coada 1m
timeout connect 10s
timeout client 300s
server timeout 300s
timeout http-keep-alive 10s
verificare timeout 10s
maxconn 20000
asculta statistici
lega: 9000
modul http
opțiune forwardfor, cu excepția 127.0.0.0/8
statisticile permit
statistici uri /
frontend okd_k8s_api_fe
lega :6443
default_backend okd_k8s_api_be
modul tcp
opțiunea tcplog
backend okd_k8s_api_be
sursa de echilibru
modul tcp
server okd-boostrap 10.3.0.4:6443 verifica
server okd-master-1 10.3.0.5:6443 verifica
server okd-master-2 10.3.0.6:6443 verifica
server okd-master-3 10.3.0.7:6443 verifica
frontend okd_machine_config_server_fe
lega:22623
default_backend okd_machine_config_server_be
modul tcp
opțiunea tcplog
backend okd_machine_config_server_be
sursa de echilibru
modul tcp
server okd-boostrap 10.3.0.4:22623 verifica
server okd-master-1 10.3.0.5:22623 verifica
server okd-master-2 10.3.0.6:22623 verifica
server okd-master-3 10.3.0.7:22623 verifica
frontend okd_http_ingress_traffic_fe
lega :80
default_backend okd_http_ingress_traffic_be
modul tcp
opțiunea tcplog
backend okd_http_ingress_traffic_be
sursa de echilibru
modul tcp
server okd-worker-1 10.3.0.8:80 verifica
server okd-worker-2 10.3.0.9:80 verifica
frontend okd_https_ingress_traffic_fe
lega *:443
default_backend okd_https_ingress_traffic_be
modul tcp
opțiunea tcplog
backend okd_https_ingress_traffic_be
sursa de echilibru
modul tcp
server okd-worker-1 10.3.0.8:443 verifica
server okd-worker-2 10.3.0.9:443 verifica
Fișierele „*.yaml” OpenShift (OKD):
. htpasswd_provider.yaml
apiVersion: config.openshift.io/v1
fel: OAuth
metadate:
nume: cluster
specificație:
furnizori de identitate:
- nume: htpasswd_provider
mappingMethod: revendicare
tip: HTPasswd
htpasswd:
fileData:
nume: htpass-secret
. install-config.yaml
apiVersion: v1
baseDomain: okd.local
metadate:
nume: mbr
calcula:
- hyperthreading: activat
nume: muncitor
replici: 0
controlPlane:
hyperthreading: activat
nume: maestru
replici: 3
rețele:
clusterNetwork:
- cidr: 10.128.0.0/14
hostPrefix: 23
NetworkType: OpenShiftSDN
serviceNetwork:
- 172.30.0.0/16
platformă:
nici unul: {}
fips: fals
pullSecret: '{"auths":{"fake":{"auth": "bar"}}}'
sshKey: 'ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAA<SKIPPED>QbAKPwwhdCkTpd8= root@okd_services.my_domain.com.br'
. registry_pv.yaml
apiVersion: v1
fel: PersistentVolume
metadate:
nume: registry-pv
specificație:
capacitate:
stocare: 45Gi
Moduri de acces:
- Citiți ScriețiMulți
persistentVolumeReclaimPolicy: Păstrați
nfs:
cale: /var/nfsshare/registry
server: 10.3.0.14
ACTUALIZAȚI:
. netstat -natup ieșire...
[root@okd_services ~]# netstat -natup
Conexiuni la Internet active (servere și stabilite)
Proto Recv-Q Trimitere-Q Adresă locală Adresă străină Stat PID/Nume program
tcp 0 0 0.0.0.0:22 0.0.0.0:* ASCULTĂ 906/sshd
tcp 0 0 127.0.0.1:953 0.0.0.0:* LISTEN 929/named
tcp 0 0 0.0.0.0:443 0.0.0.0:* ASCULTĂ 4572/haproxy
tcp 0 0 0.0.0.0:22623 0.0.0.0:* ASCULTĂ 4572/haproxy
tcp 0 0 0.0.0.0:9000 0.0.0.0:* ASCULTĂ 4572/haproxy
tcp 0 0 0.0.0.0:6443 0.0.0.0:* ASCULTĂ 4572/haproxy
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 1/systemd
tcp 0 0 0.0.0.0:80 0.0.0.0:* ASCULTĂ 4572/haproxy
tcp 0 0 192.168.122.1:53 0.0.0.0:* ASCULTĂ 1742/dnsmasq
tcp 0 0 10.3.0.14:53 0.0.0.0:* LISTEN 929/named
tcp 0 0 127.0.0.1:53 0.0.0.0:* LISTEN 929/named
tcp 0 0 10.2.0.18:22 10.2.0.3:44536 STABILIT 1854/sshd: root [pr
tcp 0 0 10.3.0.14:52252 10.3.0.4:6443 INSTALAT 4572/haproxy
tcp 0 0 10.3.0.14:52134 10.3.0.4:6443 INSTALAT 4572/haproxy
tcp 0 1 10.3.0.14:42222 10.3.0.8:443 SYN_SENT 4572/haproxy
tcp 0 0 10.3.0.14:6443 10.3.0.6:51962 INSTALAT 4572/haproxy
tcp 0 0 10.3.0.14:52130 10.3.0.4:6443 INSTALAT 4572/haproxy
tcp 0 0 10.3.0.14:6443 10.3.0.6:51946 INSTALAT 4572/haproxy
tcp 0 1 10.3.0.14:40530 10.3.0.9:443 SYN_SENT 4572/haproxy
tcp 0 196 10.2.0.18:22 10.2.0.3:44538 STABILIT 5000/sshd: root [pr
tcp 0 0 10.2.0.18:45472 10.2.0.5:389 INSTALAT 878/sssd_be
tcp 0 0 10.3.0.14:51970 10.3.0.4:6443 INSTALAT 4572/haproxy
tcp 0 0 10.3.0.14:54056 10.3.0.4:6443 INSTALAT 4572/haproxy
tcp 0 0 10.2.0.18:33328 147.75.69.225:80 TIME_WAIT -
tcp 0 0 10.3.0.14:6443 10.3.0.5:39976 INSTALAT 4572/haproxy
tcp 0 0 10.3.0.14:6443 10.3.0.5:52462 INSTALAT 4572/haproxy
tcp 0 1 10.3.0.14:41396 10.3.0.7:22623 SYN_SENT 4572/haproxy
tcp 0 1 10.3.0.14:41964 10.3.0.9:80 SYN_SENT 4572/haproxy
tcp 0 1 10.3.0.14:60674 10.3.0.7:6443 SYN_SENT 4572/haproxy
tcp 0 0 10.3.0.14:6443 10.3.0.5:40024 INSTALAT 4572/haproxy
tcp 0 0 10.2.0.18:43394 109.205.222.4:80 TIME_WAIT -
tcp6 0 0 :::22 :::* ASCULTĂ 906/sshd
tcp6 0 0 ::1:953 :::* ASCULTĂ 929/numit
tcp6 0 0 :::111 :::* ASCULTĂ 1/systemd
tcp6 0 0 :::8080 :::* ASCULTĂ 1131/httpd
tcp6 0 0 :::53 :::* ASCULTA 929/numit
udp 0 0 192.168.122.1:53 0.0.0.0:* 1742/dnsmasq
udp 0 0 10.3.0.14:53 0.0.0.0:* 929/numit
udp 0 0 127.0.0.1:53 0.0.0.0:* 929/numit
udp 0 0 0.0.0.0:67 0.0.0.0:* 1742/dnsmasq
udp 0 0 10.3.0.14:68 10.3.0.2:67 STABILIT 893/NetworkManager
udp 0 0 10.2.0.18:68 10.2.0.2:67 STABILIT 893/NetworkManager
udp 0 0 0.0.0.0:111 0.0.0.0:* 1/systemd
udp 0 0 127.0.0.1:323 0.0.0.0:* 857/chronyd
udp6 0 0 :::53 :::* 929/numit
udp6 0 0 :::111 :::* 1/systemd
udp6 0 0 ::1:323 :::* 857/chronyd
Mulțumiri! =D
