avem cluster Kafka pe versiunea linux rhel - 7.6
observăm prea multe fișiere deschise pe mașinile kafka
dar când am făcut-o lsof >/tmp/res_file
fisier formular /tmp/res_file , putem vedea multe rânduri ca
java 172301 172722 kafka *770w FIFO 0,9 0t0 303639156 teava
java 172301 172722 kafka *771u a_inode 0,10 0 11398 [eventpoll]
java 172301 172722 kafka *772u a_inode 0,10 0 11398 [eventpoll]
java 172301 172722 kafka *773r FIFO 0,9 0t0 303741913 pipe
java 172301 172722 kafka *774u a_inode 0,10 0 11398 [eventpoll]
java 172301 172722 kafka *775w FIFO 0,9 0t0 303637483 teava
java 172301 172722 kafka *776w FIFO 0,9 0t0 306043296 teava
java 172301 172722 kafka *777w FIFO 0,9 0t0 313046116 teava
java 172301 172722 kafka *778r FIFO 0,9 0t0 304446234 pipe
java 172301 172722 kafka *779u a_inode 0,10 0 11398 [eventpoll]
java 172301 172722 kafka *780r FIFO 0,9 0t0 303800963 pipe
java 172301 172722 kafka *781w FIFO 0,9 0t0 303300350 pipe
java 172301 172722 kafka *782w FIFO 0,9 0t0 305039138 pipe
java 172301 172722 kafka *783r FIFO 0,9 0t0 304659538 pipe
java 172301 172722 kafka *784r FIFO 0,9 0t0 303453024 pipe
java 172301 172722 kafka *785w FIFO 0,9 0t0 303737027 teava
java 172301 172722 kafka *786u a_inode 0,10 0 11398 [eventpoll]
java 172301 172722 kafka *787u a_inode 0,10 0 11398 [eventpoll]
java 172301 172722 kafka *788u a_inode 0,10 0 11398 [eventpoll]
java 172301 172722 kafka *789r FIFO 0,9 0t0 303258041 pipe
java 172301 172722 kafka *790w FIFO 0,9 0t0 303258041 teava
java 172301 172722 kafka *791u a_inode 0,10 0 11398 [eventpoll]
java 172301 172722 kafka *792u a_inode 0,10 0 11398 [eventpoll]
java 172301 172722 kafka *793u a_inode 0,10 0 11398 [eventpoll]
java 172301 172722 kafka *794r FIFO 0,9 0t0 305651339 pipe
iar când am făcut-o
cat /tmp/res_file | egrep „pipe|eventpoll” | wc -l
obținem un număr mare de linii care conțin pipe sau eventpoll
cat /tmp/res_file | egrep „pipe|eventpoll” | wc -l
143173534
din intelegerea mea cand lsof arata linii care s-au terminat cu conductă|sondaj de evenimente indica o problemă
dar încă nu înțeleg care este cauza principală a acestui lucru
oricum am crescut numărul de fișiere pe kafka, dar aceasta nu este o soluție
deoarece numărul de fișiere crește în fiecare zi datorită liniilor cu - conductă|sondaj de evenimente
Ai idee cum să știi motivul acestui comportament?
referinţă:
https://stackoverflow.com/questions/58690422/kafka-producer-consumer-are-opening-too-many-file-descriptor
https://stackoverflow.com/questions/15956452/troubleshooting-too-many-files-open-with-lsof
https://access.redhat.com/solutions/4072141
https://issues.apache.org/jira/browse/KAFKA-3317
