Logstash poate „trage” date?

Am două servere. Serverul A rulează Elasticsearch și Logstash. Serverul B rulează filebeat și este, de asemenea, serverul care conține toate jurnalele pe care încerc să le analizez.

Serverul A se află în spatele unui firewall, poate ajunge la internet, dar nu există posibilitatea de a permite trafic de intrare.

Serverul B este în AWS și sub controlul meu pentru traficul de intrare și de ieșire.

Există vreo modalitate de a obține date de la serverul B la stocul de jurnal al serverului A? Filebeat în mod obișnuit ar trebui să poată împinge date în logstash, dar acest lucru nu este posibil în scenariul meu.

Cu Filebeat (sau orice alt Beat) pe B, opțiunile tale sunt limitate la:

• Elasticsearch â nu este viabil aici.
• Redis â Câteva posibilităţi.
• Kafka â Posibilitati similare.

Dacă A poate apela în spațiile de rețea ale lui B, puteți avea jurnalele de depunere Filebeat ale lui B în Redis (sau Elasticache Redis) sau Kafka (sau AWS Managed Kafka Services), unde Logstash pe A se poate conecta la Redis sau Kafka.

Pentru cei interesați de securitate, Redis are acum capacitatea de a accepta atât autentificarea, cât și TLS prin conexiune. În versiunile 6.x și ulterioare, în special în soiurile AWS, Redis are suport real pentru ACL.