înregistrare Logare
Puncte:0
Atreiide avatar Server

Cum să eliminați caracterul de evadare atunci când utilizați Kafka console consumer?

drapel cn
Atreiide

În scopuri de conformitate, trebuie să salvez toate documentele brute Kafka și să le păstrez un an. Pentru a face acest lucru, folosesc următoarele:

kafka-console-consumer.sh --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 --topic test1 --consumer.config /usr/local/kafka_2.12-2.2.1/config/consumer.properties >> /data/backup.txt

Documentele salvate au caractere de escape ca acesta (\ înainte de fiecare ghilimele duble):

{"type":"Fortigate","@timestamp":"2021-09-06T09:20:38.909Z","message":"<189>date=2021-09-06 time=11:20:38 devname =\"FW_N\" devid=\"FG1123\" logid=\"0000000013\" type=\"traffic\" subtype=\"forward\" level=\"notice\" vd=\"FW-D\" eventtime=1630920038 srcip=1.2.3.4 srcport=59349 srcintf=\"LAG11.2418\" srcintfrole=\"undefined\" dstip=1.2.3.4 dstport=8531 dstintf=\"LAG11.2418\"LAG11.\"LAG11.20038\" " poluuid=\"8f80acf4-db3f-51eb-369f-97e43f065438\" sessionid=3122225826 proto=6 action=\"deny\" policyid=1234 policytype=\"policy\" service=\"gTCP/8531\" dstcountry\" \"Rezervat\" srccountry=\"Rezervat\" trandisp=\"noop\" duration=0 sentbyte=0 rcvdbyte=0 sentpkt=0 appcat=\"unscanned\" crscore=30 craction=131072 crlevel=\"high\ "","@version":"1","gazdă":"5.6.7.8"}

Rezultat asteptat :

{"type":"Fortigate","@timestamp":"2021-09-06T09:20:38.909Z","message":"<189>date=2021-09-06 time=11:20:38 devname ="FW_N" devid="FG1123" logid="0000000013" type="traffic" subtype="forward" level="notice" vd="FW-D" eventtime=1630920038 srcip=1.2.3.4 srcport=59349 srcintf=" LAG11.2418" srcintfrole="undefined" dstip=1.2.3.4 dstport=8531 dstintf="LAG11.1470" dstintfrole="undefined" poluuid="8f80acf4-db3f-51eb-369f-97e4362" session= pro54382" "deny" policyid=1234 policytype="policy" service="gTCP/8531" dstcountry="Rezervat" srccountry="Rezervat" trandisp="noop" duration=0 sentbyte=0 rcvdbyte=0 sentpkt=0 appcat="unscanned" crscore=30 craction=131072 crlevel="high"","@version":"1","gazdă":"5.6.7.8"}

Există vreo modalitate de a spune consumatorului consolei Kafka să nu adauge aceste caractere de evadare?

162
0 + 2
Michael Hampton avatar
drapel cz
Michael Hampton
Aceasta arată ca o redare JSON a documentului dvs. Barele oblice inverse ar trebui să fie acolo. Acestea spun care ghilimele fac parte din datele dvs. și care nu. Analizorul dvs. JSON se va ocupa de acestea. Nu trebuie să faci nimic.
1
Răspunde
Atreiide avatar
drapel cn
Atreiide
Da, într-adevăr.... Mulțumesc Michael
0
Răspunde
drapel ar
OneCricketeer
Acest lucru pare în afara subiectului pentru ServerFault. În viitor, StackOverflow ar fi mai bun
0
Răspunde
drapel romania
SEF 777
întrebarea această in alte limbi:

Postează un răspuns

Majoritatea oamenilor nu înțeleg că a pune multe întrebări deblochează învățarea și îmbunătățește legătura interpersonală. În studiile lui Alison, de exemplu, deși oamenii își puteau aminti cu exactitate câte întrebări au fost puse în conversațiile lor, ei nu au intuit legătura dintre întrebări și apreciere. În patru studii, în care participanții au fost implicați în conversații ei înșiși sau au citit transcrieri ale conversațiilor altora, oamenii au avut tendința să nu realizeze că întrebarea ar influența – sau ar fi influențat – nivelul de prietenie dintre conversatori.