Puncte:0

Problemă cu sincronizarea datelor de la Amazon RDS la Amazon S3

drapel ai

Încerc să sincronizez binlog-urile în RDS mysql DB cu Amazon S3 în timp real pentru a interoga folosind Amazon Athena. Am încercat să folosesc debezium ca conector sursă pentru Apache Kafka connect-kafka stochează date de streaming de la RDS și depozitează în S3- https://debezium.io/documentation/reference/1.6/architecture.html

Cu toate acestea, problema cu aceasta este că, pe măsură ce interogăm datele în s3 folosind athena, putem interoga orice inserări în rds db, dar orice actualizări ale tabelului pare să creeze o intrare dublă atât cu câmpurile vechi, cât și cu cele noi.

Cum depășim asta? Există vreo abordare alternativă pe care am putea-o folosi pentru sincronizarea datelor între rds și s3 în timp real?

drapel ar
Întrebările Debezium ar trebui puse pe StackOverfow

Postează un răspuns

Majoritatea oamenilor nu înțeleg că a pune multe întrebări deblochează învățarea și îmbunătățește legătura interpersonală. În studiile lui Alison, de exemplu, deși oamenii își puteau aminti cu exactitate câte întrebări au fost puse în conversațiile lor, ei nu au intuit legătura dintre întrebări și apreciere. În patru studii, în care participanții au fost implicați în conversații ei înșiși sau au citit transcrieri ale conversațiilor altora, oamenii au avut tendința să nu realizeze că întrebarea ar influența – sau ar fi influențat – nivelul de prietenie dintre conversatori.