데이터 파이프라인을 짤 일이 있어서 Logstash를 활용해서 구현해보겠습니다. Logstash 공식사이트 (https://www.elastic.co/kr/logstash/)에서 설치 관련 내용을 확인할 수 있지만, 제대로 실행되지 않아서 제 나름대로의 방법으로 진행해보겠습니다. 또한, 여러 개의 테이블을 동시에 Consume 하기 위해서 pipeline을 활용해서 여러 개의 Logstash를 돌렸으니 이 점 참고 바랍니다. 요구 조건 DB에 데이터를 넣으면 그 넣어진 데이터를 OpenSearch에서 실시간으로 확인 가능해야합니다. 여러 개의 테이블을 동시에 Consume 해야합니다. sql_last_value 값을 써서 중복값이 OpenSearch에 쌓이지 않도록 해야합니다. Aurora DB 세팅 R..
