Message Queue

[RabbitMQ] rabbitMQ Spring Boot Producer, Consumer 생성, MultipleConsumer, prefetch

0. RabbitMq 설치 및 설정 [RabbitMQ] rabbitmq 설치 및 설정, rabbitmq spring 3.0이상 연동 1. docker로 Rabbit MQ 설치 컨테이너 이름 : rabbitmq 백그라운드로 실행 docker run -d --name rabbitmq -p 5672:5672 -p 8080:15672 --restart=unless-stopped rabbitmq:management 2. management url 접속 # default username, password는 둘다 gue karla.tistory.com 1. RabbitMqProducer 파일 생성 yml 값 변수 매핑 RabbitTemplate 선언 @Service @Log4j2 public class RabbitM..

[RabbitMQ] rabbitmq 설치 및 설정, spring 3.0이상 연동

1. docker로 Rabbit MQ 설치 컨테이너 이름 : rabbitmq 백그라운드로 실행 docker run -d --name rabbitmq -p 5672:5672 -p 8080:15672 --restart=unless-stopped rabbitmq:management 2. management url 접속 # default username, password는 둘다 guest로 입력 http://localhost:15672/ 3. admin, vhost 추가 (옵션) 4. Queue, Exchange 생성 queue : SKT, KT, LG,emailbroker1, emailbroker2라는 이름의 총 5개의 큐 생성 exchange : SKT, KT, LG 3개의 큐는 각자의 exchage 생성 ..

[CDC] kafka Connect, Debezium, JDBC Sink Connector

Confluent 사의 JDBC Sink Connector 통해 구축 Source DB : MySQL Source Connector: kafka Connect (Source Connector, Debezium) Target DB : Mysql, Oracle Sink Connector : kafka Connect (JDBC Sink Connector) 1. Docker Container 주키퍼, 카프카 docker-compose.yml version: "3" services: zookeeper: container_name: zookeeper image: wurstmeister/zookeeper ports: - "2181:2181" kafka: container_name: kafka image: wurstm..

Kafka Streams (Streaming Data Processing Programing)

build.gradle kafka-streams 추가 dependencies { implementation 'org.apache.kafka:kafka-streams' } Kafka Streams strams_log 토픽 → stream() 소스프로세서 → to() 싱크프로세서 → stream_log_copy 토픽 @SpringBootApplication public class KafkaStreamsApplication { private static String APPLICATION_NAME = "streams-filter-application"; private static String BOOTSTRAP_SERVERS = "localhost:9092"; private static String STREAM_..