전체 글

[CDC] kafka Connect, Debezium, JDBC Sink Connector

Confluent 사의 JDBC Sink Connector 통해 구축 Source DB : MySQL Source Connector: kafka Connect (Source Connector, Debezium) Target DB : Mysql, Oracle Sink Connector : kafka Connect (JDBC Sink Connector) 1. Docker Container 주키퍼, 카프카 docker-compose.yml version: "3" services: zookeeper: container_name: zookeeper image: wurstmeister/zookeeper ports: - "2181:2181" kafka: container_name: kafka image: wurstm..

Kafka Streams (Streaming Data Processing Programing)

build.gradle kafka-streams 추가 dependencies { implementation 'org.apache.kafka:kafka-streams' } Kafka Streams strams_log 토픽 → stream() 소스프로세서 → to() 싱크프로세서 → stream_log_copy 토픽 @SpringBootApplication public class KafkaStreamsApplication { private static String APPLICATION_NAME = "streams-filter-application"; private static String BOOTSTRAP_SERVERS = "localhost:9092"; private static String STREAM_..

Branch, Checkout

🌟 Branch, Checkout git log --all --graph --oneline merge base : 합치려고 하는 두 커밋의 공통단계 커밋 git merge o2 서로 다른 파일 병합 같은 파일, 다른 부분 병합 → 없는 부분 추가해서 자동으로 병합 같은파일, 같은 부분 병합 → CONFLICT(both modified) o2 3way merge 2way : 같은 것만 그대로 이어가고, 다른 것은 충돌, gitbash 3way : here(branch) / base / there(branch) git mergetool $ git config --global merge.tool p4mergetool $ git config --global mergetool.p4mergetool.cmd \\ "..

Backup

1. remote $ git remote add origin https://github.com/IfUwanna/Tool.git 원격저장소와 연결 $ git remote -v 현재 연결되어 있는 원격 레파지토리를 확인 $ git remote remove origin 원격 저장소의 연결을 제거 2. push $ git push -set--upstream orign master $ git push -u orign master 3. clone 4. pull git pull vs git fetch git pull does a git fetch followed by a git merge. 💬 upstream vs origin otherRepository(upstream) -> (fork) myRepository(o..

Git Version Control

1. init $ pwd /Users/live/Document/git/hello-git-cli $ git init initialize repository 버전 관리를 위한 기본 폴더를 생성하는 명령어 (이 디렉터리를 버전관리 하기 시작해) .git생김 git repository working tree 파일을 만들고 수정하는 버전으로 만들어지기 전 단계 staging area 버전을 만들려할 때 버전관리할 일부 파일들 올림 repository 만들어진 버전 2. add, commit $ nano *hello1.txt* $ git status working tree status 커밋의 상태를 보여줌 Changes not staged for commit ⇒ add Changes to be Committed, ..

Docker multi stage

🖤 Dockerfile - 개발용 DB와 운영용 DB 분리 도커의 또 다른 장점 중 하나로, 똑같이 생긴 컨테이너를 여러 개 띄우는 것이 간단 개발용 DB와 운영용 DB는 데이터만 다르지 테이블과 schema는 똑같이 생김 똑같은 Dockerfile에서 이미지를 빌드하고, 이 이미지로부터 컨테이너를 여러 개 만들면 됨 services: django: build: context: . dockerfile: ./compose/django/Dockerfile-dev context는 docker build 명령을 실행할 디렉터리 경로라고 보시면 됩니다. dockerfile에는 ‘개발용’ 도커 이미지를 빌드하는 데 사용할 Dockerfile을 지정하면 됩니다. Dockerfile-dev 파일에서는 (운영용 Dock..