DataEngineering (4) 썸네일형 리스트형 [Kafka] docker-compose 에서 Kafka 실행하기 | 프로삽질러 우분투 가상환경에서 일일이 zookeeper, kafka 를 설치하여 개발 진행 중에 도커 사용의 필요성을 느껴 도커에서 카프카 서버를 실행하기로 했습니다. 맥을 사용하면 docker 설치와 동시에 docker-compose 가 함께 설치되기 때문에 zookeeper 실행이 필수인 kafka 를 실행하기 훨씬 수월합니다. (우분투로 설치하고 실행하기까지 일주일이 걸렸다면 도커 사용은 1시간도 안돼서 설치 후 개발까지 하고 있다는 점 ㅜㅜ 훨씬 편합니다 ㅜㅜ ) 실행 환경 - mac os - docker-compose (zookeeper, kafka 컨테이너 설치 완료) - 클라이언트 실행 위해 kafka 컨테이너와 동일한 버전 kafka 로컬에 설치 0. docker-compose.yml 작성 vi do.. [Kafka] Kafka ZookeeperClientTimeoutException 오류 해결 | 프로삽질러 겨우 Zookeeper 라는 산을 넘었더니 Kafka가 시작부터 말썽입니다. 오늘은 다음과 같은 에러를 해결해보겠습니다. ZookeeperClientTimeoutException : Timed out waiting for ... : CONNECTING Error while executing topic command : Replication factor : 1 larger than available brokers: 0. ERROR org.apache.kafka.common.eroors.InvalidReplicationFactorException 실행 환경 - Ubuntu 18.04 LTS - Zookeeper 3.6.3 - Kafka 2.7.0 - 독립실행환경(Standalone) 토픽 생성 명령어 실행 .. [ZooKeeper] 리눅스 ZooKeeper java.net.ConnectionException: 연결이 거부됨 오류 해결 | 프로삽질러 ZooKeeper 클라이언트 ./zkCli.sh 를 실행하니 java.net.ConnectionException : 연결이 거부됨 에러가 뜨면서 실행에 실패하였다. zkSever.sh 실행도 성공까지 오래걸렸는데 산넘어 산이다 !! 그래도 해결했으니까 해결한 과정에서 또 하나 배워간다... 위의 사진은 ./zkCli.sh 실행 시 출력된 결과인데 저것만으로는 아무리 구글링을 해도 ZooKeeper 관련 java.net.ConnectException 에러를 해결하는 게시글이 마땅히 없어 zookeeper 로그파일을 천천히 뜯어보기로 했다. zookeeper 의 logs 디렉토리 1 2 cd /usr/zookeeper ls cd logs ls cs 본인이 설정한 Zookeeper 디렉토리의 하위 디렉토리로 .. [ZooKeeper] 리눅스 ZooKeeper 설치 및 여러 오류 해결 정리 | 프로삽질러 본 글은 리눅스에 zookeeper 설치를 위해 4일 간 삽질 끝에 끝내 성공하여 공유드리는 글입니다. 야호 ! zookeeper.apache.org 의 개발 문서를 참고하였습니다. zookeeper.apache.org/doc/r3.6.3/zookeeperAdmin.html 실행 환경 - Ubuntu 18.04 Lts - Java 1.8.0_282 (JDK8 버전) - Apache-zookeeper-3.6.3 0. Java 설치 및 환경변수 설정 ZooKeeper는 JVM 환경에서 운영되기 때문에 Java 설치를 필수로 해야합니다. 설치 후 환경 변수 설정까지 마무리 해야하기때문에 이 과정를 생략하신 분께서는 Java 설치 여부, 버전 지원, 환경변수 설정 여부 까지 확인해주시기 바랍니다. 참고로 제가 .. 이전 1 다음
