2016. 6. 11.

Spring Cloud + Docker + Docker Compose

수정이력

  • 2016/06/12 - Docker compose restart policy 관련 정리 수정. Docker compose의 스케일 조정 관련 정리 추가

서론


지금까지 정리된 내용은 스프링의 프로젝트들(Spring-cloud, Spring-boot 등)을 이용해서 간편하게 마이크로소프트 아키텍처를 구현해 나갈 수 있는가에 대한 입문 수준의 내용을 담고 있습니다.
여기에 더해서 오늘은 Docker를 이용해서 그동안 만들었던 서비스들을 모두 Dockerizing 하고 이왕 하는 김에 Docker Compose 를 이용하도록 바꿔보겠습니다.

아래의 내용은 blog_cloud_docker 브랜치에서 전체 소스를 확인하실 수 있습니다.

또한, 본 포스트 내용은 https://github.com/sqshq/PiggyMetrics 의 내용을 참고했음을 미리 밝혀둡니다. 내용은 비슷한데 본 포스트보다 훨~~씬 잘 정리되어있으니 위 깃헙을 보시는 것도 좋을 것 같네요.

사전 준비사항


오늘은 사전 준비사항이 좀 많습니다.

블로그 작성에 사용한 환경


이번 포스트도 역시나 이전과 크게 다르지 않은 사양에서 진행되었습니다.
  • JDK 8 : 1.8.0_65
  • Intellij 2016.1.3
  • Gradle build : 2.10
  • Spring IO : 2.0.1.RELEASE
  • Spring Boot : 1.3.2
  • Spring Cloud :  Angel.SR6
  • Lombok : 1.12.6
  • IDEA Lombok plugin : 0.11.16
  • Configuration server의 git 저장소 : https://github.com/roadkh/blog-cloud-sample-config.git
  • yml 을 이용한 Property
  • Docker : 1.11.2
  • Docker Compose 1.7.0
사실 Spring Boot 나 Spring IO, Spring Cloud의 버전이 이전 블로그 작성 이후에 모두 변경된 상황입니다만, 이 포스트에서 사용한 수준에서는 크게 변동사항이 없어서(RestTemplate의  Loadbalance 관련 부분이 변경되었습니다만...) 버전 업 없이 그냥 진행하도록 하겠습니다. 업데이트된 버전에서는 테스트를 아직 진행하지 못했습니다. 혹시 업데이트 버전으로 확인을 하게 된다면 후에 해당 내용을 업데이트하겠습니다. 

Dockerfile의 작성


Dockerfile은 최소 필요한 사항으로만 구성했습니다.

Service 를 만드는 Docker 기본 이미지는 제 다른 포스트에서 만든  Ubuntu 14.04 LTS + Oracle java8 이미지를 이용했습니다. Docker hub 에도 push를 해 놓았습니다. Docker hub 에서 road/ubuntu_java8 로 검색하시거나 https://hub.docker.com/r/road/ubuntu_java8/ 에서 확인 가능합니다. 해당 이미지를 만드는데 사용한 Dockerfile 은 docker/Dockerfile-java8 이니 참고하면 될 것 같습니다.

전체 Dockerfile 에서 Configuration server, Discovery Server와 Composite API 에 대해서만 한번 보겠습니다. 전체 Dockerfile 은 blog_cloud_docker 브랜치의 docker 디렉터리에서 확인하실 수 있습니다.

프로젝트 최상위 폴더에 docker 디렉터리를 만들고 그 안에다 아래와 같이 Dockerfile 들을 만드시면 됩니다.

FROM road/ubuntu_java8

ADD ./server/configuration/build/libs/server-configuration.jar app.jar

EXPOSE 8888

ENTRYPOINT ["java", "-Djava.security.egd=file:/dev/./urandom", "-jar", "/app.jar"]

우선은 Dockerfile-config 입니다.
내용을 보면 우선 FROM road/ubuntu_java8 을 이용해서 기본 이미지를 지정했습니다. 위 이미지는 제가 일단은 Docker hub 에 public 으로 push를 해 놓았기 때문에 없다면 다운로드 후에 진행하게 됩니다. (혹시, Docker hub 에 있는 것을 이용하시지 않을 분들은 제 이전 포스트의 내용을 보시고 docker/Dockerfile-java8 을 이용해서 -tag road/ubuntu_java8 이라고 주시고 빌드를 하신 후에 진행하시면 됩니다. 물론 tag 의 이름을 변경하셨다면 Dockerfile 의 FROM을 해당 이름으로 바꾸시면 됩니다.)
Configuration server는 8888 포트로 지정해 놓았기 때문에 EXPOSE 8888 을 이용해서 포트를 외부 오픈합니다. 그리고 build 된 jar 파일을 이제 Docker container 에 복사해야 하는데 이때 상대경로를 보시면 ./ 으로 지정하게 되어있습니다. 이 부분은 이후에 Docker compose를 설명할 때 설명하도록 하겠습니다.
이후에 ENTRYPOINT를 이용해서 Container가 시동 후에 실행할 명령어를 주면 됩니다.
(위의 "-Djava.security.egd=file:/dev/./urandom" 옵션은 없어도 될 것으로 보이네요)

FROM road/ubuntu_java8

ADD ./server/discovery/build/libs/server-discovery.jar app.jar

EXPOSE 8761

ENTRYPOINT ["java", "-Djava.security.egd=file:/dev/./urandom", "-Dspring.profiles.active=peer1", "-jar", "/app.jar"]

다음은 Peer1 입니다. Discovery 서버는 기존에 두 개의 서버를 띄웠었습니다. peer1하고 peer2 라는 spring profile 을 이용해서 띄웠었습니다. Dockerfile-peer1과 Dockerfile-peer2 는 EXPOSE의 포트(8761, 8762)와 "-Dspring.profiles.active=peer1", "-Dspring.profiles.active=peer2" 부분을 제외하고는 모두 같습니다.

FROM road/ubuntu_java8

ADD ./api/composite/build/libs/api-composite.jar app.jar

EXPOSE 9001

ENTRYPOINT ["java", "-Djava.security.egd=file:/dev/./urandom", "-jar", "/app.jar"]

Composite API의 Dockerfile 입니다.
이젠 보시면 아시겠지요?

이렇게 전체 서비스에 대한 Dockerfile을 만드시면 됩니다.

마지막으로 하나 다른 것이 RabbitMQ의 Dockerfile 인데요. 잠깐 알아보도록 하겠습니다.

FROM rabbitmq

RUN rabbitmq-plugins enable rabbitmq_management

EXPOSE 5672 15672

RabbitMQ 는 official로 Docker hub에 등록된  rabbitmq 이미지를 사용했습니다.
"RUN rabbitmq-plugins enable rabbitmq_management" 이라고 지정한 부분은 rabbitmq plugin 중에서 rabbitmq dashboard를 이용하기 위해서 활성화해주는 명령어를 지정해 준 것입니다.
포트는 5672, 15672 두 개의 포트를 엽니다.

자, 이제 Dockerfile 은 모두 만들었습니다.

Docker compose file 작성


다음으로 docker compose를 이용할 것이므로 docker compose가 사용할 docker-compose.yml 파일을 만들도록 하겠습니다. docker-compose.yml 파일은 프로젝트 최상위 디렉터리에 만드시면 됩니다.

docker-compose.yml 파일을 작성하는 방법에 대해서는 https://docs.docker.com/compose/compose-file/ 에서 확인하실 수 있는데 역시나 저는 가장 단순한 형태로만 작성했으므로, 제가 작성한 부분까지만 설명하겠습니다.

아래는 docker-compose.yml 의 일부분입니다. 우측 부분에 # 으로 표시된 부분을 중심으로 설명하겠습니다.

version: '2'                                 # 버전
services:                                    # 서비스 항목
  rabbitmq:                                  # 서비스 이름
    build:                                   # 빌드할 Docker image 또는 Docker file
      context: .
      dockerfile: ./docker/Dockerfile-rabbitmq
    ports:                                   # expose 할 port
      - "5672:5672"
      - "15672:15672"
  config:
    build:
      context: .
      dockerfile: ./docker/Dockerfile-config
    ports:
      - "8888:8888"
    volumes:
      - /home/road/media/Dev/workspace/pilot/blog-cloud/blog-cloud-docker-config:/config
  peer1:
    build:
      context: .
      dockerfile: ./docker/Dockerfile-peer1
    ports:
      - "8761:8761"
    restart: always                          # restart policy


  • version : docker-compose가 사용할 설정 버전입니다. version은 현재 '1' 과 '2' 가 있는데 지정하지 않으면 '1' 로 인식이 됩니다. 두 버전은 크게 다른 부분은 없습니다만, 설정항목마다 약간의 상세한 설정이 가능한 것이 version '2' 라고 보시면 되겠습니다. 앞으로 여러가지 설정을 넣을 것을 생각해서 되도록 version '2' 로 만드는 것을 Document에서도 추천하고 있네요.
  • 서비스 항목 : 항목 아래로 서비스들을 지정하겠다는 설정 키값입니다.
  • 서비스 이름 : 실행할 서비스들의 이름입니다. 나중에 docker-compose를 실행하게 되면 저 이름 뒤에 _1이 붙어서 실행되는 것을 볼 수 있습니다. _1이 붙는 이유는 docker compose를 이용해서 scale up을 할 수 있는데 그때를 위해서인 것으로 보이네요.
  • build : 이 부분이 version '1'과 차이가 있습니다. version '1'에서는 바로 context 만 지정해 주는 방식이었는데 context와 dockerfile 을 함께 지정해 줄 수 있습니다. 여기서 context라는 부분이 중요합니다. context는 docker 를 구동할 가장 상위 디렉터리를 말합니다. 즉 모든 파일에 대한 추적을 context 내에서 할 수 있습니다. 어떤 파일을 복사할 때 ../ 으로 시작하게 하면 permission 관련 오류가 발생합니다. 앞에 Dockerfile 들을 설명할 때 ADD 항목에서 ./ 으로 시작하게 만들었었는데, 이것은 이 context 로 지정된 위치를 기준으로해서 ADD 가 되기 때문입니다. 혹시 docker-compose를 사용하지 않고 docker 를 바로 명령어로 사용하실 분들이 있다면 ADD 부분 작성할 때 고려를 잘하셔야 합니다. 이것 때문에 docker-compose.yml 파일을 프로젝트 최상위 폴더에 만들었습니다. 꼭 그래야 하는 것 은 아니고 다른 방법으로 해결가능하지만 가장 편한 방법인 것 같습니다.
  • ports : 외부로 노출할 포트입니다. docker 명령어에 -p 옵션과 같은 기능입니다. 리스트로 넣을 수 있고 하나만 넣을 수도 있습니다. ':' 를 구분자로 앞은 host, 뒤는 container의 포트입니다.
  • restart : Restart policy 입니다. docker 명령어에서 --restart 옵션과 같은 기능인 것으로 보이는데, 이상하게 policy가 always 밖에 동작하지 않네요. https://docs.docker.com/engine/reference/run/#restart-policies-restart 을 보시면 분명 네 가지의 옵션이 있는데 always 외에는 동작이 확인되지 않았습니다. docker 명령의 restart 옵션과 같은 기능입니다. https://docs.docker.com/engine/reference/run/#restart-policies-restart에 명시된 네가지의 옵션을 줄 수 있습니다. always를 주면 해당 서비스가 exit 0 코드를 주고 끝나는 한 계속해서 다시 시작해 줍니다. 제가 저 설정을 넣은 이유는 configuration server 가 올라와서 정상적으로 다른 서비스들에게 설정을 전달해주는데까지 시간이 좀 걸리기 때문에 다른 서비스들은 모두 failFast 를 true로 주고 restart 옵션을 always로 주는 방식을 선택했기 때문입니다. 나중에 실행 로그를 보시면, 서비스들이 configuration server로 부터 설정을 못 받으면 계속해서 재시동 되는것을 보실 수 있습니다.
    단, 이 옵션이 약간 문제인 부분은 서버 OS가 부팅될 때 바로 모든 서비스가 시작된다는 것입니다. 서버에서는 좋은 옵션일지 몰라도 개인용 개발 장비의 경우는 약간 문제가 될 수도 있겠네요. 제 경우는 우분투 SSD에 운영체제를 설치하고 일반 HDD 에 작업 폴더를 놓고 있는데, 전체를 LVM으로 묶지 않고 사용하다 보니 HDD가 나중에 마운트가 되면서 이상 동작하는 문제가 발생했었습니다. 혹시 저와 비슷한 분들은 컴퓨터를 끄시기 전에 저 설정을 주석 처리하시고 build 명령어 한번 돌려주시고(옵션만 주석해도 되는 데 안전을 위해서) 컴퓨터를 종료해주세요.
    그 외의 옵션으로 no, on-failure, unless-stopped 옵션이 있으며 내용을 잘 살피시고 적당한 옵션을 넣으시면 됩니다. 옵션들에 대한 내용은 https://www.javacodegeeks.com/2016/06/ensuring-containers-always-running-dockers-restart-policy.html 의 내용을 차분하게 확인하시면 도움이 될 것으로 보입니다.
  • volumes : 이 부분은 실제 github 에 올라가 있는 소스에서는 보실 수 없습니다. 제가 포스트 작성할 때는 로컬 git을 사용해서 했었기 때문에 volumes를 이용해서 host의 local git 디렉터리를 container에 연결해 주기 위해 지정했던 내용입니다. docker 의 -v 또는 --volume 옵션과 같은 기능입니다.
이제 전체 파일 한번 보겠습니다.

version: '2'
services:
  rabbitmq:
    build:
      context: .
      dockerfile: ./docker/Dockerfile-rabbitmq
    ports:
      - "5672:5672"
      - "15672:15672"
  config:
    build:
      context: .
      dockerfile: ./docker/Dockerfile-config
    ports:
      - "8888:8888"
  peer1:
    build:
      context: .
      dockerfile: ./docker/Dockerfile-peer1
    ports:
      - "8761:8761"
    restart: always
  peer2:
    build:
      context: .
      dockerfile: ./docker/Dockerfile-peer2
    ports:
      - "8762:8762"
    restart: always
  product:
    build:
      context: .
      dockerfile: ./docker/Dockerfile-product
    ports:
      - "9011"
    restart: always
  review:
    build:
      context: .
      dockerfile: ./docker/Dockerfile-review
    ports:
      - "9012"
    restart: always
  recommendation:
    build:
      context: .
      dockerfile: ./docker/Dockerfile-recommendation
    ports:
      - "9013"
    restart: always
  composite:
    build:
      context: .
      dockerfile: ./docker/Dockerfile-composite
    ports:
      - "9001"
    restart: always
  edge:
    build:
      context: .
      dockerfile: ./docker/Dockerfile-edge
    ports:
      - "9000:9000"
    restart: always
  hystrix:
    build:
      context: .
      dockerfile: ./docker/Dockerfile-hystrix
    ports:
      - "7979:7979"
    restart: always
  turbine:
    build:
      context: .
      dockerfile: ./docker/Dockerfile-turbine
    ports:
      - "8989:8989"
    restart: always

전체 내용을 보시면 product, review, recommendation, composite 의 경우는 ports 가 {HOST}:{GUEST} 형태가 아니라 포트 하나만 들어간 것을 보실 수 있습니다.
이 부분은 후에 이 네가지 서비스는 sacle 조정을 해 보려고 지정한 내용입니다.

docker-compose 설정파일까지 작성이 완료되었습니다.

아직 docker-compose build 같은 거 하지 마세요.
이제 실제로 프로그램의 설정 몇 가지를 고쳐야 합니다.

소스 수정


우선, 각 서비스의 bootstrap.yml 파일을 찾아서 해당 소스의 configuration server URI 설정을 변경하도록 하겠습니다. 각 서비스가 docker에서 뜬다는 것은 결국 모든 서비스가 각각의 네트워크 설정을 가지게 된다는 것과 같습니다. docker-compose 가 없을 때는 docker 의  network setting 옵션을 이용해서 해주는 등의 번거로운 작업이 필요합니다만, docker-compose 를 이용하게 되었으니 간단히 서비스의 이름으로 접근할 수 있습니다. 즉 configuration server의 URI는 http://config:8888 이렇게 되겠습니다. 이제 수정해 보겠습니다. 예제로 composite api의 bootstrap.yml 파일을 보겠습니다. (api/composite/src/main/resources/bootstrap.yml)

spring:
  cloud:
    config:
      uri: http://config:8888
      failFast: true
  application:
    name: composite

bootstrap.yml 을 찾아서 config.uri 를 바꿔주면 됩니다.

제가 만든 프로젝트에서 모든 application.yml은 configuration 서버에 올렸는데, 딱 하나만 프로젝트에 있습니다. 바로 turbine 서버입니다. 어떻게 해도 정상 동작을 하지 않아서 결국 이 프로젝트만 configuration server를 쓰지 않도록 수정을 했었습니다. 이 프로젝트의 경우는 application.yml에서 discovery server 설정을 변경해 줘야 합니다.


spring:
  application:
    name: turbine
  rabbitmq:
    host: rabbitmq

server:
  port: ${PORT:8989}

management:
  port: -1

eureka:
  client:
    service-url:
      defaultZone: http://discovery:8761/eureka/
  instance:
    preferIpAddress: false
    leaseRenewalIntervalInSeconds: 10
    leaseExpirationDurationInSeconds: 30
    metadataMap:
      instanceId: ${spring.application.name}:${spring.application.instance_id:${random.value}}

Configuration server에 등록된 서비스들의 설정 파일을 수정해야 합니다.
수정할 부분은 랜덤 포트를 쓰도록 했던 부분을 모두 포트 지정으로 바꿔줍니다. docker-compose.yml 에 지정한 포트와 맞추면 됩니다.

다음으로 모든 설정이 공유하는 설정용 git 에 등록된 application.yml 에서 discovery server의  default zone 설정을 변경해 주면 됩니다. Configuration server에 대한 설정과 같이 기존에 localhost 또는 127.0.0.1 등으로 되어있는 것을 "http://peer1:8761/eureka/, http://peer2:8762/eureka/"
으로 바꿔주면 됩니다. peer1.yml 과 peer2.yml 의 Discovery 관련 설정도 함께 변경해주면 됩니다.

자 이제 모든 준비는 마쳤습니다.

빌드 및 실행


우선 프로젝트를 다시 빌드하겠습니다.

./gradlew clean build

빌드가 성공했다면 docker-compose를 이용해서 이미지를 생성하겠습니다.

docker-compose build

아래 명령어로 이미지가 정상적으로 생성이 됐는지 확인합니다.

docker images

마지막으로 docker-compose로 서비스들을 모두 실행해 보겠습니다.
아래는 백그라운드로 실행하지 않는 명령어로 실행하면 모든 로그가 올라오며, CTRL+C 를 이용해서 모든 서비스를 중지할 수 있습니다.

docker-compose up

아래는 백그라운로 실행하는 명령어로 로그를 보고 싶다면 "docker-compose logs --follow" 명령을 이용해야 합니다.

docker-compose up -d

참고로 특정 서비스의 로그만 보고 싶을 경우에는 "docker-compose logs --follow composite" 식으로 명령을 주면 됩니다.

마지막으로 서비스를 중지하면서 기존에 생성된 container를 함께 삭제하고 싶다면 아래의 명령어로 가능합니다.
docker-compose down


테스트


테스트 하는 방법은 기존 Blog_03 과 거의 같습니다.
주요 URL 을 아래에 정리했으니 참고해서 테스트를 진행할 수 있습니다.


  • Eureka 확인 : http://localhost:8761/ 또는 http://localhost:8762/
  • Product List : http://localhost:9000/composite/product/
  • Product : http://localhost:9000/composite/product/{product id}
  • Hystrix dashboard : http://localhost:7979/hystrix
  • Turbine 의 확인 : Hystrix dashboard input 에 http://turbine:8989/ 를 넣고 Monitor Stream 클릭. (단, 최소 한번 이상 API 를 호출한 후에 해야만 정상적인 데이터가 나옴)

스케일의 조정


이제 스케일 조정을 해 보겠습니다. 앞에 docker-compose.yml 을 정리할 때 스케일 조정을 위해서 API 네개는 포트 지정을 조금 다르게 했었습니다.
우선 스케일 조정을 하는 명령어부터 알아보겠습니다.

docker-compose scale product=2

스케일의 조정은 실행 중에도 가능합니다.
또한, 스케일을 늘렸던 것을 줄이는 것도 가능한데 숫자를 낮추면 뒤에 생성된 container부터 중지가 됩니다.
product, review, recommendation, composite 은 스케일 조정이 가능하니 마음꺼 해보세요.
스케일을 조정하신 후에 Eureka dashboard에서 확인하시거나 아니면 docker-compose logs -f 를 해서 로그를 보시면 재미있으실 거예요. 최소한 저에겐 굉장히 재미있는 경험이었습니다.
단, 현재 설정에서 나머지 서비스들은 스케일을 조정하실 경우 포트 관계로 오류가 발생합니다.
참고해주세요.

결론


실제 서비스에 적용해 보지 못한 현시점에서 누군가 docker와 docker-compose의 장점을 물어본다면 좀 망설이게 됩니다. docker 는 필요한 소프트웨어나 모듈들을 마음껏 깔아보고 지우고를 할 수 있는 부분이 편하고 docker-compose 는 docker 를 이용해서 만든 서비스들을 손쉽게 빌드/실행/제거 할 수 있는 장점이 있을 뿐이지요.
하지만, 최근 주목을 받고 있고 구글의 퀴베르네시스 같은 docker 를 지원하는 다양한 솔루션이 탄생하고 있다는 것은 분명 이점이 크다는 것이지 않을까 생각합니다. 개발자답지 않은 단순한 생각이긴 하네요. 우선은 한 번 사용해 볼 만 하다는 것을 기본으로 아직은 차근차근 그 특징들을 알아가는 중이니 이해들 하시기 바랍니다.
현시점에서 가장 눈에 들어오는 부분은 scale up 관련된 부분입니다. 외국의 사례들을 보다보면 docker와 docker compose 를 이용해서 손쉽게 scale 을 조정하는 경우들을 볼 수 있습니다. 꽤 매력적인데 좀 더 실제적인 사례를 찾아보면서 실험을 하는 중입니다. 일단 간단한 형태의 스케일 조정은 테스트를 진행해서 정리해 보았습니다만, 더 실제적인 내용에 대해서 언젠가 포스팅 할 날이 있기를 바랄 뿐입니다.
오늘은 간단한 내용일 것이라고 예상을 했는데 생각보다 복잡하고 장황한 정리가 되었네요. 원래 쉬운 것을 어렵게 정리하는데 재능을 물려받았나 봅니다.

덧붙이는 말

제 기존 포스트를 보셨던 분들은 반말에서 존댓말로 바뀐 걸 의아하게 생각하실지도 모르겠습니다. 원래 잊어버리기 전에 정리 해 놓자는 목적에서 시작했던 블로글라 쓰기 편한 반말을 이용했었습니다. 그런데 최근 접속 통계를 보다 보니 적지 않은 분들이 방문하시고 계시네요. 왔다 바로 나가시는 분들이 더 많지만 말이죠. 아무튼, 뭔가 죄송한 마음에 앞으로는 블로그를 존댓말로 정리할까 합니다. 내용도 부실하고 글도 싸가지가 없으면 너무 죄송하니까 말이죠.

댓글 없음:

댓글 쓰기