기본 콘텐츠로 건너뛰기

Spring-Cloud 프로젝트와 Netflix OSS를 이용한 Microservice 구성

서론

그동안 정리했던 포스트의 내용은 마이크로서비스 아키텍처에 대한 기반에 대한 내용이었다.

일련의 마이크로서비스 아키텍처에 대한 정리의 시작은 사실 몇 달 전 Netflix OSS 를 보게 된 것이 그 계기가 됐다. Netflix 는 국내에서는 그리 유명하지는 않지만, 세계적으로는 2014년 기준으로 5,000만 명 이상의 가입자를 소유하고 있는 유명한 동영상 월정액 스트리밍 서비스를 제공하는 회사다. 이렇게 간단히 정리하기엔 좀 미안한 회사지만, Netflix 를 소개하는 포스트가 아닌 만큼 자세한 설명은 생략하겠다. (최근에 한국서비스가 시작됐다고 한다)

서비스 적으로도 유명하지만, 다양한 기술 기반을 가지고 있는 회사로도 유명하다. 서비스 특성상 클라우드를 가장 활발하게 이용하고 있는 회사 중 하나이면서, 그에 따른 다양한 솔루션들을 제작하는 회사이기도 하다. 특히 Netflix OSS(Open Source Software) 를 Netflix Open Source Center 를 통해서 공개하고 있기도 하다. 여기에는 마이크로서비스를 구성하는 다양한 솔루션은 물론 빅데이터/보안/사용자 인터페이스 등 다양한 모듈들이 공개되어있다.

그동안 그 모듈들의 설명이나 내용을 봐도 사실 거의 이해를 하지 못하고 있었다. 마이크로서비스 아키텍처에 대해서는 약간의 지식만 있을 뿐이었고, 또 변형된 아키텍처 하나가 나왔나 보네 하면서 넘어갔던 때였으니 말이다. 겨우 공부 겸 진행하던 프로젝트에서 Zuul proxy 정도 사용해 보면서 편리한 솔루션이라고 생각했을 뿐이었다. 이 때 Netflix OSS 중 일부 솔루션이 Spring-Cloud 프로젝트에 포함된 것을 알게 되었고, 그 내용을 보다가 마이크로서비스 아키텍처에 매력을 느끼게 돼서 다시 마이크로서비스 아키텍처 패턴부터 보게 되었다.

최근에는 따로 진행하는 사이드 프로젝트에서 클라우드를 이용해야 할 필요성이 있어 Spring-cloud 프로젝트를 이용하게 되었고, 이 과정에서 몇 가지 알게 된 내용을 정리를 해 볼까 하고 생각하게 된 것이다.

오늘은 Spring-cloud 와 Netflix OSS 를 이용해서 어떻게 마이크로서비스를 구성해 볼 수 있는지에 대해서 정리를 하고자 한다.

이번 정리는 Magnus Larsson의 An operations model for Microservices 의 도움을 많이 받았다.

마이크로서비스를 구성함에 있어서의 기본 구성요소는 무엇일까?

마이크로서비스 아키텍처를 실제로 구성한다고 하면 어떤 것들이 필요할까?

클라우드에서 돌아가는 여러 애플리케이션을 가지고 있는 하나의 서비스가 있다고 가정하자.

하나의 애플리케이션이 수평 확장이 필요한 상황이 되었다. 이때 새로운 애플리케이션을 컨테이너 또는 다른 클라우드 서버에 배포하고 실행을 하려고 한다.
잠깐, 물리적으로 서버가 다를 수도 있다고? 네트워크 대역도 다를 수 있고? 그럼 하드웨어 라우터나 하드웨어 로드밸런서로는 어떻게 처리를 해야 하지? 게다가 수시로 서비스가 확장됐다가 축소된다고? 언제 서비스가 확장될지 축소될지조차 미리 계획에 있는 것은 아니라고? 에잇. 나 안 해.
대충 위와 같은 시나리오지 않을까?.  특히 시스템 팀부터 개발팀, 테스트팀 등이 잘 갖추어져 있는 큰 조직(그런 회사를 다녀본 적이 없어서 잘 모르겠지만) 에서는 어느 정도 조직화/전문화가 이루어져 있어서 느릴지는 몰라도 잘 해결할 수 있지 않을까 생각한다. 하지만  개발팀이 서버 운영, 네트워크 운영, 개발 등을 모두 담당하고 있는 경우에는 사실 굉장히 버겁고 힘든 일이다.

그렇다면 Spring-cloud 는 어떤 식으로 이런 문제들을 해결하려고 할까.

우선 애플리케이션들은 실행되거나 종료될 때 어떤 서버에 본인의 상태를 알려주게 된다. 이 실행 상태를 보고받은 서버를 보통 Service Discovery Server(또는 Service Registration Server)라고 부르는데, 이 서비스는 주변 애플리케이션들을 등록하고 삭제하는 역할을 하게 된다. 이때 Discovery Server는 등록하려는 애플리케이션의 아이피 또는 호스트 주소와 포트 정보 등을 받아서 등록해 놓게 되고, 일정 간격으로 해당 애플리케이션의 상태 체크도 진행할 수 있게 되어있다 (각 애플리케이션이 보고하거나 아니면 Discovery Server 본인이 체크를 하거나). 

서비스들이 확장 때문에 계속 늘어가는 과정에서 중간에 일부 설정이 변경되었다. 애플리케이션별로 설정이 패키지 내부에서 관리되고 있다면 이 과정에서 어디에 어떤 설정이 적용되고 있는지를 알기가 매우 힘들어진다. 만약, 중앙 설정관리 서버(Central Configuration Server)가 있어서 설정이 변경된 시점에서 해당 서비스들로 등록된 애플리케이션들에 설정을 재설정하라고 할 수 있다면 좋지 않을까? 또는 새로 확장되어 등록되는 애플리케이션들은 지금 현재의 설정으로 동작하리라는 것이 보장되면 좋지 않을까? 중앙 설정관리 서버의 역할도 매우 중요해 보인다.

마이크로서비스는 서비스마다 자기들이 담당하는 비즈니스 기능이 다르다. 따라서 다른 비즈니스 기능과의 연계가 필요한 경우에는 네트워크(Http 방식 또는 dummy bus 를 이용)를 이용해서 다른 서비스와 통신을 하게 된다. 연계된 서비스가 수시로 수평 확장과 축소가 이루어지는데 그 정보들을 다 다른 서비스들에 알려주려면 어떻게 해야 할까? 아! 앞에서 Discovery Server에 등록된 정보가 있지 않은가? 이 정보를 이용해서 라우팅과 로드밸런싱을 처리해 주는 소프트웨어가 이런 기능을 담당하게 된다. 예를 들자면 회원(member-api), 제품(product-api), 주문(order-api)이라는 세가지 서비스로 구성된 시스템이 있다고 할 경우 주문 정보를 처리하는 order-api 가 제품과 회원 정보가 필요하다면 두 서비스에 질의해서 정보를 조회해 와야 한다. 이때 order-api 는 소프트웨어 라우터와 로드밸런서 역할을 하는 서버에게 member-api 와 product-api 에 이런 정보를 요청해줘 라고 질의한다. 라우터와 로드밸런서 역할을 하는 서버는 Discovery Server에 member-api와 product-api 로 등록된 서비스들의 정보를 이용해서 적절한 라우팅과 로드밸런싱을 수행하여 정보를 order-api 가 다른 두 서비스에 정보를 요청할 수 있게 도움을 준다.

다음으로 마이크로서비스는 네트워크를 이용한 서비스 간 인터페이스를 이용하는 중에 특정 서비스 구간에서 문제가 발생할 경우 연속적인 실패가 나지 않도록 처리를 해줘야 한다. 그러기 위해서는 중간에서 서킷 브레이커가 실패 난 서버에 대해서 서킷브레이커를 오픈해주고 해당 오류가 복구되는 시점에서 다시 서킷브레이커를 클로즈 함으로써 서비스의 오류들을 조정해 줄 필요가 있다.

각 서비스의 오류 상태나 복구 상태 그리고 현재 오류가 발생하고 있는 내용은 무엇인지를 파악하기 위해서는 서킷브레이커의 정보나 각 서버의 상태를 확인할 수 있는 모니터링을 위한 서비스 또한 필요하다. 그리고 오류가 발생했을 때 단순한 네트워크 오류에 대해서는 이런 모니터링으로 처리되겠지만, 만약 프로그램상에서 발생한 오류일 경우에는 수많은 서버 또는 컨테이너를 돌아다니면서 로그를 확인할 수는 없는 노릇이지 않겠는가? 이를 위해서 중앙집중형으로 관리가 되고 검색할 수 있도록 기능을 제공해주는 서비스도 필요하다.

마이크로서비스는 모바일 앱에 서비스를 제공해주기도 하고 웹에 서비스를 제공해 줄 수도 있어야 한다. 이런 모든 과정에 자칫 모든 서비스가 외부로 공개되는 문제가 발생할 수 있다. 이를 처리하기 위해 권한을 조정하고 보안을 처리해 주는 기능을 가지고 있는 서비스도 있어야 한다.
이 과정에서 이전 포스트에서 봤던 마이크로서비스 구현 패턴의 하나인 aggregator 패턴이나 proxy 패턴에서의 역할을 하는 서비스(Edge Server)가 필요할 수도 있다.

말은 너무 많고 설명은 너무 장황하고(내가 글솜씨가 없어서 생기는 문제점이다) 서비스는 너무 많다. 간단히 정리를 해보자.

주요 기능 구성들
  • Service Discovery Server
  • Central Configuration Server
  • Dynamic Routing and Loadbalancer
  • Circuit Breaker
그외 주요기능을 지원할 수 있는 필요 구성들
  • Edge Server
  • OAuth 2.0 protected APIs
  • Monitoring
  • Centralized Log Analysis

구체적으로 Spring-Cloud + Netflix OSS 로 어떻게 구성될까?

Spring-cloud 에는 동일 기능을 하는 다른 솔루션에 대한 구현도 있지만, Netflix OSS의 구현을 기반으로 해서 정리한다 (Spring-cloud 에는 동일 기능을 하는 Netflix OSS 이외의 모듈에 대한 지원도 많이 있다).
모든 구성이 그렇지만 각 조직의 지식정도와 수준에 맞춰서 새로운 구성이 있을 것으로 보인다.
아래 구성은 Magnus Larsson 의 글을 기반으로 해서 정리한다. 

주요 기능 구성들

기능 솔루션
Service Discovery Server Netflix Eureka
Central Configuration Server Spring Cloud Configuration Server
Dynamic Routing / Loadbalancer Netflix Ribbon
Circuit Breaker Netflix Hystrix

지원 기능들

기능 솔루션
Edge Server Netflix Zuul
OAuth 2.0 protected APIs Spring-Cloud-Security
Monitoring Netflix Hystrix dashboard + Turbine
Centralized Log Analysis ELK (Elasticsearch + Logstash + Kibana)


구성된 시스템의 전체 그림은 앞서 소개했던 Magnus Larsson의 Building microservices with Spring Cloud and Netflix OSS, part 1 의 SYSTEM LANDSCAPE 에 있는 그림을 보면 이해가 빠를 것으로 생각된다.

결론

Spring-cloud + Netflix OSS 라는 제목으로 시작했지만, 사실 Spring-cloud 의 다양한 모듈 중에서 Netflix OSS 를 연계해 놓은 기능을 사용한 구성이라고 말하는 것이 더 정확할 것이다.

Springframework 는 최근 클라우드에 기반을 둔 시스템을 지원하는 프레임워크 기능 강화에 많은 부분을 할애하고 있는 것으로 보인다. Spring-boot 프로젝트들은 그 기반을 이루고 그 위에 Spring-cloud 가 뒷받침을 하고 있는데 여기에는 다양한 Springframework의 모듈들이 합쳐져서 만들어지고 있다. Hateoas, data, data-flow, actuator 등등의 많은 모듈이 Spring-Cloud 프로젝트로 함께 합쳐지고 보완되면서 나아가고 있는 것으로 보인다.

최근 계속해서 Spring-cloud 를 이용한 실험을 진행해 보고 있다. 원래 직접해 보지 않고 설명만 봐서는 잘 이해하지 못하는 수준의 실력이라 간단한 기능들과 몇 가지 간단한 실험 위주로 기능과 구성에 대해 이해해 보려고 진행한 것인데 꽤 재미가 있는 작업이 되고 있다.

아래는 위에서 설명한 내용의 기본을 제공했던 글로 현재 진행하는 pilot 과 이 블로그를 정리하는데 가장 많은 도움이 됐던 글이다.

- Spring blog : Microservice Registration and Discovery with Spring Cloud and Netflix's Eureka :
  Service Discovery Server 와 Configuration Server 구성에 대한 예제가 있다.

- Magnus Larsson : Blog Series - Building Microservices
  2015-01-09 일 현재 Part 4까지 진행된 시리즈의 인덱스 페이지이다.
  Service Discovery Server, Configuration Server, Hystrix, OAuth 2.0, Zuul Proxy 등을 이용한 구성에 대한 설명과 함께 예제 소스도 제공이 되고 있다. 현재 내가 진행중인 pilot 을 진행하기 전에 가장 도움이 됐고, 현재도 지속적으로 다시 보는 글이다.


댓글

  1. 좋은 글 감사드립니다.

    답글삭제
    답글
    1. 앗.. 너무 오래된 글이라... 버전을 올려서 작업해 놓아야 하는데 그러질 못했네요. ^^ 도움이 되셨길 바랍니다.

      삭제
  2. 글 잘 읽었습니다. 감사합니다!!

    답글삭제

댓글 쓰기

이 블로그의 인기 게시물

경력 개발자의 자기소개서에 대해서...

갑자기 뜬금없이 이런 글을 쓰다니 무슨 생각이야? 라고 생각하시는 분들이 있을지도 모르겠네요. 뜬금없음에 대한 변명은 잠시 접어두고 일단 오늘 쓰려고 하는 글을 시작해볼까 합니다. 개발자로 대충 16년을 그럭저럭 보내왔습니다. 시대적 상황으로 5년 차쯤에 대리로 처음 팀장을 시작했으니, 일반 개발자로 산 시간보다는 어쨌건 프로젝트 또는 팀의 리더로 산 시간이 더 많았던 것 같습니다. 그 기간 동안 남들보다 좀 심하게 회사를 많이 옮겨 다니다 보니 꽤 많은 면접을 볼 수 있는 경험이 있었고, 또 옮긴 회사가 대부분 팀을 리빌딩하는 곳이었다 보니 꽤 많은 채용절차에 관여할 기회가 있어서 어린 나이부터 비교적 많은 이력서를 검토했고 면접관으로도 여러 사람을 만날 수 있었습니다. 처음 면접을 보러 다니던 시절의 제 이력서의 자기소개서는 항상 "19XX년 봄 XX업계에 종사하시던 아버님과 집안일에 헌신적인 어머니의 유복한 가정에 1남 1녀의 막내로..." 로 시작되었습니다 (이 문장에 향수를 느끼시는 분들 많으실 거예요. ^^). 경력이 5년이 넘은 어느 날 도대체 이 문장을 왜 써야 하느냐는 의문이 생겨서 조금 바꾸긴 했습니다만, 그 뒤로도 꽤 오랜 세월을 이런 자기소개서가 항상 제 이력서에 붙어있었죠. 요즘 누가 저런 식으로 자기소개서를 써? 라고 생각하시는 분들 많으실 거로 생각해요. (대신 요즘은 대학 시절의 봉사활동이나 해외연수 이력이... 뭐 어차피 그놈이 그놈입니다.) 저런 자기소개서를 써야 한다는 것이 어디서 어떻게 시작된 것인지는 몰라도 회사를 그만두기 전인 2년 전까지도 약간의 표현은 다를지 모르지만 비슷한 문장으로 시작하는 자기소개서를 이력서에 첨부해서 보내는 지원자들을 볼 수 있었습니다. 이제 제가 뜬금없는 이런 글을 쓰게 된 이유를 밝히고 계속 진행해야겠네요. 블로그에 올릴 글을 준비하는 일이 생각보다 힘들어요. 블로그에 올리려고 준비한 주제에 맞는 소스를 작업하고 거기에 글을 입히다 보면 가끔

Springframework 5에서 바뀌는 것들에 대한 간단 정리 및 생각

Spring framework 5 에 대해 많은 분이 기대와 두려움을 가지고 계시지 않을까 생각합니다. 특히 기대를 하고 계신 분들은 Reactive Programming 지원을 기대하고 계시지 않은가 생각이 드는데요. 7월 초에 John Thompson 이란 분이 D-Zone에 아주 깔끔하고 멋지게 정리를 잘해서 글을 쓰셨더라구요. 해당 글은  https://dzone.com/articles/whats-new-in-spring-framework-5 에서 확인을 하실 수 있습니다. 혹시 Spring framework 5에서 달라지는 내용의 좀 더 자세한 내용이 필요하신 분들은 Spring framework github의 wiki 를 참고하시면 됩니다. 본 포스트는 언제나 그렇듯이 윗글에 대한 번역이 아닙니다. 그저 윗글을 다시 정리하면서 제 생각을 한번 정리해 놓은 포스트입니다. Spring framework 5는 현재 5.0.0.RC2(2017.07.23일 기준)까지 릴리즈된 상황입니다. Spring framework 5에서 크게 변화하는 내용을 John Thompson은 8가지로 깔끔하게 정리해주고 있습니다. 1. JDK 지원 버전의 업데이트 5버전은 원래 JDK 9 버전의 지원을 위해서 시작됐던 프로젝트로 알고 있는데 맞는지는 모르겠네요. JDK 9의 Release가 늦어져서 Spring framework 5가 먼저 Release 될 것으로 보이지만, JDK 9가 Release가 되면 언제건 적용할 수 있다고 합니다. 좀 아쉬운 부분은 JDK의 최소 버전은 JDK 8이라는 부분이 아닐까 싶네요. 이 때문에 Spring framework 5에 무관심한 분들도 많으실 거라고 생각합니다. 지금 진행하는 프로젝트는 JDK 8을 기반으로 합니다만, 최근까지 다니던 회사의 경우는 JDK 7까지가 업그레이드 한계였던 회사였습니다. 아마도 JDK 업그레이드를 쉽게 못 하시는 회사들이 많으니 "나랑은 관계없는 얘기군"

Gradle 을 이용해서 Multiproject 를 구성하는 방법 (중 하나)

개요 회사에서 Gradle 을 이용하게 된 이래로 계속 Multi-project 형태로 설정하여 진행을 해 오고 있다. 매번 멀티 프로젝트 형태로 만들어지고 있는 회사의 프로젝트들이다 보니 그때마다 다시 이전 빌드 스크립트를 보면서 만드는데 프로젝트들이 복잡하다보니 필요없는 설정들까지 복사해서 쓰고 있는 부분들이 있어서 한번 정리를 했으면 하고 있었다. 가장 기본적인 상태의 멀티프로젝트용 build.gradle 에 대한 여러가지 방법 중 한가지라 생각하고 참고가 된다면 좋겠다. 요구사항 기본 요구사항은 다음과 같다. 1) 멀티프로젝트는 디렉터리를 기반으로 아래와 같이 그룹으로 만들어 질 수 있어야 한다.   - Shared : 다른 프로젝트에서 Dependency로 추가될 수 있는 공통 라이브러리를 포함하는 라이브러리 모듈 그룹   - Web : Front 모듈 그룹   - Server : 주로 어플리케이션 간의 설정 등을 관리하는 Server 모듈 그룹   - Service : Web API 서버 모듈 그룹 2) 모든 Subproject 들은 Java project 이며, 프로젝트 명은 "모듈그룹명-모듈명" 으로 만든다. 즉, Server 모듈의 configuration-server 모듈이라면 server-configuration-server의 형태로 만들어지면 된다. 이후에 작업된 모든 내용은 Ubuntu 14.04 OS와 IntelliJ IDEA 15에서 작업되었다. (윈도우즈와 이클립스에서도 동일한 내용을 동작이 될 것으로 보인다. 다만, 테스트되지 않았을 뿐이다) Main Gradle Script 작업 1) 파일 구성   - build.gradle : gradle script 파일   - settings.gradle : sub project 관리를 위한 파일 2) build.gradle 파일 작성   - 우선은  프로젝트 기본 정보로 group 정보와 version 을 설정한다. 본인의