서론
그동안 정리했던 포스트의 내용은 마이크로서비스 아키텍처에 대한 기반에 대한 내용이었다.일련의 마이크로서비스 아키텍처에 대한 정리의 시작은 사실 몇 달 전 Netflix OSS 를 보게 된 것이 그 계기가 됐다. Netflix 는 국내에서는 그리 유명하지는 않지만, 세계적으로는 2014년 기준으로 5,000만 명 이상의 가입자를 소유하고 있는 유명한 동영상 월정액 스트리밍 서비스를 제공하는 회사다. 이렇게 간단히 정리하기엔 좀 미안한 회사지만, Netflix 를 소개하는 포스트가 아닌 만큼 자세한 설명은 생략하겠다. (최근에 한국서비스가 시작됐다고 한다)
서비스 적으로도 유명하지만, 다양한 기술 기반을 가지고 있는 회사로도 유명하다. 서비스 특성상 클라우드를 가장 활발하게 이용하고 있는 회사 중 하나이면서, 그에 따른 다양한 솔루션들을 제작하는 회사이기도 하다. 특히 Netflix OSS(Open Source Software) 를 Netflix Open Source Center 를 통해서 공개하고 있기도 하다. 여기에는 마이크로서비스를 구성하는 다양한 솔루션은 물론 빅데이터/보안/사용자 인터페이스 등 다양한 모듈들이 공개되어있다.
그동안 그 모듈들의 설명이나 내용을 봐도 사실 거의 이해를 하지 못하고 있었다. 마이크로서비스 아키텍처에 대해서는 약간의 지식만 있을 뿐이었고, 또 변형된 아키텍처 하나가 나왔나 보네 하면서 넘어갔던 때였으니 말이다. 겨우 공부 겸 진행하던 프로젝트에서 Zuul proxy 정도 사용해 보면서 편리한 솔루션이라고 생각했을 뿐이었다. 이 때 Netflix OSS 중 일부 솔루션이 Spring-Cloud 프로젝트에 포함된 것을 알게 되었고, 그 내용을 보다가 마이크로서비스 아키텍처에 매력을 느끼게 돼서 다시 마이크로서비스 아키텍처 패턴부터 보게 되었다.
최근에는 따로 진행하는 사이드 프로젝트에서 클라우드를 이용해야 할 필요성이 있어 Spring-cloud 프로젝트를 이용하게 되었고, 이 과정에서 몇 가지 알게 된 내용을 정리를 해 볼까 하고 생각하게 된 것이다.
오늘은 Spring-cloud 와 Netflix OSS 를 이용해서 어떻게 마이크로서비스를 구성해 볼 수 있는지에 대해서 정리를 하고자 한다.
이번 정리는 Magnus Larsson의 An operations model for Microservices 의 도움을 많이 받았다.
마이크로서비스를 구성함에 있어서의 기본 구성요소는 무엇일까?
마이크로서비스 아키텍처를 실제로 구성한다고 하면 어떤 것들이 필요할까?
클라우드에서 돌아가는 여러 애플리케이션을 가지고 있는 하나의 서비스가 있다고 가정하자.
하나의 애플리케이션이 수평 확장이 필요한 상황이 되었다. 이때 새로운 애플리케이션을 컨테이너 또는 다른 클라우드 서버에 배포하고 실행을 하려고 한다.
잠깐, 물리적으로 서버가 다를 수도 있다고? 네트워크 대역도 다를 수 있고? 그럼 하드웨어 라우터나 하드웨어 로드밸런서로는 어떻게 처리를 해야 하지? 게다가 수시로 서비스가 확장됐다가 축소된다고? 언제 서비스가 확장될지 축소될지조차 미리 계획에 있는 것은 아니라고? 에잇. 나 안 해.
대충 위와 같은 시나리오지 않을까?. 특히 시스템 팀부터 개발팀, 테스트팀 등이 잘 갖추어져 있는 큰 조직(그런 회사를 다녀본 적이 없어서 잘 모르겠지만) 에서는 어느 정도 조직화/전문화가 이루어져 있어서 느릴지는 몰라도 잘 해결할 수 있지 않을까 생각한다. 하지만 개발팀이 서버 운영, 네트워크 운영, 개발 등을 모두 담당하고 있는 경우에는 사실 굉장히 버겁고 힘든 일이다.
그렇다면 Spring-cloud 는 어떤 식으로 이런 문제들을 해결하려고 할까.
우선 애플리케이션들은 실행되거나 종료될 때 어떤 서버에 본인의 상태를 알려주게 된다. 이 실행 상태를 보고받은 서버를 보통 Service Discovery Server(또는 Service Registration Server)라고 부르는데, 이 서비스는 주변 애플리케이션들을 등록하고 삭제하는 역할을 하게 된다. 이때 Discovery Server는 등록하려는 애플리케이션의 아이피 또는 호스트 주소와 포트 정보 등을 받아서 등록해 놓게 되고, 일정 간격으로 해당 애플리케이션의 상태 체크도 진행할 수 있게 되어있다 (각 애플리케이션이 보고하거나 아니면 Discovery Server 본인이 체크를 하거나).
서비스들이 확장 때문에 계속 늘어가는 과정에서 중간에 일부 설정이 변경되었다. 애플리케이션별로 설정이 패키지 내부에서 관리되고 있다면 이 과정에서 어디에 어떤 설정이 적용되고 있는지를 알기가 매우 힘들어진다. 만약, 중앙 설정관리 서버(Central Configuration Server)가 있어서 설정이 변경된 시점에서 해당 서비스들로 등록된 애플리케이션들에 설정을 재설정하라고 할 수 있다면 좋지 않을까? 또는 새로 확장되어 등록되는 애플리케이션들은 지금 현재의 설정으로 동작하리라는 것이 보장되면 좋지 않을까? 중앙 설정관리 서버의 역할도 매우 중요해 보인다.
마이크로서비스는 서비스마다 자기들이 담당하는 비즈니스 기능이 다르다. 따라서 다른 비즈니스 기능과의 연계가 필요한 경우에는 네트워크(Http 방식 또는 dummy bus 를 이용)를 이용해서 다른 서비스와 통신을 하게 된다. 연계된 서비스가 수시로 수평 확장과 축소가 이루어지는데 그 정보들을 다 다른 서비스들에 알려주려면 어떻게 해야 할까? 아! 앞에서 Discovery Server에 등록된 정보가 있지 않은가? 이 정보를 이용해서 라우팅과 로드밸런싱을 처리해 주는 소프트웨어가 이런 기능을 담당하게 된다. 예를 들자면 회원(member-api), 제품(product-api), 주문(order-api)이라는 세가지 서비스로 구성된 시스템이 있다고 할 경우 주문 정보를 처리하는 order-api 가 제품과 회원 정보가 필요하다면 두 서비스에 질의해서 정보를 조회해 와야 한다. 이때 order-api 는 소프트웨어 라우터와 로드밸런서 역할을 하는 서버에게 member-api 와 product-api 에 이런 정보를 요청해줘 라고 질의한다. 라우터와 로드밸런서 역할을 하는 서버는 Discovery Server에 member-api와 product-api 로 등록된 서비스들의 정보를 이용해서 적절한 라우팅과 로드밸런싱을 수행하여 정보를 order-api 가 다른 두 서비스에 정보를 요청할 수 있게 도움을 준다.
다음으로 마이크로서비스는 네트워크를 이용한 서비스 간 인터페이스를 이용하는 중에 특정 서비스 구간에서 문제가 발생할 경우 연속적인 실패가 나지 않도록 처리를 해줘야 한다. 그러기 위해서는 중간에서 서킷 브레이커가 실패 난 서버에 대해서 서킷브레이커를 오픈해주고 해당 오류가 복구되는 시점에서 다시 서킷브레이커를 클로즈 함으로써 서비스의 오류들을 조정해 줄 필요가 있다.
각 서비스의 오류 상태나 복구 상태 그리고 현재 오류가 발생하고 있는 내용은 무엇인지를 파악하기 위해서는 서킷브레이커의 정보나 각 서버의 상태를 확인할 수 있는 모니터링을 위한 서비스 또한 필요하다. 그리고 오류가 발생했을 때 단순한 네트워크 오류에 대해서는 이런 모니터링으로 처리되겠지만, 만약 프로그램상에서 발생한 오류일 경우에는 수많은 서버 또는 컨테이너를 돌아다니면서 로그를 확인할 수는 없는 노릇이지 않겠는가? 이를 위해서 중앙집중형으로 관리가 되고 검색할 수 있도록 기능을 제공해주는 서비스도 필요하다.
마이크로서비스는 모바일 앱에 서비스를 제공해주기도 하고 웹에 서비스를 제공해 줄 수도 있어야 한다. 이런 모든 과정에 자칫 모든 서비스가 외부로 공개되는 문제가 발생할 수 있다. 이를 처리하기 위해 권한을 조정하고 보안을 처리해 주는 기능을 가지고 있는 서비스도 있어야 한다.
이 과정에서 이전 포스트에서 봤던 마이크로서비스 구현 패턴의 하나인 aggregator 패턴이나 proxy 패턴에서의 역할을 하는 서비스(Edge Server)가 필요할 수도 있다.
말은 너무 많고 설명은 너무 장황하고(내가 글솜씨가 없어서 생기는 문제점이다) 서비스는 너무 많다. 간단히 정리를 해보자.
주요 기능 구성들
- Service Discovery Server
- Central Configuration Server
- Dynamic Routing and Loadbalancer
- Circuit Breaker
그외 주요기능을 지원할 수 있는 필요 구성들
- Edge Server
- OAuth 2.0 protected APIs
- Monitoring
- Centralized Log Analysis
구체적으로 Spring-Cloud + Netflix OSS 로 어떻게 구성될까?
Spring-cloud 에는 동일 기능을 하는 다른 솔루션에 대한 구현도 있지만, Netflix OSS의 구현을 기반으로 해서 정리한다 (Spring-cloud 에는 동일 기능을 하는 Netflix OSS 이외의 모듈에 대한 지원도 많이 있다).
모든 구성이 그렇지만 각 조직의 지식정도와 수준에 맞춰서 새로운 구성이 있을 것으로 보인다.
아래 구성은 Magnus Larsson 의 글을 기반으로 해서 정리한다.
주요 기능 구성들
기능 | 솔루션 |
Service Discovery Server | Netflix Eureka |
Central Configuration Server | Spring Cloud Configuration Server |
Dynamic Routing / Loadbalancer | Netflix Ribbon |
Circuit Breaker | Netflix Hystrix |
지원 기능들
기능 | 솔루션 |
Edge Server | Netflix Zuul |
OAuth 2.0 protected APIs | Spring-Cloud-Security |
Monitoring | Netflix Hystrix dashboard + Turbine |
Centralized Log Analysis | ELK (Elasticsearch + Logstash + Kibana) |
구성된 시스템의 전체 그림은 앞서 소개했던 Magnus Larsson의 Building microservices with Spring Cloud and Netflix OSS, part 1 의 SYSTEM LANDSCAPE 에 있는 그림을 보면 이해가 빠를 것으로 생각된다.
결론
Spring-cloud + Netflix OSS 라는 제목으로 시작했지만, 사실 Spring-cloud 의 다양한 모듈 중에서 Netflix OSS 를 연계해 놓은 기능을 사용한 구성이라고 말하는 것이 더 정확할 것이다.Springframework 는 최근 클라우드에 기반을 둔 시스템을 지원하는 프레임워크 기능 강화에 많은 부분을 할애하고 있는 것으로 보인다. Spring-boot 프로젝트들은 그 기반을 이루고 그 위에 Spring-cloud 가 뒷받침을 하고 있는데 여기에는 다양한 Springframework의 모듈들이 합쳐져서 만들어지고 있다. Hateoas, data, data-flow, actuator 등등의 많은 모듈이 Spring-Cloud 프로젝트로 함께 합쳐지고 보완되면서 나아가고 있는 것으로 보인다.
최근 계속해서 Spring-cloud 를 이용한 실험을 진행해 보고 있다. 원래 직접해 보지 않고 설명만 봐서는 잘 이해하지 못하는 수준의 실력이라 간단한 기능들과 몇 가지 간단한 실험 위주로 기능과 구성에 대해 이해해 보려고 진행한 것인데 꽤 재미가 있는 작업이 되고 있다.
아래는 위에서 설명한 내용의 기본을 제공했던 글로 현재 진행하는 pilot 과 이 블로그를 정리하는데 가장 많은 도움이 됐던 글이다.
- Spring blog : Microservice Registration and Discovery with Spring Cloud and Netflix's Eureka :
Service Discovery Server 와 Configuration Server 구성에 대한 예제가 있다.
- Magnus Larsson : Blog Series - Building Microservices
2015-01-09 일 현재 Part 4까지 진행된 시리즈의 인덱스 페이지이다.
Service Discovery Server, Configuration Server, Hystrix, OAuth 2.0, Zuul Proxy 등을 이용한 구성에 대한 설명과 함께 예제 소스도 제공이 되고 있다. 현재 내가 진행중인 pilot 을 진행하기 전에 가장 도움이 됐고, 현재도 지속적으로 다시 보는 글이다.
좋은 글 감사드립니다.
답글삭제앗.. 너무 오래된 글이라... 버전을 올려서 작업해 놓아야 하는데 그러질 못했네요. ^^ 도움이 되셨길 바랍니다.
삭제글 잘 읽었습니다. 감사합니다!!
답글삭제