피플펀드 엔지니어들은 더 넓은 세상을 가까이에서 경험하기 위해 꾸준히 글로벌 기술 컨퍼런스에 참여하고 있습니다. 작년에는 New Relic 주최 ‘FutureStack 2022’, AWS 주최 ‘re:MARS 2022’에 다녀온 후기를 전해드린 적 있죠.
작년에 이어 올해에도 피플펀드 엔지니어들이 라스베이거스에 다녀왔습니다! AWS 주최의 ‘re:Invent 2023’에 참여하기 위해서였는데요. 이번엔 Data Platform팀 리더를 맡고 있는 관유, Devops팀 리더를 맡고 있는 대성, 저희 둘이 함께 다녀왔어요.
아마존의 클라우드 회사 AWS는 매년 전세계 개발자들에게 신기술을 소개함과 동시에 자사의 서비스에 대한 다양한 적용 사례와 심화 과정을 직접 체험할 수 있는 글로벌 컨퍼런스, re:Invent를 열고 있습니다. 올해 개최된 re:Invent 행사는 11월 27일 부터 12월 1일까지, 5일 간 진행되었어요. 전세계 최대 클라우드 행사인만큼 기조 연설, 리더쉽 세션 등을 포함하여 100여개의 비즈니스/기술 트랙에 총 2천여개가 넘는 강연이 제공되고 있었습니다.
올해 저희가 re:Invent에 참가한 목표는 새로 나온 AWS의 기술 중, 피플펀드에 도입되었을 때 가장 큰 효용을 얻을 수 있는 기술을 조사하기 위함이었습니다. 또 기존에 활용하고 있는 자원과 서비스들을 비용과 시간 측면에서 최적화하는 노하우들을 얻고 싶었어요. 피플펀드가 현재 겪고 있거나, 앞으로 겪을 수 있는 문제들을 어떤 방식으로 접근하여 해결했는지 꼼꼼히 배워오는 것을 가장 큰 염두에 뒀죠.
그럼 지금부터, 저희가 지난 5일간 AWS re:Invent 2023에서 보고, 듣고, 느낀 모든 것들을 공유해볼까 합니다!
re:Invent 2023, What’s new?
행사장에 들어서자마자 가장 먼저 압도적인 스케일에 놀랐습니다. 6개의 호텔에서 진행된 이번 컨퍼런스는 세션의 수만 해도 2,000여개가 넘었는데요. 그렇기에 각 호텔을 연결하는 셔틀버스가 있었고, 호텔 내에는 수많은 인력들이 배치되어 컨퍼런스를 더 편리하게 참여할 수 있었습니다.
올해 AWS re:Invent는 작년 re:Invent에서 가장 뜨거운 주제였던 Generative AI(생성형 AI)의 열기를 이어가고 있었는데요. 올해는 Generative AI를 개발자들이 조금 더 쉽고 빠르게 적용할 수 있도록 돕는 새로운 기술들의 발표가 주를 이루었습니다. 이외에도 최근 기술진들 사이에서 가장 중요하게 생각되는 비용 절감과 자원 효율화를 주제로 여러 분야(인프라, 보안, 데이터와 머신 러닝까지)의 세션들이 저희를 기다리고 있었죠.
첫날(11/27)을 제외한 매일 오전은 AWS 각 부서의 장들이 자사의 새로운 기능을 설명하는 2시간 가량의 KeyNote 세션에 참여하는 것을 주된 일정으로 두었습니다. 이 중 가장 인상깊고 중요했던 시간은 둘째날(11/28) 진행된 AWS 대표 Adam Selipsky가 진행한 세션이었는데요.
Adam Selipsky의 발표는 이번에 AWS에서 새롭게 공개하는 기술들에 초점이 맞춰져 있었습니다. 사람들의 가장 큰 관심을 받던 Generative AI 기반 어시스턴트인 Amazon Q를 비롯해 AWS Graviton 4, Trainium 2, Bedrock 등 Feature 추출과 모델 훈련 및 검증을 돕는 여러 가지 기술들에 대해 차례대로 소개했습니다.
그 외에도 지연을 최소화함과 동시에 비용도 최적화한 S3 Express One Zone, 데이터 파이프라인을 훨씬 더 쉽게 만들 수 있게 도와주는 Zero-ETL 등을 발표함으로써 현재 AWS가 가장 집중하고 있는 기술들이 무엇인지 알 수 있었습니다.
Keynote가 끝난 둘째 날의 오후, 여러 세션들이 저희를 기다리고 있었습니다. 오후 시간은 각 고객사의 경험을 토대로 한 세션이 많았는데요. 그 중, 피플펀드가 실제로 기술 혹은 서비스를 도입하거나 적용할 때 큰 도움이 될 수 있는 세션 위주로 참여했습니다.
Data: 끊임없는 성장에 발맞추어 걷기
Data Platform팀의 리더인 저(관유)는 특히 앞서나간 회사들의 레슨런(lesson learned)을 통해 피플펀드가 시행착오를 줄일 수 있는 방법을 찾고자 했습니다. 그렇기에 피플펀드가 기존에 사용하고 있는 기술과 관련된 새로운 기술, 혹은 앞으로 도입하고자 하는 기술을 먼저 도입한 회사의 경험담을 들을 수 있는 세션 위주로 참석했죠.
그렇게 참여한 세션 중 가장 인상 깊었던 세션은 스포츠 게임을 전문으로 하는 컴퓨터 게임 브랜드 EA Sports에서 발표한 EMR을 통한 Data Platform 최신화 사례 세션이었습니다.
100개 이상의 Data 팀에서 3PB, 하루에 10TB 씩 데이터가 추가되는 상황, 발표자는 이 데이터들이 2000개 이상의 ETL 과정을 거치며 적재되는 아주 복잡한 환경에서 어떻게 최신 AWS 기술인 EMR을 도입할 수 있었는지에 대한 노하우를 나눴습니다.
인상 깊었던 부분은 전체 작업 기간이 1년 가량인데, 처음 2달은 전체 이관 과정을 설계하고 기존 파이프라인을 분류하는 데에 할애했다는 점이었습니다. 세션을 진행한 Lead 분이 얼마나 큰 확신을 가지고 프로젝트를 진행했는지 느껴졌으며, 피플펀드에서 데이터 환경을 옮길 때에도 구체적으로 어떤 점들을 신경 써야 하는지 큰 힌트를 얻을 수 있었습니다.
DevOps: Frugal Architect,비용 최적화라는 숙제
DevOps팀의 리더인 저(대성)의 경우, 피플펀드의 기반이 되는 Devops 기능들을 어떻게 하면 더 효율적이게 사용할 수 있을지 그 방법을 찾고자 했습니다. 그래서 Storage Gateway나 ElasticCahce, Aurora DB 등 현재 피플펀드가 사용하고 있는 서비스, 혹은 이미 릴리즈되었지만 알지 못했던 서비스를 효율적으로 사용하는 방법, 그리고 비용 최적화에 대한 세션을 중점으로 들었습니다.
특히 이번 re:Invent 2023 기조연설에서 Amazon의 CTO인 Werner Vogels는 비용효율적 구조인 Frugal Architect에 대해 강조했는데, AI, 퀀텀 컴퓨팅, 서버리스 같은 내용도 있지만 주요 내용은 다음과 같았습니다. 이는 피플펀드 DevOps 팀이 현재 진행 중인 프로젝트와 아키텍처에 대해 깊이 고민하게 되는 계기가 되었죠.
 Creator Frugal Architect는 제한된 자원을 최대한 활용하여 비용 효율적이고 효과적인 IT 시스템을 구축하는 것을 목표로 합니다. – Trade-Offs: 제한된 자원을 관리하기 위해 개발자는 성능, 비용, 보안 등의 요소 간에 끊임없이 균형을 맞추어야 합니다. – Unobserved Systems Lead to Unknown Costs: 관찰되지 않는 시스템은 비용 증가의 원인이 될 수 있습니다. 따라서 시스템 성능을 지속적으로 모니터링하고 비용 효율성을 최적화하는 것이 중요합니다. – Cost Aware Architectures Implement Cost Controls: 비용 인식 아키텍처는 비용 관리를 위한 다양한 도구와 기술을 활용합니다. 이는 예산 책정, 지출 추적, 비용 절약 기회 식별 등을 포함합니다. – Cost Optimization is Incremental: 비용 최적화는 지속적인 프로세스입니다. 시스템을 지속적으로 개선하고 새로운 비용 절약 기회를 찾아야 합니다. |
사실 어떻게 보면 크게 새롭지 않은 원론적인 이야기라고도 볼 수 있습니다. 다만 지금 눈앞에 놓인 문제들을 핑계 삼아 끊임없이 고민해야 할 원칙을 못 지키고 있지는 않은지, DevOps 팀으로서의 역할을 잘 수행하고 있는지에 대해 다시 한 번 생각해보게 된 것 같습니다. 이 세션을 통해 비용효율적이고 지속적인 개발과 운영을 위한 방향을 다잡는 시간을 가질 수 있었습니다.
Chalk Talk Session: 엔지니어들의 언어는 만국 공통
AWS re:Invent와 같은 규모가 큰 글로벌 컨퍼런스의 묘미는 바로 전세계 엔지니어들과 소통할 수 있다는 점일텐데요. 강연을 듣는 형식이었던 보통의 세션과 다르게, 칠판을 두고 모든 참석자가 토론하는 Chalk Talk Session에서는 다른 엔지니어들과 활발히 교감할 수 있었습니다.
Chalk Talk session은 이름 그대로, Chalk(보드) 와 Talk(대화)를 바탕으로 진행되었습니다. 강연자가 발표 중간 중간 계속 질문을 던지고, 그 질문에 대해 참여하는 모든 사람들이 대답 혹은 추가적으로 궁금한 것들을 질문하며 세션이 이어졌는데요. 세션에서 소개되는 기술들을 새로 도입하려 하는 사람들의 궁금증을 해소해주는 유익한 시간이었습니다. 또, 기술을 현재 활용하고 있는 사람들의 고충과 경험담을 생생히 들을 수 있는, 국내에서는 보기 힘든 진귀한 장면이 아니었나 싶습니다.
모두와 교감하며 기술에 대한 이야기를 나눌 수 있는 것은 세션에서 뿐만이 아니었습니다. 라스베가스에서 저희는 전세계 사람들과 소통하며 같은 문제에 대해 공감하고 의논할 수 있었는데요. 캐나다뱅크에서 카프카 어드민을 담당하고 계신 분에게 망분리 환경에서의 설계도 전해 들을 수 있었고, 인도인 개발자에게 추천받은 현지 인도인들이 자주 가는 식당에도 가볼 수 있었습니다.
마치며
신기술에 대한 힌트를 얻으며 세계의 흐름에 발맞추는 시간부터, 기술을 도입할 때 시행착오를 줄이는 법, 비용 효율화, 네트워킹 시간까지! 피플펀드 엔지니어들이 전해드린 AWS re:Invent 참관기 어떠셨나요?
지난 5일 간 컨퍼런스에 참여하며 느꼈던 저희의 소감으로 이번 콘텐츠를 마무리 해볼까 합니다.
관유: 컨퍼런스에 참여하며 기술적인 인사이트도 많이 얻을 수 있었지만 정말 흥미로웠던 점들은 거의 모든 발표들이 개발문화에 대한 이야기를 빼놓지 않았다는 점이었습니다. 아무리 좋은 기술을 적용한다고 해도 이를 활용하기 위한 개발자들 간의 약속과 마음가짐이 무엇보다 중요하다는 것을 느꼈고, 이런 문화를 만들어가기 위한 여러 가지 팁과 경험들까지 공유 받게 되어 뜻 깊었습니다. 이번 컨퍼런스를 통해 배운 것들을 바탕으로 피플펀드에서도 새로운 기술 혁신의 바람이 불 수 있게 노력해보고자 합니다.
대성: 평소 피플펀드의 인프라를 구성할 때 ‘어떻게 설계해야 비용도 줄여가면서 효율적으로 AWS의 제품들을 사용할 수 있을까’ 라는 고민을 늘 하고 있었는데요. 이번 컨퍼런스를 통해 잘 몰랐던 기술들에 대해서 많이 배울 수 있었을 뿐만 아니라, 이미 나온 지 꽤 된 기술이지만 몰랐던 솔루션에 대해서도 새롭게 알 수 있었습니다. 이렇게 보고 배운 내용들을 사용해, 피플펀드에서 안정적인 서비스를 구성하도록 노력할 예정입니다.
written & photographed by Kwanyu, Daesung
edited by Gaeun
더 혁신적인 피플펀드로 가는 길, 함께하고 싶다면?
