Datadog은 모니터링 솔루션을 제공하는 SaaS 회사입니다. 대부분의 모니터링 서비스가 그렇듯이 모니터링의 중심이 되는 APM(Application Performance Monitoring)으로 시작했고 수년 전에는 당시 APM으로 가장 인기 있던 new relic과 경쟁하고 있었지만, Datadog의 APM에만 머무르지 않고 분산 트레이싱, 클라우드 모니터링, 보안, RUM(Real User Monitoring), Kubernetes 모니터링 등으로 확장하면서 모니터링 및 옵저버빌리티 분야에서 가장 우위에 있는 회사가 되었다.(현재 시가 총액은 450억 달러로, 원화로는 60조 원 가까이 된다.)

Dash는 Datadog의 기술 콘퍼런스로 2018년부터 시작되었고 현재 회사에서도 Datadog을 사용하고 있기에 이번에 기회가 생겨서 참석하게 되었다. 참고로 Datadog의 본사가 뉴욕에 있기 때문에 Dash 컨퍼런스도 보통 뉴욕에서 열린다.

Day 0

Dash는 6월 25~26일 이틀간 진행되었는데 한국에서 24일 9:50분에 출발해서 뉴욕에 24일 월요일 12시에 도착하는 일정이어서 집에서는 새벽에 나가야 했다. 주로 내가 많이 가는 샌프란시스코 등의 서부를 갈 때는 오후 늦게 출발하는 경우가 많아서 이제는 체력의 문제로 밤새고 출발하지는 못하지만, 이번엔 새벽부터 집에서 나가야 했기 때문에 밤을 새우고 출발했다. 덕분에 14시간의 비행시간이었지만 10시간을 비행기에서 잤더니 아주 지루하지 않게 도착했다.

John F. Kennedy 공항에 도착해서 메가존에서 대절한 버스로, 맨해튼으로 이동했다.(사진에서 저 멀리 맨해튼이 보이기 시작한다.) 공항에서는 한 시간 정도 걸려서 맨해튼 시내로 도착했다.

바로 숙소로 가면 다들 잘 까봐 그런지 이번 참석을 주관해 준 메가존에서 첫날을 관광 일정을 준비해주었다. 월 스트리트도 가보고(3일 뒤에, 나스닥에 네이버웹툰이 상장했는데 아는 회사의 로고가 걸려있었으면 더 좋았을 뻔했다.) 두려움 없는 소녀상도 봤다. 원래 두려움 없는 소녀상은 월 스트리트에서 유명한 황소 앞에 서 있었고 이는 임시로 설치한 것이었는데 인기가 많아서 설치기간을 연장하면서 뉴욕증권거래소 앞으로 이동했다. 그러고는 배를 타고 리버티섬에 있는 자유의 여신상을 보고 돌아왔다.

저녁까지 먹은 뒤에 숙소로 돌아왔다. 보통 시차 적응 때문에, 숙소에 오면 그대로 뻗기 마련이었는데 슬랙이랑 이것저것 확인하다 보니 1시 넘어서 잠들게 되었다.(시차 적응하려면 너무 일찍 잠들어서 새벽에 깨면 더 곤란하긴 하다.) 숙소 사진은 아침에 찍었는데 최근 맨해튼에 새로 지은 호텔은 최대한 방을 많이 만들려다 보니까 이렇게 작은 방으로 높은 층수로 짓는다고 한다. 위치상 가격이 싸지도 않을 텐데 좁긴 좁았다. 캐리어를 열 수 있는 공간이 없어서 침대에 올리면 열 수 없을 정도였고 맨해튼의 땅값을 체감할 수 있는 순간이었다.

Day 1

25일은 Dash가 열리는 첫날이라 등록대에 긴 줄이 서서 받아야 했다.

행사는 맨해튼 서쪽에 위치한 Javits Center에서 열렸다. 3층은 등록대와 스폰서 부스들이 있는 Expo 공간이 있고 4층과 5층에 각 세션 장소와 키노트를 위한 홀이 자리 잡고 있었다. 첫날은 워크숍과 Datadog 인증 시험이 있고 키노트와 본격적인 세션을 둘째 날에 있었다.

WORKSHOP: Diagnose and Optimize Code Performance with Continuous Profiler

워크숍은 인원 제한이 있어서 미리 신청해야 했는데 콘퍼런스 분위기를 잘 몰라서 미리 신청하지 못하고 있었는데 마침 빈자리가 나와서 신청해서 들어갔다. 막상 들어가니 자리가 엄청 꽉 차있지는 않았다. 회사에서 Datadog을 많이 쓰고 있긴 하지만 SRE 팀에서 비용 관리와 정책 등은 사용하지만 실제로 연결해서 모니터링하는 것은 서비스 개발팀이 주로 하므로 실제 사용은 서비스 개발팀에서 더 많이 한다고 할 수 있다.

이슈가 생겼을 때 가장 많이 보는 것이 APM과 분산 트레이싱, Continuous Profiler인데 막상 문제가 있을 때 추적하다 보면 원인을 찾기 어려울 때도 있고 서비스마다 보이는 데이터도 좀 다르고, 해서 해당 기능에 대해서 명확히 알고 싶어서 WORKSHOP: Diagnose and Optimize Code Performance with Continuous Profiler에 참석했다.

이 워크숍은 온라인 러닝 센터에 튜토리얼로 되어 있는 과정을 실제로 같이하면서 설명해 주는 3시간짜리 과정이었다. Datadog을 연습해 보려고 할 때 회사 계정에는 이미 너무 많은 데이터가 있어서 어렵고 개인 계정에서는 비용이 나오기 때문에 어려웠는데 온라인 러닝센터의 튜토리얼은 튜토리얼을 하기 위한 임시 계정 생성부터 웹용 콘솔에서 직접 애플리케이션 실행과 설정까지 해볼 수 있어서 튜토리얼이 정말 잘되어 있다는 생각이 들었다.

콘퍼런스 돌아가서도 이 튜토리얼만 따라 해봐도 큰 도움이 될 거라는 생각이 들었다. 해당 워크숍은 Java 애플리케이션을 띄우고 여기에 스트레스 테스트를 실행하면서 Datadog에 나오는 데이터로 문제 되는 상황을 추적하는 과정이었다. Datadog 기능이 꽤 복잡한데 프로파일링 설정으로 어디까지 연결되어서 볼 수 있는지 알수 있어서 아주 좋았고 실무에서도 유용해 보였다. 물론 튜토리얼은 문제 상황을 일부러 만들었기 때문에 Datadog에서 원인이 되는 코드 라인까지 명확하게 나오지만, 실제 애플리케이션은 너무 복잡해서 이렇게까진 보이지 않았지만 앞으로 이슈가 있을 때 잘 사용해 볼 수 있을 것 같았다. 트레이스에서 코드 핫스팟으로 의심되는 코드를 집어주고 Flame Graph에서 Method뿐 아니라 Method+Line으로 보면 문제 되는 곳의 코드라인까지 확인할 수 있는 점이 좋았다.

점심은 APAC을 위해서 점심을 따로 제공해 주었는데 기대와는 좀 달랐다. 미국에서 바라보는 아시아 음식 같은 느낌이었는데 내 입맛에 맞진 않아서 많이 먹진 않았다.

WORKSHOP: Practical DevSecOps: Shifting Security Left with Datadog Code Analysis

오후에는 WORKSHOP: Practical DevSecOps: Shifting Security Left with Datadog Code Analysis 워크숍에 들어갔다. 회사에서 쓰는 코드 분석 도구인 SonarCloud가 만족스럽진 않은 편이라서 대안이 될 수 있을까? 해서 들어가 봤다.

오전에 들었던 워크숍의 난이도가 꽤 좋았던 것에 비해서 이 워크숍은 너무 쉬웠다. 오전과 똑같이 온라인 튜토리얼을 따라 하는 것이었는데 코드 분석 튜토리얼이라 예제 코드 저장소를 클론하고 Datadog을 GitHub과 연동해서 GitHub Actions 워크플로우를 설정하는 등의 과정이 필요했는데 그냥 문서 보고 그대로만 하면 될 것 같은 것을 너무 천천히 진행해서 지루할 정도였다. 물론 이런 워크숍이 난이도를 조절하는게 쉽진 않지만 기본적인 설정에만 너무 시간을 쓰는 게 아쉽게 느껴졌다. Code Analysis라는 게 엄청 새로운 기능은 아니고 대충 따라 해보니 느낌은 알 것 같아서 중간에 나왔다.

Expo

Expo는 스폰서 부스가 있는 곳이고 식사나 간식을 먹을 수 있게 테이블과 의자도 있어서 사실 제일 많은 시간을 보낸 곳이다. 알고 있던 업체도 있지만 인상적인 업체를 좀 살펴보면...

rapdev는 Datadog의 골드 파트너였는데 Datadog과 ServiceNow의 도입을 도와주는 회사이다. Managed Datadog이란 말이 처음에는 아주 어색하게 들렸는데(Datadog을 설치형으로 사용하지 않고 이미 SaaS니까...) rapdev의 경험을 토대로 베스트프릭티스를 적용해서 비용도 최적화해 주고 Datadog의 모니터링 설정이나 보안 설정 등을 대신 관리해 준다는 의미로 이해했다. 이런 서비스를 직접 쓸 거 같지는 않지만, Datadog 도입이 사업이 될 정도로 Datadog을 중심으로 한 생태계가 커졌다는 것을 알 수 있었다.

PerfectScale은 Kubernetes의 비용 최적화 솔루션을 제공하는 회사인데 사실 비용 최적화 솔루션에 관심은 별로 없는데(비용 최적화 자체에 관심이 없다기보다는 보통 이런 도구들이 비슷비슷한 수준이라고 느껴서...) 기념품을 받기 위해 도장을 받으려고 설명을 듣게 되었다. 최근 한 달간의 usage 메트릭을 보고 Kubernetes에서 아낄 수 있는 부분을 보여주는 것이 흥미로웠고 Utilization이 100%가 될순 없으니 목표치를 가지고 거기서 아낄 수 있는 비용을 계산해야 하는데 PerfectScale에서는 resilience라는 개념을 도입해서 서비스마다 등급을 지정하고 그 등급에 따라 어느 정도의 안정성(=여유 리소스)을 줄 것인지를 보여준다. 개인적으로 이런 도구들은 실행이 훨씬 어려운데 너무 가이드에만 집중하고 도구 간의 특색도 그리 크기 못하다고 생각하고 있다.

cortex는 IDP(Internal Developer Platform)를 제공하는 업체이다.(Prometheus의 장기 스토리지인 cortex가 아니다.) IDP는 내 업무와도 큰 관련이 있기 때문에 좀 자세히 살펴봤다. 기본적으로 서비스 카탈로그가 있고 여기서 서비스 담당자 정보가 슬랙 핸들을 설정할 수 있고 구경할 때는 내부 시스템과 연동하는 방법까지는 다 이해 못 했는데 연동하면 프로젝트별로 점수가 매겨지고 여기에 골드, 실버, 브론즈 같은 등급도 추가된다. 이 등급에 따라 MTTR을 1시간 이내여야 한다거나 하는 등의 규칙이 지정할 수 있고 프로젝트에 README가 있는지, 담당자 설정 등 대부분 점수로 관리해서 점수를 올리도록 하고 있다. 잘 만들긴 했지만, 개인적으로 보통 가이드는 쉽고 도입과 적용이 훨씬 어려운데 제품이 가이드에만 너무 집중하고 있는듯한 느낌이 들어서 질문했더니 Cortex Engineering Maturity Curve라는 것을 소개해 주었다.

수집(Aggreate), 평가(Assess), 처방(Prescribe), 실행(Act), 최적화(Optimize) 단계로 성숙하는데 자신들의 경험상 오너쉽 정보를 수집하고 최소한의 요구사항을 정한 뒤에 베스트 프렉티스로 옮겨가도록 해야 한다고 한다. 여기까지가 3단계인데 자신들의 경험상 3단계에서 4단계로 가는데 4~5년이 걸리고 4단계 이상으로 간 고객은 10% 정도밖에 안 된다고 한다. 도구가 나빠 보이진 않았지만, 이런 IDP의 적용이란 게 모든 부분에서 한꺼번에 성숙해지지 않는다고 생각해서 필요한 부분별로, 단계적으로 도입하고 기능이 구현 자체에 도입뿐 아니라 적용에 대한 인센티브도 고려해야 한다고 생각해서 완성된 도구의 도입보다는 직접 만드는 게 오히려 낫지 않나 싶긴 하다.(물론, 이건 처한 조직의 환경마다 다를 것이다.)

Expo에는 2개의 작은 세션장도 있어서 각 스폰서사나 Datadog의 새로운 기능 발표도 계속 진행되어서 부스를 구경하면서 세션도 옆에서 같이 볼 수 있었다.

Korean Night

Datadog의 한국 고객을 대상으로 한 저녁 행사가 Datadog 본사가 있는 New York Times 빌딩에서 열렸다.

이 건물에서 7개 층을 사용하고 주변 건물에 또 2개 층을 사용하고 있다고 한다.

43층이었나 정확한 층수는 까먹었는데 꽤 높은 층에 있어서 맨해튼의 전경을 360도로 다 볼 수 있어서 Datadog 직원이라는 맨해튼 뷰 보러 어디 안 가도 되겠다는 생각이 들었다. Datadog 직원분이 사무실을 한 바퀴 돌면서 설명을 해주어서 맨해튼을 전체적으로 다 볼 수 있었다.

이날 한국 고객사들을 위해서 본사의 식당에 자리를 마련해주고 임원들이 와서 인사까지 했다. Dash 콘퍼런스로 인해서 Datadog의 고객들이 전 세계에서 왔는데 한국 고객사가 본사를 차지할 수 있다는 점이 신기해서 물어봤다. 그도 그럴 것이 한국 Datadog의 시장 규모는 정확히 모르지만 보통 IT 시장에서 글로벌에 가면 한국 시장이 그렇게까지 큰 시장은 아니라고 생각했기 때문이다. 한국처럼 메가존이 영업하는 파트너사가 있는 구조가 많지 않고 최근 몇 년간 타 국가에 비해서 한국에 점점 많은 고객을 Dash에 데려오자 Datadog 본사에서도 신경 쓰기 시작한 걸로 보입니다.

Korean Night를 위해서 핸드폰 보조 배터리와 Datadog 나이키 모자를 주었다. 난 모자를 쓰지 않지만, Datadog 모자는 정말 이쁘게 잘 나온 것 같다.

맛있는 음식과 술까지 제공해 주어서 맘껏 먹었다. 이날은 타임스퀘어에 잠시 구경하러 갔다가 근처에 가볍게 술을 한잔하고 숙소에 들어갔다. 시차 때문에, 숙소에 있으면 일찍 잠들기 쉬우니까 그냥 늦게까지 일정을 보내다가 숙소에 와서 자게 되는 거 같다.

Dash 모바일 앱

콘퍼런스용 DASH by Datadog라는 앱을 제공하고 있었다. 여기서 각 세션을 확인하고 내 일정 관리를 할 수 있는데 좌석이 정해진 곳은 실시간을 확인하면서 등록할 수 있어서 콘퍼런스를 즐기면서 세션을 찾아보기에 꽤 좋았다. 참석자 간에 메시지도 보낼 수 있는데 이런 기능은 쓰지 않았고 컨퍼런스 다니면 시간표를 자주 열어보게 되는데 전용 앱이 따로 있으니 즐기기가 훨씬 편했다.

이 글은 Datadog Dash 2024 참석기 #2로 이어진다.