2022년 연말 회고

date
Jan 6, 2023
thumbnail
2022.svg
slug
2022-연말회고
author
status
Published
tags
2022
연말회고
summary
데이터 엔지니어 연말 회고
type
Post
updatedAt
Sep 1, 2023 01:14 PM

2022년 되돌아보기

1. 이직

1.1 이직 배경

2021년 백엔드 엔지니어로 첫 취업을 하며 처음으로 사회에 발을 들였다.
학창시절 공부했던 개발 지식을 실제 현업에 적용하여 내가 배포한 것이 사용자가 있는 실제 서비스에 반영이 된다는 불안감도 있었지만 그것이 나름의 긴장감으로 작용하여 더욱 책임감을 갖게 되었던 것 같다.
하지만 에너지 분야의 회사이다 보니 서비스의 사용자가 많지 않고, 데이터가 한정적이라는 개인적인 한계에 부딪히자 조금 더 방대한 데이터를 다뤄보고 싶은 생각이 들었다. 많은 이유가 있었지만, 결국에는 이직을 결심하고 사용자가 비교적 많이 있는 회사에 지원을 하게 되었다.
실제 회사를 다니며 이직을 준비하는 것은 쉽지 않았지만, 기본기가 부족하다고 생각해서 업무와 별개로 CS 기초, 알고리즘 문제풀이를 통해 부족했던 부분을 채우려고 노력하였다.
notion image
 
 
실제 백엔드 엔지니어로 커리어를 시작했지만, 빅데이터 시대인 만큼, 각 플랫폼에서 수집하는 다양한 데이터를 통해 유의미한 결과값을 내고 data informed 하게 일을 하려면 데이터 적재 및 파이프라인, 인프라 구축이 중요하다는 생각이 들었다. 이에 따라 다양한 데이터를 경험하고 활용할 수 있는 데이터 엔지니어 분야에 관심을 갖게 되었고, 데이터 엔지니어라는 직무로 지원을 하게 되었다.
 

1.2 면접

면접을 준비하며 면접관과의 지식 차이로 의사소통이 불가하며 어쩌나 하는 생각과 나의 부족함이 드러날 것 같은 불안감에 학교에서 시험보기 전 책에 있는 내용을 암기할 때를 생각하며 벼락치기(?) 느낌으로 개발 지식을 강제 주입하였다.. (흔적)
하지만, 실제 면접을 보게 되었을 때 놀랐던 것은 내가 가지고 있는, 글로 배운 이론 개발 지식보다는 내가 어떤 프로젝트에서 어떤 개발을 해왔고 문제에 직면했을 때 어떤 방식으로 해결했는지, 나의 경험과 실제 개발 및 인프라를 구축하면서 배우고 느꼈던 부분에 대하여 많은 질문을 주셨다.
면접이었지만, 면접이라기 보다는 내 앞에 해결해야하는 문제가 있을 때, 나는 어떻게 접근할 것이고, 내가 제시한 방법에 대한 한계점은 무엇이고, 다른 각도에서는 어떻게 접근하면 좋을지에 대해 서로 의견을 나누며 실제로 의사결정을 위한 대화를 하고 있다는 느낌을 받았다.
현재 회사의 그룹장이신 토마스와 면접을 진행하면서 느낀점은 실제 이 팀에서 업무에 대한 의사소통 방식은 Top Down 방식이 아닌, 구성원 모두의 의견을 나누고 경청하며, 그 중에서 최선의 방법을 찾아 의사결정을 하는 수평적인 문화를 지향하고 있구나 라는 것을 느꼈고, 이러한 환경에서 같이 일을 해볼 수 있으면 좋겠다는 생각을 하였다.
 

2. 쏘카

2.1 왜 쏘카인가?

쏘카에 지원하게 된 이유는 사실 테크 블로그의 영향이 컸다.
실제 이전 직장에서도 백엔드 서버 구축, 데이터 ETL 및 Airflow 관련 업무를 하였는데, 이때 쏘카의 테크 블로그를 많이 참고하였다. 쏘카의 블로그는 실제 회사에서 새로 도입한 기술에 대해 경험 및 트러블슈팅 내용을 자세하게 다루었고, 전체적으로 글의 짜임새, 가독성이 높고 기술의 디테일한 내용까지 다루고 있다고 느꼈으며, 실제로 글을 참고하여 내 업무에 적용 해보는 경우도 있었다.
또한 개인적으로 느꼈던 것은 쏘카의 테크 블로그를 읽으면서 data driven 하게 일을 하기 위해 쏘카의 데이터 그룹은 많은 기술적인 시도를 하고 있으며, 기술 역량이 높고 팀 내 분위기, 개발 문화 또한 내가 생각하던 함께 성장할 수 있는 스타트업 이미지의 기업이었다.
특히, 신입 데이터엔지니어 회고록을 보며 온보딩 과정이나 팀내 분위기에 대해 인상 깊에 읽어서 나도 이러한 환경에서 함께 일할 수 있으면 좋겠다는 생각을 했다. (쏘카 데이터 엔지니어 디니의 4개월 회고)
 

2.2 첫인상

올해 6월, 처음 입사해서 팀원들과 인사를 나누며 받았던 첫인상은 “편안함”이었다. 입사 첫날이기에 긴장을 많이 하고 있었지만 구글밋을 통해 인사를 하면서 어떤 음식을 좋아하고 어떤 것에 관심이 있고 무슨 일을 하다 왔는지에 대한 얘기를 나누면서 뭔가 친구들과 얘기하고 있는 편안한 느낌을 받았다.
첫날에는 개인 PC 및 온보딩 관련 세팅을 하고 사내 협업 툴로 노션을 사용하고 있기에 팀에서 작성한 문서들을 읽어보았다. 처음에 봤을 때 내용이 방대하고 정리가 잘 되어 있어 깜짝 놀랐다. 각자 맡은 태스크를 하면서 진행 상황을 틈틈히 문서로 기록하며 필요시 공유하거나 추후에 관련 담당자가 참고할 수 있도록 잘 정리를 하는 편이라고 생각하였다.
우리팀은 매일 오전 10시 반에 30분 정도 간단하게 데일리 미팅을 한다. 각자의 컨디션 체크도 하고 “좋았던 음식점 추천” 등 과 같은 다양한 주제에 대해 업무 외적인 얘기도 나누며 실제 회사 동료가 아닌 대학교 동기(?) 라는 느낌을 받는다. 사실, 뭐가 정답인지는 잘 모르겠지만 개인적으로 딱딱한 분위기보다 서로 친구 같은 분위기가 팀 내 사기 증진과 의사소통에 더 효과적이라고 생각한다.
 
처음에 입사했을 때 팀원이신 그랩이 새로 합류한 팀 동료들에게 “함께 자라기 애자일로 가는 길” 이라는 책을 선물로 주셨다. 그만큼 자신 뿐만 아니라 같이 일하는 팀 동료와 함께 성장하길 바라는 마음으로 주셨을 것이라고 생각한다. 내가 있는 데이터플랫폼팀은 함께 성장하기를 바라는 팀이고, 실제로 같이 성장할 수 있는 팀이라고 느꼈다.
notion image
 
 

2.3 업무

내가 입사 후에 진행했던 프로젝트는 다음과 같다.
  • 대여가격시스템
  • Airflow
  • 모니터링
 
가격시스템의 경우에는 사실 쏘카의 실제 가격을 산정하는 로직이기에 처음 마주쳤을 때, 코드를 파악하는데 쉽지 않았다. 따라서 기존에 운영하며 추가적으로 필요한 기능 추가, 반복 작업에 대한 자동화 등을 담당하여 업무를 쪼개고, 페어워크를 통해 단계적으로 프로젝트의 구조에 대해 파악하려고 하였다. MSA로 구축되어 있는 서버들의 CICD 파이프라인이 통일화 되어 있지 않아 실제로 배포 후 모니터링을 하는데 어려움이 있어 통합된 워크플로우를 통해 배포 프로세스를 통일화 할 수 있었다. 실제로 애플리케이션 로직 개발과 더불어 빌드 및 배포까지 경험할 수 있고, 실제 사용자와 밀접한 파트이기 때문에 긴장도 되었지만 그만큼 책임감도 약간은 갖게 되었다.
 
Airflow는 데이터본부에서 가장 중요한 파트 중에 하나이다. 데이터의 ETL의 상당 부분을 차지하고 있으며, 수많은 배치 워크플로우가 실시간으로 실행되고 있어 운영에 배포할 때 가장 신경을 많이 써야하기에 운영과 동일한 개발 환경에서 모든 상황을 검증하고, 운영 환경에 배포를 하는 것이 중요하다는 것을 느꼈다.
Airflow의 경우에는 기존에 구축되어 운영이 되어 있었고 다양한 파이프라인이 매 시간마다 배치 형태로 동작을 하고 있었고, 더욱 효율적으로 운영 하기 위해서는 추가적인 작업들이 필요했다. 실제 Apache Airflow에서 Official 차트가 공개되어 기존에 사용하고 있던 Community 차트를 공식 차트로 옮기는 작업이 필요하였고, 해당 작업과 맞물려 기존에 사용하던 Airflow 이미지의 버전을 올리고, 코드 내 입력되어 remote repository에 올라갔던 시크릿을 GCP의 secret manager를 통해 통합적으로 관리를 해야했다. 이에 따라 시크릿 사용 정책을 수립하고 위의 작업들을 병렬적으로 진행하였다. 한가지의 툴이지만 어떻게 사용하고 운영하느냐에 따라 리소스의 효율이나 편의성이 크게 차이난다는 것을 느꼈다.
 
쏘카의 데이터 엔지니어링 그룹은 많은 프로젝트에 대해 슬랙을 통해 알람을 받고 있지만, 실제로 대응을 해야하는 알람인지, 정보성 알람인지에 대해 담당자가 아닌 이상 바로 파악하기가 쉽지 않았고, 누가 대응을 해야하는지에 대해 R&R이 명확하지 않았다. 따라서 모니터링 정책을 세워 정책에 따라 채널을 나누고, 담당자 태그를 통해 해당 알람에 대해 주인의식을 갖고 대응하도록 프로세스를 구축하였다. 모니터링이라는 것이 완벽한 정답은 없고 각 팀 상황에 맞춰 대응 알람들을 잘 분류하고 빠르게 대응해야하기 위해 계속 고민을 해야한다고 생각하였다.
아직 수립된 정책에 대해 완벽하게 지키고 있지는 못하지만 단계적으로 체계화 하기 위한 한걸음 정도 밟았다고 생각한다. 모든 에러에 대해 신속하게 대응을 하기 위해 꾸준히 고도화해 나가야 할 필요가 있다.
 
 

2.4 팀 문화

팀 동료들을 보면서 많은 것을 느낀다.
내가 있는 데이터플랫폼팀은 주도적으로 팀 문화를 만들어 간다. 팀 내 Manifesto, Python Style Guide, 포스트모템, 피어리뷰, 실패 및 배움 공유 세션, DP팀 오피스아워, 엔지니어링 데이, 다양한 정책 등 업무 뿐만 아니라 효율적인 커뮤니케이션, 어떻게 함께 성장할 수 있을지에 대해 고민을 많이 하는 팀이다. 나는 뭔가 적극적으로 나서지 않는 수동적인 성격이지만, 팀원들과 함께하며 팀 내 새로운 문화 도입에 대해 고민하고, 우리에게 맞는 문화를 만들어가려고 노력하게 된다.
데이터플랫폼팀은 기본적으로 파이썬을 주력 언어로 개발을 하고 있었다. 새로운 프로젝트에서 코틀린을 사용해야 하는 필요성을 느껴 실제 새로 입사한 팀원들과 함께 자바와 코틀린 스터디를 진행하고, 실제 팀에서 필요한 모니터링 통합 API 라는 주제를 가지고 사이드 프로젝트를 진행하고 있다. 이처럼 사내에서 필요로 하면 주도적으로 스터디를 계획하고 참여할 수 있어 새로운 기술에 대해 거부감이 없고 함께 공부할 수 있다는 장점이 있다.
notion image
notion image
 

3. 여행

나의 대학시절을 돌아보면 너무 생각없이(?) 살았다는 느낌이 든다.
고등학교 때는 대학을 가기 위해 열심히 공부했지만 막상 대학에 들어가니 목표의식이 사라지고 그냥 학교에 등하교 하고 돌아와서는 과제, 게임만 하던 삶을 살았던 것 같다.
학교 활동(동아리, 교환학생) 등에는 크게 관심을 갖지 않고, 단순히 기계적으로 학교와 집을 왔다 갔다 하며 대학시절을 보낸 것이 지금 돌이켜보면 많이 후회된다.
학교를 다니며 2019년에 처음으로 학교 동기와 함께 일본의 오사카 여행을 간 적이 있다. 매일 기계처럼 반복되는 삶을 살아가다 처음으로 다른 환경에 부딪혀보니 어색하고 불안했지만 동시에 음식, 문화, 주변 풍경 등 모든게 새롭고 신선했다. 심지어 길에 지나가는 사람만 봐도 기분이 묘하고 재밌었던 기억이 있다.
이후에는 졸업하고 주변 사람들과 마찬가지로 취업하기에 급급했다. 이후에 이직을 결심하면서 올해 이직이 확정이 되고, 퇴사 일정을 조율하던 차에 다음 입사까지 3주 정도의 시간이 남았다.
실제로 3주동안 어떻게 보내면 좋을까 생각하다 내 마음속의 20대 버킷리스트 중, 하나였던 유럽 여행을 실천하기 위해 런던행 티켓을 고민 없이 바로 끊어버렸다.
계획도 없이 몸만 가지고 부딪혔던 여행이지만, 여행을 새로운 사람을 만나고 처음 보는 음식을 먹으며 실제 한국에서 느끼지 못하는 신선한 감정을 느낄 수 있었다. 런던에서 파리, 로마까지 여행을 다니며 여러 나라 사람들의 생각과 현지 음식, 생활 등을 간접적으로 맛볼 수 있었고. 자세히는 설명하기는 힘들지만, 무언가 다른 환경에서의 나를 보며 내가 가지고 있던 좁은 시각이 넓어지는 느낌을 받았다.
notion image
notion image
notion image
notion image
 
요새는 시간이 되면 틈틈히 여행을 가려고 하고 있다. 새로운 회사에 입사 후에도 시간을 내서 태국에 갔다 오며 반복적인 일상에 대해 리프레시 할 수 있었다. 내년에도 여러 나라를 여행할 수 있길 바라며..
 
 

2023년의 나

나는 극단적 P다. 실제 내가 할일을 미리 계획하기 보단, 즉흥적으로 하고 싶은 것이 생기면 바로 하기에 2023년의 구체적인 계획 및 목표는 세우지 못했다. 하지만 2023년의 나는 이렇게 변했으면 좋겠다 라는 큰 그림은 그려볼 수 있지 않을까 싶다.

1. 운동

고등학교 때 농구를 좋아했던 나는 야자를 빼먹으며 동네 농구장에서 친구들과 밤새 농구를 하며 열정적으로 운동을 했던 기억이 있다. 하지만 20대에 접어들어 운동과는 거리를 두고 지내왔다..
운동의 필요성을 느끼며 작년부터 골프를 시작하였다. 실제 스포츠 경기 관람을 좋아하는데, 내가 직접 할 수 있는 운동이 무엇일까 고민을 하며 찾아보다 골프라는 운동에 관심을 갖게 되었고, 이제는 매일 연습장에 가서 연습을 하고 있다. 골프 연습을 매일 하며 꾸준히 비거리가 늘어나고 스윙에 기복이 줄어들면서 개인적으로 성취감도 늘고 있다. 올해도 마찬가지로 꾸준히 골프 연습을 통해 더욱 실력이 향상되는 것을 목표로 하고 있다.
해가 지나면서 체력, 근력의 부족함을 많이 느끼고 이제는 근력 운동의 필요성을 느끼고 있다. 헬스는 나와 맞지 않고, 집에서 할수 있는 홈트레이닝, 맨몸운동을 시작하기 위해 당근마켓으로 풀업바를 구매하여 어제 설치하였고, 오늘은 풀업 밴드를 구매했다. 장비는 다 갖춰졌기에 이제 나의 의지만 남았다고 생각한다. 매일 풀업과 홈트레이닝을 통해 몸의 변화를 관찰하는 재미를 붙이고 방에 있는 풀업바가 다시 나의 당근마켓에 올라가지 않기를 바란다.
 

2. 기술적 성장

다양한 업계가 있지만 IT 는 그중에서도 빠르게 변화하는 업계인 만큼 성장에 민감할 수 밖에 없는 것 같다. 나 또한 업무에 적응해가고 있지만, 업무 해결하는 데 있어 빨라지고 쉬워진다는 것은 개인적으로 성장하고 있다는 뜻으로 해석할 수 있지만, 한편으로는 익숙한 업무를 반복적으로 하며 새로운 도전을 안하고 있다는 생각이 들었다.
올해는 팀에 새로 합류하면서 업무에 적응하는 한 해 였던 것 같다. 온보딩 과정을 통해 팀에서 진행하고 있던 프로젝트를 다운로드 받고, 작은 단위의 업무를 받으며 팀에 녹아든 시기였다고 한다면 내년에는 내가 직접 주도해서 프로젝트의 End To End 로 시스템 개발에 도전 해보고 싶은 생각이 있다.
현재 팀 내에서 진행하려는 대여가격시스템의 고도화, 회사의 신사업인 Fleet Management System에서 파생되는 다양한 문제들을 정의하고 이에 따라 도전해볼 수 있는 과제들이 있을 것이라고 생각한다. 올해는 좀 더 주도적으로 팀 뿐만 아니라 회사 차원에서 임팩트를 낼 수 있는 과제들을 중점적으로 해보려고 한다.
 
나는 직접 주도적으로 하기보단 반강제적으로 스케줄이 있을 경우 하는 편이다. 평소 할일이 없을 때는 그냥 집에서 누워 넷플릭스 보며 시간을 보낸다. 따라서 올해는 스터디 및 커뮤니티에 적극적으로 참여하여 정기적으로 시간을 나 자신을 위해 효율적으로 사용해야 할 것 같다.
작년에 지원한 “실리콘밸리에서 날아온 데이터 엔지니어링 스타터 키트” 강의가 1월 7일부터 시작된다. 7주동안 진행되는 강의인 만큼 매주 강의를 듣고 과제를 수행하며 부족했던 기본기를 다지고 과정에서 배우는 툴에 대해 딥다이브 하여 실제 업무에 적용할 수 있도록 노력해보고 싶다.
올해는 다양한 스터디, 강의 및 컨퍼런스에 참여해서 사내 뿐만 아니라 외부의 여러 종사자들의 얘기를 듣고 지식을 공유하는 경험을 자주 해야겠다는 필요성을 느끼고 있다.
마지막으로, 요새 책을 잘 읽지 않게 되고, 글을 잘 안쓰는데 올해는 꾸준히 책을 읽고 나의 생각을 글로 남길 수 있도록 더욱 노력해보자!