[Daily] 개발로 가득했던 2년, 한 발 늦은 회고

1. 지난 2년을 되돌아 보며

지마켓에서 데이터 엔지니어로 근무한지 만 2년이 되었습니다~! 😮

입사 전까지만 해도 데이터 엔지니어의 자격 요건은,

혼자서는 쉽게 접해볼 수 없는 키워드로 가득했었습니다.

(하하… 이건 뭘까…)

< 데이터 엔지니어의 흔한 자격 요건들 >

• Kafka, Hadoop, Spark 를 활용한 엔지니어링
• Realtime, Batch processing 파이프라인 개발
• 데이터 Report 개발
• 대용량 트래픽 상황에 대한 대응
• …

그랬던 제가!

위의 키워드에 대한 업무를 하나씩 수행하고 있고,

지난 2년을 돌이켜 볼때 너무나도 소중했음을 다시 한 번 되새깁니다..😭

2. 해왔던 업무들

직접 업무를 하면서, 앞의 키워드들에 대한 쓰임을 짧게나마 적어보았습니다.

저희 팀은 하루 10억건 이상의 사용자 행동 데이터를 처리해야 하다보니,

대용량 트래픽이라는 점 하나로 나머지 모든 키워드가 시작이 됩니다.

높은 TPS와 실시간 처리가 필요하며,

데이터의 안정성이 요구되어 집니다.

이런 경우 높은 처리량으로 실시간 처리할 수 있고,

디스크를 이용하는(영속성이 보장되는) Kafka가 필수적인 아키텍처 요소로 사용됩니다.

또한 Realtime 파이프라인 구축을 위해

Spring Cloud 기반의 어플리케이션 개발이 필요합니다.

그 이후는 처리하는 데이터가 TB 단위라는 점,

데이터 분석가 분들의 모든 분석 작업이 이뤄진다는 점으로,

Hadoop 에 대한 자연스러운 선택으로 이어집니다.

그렇게 적재된 트래픽 데이터는 분석가 분들의 hiveQL 쿼리와 함께,

일별, 주간별, 월별 단위의 Batch로 데이터 Report가 만들어집니다.

3. 압도적 감사

돌이켜보면 제가 열심을 다하는 것 만큼이나,

현재의 팀에서 업무를 할 수 있었던 기회가

지금 이 성장하는 기쁨을 맛 볼 수 있었던 큰 요소가 아니었나 생각합니다.

4. 사이드 프로젝트

WhyNotHere 서비스 는 꾸준히 운영 해오고 있고,

어느덧 회원 가입한 사용자가 800명이 넘으면서, 감사한 여정을 이어나가고 있습니다.

팀 빌딩부터 플레이(앱)스토어 런칭 단계까지 리더로서 100번 이상의 팀 회의를 진행하였고,

제 나름대로의 인사이트들도 정리해나가고 있습니다.

부끄러운 메모일 수 있지만😓, 생각을 공유해보겠습니다!

1. 팀원 한명 한명이 기여할 수 있는 업무가 있어야 합니다.

   본인이 팀에 기여하는 역할이 없는 경우, 작업 내역을 공유하는 회의 시간이 팀원을 힘들게 합니다.
   업무를 끊이지 않게 하는 것으로 해결하는 것보다, 방향성 회의를 통해 영역 안에서 하고 싶은 일을 찾아가게 하는 것이 효과적이었습니다.

2. 기획도 내가 먼저, 디자인도 내가 먼저 합니다.

   팀에서의 제 역할이 아무리 개발자라 할지라도 업무를 할당하기 전에 먼저 이벤트 멘트 작성이나 피그마 디자인 스케치 후 회의를 진행했습니다.
   충분히 더 잘할 수 있는 팀원은, 저보다 항상 더 나은 결과를 가져오기 때문에 팀원의 부담을 줄일 수 있었습니다.

3. 의견이 다를 때, 의사결정을 남에게 미루지 않습니다.

   팀원들 사이에 의견이 엇갈릴 때, 채택되지 않은 쪽 팀원의 아쉬움과 눈총은 제가 받아야 합니다.
   팀원에게 의사결정을 미뤄서 팀원들 사이에 금이 생기는 것보다 훨씬 나았습니다.
   다만, 각 선택지에 대한 장단점은 모두가 인정하는 수준으로 조사하여 공유합니다.

4. 방향성이 공유되어져야 합니다.

   앞으로 나아갈 방향성을 팀원들이 알게 하는 것은 비전이 있는 팀 임을 인지하는 것 뿐만 아니라,
   앞으로 해야할 업무를 예측할 수 있게 하여 일의 공백을 감소시키는데 큰 역할을 합니다.

5. 사용자 피드백 창구를 열어두어야 합니다.

   훌륭한 기능을 만들었다 할지라도, 사용자가 필요하지 않는 기능은 선택받지 못합니다.
   사용자 목소리를 바탕으로 런칭한 소개팅 이벤트는 짧은 시간 동안에도 큰 성과를 만들어냈습니다.

5. 2024년도의 다짐

2023년도 처럼 슬럼프나 번아웃 없이 “습관적인 개발” 을 하는 것이 목표입니다.

할아버지가 되어서도 개발을 하고 싶은 소망이 있는데,

그렇게 생각하면 앞으로 개발자의 삶이 정말 많이 남았습니다.

지금처럼 매일, 매달을 재밌고도 끊임없이 성장하는 제가 되고 싶습니다.