(1) 역할과 하는 일, 정의 Data Scientist vs Data Engineer vs Data Analyst
각 직군별로 차이를 한번 알아보려고 합니다.
데이터 분야에 있는 분들이야 그래도 어떤 차이가 있는지 구분이 가능하지만, 같은 회사 안에서도 데이터조직 외부에서 보기에는 그게 그거 같아 보이기도 하고...(회사 동료분들도 정말 많이 받은 질문이라고 합니다. 데이터 사이언티스트랑 애널리스트는 각각 뭐가 달라요? 엔지니어는 뭐가 달라요?) 특히 취준생분들도 각각 뭐가 다른 건지 많이 궁금해 하시더군요.
그런데 상대적으로 빅데이터 분야가 조명받기 시작한지 얼마 안되기도 했고, 그만큼 발전과 변화도 빠르게 역동적으로 일어나는 분야이기 때문에 각 역할을 명확히 정의하기는 쉽지 않습니다. 겹치는 부분도 많기도 하고, 회사에 따라 정의방식과 롤도 다른 경향이 있습니다. 그럼 각 직군이 '일반적으로' 어떤 차이가 있는지 한번 알아봅시다. 우리나라보다는 미국의 IT 산업이 훨씬 더 크기도 하고, 미국의 role 구분 형태가 결국 표준이 되는 경우가 많기 때문에 참고자료로 미국에서 작성된 자료들을 참고했습니다.
글의 순서는 다음과 같습니다. 이번 글에서는 각 직군의 역할과 정의에 대해 알아보려고 합니다.
1. 직군별 역할과 정의
2. 직군별 필요 역량/기술
3. 직군별 보상,연봉
1. Who is a Data Analyst, Data Engineer and Data Scientist?
각 직군의 역할을 최대한 한마디로 간단하게 정의해보면,
| 데이터 과학자 | 데이터 엔지니어 | 데이터 분석가 |
| AI/머신러닝 모델 개발/최적화 | 데이터 플랫폼, 파이프라인의 아키텍처 구성 및 개발/운영 | 데이터 기반 의사결정을 위해 통계적 데이터 분석 및 시각화 |
각 직군이 겹치는 부분도 많고, 분석가 안에서도, 엔지니어 안에서도 세분화가 많이 되기 때문에 한마디로 정의하기가 쉽지 않습니다.
그럼 각 직군별로 조금 더 자세히 알아봅시다. 아래 정보는 '매우' 일반화된 정보라는 점을 주지해주세요. 이미 어느 정도 역할이 정형화가 된 다른 엔지니어링 롤과 다르게, 데이터 직군은 같은 이름의 role이더라도 기업마다 하는 일이 다른 경우가 매우 많습니다. 실제 어떤 역할을 하는지 보기 위해서는 각 기업의 채용공고의 Job Description을 면밀히 살펴보기를 권장드립니다. (샘플 채용공고를 2. 직군별 필요역량 파트에 첨부했습니다.)
아래 직군별 정의 내용은 https://data-flair.training/blogs/data-scientist-vs-data-engineer-vs-data-analyst/의 내용을 참조, 요약했습니다.
(1) Data Analyst
데이터 분석가는 일반적으로 Data cleaning, Data Analysis, Data visualization의 작업을 주로 합니다.
산업에 따라서 Business Anlayst, Buisness Inteliigence Analyst, Operations Analyst 등으로 불리우기도 하는데, 어떤 타이틀로 불리우든, 데이터분석가는 팀이 데이터기반의사결을 내릴 수 있도록 대부분의 팀에 필요한 존재입니다.
데이터 분석가는 데이터분석 보고서 및 시각화 자료를 통해 비즈니스 결정에서 '추측'에 의한 결정을 없앨 수 있도록 해주고, 서로 다른 팀간의 중재자 역할을 하게 됩니다. 조직의 성장에 대한 정확한 지표를 확인할 수 있게 해줍니다.
필요한 기술의 특성은 회사마다 물론 다르지만, 일반적으로 다음과 같은 작업을 합니다.
- Raw 데이터 정리 및 구성
- 기술 통계를 활용한 데이터 분석
- 데이터 해석 및 의사 결정을 내리는 데 도움이 되는 시각화 및 대시보드 구성
- 기술 분석 결과를 비즈니스 고객 또는 내부 팀에 발표
위에서 말한 것처럼, 데이터 분석가는 주로 (비즈니스가 어떻게 돌아가는지 이해하기 힘든) 기술 직군과 비즈니스 직군 사이의 '데이터를 통한' 중재자로서, 데이터기반 의사결정을 내릴 수 있는데 핵심적인 역할을 담당합니다.
참고로 회사에 따라 Data Analytics 업무를 Data Scientist 라는 이름의 직군이 담당하는 경우도 있습니다. 대표적으로 페이스북이 그렇죠. 이런 회사에서는 AI/ML을 담당하는 직군을 ML엔지니어(ML SWE), AI Data Scientist, AI리서처 등의 이름으로 부릅니다.
(2) Data Scientist
데이터 과학자는 주로 머신러닝/AI 알고리즘 모델을 개발하여 주요 비즈니스 질문에 머신러닝 모델을 통한 '예측'을 제공합니다.
데이터 과학자는 데이터 분석가와 마찬가지로 통계적인 지식을 갖고 데이터를 정리, 분석할 수 있어야 하며, 이러한 기술에 대해 머신러닝 모델을 훈련하고 최적화할 수 있어야 합니다.
주로 분석가가 과거와 현재의 관점에서 데이터를 이해하는 데 초점을 맞추는 반면, 과학자는 미래에 대한 예측을 생성하는 데 초점을 맞춥니다.
주로 아래와 같은 작업을 수행합니다.
- 분석의 유효성을 결정하기 위해 통계 모델을 평가
- 머신러닝을 사용하여 예측 알고리즘을 구축
- 모델의 지속적 학습 및 최적화 운영
(3) Data Engineer
데이터 엔지니어는 데이터 플랫폼과 데이터 파이프라인 아키텍처를 개발하고 운영합니다.
데이터 분석가와 데이터 과학자가 데이터 바다 위에서 자유롭게 헤엄칠 수 있게 데이터 기반 플랫폼을 구성하고 데이터를 잘 제공하는 것이 중요합니다.
앞의 두 가지 직군보다 데이터 엔지니어링 직군은 소프트웨어 개발 기술에 많이 의존합니다. 대규모 데이터를 처리하기 위해 분산처리에 대한 기술적 이해도가 필요한 경우가 많습니다.
데이터 엔지니어는 종종 시스템 구축 및 최적화에 중점을 둡니다.
- 데이터 소비를 위한 API 구축
- 데이터 플랫폼 아키텍처 구성
- 데이터 파이프라인 개발/운영
- 머신러닝 모델 feature store 제공
대략적으로 어떤 차이가 있는지 대충 감을 잡으셨기를 바랍니다!
그럼 다음 글에서는2. 직군별 필요 역량/기술 을 한번 알아보죠.
글 목차
데이터분석가 vs 데이터엔지니어 vs 데이터과학자 차이가 뭘까? (1) 역할과 정의
데이터분석가 vs 데이터엔지니어 vs 데이터과학자 차이가 뭘까? (2) 필요 역량, 기술
데이터분석가 vs 데이터엔지니어 vs 데이터과학자 차이가 뭘까? (3) 연봉과 보상
Disclaimer
위에서도 언급했지만, 회사마다, 팀마다 역할이 일률적으로 명확하게 정의되기는 힘듭니다. 위의 구분법은 절대적인 기준이 아니라 데이터관련 사이트들에서 소개하는 일반적인 내용을 요약한 것으로, 데이터 직군을 잘 모르시는 분들에게 기본적인 컨셉을 공유드리기 위한 자료입니다. 혹시 잘못된 내용이 있으면 언제든 말씀주세요.
참조
https://www.edureka.co/blog/data-analyst-vs-data-engineer-vs-data-scientist/
https://data-flair.training/blogs/data-scientist-vs-data-engineer-vs-data-analyst/
https://www.dataquest.io/blog/data-analyst-data-scientist-data-engineer/
'IT > 빅데이터' 카테고리의 다른 글
| [파이썬] 안티패턴/팁 모음 (0) | 2022.04.05 |
|---|---|
| 데이터분석가 vs 데이터엔지니어 vs 데이터과학자 차이가 뭘까? (3) 연봉과 보상 (0) | 2021.11.08 |
| 데이터분석가 vs 데이터엔지니어 vs 데이터과학자 차이가 뭘까? (2) 필요 역량, 기술 (0) | 2021.11.08 |
