Data Engineer의 고민
데이터 파이프라인 인프라를 설계 및 개발할 수 있을까?
데이터 파이프라인 자동화 개발 환경을 구축할 수 있을까?
•
Docker, k8s를 통해 Container Orchestration 하여 워크플로우를 관리할 수 있을까?(예약,모니터링,자동화)
•
요구사항이 복잡해지고 파이프라인이 늘어나는 것을 대비하여 워크플로우 도구를 잘 활용하여 스케쥴링할 수 있을까? (DAG)
데이터 파이프라인 프로세스를 개발할 수 있을까?
•
실시간 유저 행동 로그 데이터 파이프라인을 개발할 수 있을까?
•
다양한 플랫폼 데이터 파이프라인을 개발할 수 있을까?
•
실시간 스트리밍 (메세지)데이터 파이프라인을 개발할 수 있을까?
•
CDC 데이터 모니터링을 위한 파이프라인을 개발할 수 있을까?
•
분산처리 시스템 대용량 데이터를 처리할 수 있을까?
•
데이터 수집 시 데이터 손실을 최소화 할 수 있을까?
데이터 파이프라인이 잘 동작하는 지 확인 할 수 있을까?
•
데이터가 사전에 정의된 스키마에 준수하는지 확인할 수 있을까?(유효성검사)
•
데이터 정확성을 유지하고 중복된 데이터가 제거되었을까?
•
데이터 분류 표준화 되었을까?
데이터 플랫폼 운영할 수 있을까?
다양한 협업 부서에게 데이터 플랫폼을 쉽게 접근하고 분석할 수 있도록 할 수 있을까?
데이터 플랫폼의 다양한 데이터 파이프라인을 효과적으로 관리할 수 있을까?(파이프라인 템플릿, 종속성 관리)
•
데이터 플랫폼의 데이터 품질을 지표를 정의하고 검증할 수 있을까?
•
데이터 플랫폼의 데이터 품질을 잘 모니터링 할 수 있을까?
데이터 플랫폼 최적화 할 수 있을까?
Data Flywheel 순환 구조를 통해 기능 개선을 할 수 있을까?
데이터 플랫폼 안정성, 신뢰성을 확보할 수 있을까?
데이터 플랫폼 성능을 최적화 할 수 있을까?
대규모 트래픽을 감당해야 하므로 어떻게 확장성을 가질 수 있을까?
직무분석
Search
mlp.pisik@gmail.com