Data Engineering
2025. 4. 1.
데이터 파이프라인(Data Pipeline)
데이터가 소스(원본)에서 목적지(사용처)로 이동하면서 필요한 처리 과정을 거치는 일련의 자동화된 과정 마치 수도관처럼, 물(데이터)이 정수장(소스)에서 집(목적지)으로 오기 위해 여러 필터와 펌프(처리 과정)를 거치는 것처럼, 데이터도 수집, 변환, 저장, 분석 등 다양한 단계를 거쳐 사용자에게 전달되는 것입니다.즉, "데이터를 원하는 곳으로 흘려보내기 위한 자동화된 길"데이터 파이프라인의 필요성다양한 소스에서 엄청난 양의 데이터가 쏟아져 나오는데, 이러한 데이터를 그냥 쌓아두기만 해서는 아무런 가치도 없음데이터를 분석하고 활용해서 의미 있는 인사이트를 얻으려면, 이 데이터들을 체계적으로 수집하고, 필요한 형태로 가공해서, 적절한 저장소에 안전하게 옮겨 담는 과정이 필수적데이터 파이프라인이 없으면, 데이..