본문으로 건너뛰기
BigTree108

데이터 엔지니어링 서비스

데이터 엔지니어링 서비스: ETL 및 ELT 파이프라인, Snowflake, Databricks, BigQuery, Amazon Redshift, Microsoft Fabric 기반의 데이터 웨어하우스와 레이크하우스, Spark 처리, dbt 모델링, Kafka 스트리밍, 분석과 AI를 위한 데이터 플랫폼을 제공합니다. 귀사 팀에 합류하는 전담 데이터 엔지니어 또는 데이터 플랫폼 전체를 맡아 납품하는 방식 중에서 선택하실 수 있습니다.

맡고 있는 데이터 엔지니어링 업무

  • 수집 및 ETL 파이프라인

    Airbyte, Fivetran, dlt 또는 맞춤형 Python으로 데이터베이스, SaaS API, 파일, 이벤트 트래커에서 데이터를 적재하며, Airflow 3, Dagster, Azure Data Factory 또는 AWS Glue로 스케줄링하고, 가능한 한 증분 방식으로 다시 실행해도 안전하게 구성합니다. 귀사의 CRM과 제품으로 되돌려 보내는 리버스 ETL도 포함합니다.

  • 웨어하우스와 레이크하우스

    Snowflake, Databricks, BigQuery, Amazon Redshift, Microsoft Fabric, 또는 S3나 Azure Data Lake Storage 위에 Apache Iceberg나 Delta Lake 테이블로 구성한 레이크이며, 원시, 정제, 비즈니스용 계층으로 구성합니다.

  • Spark와 대규모 처리

    Databricks, Amazon EMR 또는 Fabric에서 PySpark와 Spark SQL로 처리하는 배치 작업으로, 야간 실행이 정해진 시간 안에 끝나도록 파티셔닝하고 튜닝하며, 데이터가 한 대의 머신에 들어가면 DuckDB나 Polars를 씁니다.

  • dbt 데이터 모델링

    Git에 SQL로 둔 스타 스키마와 Data Vault 모델이며, 키, 관계, 허용 값에 대한 테스트, 코드에서 생성하는 문서와 리니지를 갖추고, 모든 변경은 병합 전에 CI에서 실행합니다.

  • 스트리밍과 변경 데이터 캡처

    Debezium으로 운영 데이터베이스의 행 단위 변경을 캡처하고, Kafka, Amazon Kinesis 또는 Azure Event Hubs로 이벤트를 전달해 Flink 또는 Spark Structured Streaming에서 처리합니다. 하루가 아니라 몇 초나 몇 분 이내의 데이터가 필요한 경우에 쓰입니다.

  • 데이터 품질과 거버넌스

    dbt 테스트, Soda 또는 Great Expectations로 하는 신선도, 볼륨, 스키마 점검과 실패 시 알림, Unity Catalog, DataHub 또는 OpenMetadata의 리니지를 갖춘 카탈로그, 역할별로 부여하는 접근 권한, 프로덕션 외 환경에서 마스킹하는 개인정보입니다.

  • 레거시 플랫폼에서의 이전

    SSIS 패키지, 온프레미스 SQL Server와 Oracle 웨어하우스, Teradata와 Hadoop 클러스터를 클라우드 플랫폼으로 단계적으로 옮기며, 기존 시스템을 끄기 전에 새것과의 행 수와 합계를 대조합니다.

  • 머신러닝과 AI를 위한 데이터

    Feast나 Databricks 내장 기능 같은 피처 파이프라인과 피처 스토어, 시점 정합성이 맞는 학습 세트, 검색용 벡터 인덱스를 원본 문서와 일치하게 유지하는 청킹 및 임베딩 파이프라인입니다.

  • 플랫폼 비용과 성능

    웨어하우스와 클러스터 지출을 파이프라인과 팀별로 분석한 뒤, 증분 모델, 파티셔닝과 클러스터링, 적정 규모의 컴퓨트, 자동 일시 중지로 줄이고 쿼리 시간을 전후로 측정합니다.

데이터 엔지니어 채용

  • 전담 데이터 엔지니어

    귀사 팀에 풀타임으로 합류해 귀사의 도구와 프로세스로 일하고 귀사의 리드에게 보고하는 데이터 엔지니어 인력입니다. 면접은 귀사가 진행하고, 우크라이나 현지 계약, 급여, 청구, 휴가는 당사가 맡습니다.

  • 데이터 엔지니어링 프로젝트

    범위와 확정된 계획이 있는 데이터 엔지니어링 업무입니다. 당사의 지정 리드가 결과에 책임을 지고 귀사의 채널에서 진행 상황을 보고합니다.

  • 지속적인 데이터 엔지니어링

    지속적으로 제공하는 데이터 엔지니어링 서비스입니다. 매달 같은 인력이 투입되고, 우선순위를 정하는 백로그를 운영하며, 투입 시간은 당사 포털과 인보이스에서 확인하실 수 있습니다.

전담 개발팀 페이지는 전문가가 귀사 팀에 합류하는 방식을 설명하고, 외주 개발 페이지는 프로젝트 납품, 인수, 비용 청구 방식을 다룹니다.

데이터 엔지니어링 업무를 맡는 사람들

  • 데이터 엔지니어

    파이프라인, Spark, dbt, 스트리밍

  • 애널리틱스 엔지니어

    dbt 모델과 지표 정의

  • Python 엔지니어

    맞춤형 커넥터와 API 수집

  • 클라우드 및 DevOps 엔지니어

    데이터 플랫폼용 Terraform과 CI

  • BI 개발자

    파이프라인 끝단의 리포트

데이터 플랫폼 선택

회사가 이미 Microsoft 365와 Power BI에서 일한다면 Microsoft Fabric입니다. Spark 규모의 처리나 머신러닝이 같은 데이터에서 실행된다면 Databricks, 작업 대부분이 SQL이고 팀이 운영할 것이 적기를 원한다면 Snowflake입니다. 나머지 환경이 Google Cloud나 AWS에 있다면 BigQuery나 Redshift, 소스가 몇 개이고 규모가 크지 않다면 dbt를 올린 PostgreSQL이나 Azure SQL입니다.

무엇을 고르든 플랫폼은 Terraform으로 정의하고, 파이프라인과 모델은 Git에 두어 테스트와 함께 CI로 배포하며, 개발과 프로덕션을 분리하고, 시크릿은 노트북이 아니라 볼트에서 가져옵니다.

제공하는 다른 데이터 및 AI 서비스

데이터 및 AI 개요

데이터 엔지니어링 관련 질문

데이터 엔지니어는 어떤 업종에서 일합니까?

파이프라인이 모델과 고객용 분석에 데이터를 공급하는 AI 및 데이터 제품입니다. 거래, 리스크, 규제 보고 데이터를 다루는 핀테크, 주문, 재고, 클릭스트림을 다루는 이커머스와 리테일, 엄격한 접근 규칙 아래 임상 및 청구 데이터를 다루는 헬스케어, 대량의 이벤트 스트림과 기여도 분석을 다루는 광고 및 마케팅 기술, 제품 사용 데이터와 제품 내 리포팅을 다루는 엔터프라이즈 SaaS도 있습니다.

어떤 도구와 플랫폼을 다룹니까?

저장과 컴퓨트에는 Snowflake, Databricks, BigQuery, Amazon Redshift, Microsoft Fabric, ClickHouse, 처리에는 Spark, dbt, DuckDB, Polars, 오케스트레이션에는 Airflow, Dagster, Prefect, Data Factory, AWS Glue, 스트리밍에는 Kafka, Kinesis, Event Hubs, Flink, Debezium을 쓰며, 전반에 Python과 SQL을 씁니다.

다른 팀이 만든 파이프라인을 인수할 수 있습니까?

네. 인수는 파이프라인, 스케줄, 눈에 띄지 않는 실패에 대한 읽기 전용 검토와, 영향이 큰 순서로 정리한 위험 목록을 문서로 드리는 것으로 시작하며, 그 전에는 아무것도 바꾸지 않습니다.

데이터 엔지니어 투입까지 얼마나 걸립니까?

적합한 데이터 엔지니어 인력이 있으면 귀사의 면접, NDA, 지식재산권 양도 절차만 거치면 바로 시작할 수 있습니다. 그렇지 않으면 인재를 탐색하며, 보통 2~3주 안에 후보자 프로필을 전달합니다. 귀사가 승인하기 전에는 누구도 업무를 시작하지 않습니다.

데이터 엔지니어 채용은 BigTree108을 통해 어떻게 진행합니까?

필요한 업무, 경력 수준, 근무 시간을 알려 주십시오. 당사가 한두 명의 프로필을 제안하면, 귀사는 직접 채용하는 인력과 같은 방식으로 면접을 진행하고, BIG TREE 108 LLC와 하나의 계약을 체결하여 월 1회 하나의 인보이스를 받습니다.

전문가가 만든 결과물의 소유권은 누구에게 있습니까?

귀사에 있습니다. 모든 전문가는 당사와 서명한 계약으로 모든 작업 결과물을 회사에 귀속시키고, 귀사와의 계약으로 이것이 다시 귀사에 귀속됩니다. 코드, 디자인, 문서는 당사만 수정할 수 있는 곳이 아니라 귀사의 저장소와 도구에 직접 전달합니다.

데이터를 한곳에 모으고 싶으십니까?

데이터 소스, 처리량, 데이터가 공급해야 하는 대상을 알려 주십시오. 1영업일 이내에 계획, 플랫폼 추천안, 또는 후보자 프로필을 보내 드립니다.

이메일 hello@bigtree108.com응답 방식