본문으로 건너뛰기
BigTree108

Databricks 개발 및 컨설팅 서비스

Databricks 개발 및 컨설팅: Delta Lake와 Unity Catalog 기반 레이크하우스 구축, Lakeflow 파이프라인과 Spark 작업, Hadoop, 레거시 웨어하우스, Hive 메타스토어에서의 마이그레이션, Databricks SQL과 AI/BI 대시보드, Databricks의 머신러닝과 AI 에이전트, CI/CD와 비용 최적화를 제공합니다. 귀사 팀에 합류하는 전담 Databricks 엔지니어 또는 Databricks 프로젝트 전체를 맡아 납품하는 방식 중에서 선택하실 수 있습니다.

Databricks 기반 개발 영역

  • Databricks 레이크하우스 구축

    Azure Databricks, AWS 또는 Google Cloud의 워크스페이스를 Terraform으로 설정하고 Unity Catalog를 적용합니다. Delta Lake 또는 Apache Iceberg 테이블에 원시, 정제, 비즈니스용 계층을 두며, 개발, 스테이징, 프로덕션은 카탈로그와 워크스페이스로 분리합니다.

  • Lakeflow 파이프라인과 Spark 작업

    Spark Declarative Pipelines(이전 이름 Delta Live Tables) 기반의 Lakeflow 파이프라인으로 구성하는 배치 및 스트리밍 파이프라인으로, 데이터 품질 기대치, Lakeflow Connect와 Auto Loader를 통한 수집, Lakeflow Jobs에 스케줄링한 PySpark 작업을 포함합니다.

  • Unity Catalog와 접근 제어

    코드로 관리하는 카탈로그, 스키마, 권한, 개인정보를 위한 행 필터, 컬럼 마스크, 속성 기반 정책, 시스템 테이블에서 읽는 리니지와 감사 로그, 데이터를 복사하지 않고 파트너에게 통제된 접근을 제공하는 Delta Sharing입니다.

  • Databricks로의 마이그레이션

    Hadoop과 Hive 클러스터, SQL Server, Oracle, Teradata 웨어하우스, Azure Synapse 워크로드를 단계적으로 옮기고, Hive 메타스토어 테이블을 Unity Catalog로 업그레이드하며, 기존 시스템을 끄기 전에 모든 테이블을 행 수와 합계로 대조합니다.

  • Databricks SQL과 AI/BI

    Power BI와 Tableau에 데이터를 제공하는 SQL 웨어하우스, AI/BI 대시보드, 각 KPI를 한 번만 정의하는 메트릭 뷰, 그리고 데이터 팀이 정리한 데이터와 정의를 바탕으로 비즈니스 사용자가 평이한 언어로 질문하는 Genie입니다.

  • Databricks의 머신러닝

    피처 엔지니어링, MLflow 3로 추적하는 학습, Unity Catalog에 등록하고 Model Serving 엔드포인트로 서빙하는 모델이며, 예측, 스코어링, 추천 모델을 그것이 쓰는 데이터 옆에서 학습시킵니다.

  • Databricks의 AI 에이전트와 검색

    Agent Bricks 또는 코드로 만든 에이전트, Databricks AI Search(이전 이름 Vector Search)를 이용한 귀사 문서 검색, MLflow의 트레이싱과 평가, 그리고 관리형 Postgres 데이터베이스인 Lakebase에 트랜잭션 데이터를 두는 Databricks Apps 애플리케이션입니다.

  • Databricks 비용 통제

    청구 시스템 테이블에서 작업, 웨어하우스, 팀별로 지출을 분석한 뒤, 서버리스 또는 적정 규모의 컴퓨트, 클러스터 정책, 자동 종료, 비용을 회수하는 곳의 Photon, 대형 테이블의 자동 리퀴드 클러스터링으로 줄입니다.

  • Declarative Automation Bundles를 이용한 CI/CD

    작업, 파이프라인, 대시보드를 GitHub Actions 또는 Azure DevOps와 함께 Declarative Automation Bundles(이전 이름 Databricks Asset Bundles)로 Git에서 배포하고, PySpark 코드는 단위 테스트로 검증하며, 개인 액세스 토큰 대신 연합 자격 증명을 쓰는 서비스 프린시펄을 사용합니다.

Databricks 엔지니어 채용

  • 전담 Databricks 엔지니어

    귀사 팀에 풀타임으로 합류해 귀사의 저장소, 트래커, 회의에서 일하고 귀사의 리드에게 보고하는 Databricks 엔지니어 인력입니다. 면접은 귀사가 진행하고, 우크라이나 현지 계약, 급여, 청구, 휴가는 당사가 맡습니다.

  • Databricks 프로젝트 수행

    Databricks 프로젝트를 범위 정의부터 릴리스까지 맡는 팀입니다. 견적, 개발, 테스트, 배포를 수행하며, 계획과 품질을 책임지는 기술 리드가 당사에 있습니다.

  • Databricks 지원 및 인수

    다른 팀에서 인수하거나 계속 운영하는 기존 Databricks 시스템입니다. 읽기 전용 검토와 서면 위험 목록을 먼저 제공하고, 이후 영향이 큰 순서로 수정과 신규 기능을 진행합니다.

전담 개발팀 페이지는 전문가가 귀사 팀에 합류하는 방식을 설명하고, 외주 개발 페이지는 프로젝트 납품, 인수, 비용 청구 방식을 다룹니다.

Databricks 프로젝트를 맡는 사람들

  • Databricks 엔지니어

    Lakeflow, Spark, Unity Catalog, 플랫폼 구축

  • 데이터 엔지니어

    수집, 파이프라인, 데이터 품질

  • 애널리틱스 엔지니어와 BI 개발자

    Databricks SQL, dbt, 메트릭 뷰, 대시보드

  • 머신러닝 엔지니어

    MLflow, Model Serving, 에이전트

  • 클라우드 및 DevOps 엔지니어

    Terraform, 네트워킹, CI/CD

소프트웨어처럼 운영하는 레이크하우스

워크스페이스, 카탈로그, 권한, 작업, 파이프라인은 모두 코드로 정의합니다. 플랫폼은 Terraform, 작업과 파이프라인은 번들, 모든 변경은 테스트가 있는 풀 리퀘스트이므로, 프로덕션은 노트북에서 손으로 편집되지 않고 어떤 환경이든 다시 만들 수 있습니다.

비용과 접근은 첫 주부터 설계에 넣습니다. 팀별로 태그를 단 컴퓨트와 예산, 경보, 시작할 수 있는 것을 제한하는 클러스터 정책, Unity Catalog를 통한 개인정보 마스킹, 귀사의 보안 정책이 요구하는 곳에서의 프라이빗 네트워킹을 통한 워크스페이스 접근입니다.

제공하는 다른 데이터 및 AI 서비스

데이터 및 AI 개요

Databricks 개발 관련 질문

Databricks 엔지니어는 어떤 업종에서 일합니까?

리스크, 사기, 규제 데이터를 다루는 핀테크, 은행, 보험입니다. 고객, 주문, 수요 데이터를 다루는 이커머스와 리테일, 레이크하우스 위에 구축한 AI 및 데이터 제품, 엄격한 접근 규칙 아래 임상 및 연구 데이터를 다루는 헬스케어와 생명과학, 대량의 이벤트 데이터를 다루는 광고 및 마케팅 기술, 센서와 텔레메트리 데이터를 다루는 제조와 에너지, 제품 분석을 다루는 엔터프라이즈 SaaS도 있습니다.

Azure Databricks와 AWS, Google Cloud의 Databricks 모두 다룹니까?

네, 세 곳 모두 다룹니다. Unity Catalog, Lakeflow, SQL 웨어하우스는 어느 쪽에서든 똑같이 작동합니다. 달라지는 것은 네트워킹, ID 설정, 그 밑의 스토리지이며, 이는 귀사가 쓰는 클라우드에 맞춰 Terraform으로 작성합니다.

Hive 메타스토어에서 Unity Catalog로 옮겨 주실 수 있습니까?

네. 먼저 테이블, 작업, 권한의 목록을 만들고, 이어서 테이블을 그룹별로 업그레이드하고, 작업이 새 이름을 가리키도록 한 뒤 테스트하며, 모든 사용처가 옮겨 갈 때까지 기존 메타스토어는 읽기 전용으로 유지합니다.

Databricks 엔지니어 투입까지 얼마나 걸립니까?

적합한 Databricks 엔지니어 인력이 있으면 귀사의 면접, NDA, 지식재산권 양도 절차만 거치면 바로 시작할 수 있습니다. 그렇지 않으면 인재를 탐색하며, 보통 2~3주 안에 후보자 프로필을 전달합니다. 귀사가 승인하기 전에는 누구도 업무를 시작하지 않습니다.

Databricks 엔지니어 채용은 BigTree108을 통해 어떻게 진행합니까?

필요한 업무, 경력 수준, 근무 시간을 알려 주십시오. 당사가 한두 명의 프로필을 제안하면, 귀사는 직접 채용하는 인력과 같은 방식으로 면접을 진행하고, BIG TREE 108 LLC와 하나의 계약을 체결하여 월 1회 하나의 인보이스를 받습니다.

전문가가 만든 결과물의 소유권은 누구에게 있습니까?

귀사에 있습니다. 모든 전문가는 당사와 서명한 계약으로 모든 작업 결과물을 회사에 귀속시키고, 귀사와의 계약으로 이것이 다시 귀사에 귀속됩니다. 코드, 디자인, 문서는 당사만 수정할 수 있는 곳이 아니라 귀사의 저장소와 도구에 직접 전달합니다.

Databricks 플랫폼을 계획하거나 고치고 계십니까?

사용하는 클라우드, 워크로드, 플랫폼이 제공해야 하는 것을 알려 주십시오. 1영업일 이내에 계획, 비용 및 거버넌스 검토 의견, 또는 후보자 프로필을 보내 드립니다.

이메일 hello@bigtree108.com응답 방식