本文へスキップ
BigTree108

Databricks開発・コンサルティングサービス

Databricks開発・コンサルティング：Delta LakeとUnity Catalogによるレイクハウスの構築、LakeflowパイプラインとSparkジョブ、Hadoop・レガシーウェアハウス・Hiveメタストアからの移行、Databricks SQLとAI/BIダッシュボード、Databricks上の機械学習とAIエージェント、CI/CDとコスト最適化を提供します。御社チームに加わる専任のDatabricksエンジニアとしても、Databricksプロジェクトを企画から納品まで一貫して請け負う形でも承ります。

Databricksで開発するもの

  • Databricksによるレイクハウス構築

    Azure Databricks、AWS、Google Cloud上のワークスペースを、Unity Catalogとともに、Delta LakeまたはApache Icebergテーブルの生データ・クレンジング済み・業務利用可能のレイヤーで、Terraformにより構築します。開発、ステージング、本番はカタログとワークスペースで分離します。

  • LakeflowパイプラインとSparkジョブ

    Spark Declarative Pipelines（旧Delta Live Tables）上に構築したLakeflowパイプラインによるバッチとストリーミングのパイプライン。データ品質のエクスペクテーション、Lakeflow ConnectとAuto Loaderによる取り込み、Lakeflow JobsでスケジュールしたPySparkジョブを備えます。

  • Unity Catalogとアクセス制御

    コードとして管理するカタログ、スキーマ、権限、個人データ向けの行フィルター、列マスク、属性ベースのポリシー、システムテーブルから読み取るリネージと監査ログ、データをコピーせずにパートナーへガバナンスされたアクセスを提供するDelta Sharingです。

  • Databricksへの移行

    Hadoop・Hiveクラスター、SQL Server・Oracle・Teradataのウェアハウス、Azure Synapseのワークロードを段階的に移し、HiveメタストアのテーブルをUnity Catalogにアップグレードし、旧システムを停止する前に、すべてのテーブルを行数と合計値で突合します。

  • Databricks SQLとAI/BI

    Power BIとTableauにデータを提供するSQLウェアハウス、AI/BIダッシュボード、各KPIを一度だけ定義するメトリクスビュー、そしてビジネスユーザーが、データチームが整備したデータと定義に対して自然言語で質問できるGenieです。

  • Databricks上の機械学習

    特徴量エンジニアリング、MLflow 3で追跡する学習、Unity Catalogに登録してModel Servingエンドポイントから提供するモデルを、利用するデータの隣で学習する予測、スコアリング、レコメンデーションのために提供します。

  • Databricks上のAIエージェントと検索

    Agent Bricksまたはコードで構築するエージェント、Databricks AI Search（旧Vector Search）による文書検索、MLflowでのトレースと評価、トランザクションデータをマネージドPostgresデータベースのLakebaseに保持するDatabricks Apps上のアプリケーションです。

  • Databricksのコスト管理

    支出を課金システムテーブルからジョブ、ウェアハウス、チームごとに分解し、サーバーレスまたは適正サイズのコンピュート、クラスターポリシー、自動終了、採算が合う場合のPhoton、大きなテーブルの自動リキッドクラスタリングで削減します。

  • Declarative Automation BundlesによるCI/CD

    ジョブ、パイプライン、ダッシュボードを、GitからDeclarative Automation Bundles（旧Databricks Asset Bundles）で、GitHub ActionsまたはAzure DevOpsとともにデプロイします。PySparkのコードはユニットテストでカバーし、サービスプリンシパルは個人アクセストークンではなくフェデレーション認証情報を使います。

Databricksエンジニアを採用する

  • 専任のDatabricksエンジニア

    御社のチームにフルタイムで参画し、御社のリポジトリ、トラッカー、会議の中で働き、御社のリードに報告するDatabricksエンジニアです。面接は御社が行い、ウクライナでの雇用契約、給与支払い、請求書発行、休暇管理は当社が担います。

  • Databricksプロジェクトのデリバリー

    Databricksプロジェクトをスコープ策定からリリースまで担うチームです。見積り、開発、テスト、デプロイを行い、当社側のテクニカルリードが計画と品質に責任を持ちます。

  • Databricksの保守運用と引き継ぎ

    他のチームから既存のDatabricksシステムを引き継ぐ、あるいは稼働を維持します。まず読み取り専用のレビューを行ってリスクを書面にまとめ、その後、影響の大きい順に修正と新機能を進めます。

スペシャリストが御社のチームに参画する方法は専任チームのページで、プロジェクトのデリバリー、引き継ぎ、料金の考え方はアウトソーシングのページで説明しています。

御社のDatabricksプロジェクトを担当するメンバー

  • Databricksエンジニア

    Lakeflow、Spark、Unity Catalog、プラットフォーム構築

  • データエンジニア

    取り込み、パイプライン、データ品質

  • アナリティクスエンジニアとBI開発者

    Databricks SQL、dbt、メトリクスビュー、ダッシュボード

  • 機械学習エンジニア

    MLflow、Model Serving、エージェント

  • クラウド・DevOpsエンジニア

    Terraform、ネットワーク、CI/CD

ソフトウェアのように運用するレイクハウス

ワークスペース、カタログ、権限、ジョブ、パイプラインはすべてコードで定義します。プラットフォームはTerraform、ジョブとパイプラインはバンドル、すべての変更はテスト付きのプルリクエストで行うため、本番をノートブックで手作業編集することはなく、どの環境も再構築できます。

コストとアクセスは最初の週から設計に組み込みます。チームごとにタグ付けして予算とアラートを設定したコンピュート、起動できるものに上限を設けるクラスターポリシー、Unity Catalogによる個人データのマスキング、セキュリティポリシーが求める場合のプライベートネットワーク経由でのワークスペース接続です。

その他のデータ・AIサービス

データとAIの概要

Databricks開発に関するご質問

Databricksエンジニアは、どの業界で仕事をしていますか。

リスク、不正、規制データのフィンテック、銀行、保険。顧客、注文、需要データのEC・小売。レイクハウス上に構築するAI・データ製品。厳格なアクセスルールのもとで臨床・研究データを扱うヘルスケアとライフサイエンス。大量のイベントデータを扱う広告・マーケティングテクノロジー。センサーとテレメトリのデータを扱う製造・エネルギー。プロダクト分析のエンタープライズSaaSです。

Azure Databricksと、AWS・Google Cloud上のDatabricksのどちらにも対応していますか。

はい、3つすべてに対応します。Unity Catalog、Lakeflow、SQLウェアハウスは、どのクラウドでも同じように動作します。変わるのはネットワーク、IDの構成、その下のストレージで、これらは御社が使うクラウド向けにTerraformで記述します。

HiveメタストアからUnity Catalogに移行できますか。

はい。まずテーブル、ジョブ、権限の棚卸しを行い、次にテーブルをグループ単位でアップグレードし、ジョブを新しい名前に向けてテストします。旧メタストアは、すべての利用者が移行を終えるまで読み取り専用で残します。

Databricksエンジニアは、どのくらいで開始できますか。

適任のDatabricksエンジニアがすぐに対応可能な場合、開始までの条件は、御社の面接と、NDAおよび知的財産権の譲渡契約の締結のみです。そうでない場合は人材を探索し、通常は2〜3週間以内に候補者のプロフィールをお出しします。御社が承諾するまで、誰も業務を始めません。

BigTree108を通じてDatabricksエンジニアを採用するには、どうすればよいですか。

必要な業務内容、シニアリティ、稼働時間をお知らせください。1〜2名の候補者をプロフィールとともにご提案し、御社が自社で採用する場合と同じ形で面接を行います。契約はBIG TREE 108 LLCとの1本、請求書は月1通です。

成果物の権利は、誰に帰属しますか。

御社です。すべてのスペシャリストはBigTree108と署名済みの契約を結び、成果物のすべてを会社に帰属させています。さらに、御社との契約により、その権利は御社に引き継がれます。コード、デザイン、ドキュメントは、当社だけが変更できる場所ではなく、御社のリポジトリとツールに納品します。

Databricksプラットフォームの計画や改善をご検討中ですか。

クラウド、ワークロード、プラットフォームに求める成果をお知らせください。1営業日以内に、計画、コストとガバナンスのレビュー、または候補者のプロフィールをお届けします。

hello@bigtree108.comにメールする対応の流れ