本文へスキップ
BigTree108

データエンジニアリングサービス

データエンジニアリングサービス：ETLとELTのパイプライン、Snowflake、Databricks、BigQuery、Amazon Redshift、Microsoft Fabric上のデータウェアハウスとレイクハウス、Sparkによる処理、dbtによるモデリング、Kafkaによるストリーミング、分析とAIのためのデータ基盤を提供します。御社チームに加わる専任のデータエンジニアとしても、データ基盤を企画から納品まで一貫して請け負う形でも承ります。

対応するデータエンジニアリング業務

  • 取り込みとETLパイプライン

    データベース、SaaSのAPI、ファイル、イベントトラッカーからのロードを、Airbyte、Fivetran、dlt、またはカスタムPythonで実装し、Airflow 3、Dagster、Azure Data Factory、AWS Glueでスケジュールします。可能な限り増分とし、再実行しても安全にして、CRMや製品へ戻すリバースETLも提供します。

  • ウェアハウスとレイクハウス

    Snowflake、Databricks、BigQuery、Amazon Redshift、Microsoft Fabric、またはS3やAzure Data Lake Storage上のApache IcebergやDelta Lakeテーブルによるレイクを、生データ、クレンジング済み、業務利用可能の各レイヤーで整理します。

  • Sparkと大規模処理

    Databricks、Amazon EMR、Fabric上のPySparkとSpark SQLによるバッチジョブを、夜間実行が時間枠内に終わるようパーティション分割とチューニングで調整します。データが1台のマシンに収まる場合は、DuckDBやPolarsを使います。

  • dbtによるデータモデリング

    スタースキーマとData Vaultのモデルを、Gitで管理するSQLとして記述し、キー、リレーションシップ、許容値のテストを備え、ドキュメントとリネージはコードから生成し、すべての変更はマージ前にCIで実行します。

  • ストリーミングとチェンジデータキャプチャ

    運用データベースの行レベルの変更をDebeziumで取得し、イベントをKafka、Amazon Kinesis、Azure Event Hubsで運び、FlinkやSpark Structured Streamingで処理します。データの鮮度が1日ではなく秒や分である必要がある場合に向いています。

  • データ品質とガバナンス

    鮮度、量、スキーマのチェックをdbtテスト、Soda、Great Expectationsで行い、失敗時にアラートを出し、Unity Catalog、DataHub、OpenMetadataでリネージ付きのカタログを整備し、ロールごとにアクセスを付与し、本番以外では個人データをマスキングします。

  • レガシープラットフォームからの移行

    SSISパッケージ、オンプレミスのSQL ServerとOracleのウェアハウス、TeradataとHadoopのクラスターを、クラウドプラットフォームに段階的に移します。何かを停止する前に、新旧の行数と合計値を突合します。

  • 機械学習・AI向けのデータ

    FeastやDatabricks組み込みのようなフィーチャーパイプラインとフィーチャーストア、ポイントインタイムで正しい学習セット、検索用のベクトルインデックスを元の文書と同期させ続けるチャンク分割とエンベディングのパイプラインです。

  • プラットフォームのコストとパフォーマンス

    ウェアハウスとクラスターの支出をパイプラインごと、チームごとに分解し、増分モデル、パーティション分割とクラスタリング、適正サイズのコンピュート、オートサスペンドで削減します。クエリ時間は前後で測定します。

データエンジニアを採用する

  • 専任のデータエンジニア

    御社のチームにフルタイムで参画し、御社のツールとプロセスの中で働き、御社のリードに報告するデータエンジニアです。面接は御社が行い、ウクライナでの雇用契約、給与支払い、請求書発行、休暇管理は当社が担います。

  • データエンジニアリングプロジェクト

    スコープと固定の計画が定まったデータエンジニアリングの一区切りの業務です。当社側の担当リードが成果に責任を持ち、進捗は御社のチャネルで報告します。

  • 継続的なデータエンジニアリング

    データエンジニアリングを継続サービスとして提供します。毎月同じメンバーが担当し、優先順位は御社がバックログで決め、稼働時間は当社のポータルと請求書で確認できます。

スペシャリストが御社のチームに参画する方法は専任チームのページで、プロジェクトのデリバリー、引き継ぎ、料金の考え方はアウトソーシングのページで説明しています。

御社のデータエンジニアリングを担当するメンバー

  • データエンジニア

    パイプライン、Spark、dbt、ストリーミング

  • アナリティクスエンジニア

    dbtモデルとメトリクス定義

  • Pythonエンジニア

    カスタムコネクタとAPI経由の取り込み

  • クラウド・DevOpsエンジニア

    データ基盤のTerraformとCI

  • BI開発者

    パイプラインの終点にあるレポート

データ基盤の選び方

すでにMicrosoft 365とPower BIで仕事をしている企業にはMicrosoft Fabric。Sparkスケールの処理や機械学習が同じデータで動く場合はDatabricks。作業がほぼSQLで、チームが運用の手間を減らしたい場合はSnowflake。他の環境がGoogle CloudまたはAWSにある場合はBigQueryまたはRedshift。ソースが少数で量も控えめなら、dbtを載せたPostgreSQLまたはAzure SQLです。

どれを選んでも、プラットフォームはTerraformで定義し、パイプラインとモデルはGitに置いてテストとともにCIでデプロイし、開発と本番を分離し、シークレットはノートブックではなくボールトから取得します。

その他のデータ・AIサービス

データとAIの概要

データエンジニアリングに関するご質問

データエンジニアは、どの業界で仕事をしていますか。

パイプラインがモデルと顧客向けアナリティクスに供給するAI・データ製品。取引、リスク、規制報告のデータを扱うフィンテック。注文、在庫、クリックストリームのEC・小売。厳格なアクセスルールのもとで診療データと保険請求データを扱うヘルスケア。大量のイベントストリームとアトリビューションを扱う広告・マーケティングテクノロジー。製品の利用データと製品内レポートを扱うエンタープライズSaaSです。

どのツールとプラットフォームを扱いますか。

ストレージとコンピュートにはSnowflake、Databricks、BigQuery、Amazon Redshift、Microsoft Fabric、ClickHouse。処理にはSpark、dbt、DuckDB、Polars。オーケストレーションにはAirflow、Dagster、Prefect、Data Factory、AWS Glue。ストリーミングにはKafka、Kinesis、Event Hubs、Flink、Debezium。そして全体にわたってPythonとSQLです。

他のチームが構築したパイプラインを引き継げますか。

はい。引き継ぎは、パイプライン、スケジュール、気づかれずに起きている失敗を読み取り専用でレビューし、影響の大きい順のリスク一覧を文書にまとめるところから始まります。何かを変更するのはその後です。

データエンジニアは、どのくらいで開始できますか。

適任のデータエンジニアがすぐに対応可能な場合、開始までの条件は、御社の面接と、NDAおよび知的財産権の譲渡契約の締結のみです。そうでない場合は人材を探索し、通常は2〜3週間以内に候補者のプロフィールをお出しします。御社が承諾するまで、誰も業務を始めません。

BigTree108を通じてデータエンジニアを採用するには、どうすればよいですか。

必要な業務内容、シニアリティ、稼働時間をお知らせください。1〜2名の候補者をプロフィールとともにご提案し、御社が自社で採用する場合と同じ形で面接を行います。契約はBIG TREE 108 LLCとの1本、請求書は月1通です。

成果物の権利は、誰に帰属しますか。

御社です。すべてのスペシャリストはBigTree108と署名済みの契約を結び、成果物のすべてを会社に帰属させています。さらに、御社との契約により、その権利は御社に引き継がれます。コード、デザイン、ドキュメントは、当社だけが変更できる場所ではなく、御社のリポジトリとツールに納品します。

データを1か所にまとめたいとお考えですか。

データソース、データ量、データの供給先をお知らせください。1営業日以内に、計画、プラットフォームの推奨案、または候補者のプロフィールをお届けします。

hello@bigtree108.comにメールする対応の流れ