Služby vývoje a poradenství pro Databricks
Vývoj a poradenství pro Databricks: implementace lakehouse na Delta Lake a Unity Catalog, pipeline Lakeflow a úlohy Spark, migrace z Hadoop, legacy datových skladů a Hive metastore, dashboardy Databricks SQL a AI/BI, strojové učení a AI agenti na Databricks, CI/CD a optimalizace nákladů, s dedikovanými Databricks inženýry pro váš tým nebo s projektem na Databricks dodaným na klíč.
Co stavíme v technologii Databricks
Implementace lakehouse na Databricks
Workspace na Azure Databricks, AWS nebo Google Cloud zřízené v Terraform s Unity Catalog, vrstvy surových, vyčištěných a pro byznys připravených dat v tabulkách Delta Lake nebo Apache Iceberg a vývoj, staging a produkce oddělené katalogem a workspace.
Pipeline Lakeflow a úlohy Spark
Dávkové i streamované pipeline v Lakeflow Pipelines, postavené na Spark Declarative Pipelines (dříve Delta Live Tables), s očekáváními kvality dat, načítáním přes Lakeflow Connect a Auto Loader a úlohami PySpark plánovanými v Lakeflow Jobs.
Unity Catalog a řízení přístupu
Katalogy, schémata a oprávnění spravované jako kód, filtry řádků, masky sloupců a politiky založené na atributech pro osobní údaje, lineage a auditní logy čtené ze systémových tabulek a Delta Sharing pro řízený přístup partnerů bez kopírování dat.
Migrace na Databricks
Clustery Hadoop a Hive, datové sklady SQL Server, Oracle a Teradata a workloady Azure Synapse přesunuté po etapách, tabulky Hive metastore upgradované na Unity Catalog a každá tabulka odsouhlasená podle počtů řádků a součtů, než se starý systém vypne.
Databricks SQL a AI/BI
SQL warehouses obsluhující Power BI a Tableau, dashboardy AI/BI, metric views, které definují každé KPI jednou, a Genie, kde obchodní uživatelé kladou otázky běžným jazykem nad daty a definicemi, které připravil datový tým.
Strojové učení na Databricks
Feature engineering, trénink sledovaný v MLflow 3, modely registrované v Unity Catalog a provozované z endpointů Model Serving, pro predikční, skórovací a doporučovací modely trénované vedle dat, která používají.
AI agenti a vyhledávání na Databricks
Agenti vytvoření pomocí Agent Bricks nebo v kódu, vyhledávání nad vašimi dokumenty pomocí Databricks AI Search (dříve Vector Search), trasování a evaluace v MLflow a aplikace na Databricks Apps s Lakebase, spravovanou databází Postgres, která drží jejich transakční data.
Kontrola nákladů na Databricks
Výdaje rozepsané podle úlohy, warehouse a týmu ze systémových tabulek fakturace a poté snížené pomocí serverless nebo správně dimenzovaného výpočetního výkonu, politik clusterů, automatického ukončení, Photon tam, kde se vyplatí, a automatického liquid clusteringu u velkých tabulek.
CI/CD s Declarative Automation Bundles
Úlohy, pipeline a dashboardy nasazované z Gitu přes Declarative Automation Bundles (dříve Databricks Asset Bundles) pomocí GitHub Actions nebo Azure DevOps, kód PySpark pokrytý unit testy a service principals s federovanými přihlašovacími údaji místo osobních přístupových tokenů.
Databricks inženýři do vašeho týmu
Dedikovaní Databricks inženýři
Databricks inženýři, kteří nastoupí do vašeho týmu na plný úvazek, pracují ve vašich repozitářích, trackeru a na vašich schůzkách a zodpovídají se vašemu vedoucímu. Pohovor s nimi vedete vy; my neseme ukrajinskou smlouvu, mzdy, fakturaci a dovolenou.
Realizace projektu v technologii Databricks
Tým, který provede projekt v technologii Databricks od vymezení rozsahu po vydání: odhad, vývoj, testy a nasazení, s technickým vedoucím na naší straně, který odpovídá za plán a kvalitu.
Podpora a převzetí systémů v technologii Databricks
Stávající systém v technologii Databricks převzatý od jiného týmu nebo udržovaný v chodu: nejprve revize jen pro čtení a písemný seznam rizik, pak opravy a nové funkce podle dopadu.
Stránka o dedikovaném týmu vysvětluje, jak se specialisté připojují k vašemu týmu, a stránka o outsourcingu pokrývá dodávku projektů, převzetí systémů a jak účtujeme.
Kdo pracuje na vašem projektu v technologii Databricks
Databricks inženýři
Lakeflow, Spark, Unity Catalog a zřízení platformy
Datoví inženýři
Načítání dat, pipeline a kvalita dat
Analytičtí inženýři a BI vývojáři
Databricks SQL, dbt, metric views a dashboardy
Inženýři strojového učení
MLflow, Model Serving a agenti
Cloud a DevOps inženýři
Terraform, sítě a CI/CD
Lakehouse provozovaný jako software
Workspace, katalogy, oprávnění, úlohy i pipeline jsou definovány v kódu: Terraform pro platformu, bundles pro úlohy a pipeline a pull requesty s testy pro každou změnu, takže se produkce nikdy neupravuje ručně v notebooku a kterékoli prostředí lze znovu postavit.
Náklady a přístup se řeší od prvního týdne: výpočetní výkon označený tagy po týmech s rozpočty a upozorněními, politiky clusterů, které omezují, co lze spustit, osobní údaje maskované přes Unity Catalog a workspace dostupné přes privátní síť tam, kde to vyžadují vaše bezpečnostní zásady.
Další služby v oblasti dat a AI, které poskytujeme
AI a strojové učení
Služby vývoje AI a strojového učení: předpovědi, detekce podvodů, doporučovací systémy, počítačové vidění, NLP a rozpoznávání řeči a MLOps, s dedikovanými inženýry strojového učení nebo dodávkou projektu.
Datové inženýrství
Služby datového inženýrství: pipeline ETL, Spark, dbt a streaming, datové sklady a lakehouse na Snowflake, Databricks, BigQuery, Redshift a Microsoft Fabric, s dedikovanými datovými inženýry nebo dodávkou projektu.
Datová analytika a Power BI
Služby datové analytiky a Power BI: dashboardy v Power BI, Tableau a Looker, produktová analytika, A/B testování, finanční a marketingový reporting, s dedikovanými datovými analytiky a vývojáři BI nebo dodávkou projektu.
Vývoj databází
Služby vývoje a správy databází: návrh schématu, ladění dotazů, migrace a zálohy na SQL Server, PostgreSQL, MySQL, Oracle a MongoDB, s dedikovanými vývojáři databází a DBA nebo dodávkou projektu.
Vývoj počítačového vidění
Služby vývoje počítačového vidění: detekce objektů, vizuální kontrola, OCR, analytika videa, lékařské zobrazování a modely na okrajových zařízeních (edge), s dedikovanými inženýry počítačového vidění nebo dodávkou projektu.
Anotace dat
Služby anotace a označování dat pro AI: označování obrázků, videa, textu, zvuku a LiDARu, RLHF a data pro vyhodnocování, s kontrolou kvality každé dávky, od dedikovaných anotátorů dat nebo dodávkou projektu.
MLOps
Služby a poradenství v MLOps: platformy ML, CI/CD pro modely, registry modelů, serving a automatické škálování, infrastruktura s GPU, monitoring driftu a LLMOps, s dedikovanými inženýry MLOps nebo dodávkou projektu.
Vývoj na Snowflake
Vývoj a poradenství pro Snowflake: návrh datového skladu, načítání přes Snowpipe a Openflow, dbt, migrace, Cortex AI, bezpečnost a kontrola nákladů, s dedikovanými vývojáři Snowflake nebo dodávkou projektu.
Kafka a streamování událostí
Vývoj a poradenství pro Apache Kafka: architektura řízená událostmi, Kafka Connect a Debezium, Flink a Kafka Streams, Confluent Cloud, MSK a Event Hubs, s dedikovanými inženýry Kafky nebo dodávkou projektu.
Automatizace workflow
Služby automatizace workflow a AI: toky v n8n, Make, Zapier a Power Automate, AI agenti ve workflow, automatizace CRM, financí a dokumentů, s dedikovanými vývojáři automatizace nebo dodávkou projektu.
Otázky k vývoji v technologii Databricks
V jakých odvětvích pracují vaši Databricks inženýři?
Fintech, bankovnictví a pojišťovnictví, pro data o rizicích, podvodech a regulatorní data; e-commerce a maloobchod, pro data o zákaznících, objednávkách a poptávce; AI a datové produkty postavené na lakehouse; zdravotnictví a biologické vědy, pro klinická a výzkumná data pod přísnými pravidly přístupu; reklama a marketingové technologie, pro data o událostech s vysokým objemem; výroba a energetika, pro data ze senzorů a telemetrii; a podnikové SaaS, pro produktovou analytiku.
Pracujete s Azure Databricks i s Databricks na AWS a Google Cloud?
Ano, se všemi třemi. Unity Catalog, Lakeflow a SQL warehouses fungují na každém stejně; mění se síť, nastavení identit a úložiště pod nimi, a to je pro cloud, který používáte, napsáno v Terraform.
Můžete nás přesunout z Hive metastore na Unity Catalog?
Ano. Nejdřív vznikne inventář tabulek, úloh a oprávnění, poté se tabulky upgradují po skupinách, úlohy se přesměrují na nové názvy a otestují a starý metastore zůstane jen pro čtení, dokud nepřejdou všichni odběratelé.
Jak rychle mohou nastoupit Databricks inženýři?
Když je k dispozici ten pravý Databricks inženýr, začátek brzdí jen váš pohovor, NDA a převod práv duševního vlastnictví. Jinak vedeme hledání, které obvykle přinese profily kandidátů do dvou až tří týdnů, a nikdo nenastoupí, dokud neřeknete ano.
Jak probíhá najímání přes BigTree108 (role: Databricks inženýři)?
Řekněte nám, jakou práci, jakou seniority a kolik hodin potřebujete. Navrhneme jednoho nebo dva lidi s jejich profily, pohovoříte s nimi stejně jako s vlastním zaměstnancem a podepíšete jednu smlouvu s BIG TREE 108 LLC a budete dostávat jednu fakturu měsíčně.
Komu patří práce, kterou vytvářejí?
Vám. Každý specialista má podepsanou smlouvu s BigTree108, která převádí všechny výsledky práce na společnost, a naše smlouva s vámi je převádí dál. Kód, návrhy a dokumenty se dodávají do vašich vlastních repozitářů a nástrojů, ne do míst, kde je můžeme měnit jen my.
Plánujete nebo opravujete platformu Databricks?
Napište nám, jaký máte cloud, workloady a co má platforma dodávat. Odpověď dostanete do jednoho pracovního dne: plán, posouzení nákladů a governance nebo profily kandidátů.