Služby datového inženýrství
Služby datového inženýrství: pipeline ETL a ELT, datové sklady a lakehouse na Snowflake, Databricks, BigQuery, Amazon Redshift a Microsoft Fabric, zpracování ve Spark, modelování v dbt, streamování s Kafka a datové platformy pro analytiku a AI, s dedikovanými datovými inženýry pro váš tým nebo s datovou platformou dodanou na klíč.
Datové inženýrství, které přebíráme
Pipeline pro načítání dat a ETL
Načítání z databází, API SaaS, souborů a nástrojů pro sledování událostí pomocí Airbyte, Fivetran, dlt nebo vlastního Pythonu, plánované v Airflow 3, Dagster, Azure Data Factory nebo AWS Glue, inkrementální, kde je to možné, a bezpečné pro opakované spuštění, plus reverse ETL zpět do vašeho CRM a produktu.
Datové sklady a lakehouse
Snowflake, Databricks, BigQuery, Amazon Redshift a Microsoft Fabric, nebo data lake na S3 či Azure Data Lake Storage s tabulkami Apache Iceberg nebo Delta Lake, uspořádaný do vrstev surových, vyčištěných a připravených pro byznys dat.
Spark a zpracování ve velkém měřítku
Dávkové úlohy v PySpark a Spark SQL na Databricks, Amazon EMR nebo Fabric, rozdělené na partitiony a vyladěné tak, aby noční běh skončil ve svém okně, a DuckDB nebo Polars tam, kde se data vejdou na jeden stroj.
Modelování dat v dbt
Schémata hvězda a modely Data Vault jako SQL v Gitu, s testy klíčů, vztahů a povolených hodnot, dokumentací a lineage generovanými z kódu a každou změnou spuštěnou v CI dřív, než se zmerguje.
Streamování a change data capture
Změny na úrovni řádků zachycené z provozních databází pomocí Debezium a události přenášené přes Kafka, Amazon Kinesis nebo Azure Event Hubs a zpracovávané ve Flink nebo Spark Structured Streaming, pro data, která mají být stará sekundy či minuty, a ne den.
Kvalita dat a governance
Kontroly aktuálnosti, objemu a schématu pomocí testů dbt, Soda nebo Great Expectations a upozornění při selhání, katalog s lineage v Unity Catalog, DataHub nebo OpenMetadata, přístup udělovaný podle rolí a osobní údaje maskované mimo produkci.
Odchod z legacy platforem
Balíčky SSIS, lokální datové sklady na SQL Server a Oracle, clustery Teradata a Hadoop přesunuté na cloudovou platformu po etapách, s odsouhlasením počtů řádků a součtů mezi starým a novým řešením, než se cokoli vypne.
Data pro strojové učení a AI
Pipeline pro featury a feature stores, například Feast nebo ten zabudovaný v Databricks, tréninkové sady správné k danému okamžiku (point-in-time) a pipeline pro dělení textu a embeddingy, které udržují vektorový index pro vyhledávání v souladu se zdrojovými dokumenty.
Náklady a výkon platformy
Výdaje na datový sklad a clustery rozepsané po pipeline a po týmech a poté snížené pomocí inkrementálních modelů, partitioningu a clusteringu, správně dimenzovaného výpočetního výkonu a auto-suspend, s dobami dotazů změřenými před úpravou a po ní.
datoví inženýři do vašeho týmu
Dedikovaní datoví inženýři
Datoví inženýři, kteří nastoupí do vašeho týmu na plný úvazek, pracují ve vašich nástrojích a procesu a zodpovídají se vašemu vedoucímu. Pohovor s nimi vedete vy; my neseme ukrajinskou smlouvu, mzdy, fakturaci a dovolenou.
Projekty v oblasti „Datové inženýrství“
Vymezená část práce v oblasti „datové inženýrství“ s rozsahem, pevným plánem a jmenovaným vedoucím na naší straně, který odpovídá za výsledek a o postupu informuje ve vašich kanálech.
Průběžná spolupráce v oblasti „datové inženýrství“
Průběžná služba v oblasti „Datové inženýrství“: každý měsíc stejní lidé, backlog, kterému určujete priority, a hodiny, které vidíte v našem portálu i na faktuře.
Stránka o dedikovaném týmu vysvětluje, jak se specialisté připojují k vašemu týmu, a stránka o outsourcingu pokrývá dodávku projektů, převzetí systémů a jak účtujeme.
Kdo pracuje na vašem zadání v oblasti „datové inženýrství“
Datoví inženýři
Pipeline, Spark, dbt a streamování
Analytičtí inženýři
Modely dbt a definice metrik
Vývojáři Python
Vlastní konektory a načítání z API
Cloud a DevOps inženýři
Terraform a CI pro datovou platformu
BI vývojáři
Reporty na konci pipeline
Výběr datové platformy
Microsoft Fabric, když firma už pracuje v Microsoft 365 a Power BI. Databricks, když nad stejnými daty běží zpracování ve velkém měřítku Spark nebo strojové učení. Snowflake, když je práce většinou v SQL a tým chce provozovat co nejméně. BigQuery nebo Redshift, když je zbytek prostředí na Google Cloud nebo AWS. PostgreSQL nebo Azure SQL s dbt nad nimi, když je zdrojů jen několik a objemy jsou skromné.
Ať už je to kterákoli, platforma je definovaná v Terraform, pipeline a modely žijí v Gitu a nasazují se přes CI se svými testy, vývoj a produkce jsou oddělené a tajné klíče pocházejí z trezoru, a ne z notebooku.
Další služby v oblasti dat a AI, které poskytujeme
AI a strojové učení
Služby vývoje AI a strojového učení: předpovědi, detekce podvodů, doporučovací systémy, počítačové vidění, NLP a rozpoznávání řeči a MLOps, s dedikovanými inženýry strojového učení nebo dodávkou projektu.
Datová analytika a Power BI
Služby datové analytiky a Power BI: dashboardy v Power BI, Tableau a Looker, produktová analytika, A/B testování, finanční a marketingový reporting, s dedikovanými datovými analytiky a vývojáři BI nebo dodávkou projektu.
Vývoj databází
Služby vývoje a správy databází: návrh schématu, ladění dotazů, migrace a zálohy na SQL Server, PostgreSQL, MySQL, Oracle a MongoDB, s dedikovanými vývojáři databází a DBA nebo dodávkou projektu.
Vývoj počítačového vidění
Služby vývoje počítačového vidění: detekce objektů, vizuální kontrola, OCR, analytika videa, lékařské zobrazování a modely na okrajových zařízeních (edge), s dedikovanými inženýry počítačového vidění nebo dodávkou projektu.
Anotace dat
Služby anotace a označování dat pro AI: označování obrázků, videa, textu, zvuku a LiDARu, RLHF a data pro vyhodnocování, s kontrolou kvality každé dávky, od dedikovaných anotátorů dat nebo dodávkou projektu.
MLOps
Služby a poradenství v MLOps: platformy ML, CI/CD pro modely, registry modelů, serving a automatické škálování, infrastruktura s GPU, monitoring driftu a LLMOps, s dedikovanými inženýry MLOps nebo dodávkou projektu.
Vývoj na Databricks
Vývoj a poradenství pro Databricks: nastavení lakehouse, pipeline v Lakeflow, Unity Catalog, migrace, AI/BI, strojové učení a kontrola nákladů, s dedikovanými inženýry Databricks nebo dodávkou projektu.
Vývoj na Snowflake
Vývoj a poradenství pro Snowflake: návrh datového skladu, načítání přes Snowpipe a Openflow, dbt, migrace, Cortex AI, bezpečnost a kontrola nákladů, s dedikovanými vývojáři Snowflake nebo dodávkou projektu.
Kafka a streamování událostí
Vývoj a poradenství pro Apache Kafka: architektura řízená událostmi, Kafka Connect a Debezium, Flink a Kafka Streams, Confluent Cloud, MSK a Event Hubs, s dedikovanými inženýry Kafky nebo dodávkou projektu.
Automatizace workflow
Služby automatizace workflow a AI: toky v n8n, Make, Zapier a Power Automate, AI agenti ve workflow, automatizace CRM, financí a dokumentů, s dedikovanými vývojáři automatizace nebo dodávkou projektu.
Otázky k datovému inženýrství
V jakých odvětvích pracují vaši datoví inženýři?
U AI a datových produktů, kde pipeline napájejí modely a analytiku pro zákazníky; ve fintechu pro data o transakcích, rizicích a regulatorní reporting; v e-commerce a maloobchodu pro objednávky, zásoby a clickstream; ve zdravotnictví pro klinická data a data o pojistných událostech pod přísnými pravidly přístupu; v reklamě a marketingových technologiích pro proudy událostí s vysokým objemem a atribuci; a u podnikových SaaS pro data o využívání produktu a reporting uvnitř produktu.
S jakými nástroji a platformami pracujete?
Snowflake, Databricks, BigQuery, Amazon Redshift, Microsoft Fabric a ClickHouse pro úložiště a výpočty; Spark, dbt, DuckDB a Polars pro zpracování; Airflow, Dagster, Prefect, Data Factory a AWS Glue pro orchestraci; Kafka, Kinesis, Event Hubs, Flink a Debezium pro streamování; a Python a SQL všude.
Můžete převzít pipeline, které postavil jiný tým?
Ano. Převzetí začíná posouzením pipeline, plánů spouštění a nepozorovaných selhání jen pro čtení a písemným seznamem rizik v pořadí podle dopadu, dřív než se cokoli změní.
Jak rychle mohou nastoupit datoví inženýři?
Když je k dispozici ten pravý datový inženýr, začátek brzdí jen váš pohovor, NDA a převod práv duševního vlastnictví. Jinak vedeme hledání, které obvykle přinese profily kandidátů do dvou až tří týdnů, a nikdo nenastoupí, dokud neřeknete ano.
Jak probíhá najímání přes BigTree108 (role: datoví inženýři)?
Řekněte nám, jakou práci, jakou seniority a kolik hodin potřebujete. Navrhneme jednoho nebo dva lidi s jejich profily, pohovoříte s nimi stejně jako s vlastním zaměstnancem a podepíšete jednu smlouvu s BIG TREE 108 LLC a budete dostávat jednu fakturu měsíčně.
Komu patří práce, kterou vytvářejí?
Vám. Každý specialista má podepsanou smlouvu s BigTree108, která převádí všechny výsledky práce na společnost, a naše smlouva s vámi je převádí dál. Kód, návrhy a dokumenty se dodávají do vašich vlastních repozitářů a nástrojů, ne do míst, kde je můžeme měnit jen my.
Potřebujete mít data na jednom místě?
Napište nám, jaké máte zdroje, objemy a co mají data napájet. Odpověď dostanete do jednoho pracovního dne: plán, doporučení platformy nebo profily kandidátů.