Data engineering
Data engineering: ETL- og ELT-pipelines, datavarehuse og lakehouses på Snowflake, Databricks, BigQuery, Amazon Redshift og Microsoft Fabric, Spark-behandling, dbt-modellering, streaming med Kafka og dataplatforme til analyse og AI, med dedikerede dataingeniører til jeres team eller en dataplatform leveret fra start til slut.
Data engineering-opgaver, vi tager på os
Indlæsnings- og ETL-pipelines
Indlæsninger fra databaser, SaaS-API'er, filer og event trackers med Airbyte, Fivetran, dlt eller egen Python, planlagt i Airflow 3, Dagster, Azure Data Factory eller AWS Glue, inkrementelt, hvor det er muligt, og sikkert at køre igen, samt reverse ETL tilbage ind i jeres CRM og produkt.
Datavarehuse og lakehouses
Snowflake, Databricks, BigQuery, Amazon Redshift og Microsoft Fabric eller en lake på S3 eller Azure Data Lake Storage med Apache Iceberg- eller Delta Lake-tabeller, organiseret i rå, rensede og forretningsklare lag.
Spark og behandling i stor skala
Batchjobs i PySpark og Spark SQL på Databricks, Amazon EMR eller Fabric, partitioneret og tunet, så en natlig kørsel bliver færdig inden for sit tidsvindue, og DuckDB eller Polars, hvor data kan være på én maskine.
Datamodellering i dbt
Star schemas og Data Vault-modeller som SQL i Git, med tests på nøgler, relationer og accepterede værdier, dokumentation og lineage genereret fra koden og hver ændring kørt i CI, før den merges.
Streaming og change data capture
Ændringer på rækkeniveau fanget fra operationelle databaser med Debezium og events transporteret gennem Kafka, Amazon Kinesis eller Azure Event Hubs og behandlet i Flink eller Spark Structured Streaming, til data, der skal være sekunder eller minutter gamle frem for et døgn.
Datakvalitet og governance
Tjek af friskhed, volumen og skema med dbt-tests, Soda eller Great Expectations og alarmer ved fejl, et katalog med lineage i Unity Catalog, DataHub eller OpenMetadata, adgang tildelt pr. rolle og personoplysninger maskeret uden for produktion.
Flytning væk fra legacy-platforme
SSIS-pakker, SQL Server- og Oracle-datavarehuse on premises, Teradata- og Hadoop-clustre flyttet til en cloudplatform i etaper, med rækkeantal og totaler afstemt mellem gammelt og nyt, før noget slukkes.
Data til machine learning og AI
Feature-pipelines og feature stores som Feast eller den, der er indbygget i Databricks, tidspunktskorrekte træningssæt og de chunking- og embedding-pipelines, der holder et vektorindeks til retrieval i takt med kildedokumenterne.
Pris og ydeevne for platformen
Forbrug på datavarehus og clustre opdelt pr. pipeline og pr. team og derefter skåret ned med inkrementelle modeller, partitionering og clustering, rigtigt dimensioneret compute og auto-suspend, med forespørgselstider målt før og efter.
Ansæt dataingeniører
Dedikerede dataingeniører
Dataingeniører, der indgår i jeres team på fuld tid, arbejder i jeres værktøjer og processer og rapporterer til jeres leder. I interviewer dem; vi står for den ukrainske kontrakt, lønudbetalingen, faktureringen og ferie og orlov.
Projekter inden for Data engineering
En afgrænset opgave inden for data engineering med et fast omfang, en fast plan og en navngiven leder hos os, der ejer resultatet og rapporterer fremdriften i jeres kanaler.
Løbende data engineering
Data engineering som løbende ydelse: de samme folk hver måned, en backlog, I selv prioriterer, og timer, I kan se i vores portal og på fakturaen.
Siden om dedikerede teams forklarer, hvordan specialister indgår i jeres team, og siden om outsourcing beskriver projektleverance, overtagelser og hvordan vi tager betaling.
Hvem arbejder med jeres data engineering
Dataingeniører
Pipelines, Spark, dbt og streaming
Analytics engineers
dbt-modeller og definitioner af metrikker
Python-udviklere
Egne connectors og API-indlæsning
Cloud- og DevOps-ingeniører
Terraform og CI til dataplatformen
BI-udviklere
Rapporterne for enden af pipelinen
Valg af dataplatform
Microsoft Fabric, når virksomheden allerede arbejder i Microsoft 365 og Power BI. Databricks, når behandling i Spark-skala eller machine learning kører på de samme data. Snowflake, når arbejdet mest er SQL, og teamet vil have lidt at drive. BigQuery eller Redshift, når resten af miljøet ligger på Google Cloud eller AWS. PostgreSQL eller Azure SQL med dbt ovenpå, når der er en håndfuld kilder og beskedne volumener.
Uanset hvilken, defineres platformen i Terraform, pipelines og modeller ligger i Git og udrulles gennem CI med deres tests, udvikling og produktion er adskilt, og hemmeligheder kommer fra en vault frem for fra en notebook.
Andre data- og AI-ydelser, vi leverer
AI og machine learning
Udvikling inden for AI og machine learning: forecasting, svindeldetektion, anbefalingssystemer, computer vision, NLP og talegenkendelse samt MLOps, med dedikerede machine learning-ingeniører eller projektleverance.
Dataanalyse og Power BI
Dataanalyse og Power BI: dashboards i Power BI, Tableau og Looker, produktanalyse, A/B-test, finansiel rapportering og marketingrapportering, med dedikerede dataanalytikere og BI-udviklere eller projektleverance.
Databaseudvikling
Databaseudvikling og -administration: skemadesign, tuning af forespørgsler, migreringer og sikkerhedskopier i SQL Server, PostgreSQL, MySQL, Oracle og MongoDB, med dedikerede databaseudviklere og DBA'er eller projektleverance.
Computer vision-udvikling
Computer vision-udvikling: objektdetektion, visuel inspektion, OCR, videoanalyse, medicinsk billeddannelse og modeller på edge-enheder, med dedikerede computer vision-ingeniører eller projektleverance.
Dataannotering
Dataannotering og labelling til AI: labelling af billeder, video, tekst, lyd og LiDAR, RLHF og evalueringsdata, med kvalitetskontrol af hvert batch, fra dedikerede dataannotatorer eller projektleverance.
MLOps
MLOps og rådgivning: ML-platforme, CI/CD til modeller, model registries, serving og autoskalering, GPU-infrastruktur, overvågning af drift og LLMOps, med dedikerede MLOps-ingeniører eller projektleverance.
Databricks-udvikling
Databricks-udvikling og -rådgivning: opsætning af lakehouse, pipelines i Lakeflow, Unity Catalog, migreringer, AI/BI, machine learning og omkostningskontrol, med dedikerede Databricks-ingeniører eller projektleverance.
Snowflake-udvikling
Snowflake-udvikling og -rådgivning: design af warehouse, indlæsning med Snowpipe og Openflow, dbt, migreringer, Cortex AI, sikkerhed og omkostningskontrol, med dedikerede Snowflake-udviklere eller projektleverance.
Kafka og event streaming
Apache Kafka-udvikling og -rådgivning: event-drevet arkitektur, Kafka Connect og Debezium, Flink og Kafka Streams, Confluent Cloud, MSK og Event Hubs, med dedikerede Kafka-ingeniører eller projektleverance.
Workflow-automatisering
Workflow- og AI-automatisering: flows i n8n, Make, Zapier og Power Automate, AI-agenter i workflows, automatisering af CRM, økonomi og dokumenter, med dedikerede automatiseringsudviklere eller projektleverance.
Spørgsmål om data engineering
Hvilke brancher arbejder jeres dataingeniører i?
AI- og dataprodukter, hvor pipelines fodrer modeller og kundevendt analyse; fintech til transaktions-, risiko- og lovpligtige rapporteringsdata; e-handel og detail til ordrer, lager og clickstream; sundhedssektoren til kliniske data og afregningsdata under strenge adgangsregler; reklame- og marketingteknologi til eventstrømme med høj volumen og attribution; og enterprise SaaS til brugsdata fra produktet og rapportering i produktet.
Hvilke værktøjer og platforme arbejder I med?
Snowflake, Databricks, BigQuery, Amazon Redshift, Microsoft Fabric og ClickHouse til lagring og compute; Spark, dbt, DuckDB og Polars til behandling; Airflow, Dagster, Prefect, Data Factory og AWS Glue til orkestrering; Kafka, Kinesis, Event Hubs, Flink og Debezium til streaming; og Python og SQL hele vejen igennem.
Kan I overtage pipelines, et andet team har bygget?
Ja. En overtagelse starter med en skrivebeskyttet gennemgang af pipelines, tidsplaner og de fejl, der går ubemærket hen, og en skriftlig liste over risici i rækkefølge efter effekt, før noget ændres.
Hvor hurtigt kan dataingeniører starte?
Når den rette dataingeniør er tilgængelig, afhænger starten kun af jeres samtale samt NDA og overdragelse af IP-rettigheder. Ellers gennemfører vi en søgning, som typisk giver kandidatprofiler inden for to til tre uger, og ingen starter, før I har sagt ja.
Hvordan ansætter vi dataingeniører gennem BigTree108?
Fortæl os om opgaverne, erfaringsniveauet og det timetal, I har brug for. Vi foreslår en eller to personer med deres profiler, I interviewer dem på samme måde, som I ville interviewe jeres egen medarbejder, og I underskriver én aftale med BIG TREE 108 LLC og modtager én faktura om måneden.
Hvem ejer det arbejde, de producerer?
Det gør I. Hver specialist har en underskrevet kontrakt med BigTree108, som overdrager alt arbejdsresultat til virksomheden, og vores aftale med jer overdrager det videre til jer. Kode, designs og dokumenter leveres ind i jeres egne repositories og værktøjer og opbevares ikke et sted, hvor kun vi kan ændre dem.
Skal jeres data samles ét sted?
Fortæl os om jeres kilder, jeres volumener, og hvad dataene skal fodre. I får svar inden for én arbejdsdag: en plan, en platformanbefaling eller kandidatprofiler.