Služby vývoje a poradenství pro Apache Kafka
Vývoj a poradenství pro Apache Kafka: architektura řízená událostmi, producenti a konzumenti v Java, .NET, Python a Go, Kafka Connect a Debezium pro change data capture, zpracování streamů pomocí Kafka Streams a Apache Flink, spravovaná Kafka na Confluent Cloud, Amazon MSK a Azure Event Hubs a provoz clusterů, migrace a upgrady, s dedikovanými Kafka inženýry pro váš tým nebo s projektem na Kafka dodaným na klíč.
Co stavíme v technologii Kafka
Architektura řízená událostmi na Kafka
Topicy, partitiony, klíče a retence navržené podle vašich obchodních událostí, schémata událostí dohodnutá mezi týmy a vzory, například transakční outbox a idempotentní konzumenti, aby se událost neztratila ani nezpracovala dvakrát.
Producenti a konzumenti Kafka
Služby v Java se Spring for Apache Kafka, v .NET s Confluent.Kafka, v Python a Go, s opakováním pokusů, dead letter topicy, transakcemi tam, kde by duplicita stála peníze, a share groups (Queues for Kafka, produkčně připravené od Kafka 4.2), kde se práce rozděluje mezi konzumenty jako ve frontě.
Kafka Connect a Debezium
Změny v databázích streamované do Kafka pomocí Debezium, topicy doručované do datových skladů, vyhledávacích indexů a objektových úložišť sink konektory a topicy materializované jako tabulky Iceberg nebo Delta pomocí Confluent Tableflow, na Confluent Cloud, MSK Connect nebo Strimzi.
Zpracování streamů pomocí Flink a Kafka Streams
Spojení, agregace v oknech a obohacování dat v Kafka Streams uvnitř vašich služeb v Java, nebo v úlohách Apache Flink a Flink SQL na Confluent Cloud, Amazon Managed Service for Apache Flink či vašem vlastním clusteru, pro kontroly podvodů, živé metriky a upozornění.
Confluent Cloud, MSK a Event Hubs
Spravovaná Kafka na Confluent Cloud, Amazon MSK s Express brokery nebo MSK Serverless, Azure Event Hubs přes jejich endpoint Kafka, Aiven nebo Redpanda, zvolené podle propustnosti, retence, regionu a nákladů a zřízené v Terraform.
Vlastní Kafka na Kubernetes
Clustery Kafka 4 běžící na KRaft bez ZooKeeper, na Kubernetes s operátorem Strimzi nebo na virtuálních strojích, s replikami respektujícími racky, tiered storage, Cruise Control pro vyvažování a postupnými upgrady bez výpadku.
Schema Registry a datové kontrakty
Avro, Protobuf nebo JSON Schema v Confluent Schema Registry, Apicurio Registry nebo AWS Glue Schema Registry, s pravidly kompatibility kontrolovanými v CI, aby producent nemohl změnou rozbít své konzumenty.
Migrace a upgrady Kafka
Clustery ZooKeeper přesunuté na KRaft před upgradem na Kafka 4, workloady přesunuté z RabbitMQ, ActiveMQ nebo IBM MQ a clustery přesunuté mezi vlastní Kafkou, MSK a Confluent Cloud pomocí MirrorMaker 2 nebo Cluster Linking, včetně offsetů konzumentů.
Monitoring a zabezpečení Kafka
Zpoždění konzumentů, nedostatečně replikované partitiony a propustnost v Prometheus a Grafana nebo Confluent Control Center, TLS u každého spojení, SASL s OAuth nebo vzájemné TLS, ACL pro každou službu a změny topiců, kvót a ACL provedené přes code review.
Kafka inženýři do vašeho týmu
Dedikovaní Kafka inženýři
Kafka inženýři, kteří nastoupí do vašeho týmu na plný úvazek, pracují ve vašich repozitářích, trackeru a na vašich schůzkách a zodpovídají se vašemu vedoucímu. Pohovor s nimi vedete vy; my neseme ukrajinskou smlouvu, mzdy, fakturaci a dovolenou.
Realizace projektu v technologii Kafka
Tým, který provede projekt v technologii Kafka od vymezení rozsahu po vydání: odhad, vývoj, testy a nasazení, s technickým vedoucím na naší straně, který odpovídá za plán a kvalitu.
Podpora a převzetí systémů v technologii Kafka
Stávající systém v technologii Kafka převzatý od jiného týmu nebo udržovaný v chodu: nejprve revize jen pro čtení a písemný seznam rizik, pak opravy a nové funkce podle dopadu.
Stránka o dedikovaném týmu vysvětluje, jak se specialisté připojují k vašemu týmu, a stránka o outsourcingu pokrývá dodávku projektů, převzetí systémů a jak účtujeme.
Kdo pracuje na vašem projektu v technologii Kafka
Kafka inženýři
Návrh clusterů, provoz, Connect a upgrady
Backend vývojáři
Producenti a konzumenti v Java, .NET, Python a Go
Datoví inženýři
Zpracování streamů a výstupy do lakehouse
Cloud a DevOps inženýři
Terraform, Kubernetes a monitoring
QA inženýři
Kontraktní a zátěžové testy pro toky událostí
Streamování událostí, které zvládnete provozovat
Návrh předchází kódu: klíče partitionů zvolené podle pořadí, které byznys potřebuje, schémata s pravidly kompatibility a sémantika doručení stanovená pro každý tok, což u většiny toků znamená doručení at-least-once s idempotentními konzumenty a u několika transakce. Topicy, ACL, kvóty a konektory jsou deklarovány v kódu a posuzovány jako každá jiná změna.
Před spuštěním se cluster zátěžově otestuje na očekávané špičce s rezervou, nastaví se upozornění na zpoždění konzumentů a nedostatečně replikované partitiony a runbooky pokrývají ztrátu brokeru, zaseknutého konzumenta a přehrání topicu. Upgrady se nejdřív nacvičují na stagingu.
Další služby v oblasti dat a AI, které poskytujeme
AI a strojové učení
Služby vývoje AI a strojového učení: předpovědi, detekce podvodů, doporučovací systémy, počítačové vidění, NLP a rozpoznávání řeči a MLOps, s dedikovanými inženýry strojového učení nebo dodávkou projektu.
Datové inženýrství
Služby datového inženýrství: pipeline ETL, Spark, dbt a streaming, datové sklady a lakehouse na Snowflake, Databricks, BigQuery, Redshift a Microsoft Fabric, s dedikovanými datovými inženýry nebo dodávkou projektu.
Datová analytika a Power BI
Služby datové analytiky a Power BI: dashboardy v Power BI, Tableau a Looker, produktová analytika, A/B testování, finanční a marketingový reporting, s dedikovanými datovými analytiky a vývojáři BI nebo dodávkou projektu.
Vývoj databází
Služby vývoje a správy databází: návrh schématu, ladění dotazů, migrace a zálohy na SQL Server, PostgreSQL, MySQL, Oracle a MongoDB, s dedikovanými vývojáři databází a DBA nebo dodávkou projektu.
Vývoj počítačového vidění
Služby vývoje počítačového vidění: detekce objektů, vizuální kontrola, OCR, analytika videa, lékařské zobrazování a modely na okrajových zařízeních (edge), s dedikovanými inženýry počítačového vidění nebo dodávkou projektu.
Anotace dat
Služby anotace a označování dat pro AI: označování obrázků, videa, textu, zvuku a LiDARu, RLHF a data pro vyhodnocování, s kontrolou kvality každé dávky, od dedikovaných anotátorů dat nebo dodávkou projektu.
MLOps
Služby a poradenství v MLOps: platformy ML, CI/CD pro modely, registry modelů, serving a automatické škálování, infrastruktura s GPU, monitoring driftu a LLMOps, s dedikovanými inženýry MLOps nebo dodávkou projektu.
Vývoj na Databricks
Vývoj a poradenství pro Databricks: nastavení lakehouse, pipeline v Lakeflow, Unity Catalog, migrace, AI/BI, strojové učení a kontrola nákladů, s dedikovanými inženýry Databricks nebo dodávkou projektu.
Vývoj na Snowflake
Vývoj a poradenství pro Snowflake: návrh datového skladu, načítání přes Snowpipe a Openflow, dbt, migrace, Cortex AI, bezpečnost a kontrola nákladů, s dedikovanými vývojáři Snowflake nebo dodávkou projektu.
Automatizace workflow
Služby automatizace workflow a AI: toky v n8n, Make, Zapier a Power Automate, AI agenti ve workflow, automatizace CRM, financí a dokumentů, s dedikovanými vývojáři automatizace nebo dodávkou projektu.
Otázky k vývoji v technologii Kafka
V jakých odvětvích pracují vaši Kafka inženýři?
Fintech, bankovnictví a pojišťovnictví, pro platby, monitoring transakcí a obchodní data; e-commerce a maloobchod, pro objednávky, zásoby a clickstream; logistika, pro sledování zásilek a události vozového parku; telekomunikace a cloudová infrastruktura, pro události sítě a využití; reklama a marketingové technologie, pro proudy nabídek a zobrazení; výroba a energetika, pro data ze senzorů a měřičů; a podnikové SaaS, pro události mezi mikroslužbami.
Confluent Cloud, Amazon MSK, nebo vlastní cluster?
Záleží na tom, kde běží zbytek vašich systémů a kolik provozu chcete převzít. Confluent Cloud přináší spravované konektory, Flink, Schema Registry a Tableflow v jedné službě; MSK a Event Hubs jsou uvnitř vašeho vlastního účtu a faktury AWS nebo Azure; vlastní cluster se Strimzi dává plnou kontrolu výměnou za jeho provoz. Kompromisy se pro vaše objemy sepíšou dřív, než se cokoli koupí.
Můžete upgradovat cluster, který stále běží na ZooKeeper?
Ano. Kafka 4 běží jen na KRaft, takže se cluster se ZooKeeper nejdřív migruje na KRaft na verzi 3.x, s přidanými kontrolery a přesunutými metadaty za provozu clusteru, a poté se upgraduje na Kafka 4, jakmile jsou klienti zkontrolováni oproti odstraněným API.
Jak rychle mohou nastoupit Kafka inženýři?
Když je k dispozici ten pravý Kafka inženýr, začátek brzdí jen váš pohovor, NDA a převod práv duševního vlastnictví. Jinak vedeme hledání, které obvykle přinese profily kandidátů do dvou až tří týdnů, a nikdo nenastoupí, dokud neřeknete ano.
Jak probíhá najímání přes BigTree108 (role: Kafka inženýři)?
Řekněte nám, jakou práci, jakou seniority a kolik hodin potřebujete. Navrhneme jednoho nebo dva lidi s jejich profily, pohovoříte s nimi stejně jako s vlastním zaměstnancem a podepíšete jednu smlouvu s BIG TREE 108 LLC a budete dostávat jednu fakturu měsíčně.
Komu patří práce, kterou vytvářejí?
Vám. Každý specialista má podepsanou smlouvu s BigTree108, která převádí všechny výsledky práce na společnost, a naše smlouva s vámi je převádí dál. Kód, návrhy a dokumenty se dodávají do vašich vlastních repozitářů a nástrojů, ne do míst, kde je můžeme měnit jen my.
Stavíte nebo provozujete Kafka?
Napište nám, jaké jsou vaše objemy událostí, v jakých jazycích jsou vaše služby napsané a kde cluster běží. Odpověď dostanete do jednoho pracovního dne: plán, posouzení architektury nebo profily kandidátů.