Servizi di sviluppo e consulenza Apache Kafka
Sviluppo e consulenza Apache Kafka: architettura event-driven, producer e consumer in Java, .NET, Python e Go, Kafka Connect e change data capture con Debezium, elaborazione di flussi con Kafka Streams e Apache Flink, Kafka gestito su Confluent Cloud, Amazon MSK e Azure Event Hubs, e gestione dei cluster, migrazioni e aggiornamenti, con ingegneri Kafka dedicati per il Suo team o un progetto Kafka realizzato end to end.
Che cosa realizziamo con Kafka
Architettura event-driven su Kafka
Topic, partizioni, chiavi e retention progettati attorno agli eventi di business, schemi degli eventi concordati tra i team e pattern come la transactional outbox e i consumer idempotenti, così un evento non viene né perso né applicato due volte.
Producer e consumer Kafka
Servizi in Java con Spring for Apache Kafka, in .NET con Confluent.Kafka, in Python e Go, con nuovi tentativi, dead letter topic, transazioni dove un duplicato costerebbe denaro e share group (Queues for Kafka, pronte per la produzione da Kafka 4.2) dove il lavoro viene distribuito tra i consumer come in una coda.
Kafka Connect e Debezium
Modifiche dei database trasmesse in Kafka con Debezium, topic consegnati a data warehouse, indici di ricerca e object storage tramite sink connector, e topic materializzati come tabelle Iceberg o Delta con Confluent Tableflow, su Confluent Cloud, MSK Connect o Strimzi.
Elaborazione di flussi con Flink e Kafka Streams
Join, aggregazioni a finestra e arricchimento in Kafka Streams all’interno dei servizi Java, oppure in job Apache Flink e Flink SQL su Confluent Cloud, Amazon Managed Service for Apache Flink o su un cluster proprio, per controlli antifrode, metriche in tempo reale e avvisi.
Confluent Cloud, MSK ed Event Hubs
Kafka gestito su Confluent Cloud, Amazon MSK con Express broker o MSK Serverless, Azure Event Hubs tramite il suo endpoint Kafka, Aiven o Redpanda, scelti in base a throughput, retention, regione e costi e predisposti in Terraform.
Kafka autogestito su Kubernetes
Cluster Kafka 4 che girano su KRaft senza ZooKeeper, su Kubernetes con l’operator Strimzi o su macchine virtuali, con repliche rack-aware, tiered storage, Cruise Control per il ribilanciamento e aggiornamenti progressivi senza interruzioni.
Schema Registry e data contract
Avro, Protobuf o JSON Schema in Confluent Schema Registry, Apicurio Registry o AWS Glue Schema Registry, con regole di compatibilità verificate in CI, così un producer non può rompere i propri consumer con una modifica.
Migrazioni e aggiornamenti di Kafka
Cluster ZooKeeper portati a KRaft prima dell’aggiornamento a Kafka 4, carichi di lavoro spostati da RabbitMQ, ActiveMQ o IBM MQ e cluster trasferiti tra Kafka autogestito, MSK e Confluent Cloud con MirrorMaker 2 o Cluster Linking, offset dei consumer inclusi.
Monitoraggio e sicurezza di Kafka
Consumer lag, partizioni sotto-replicate e throughput in Prometheus e Grafana o Confluent Control Center, TLS su ogni connessione, SASL con OAuth o TLS reciproco, ACL per servizio e modifiche a topic, quote e ACL effettuate tramite revisione del codice.
Ingaggiare ingegneri Kafka
ingegneri Kafka dedicati
Ingegneri Kafka che entrano a tempo pieno nel Suo team, lavorano nei Suoi repository, nel Suo tracker e nelle Sue riunioni e rispondono al Suo responsabile. Li intervista Lei; noi ci occupiamo del contratto ucraino, delle buste paga, della fatturazione e delle ferie.
Realizzazione di progetti Kafka
Un team che porta il progetto Kafka dal perimetro al rilascio: stima, sviluppo, test e deployment, con un responsabile tecnico da parte nostra che risponde del piano e della qualità.
Supporto e presa in carico di sistemi Kafka
Un sistema Kafka esistente rilevato da un altro team o mantenuto in esercizio: prima una revisione in sola lettura e un elenco scritto dei rischi, poi correzioni e nuove funzionalità in ordine di impatto.
La pagina sul team dedicato spiega come gli specialisti entrano nel Suo team, e la pagina sull’outsourcing tratta la realizzazione di progetti, le prese in carico e il modo in cui fatturiamo.
Chi lavora al Suo progetto Kafka
ingegneri Kafka
Progettazione dei cluster, gestione, Connect e aggiornamenti
Ingegneri backend
Producer e consumer in Java, .NET, Python e Go
Data engineer
Elaborazione di flussi e sink verso il lakehouse
Ingegneri cloud e DevOps
Terraform, Kubernetes e monitoraggio
Ingegneri QA
Test di contratto e di carico per i flussi di eventi
Event streaming che si può gestire
La progettazione viene prima del codice: chiavi di partizione scelte in base all’ordinamento richiesto dal business, schemi con regole di compatibilità e semantiche di consegna decise per ogni flusso, il che per la maggior parte dei flussi significa consegna at-least-once con consumer idempotenti e per pochi significa transazioni. Topic, ACL, quote e connettori sono dichiarati nel codice e rivisti come qualsiasi altra modifica.
Prima dell’avvio il cluster viene sottoposto a test di carico al picco previsto con margine in più, gli avvisi sono impostati su consumer lag e partizioni sotto-replicate e i runbook coprono la perdita di un broker, un consumer bloccato e la riesecuzione di un topic. Gli aggiornamenti vengono prima provati in staging.
Altri servizi di dati e AI che offriamo
AI e machine learning
Servizi di sviluppo AI e machine learning: previsioni, rilevamento delle frodi, sistemi di raccomandazione, computer vision, NLP e riconoscimento vocale e MLOps, con machine learning engineer dedicati o realizzazione di progetti.
Data engineering
Servizi di data engineering: pipeline ETL, Spark, dbt e streaming, data warehouse e lakehouse su Snowflake, Databricks, BigQuery, Redshift e Microsoft Fabric, con data engineer dedicati o realizzazione di progetti.
Data analytics e Power BI
Servizi di data analytics e Power BI: dashboard in Power BI, Tableau e Looker, product analytics, A/B test, reportistica finanziaria e di marketing, con data analyst e sviluppatori BI dedicati o realizzazione di progetti.
Sviluppo di database
Servizi di sviluppo e amministrazione di database: progettazione dello schema, ottimizzazione delle query, migrazioni e backup su SQL Server, PostgreSQL, MySQL, Oracle e MongoDB, con sviluppatori di database e DBA dedicati o realizzazione di progetti.
Sviluppo di computer vision
Servizi di sviluppo di computer vision: rilevamento di oggetti, ispezione visiva, OCR, video analytics, imaging medicale e modelli su dispositivi edge, con computer vision engineer dedicati o realizzazione di progetti.
Annotazione dei dati
Servizi di annotazione ed etichettatura dei dati per l’AI: etichettatura di immagini, video, testo, audio e LiDAR, RLHF e dati di valutazione, con controllo qualità su ogni lotto, da annotatori di dati dedicati o realizzazione di progetti.
MLOps
Servizi e consulenza MLOps: piattaforme ML, CI/CD per i modelli, model registry, serving e autoscaling, infrastruttura GPU, monitoraggio del drift e LLMOps, con MLOps engineer dedicati o realizzazione di progetti.
Sviluppo Databricks
Sviluppo e consulenza Databricks: configurazione del lakehouse, pipeline Lakeflow, Unity Catalog, migrazioni, AI/BI, machine learning e controllo dei costi, con ingegneri Databricks dedicati o realizzazione di progetti.
Sviluppo Snowflake
Sviluppo e consulenza Snowflake: progettazione del warehouse, ingestion con Snowpipe e Openflow, dbt, migrazioni, Cortex AI, sicurezza e controllo dei costi, con sviluppatori Snowflake dedicati o realizzazione di progetti.
Automazione dei workflow
Servizi di automazione di workflow e AI: flussi n8n, Make, Zapier e Power Automate, agenti AI nei workflow, automazioni per CRM, finanza e documenti, con sviluppatori di automazione dedicati o realizzazione di progetti.
Domande sullo sviluppo con Kafka
In quali settori lavorano i vostri ingegneri Kafka?
Fintech, banche e assicurazioni, per pagamenti, monitoraggio delle transazioni e dati di trading; e-commerce e retail, per ordini, inventario e clickstream; logistica, per tracciamento delle spedizioni ed eventi della flotta; telecomunicazioni e infrastrutture cloud, per eventi di rete e di utilizzo; pubblicità e marketing technology, per flussi di offerte e impression; manifattura ed energia, per dati di sensori e contatori; e SaaS enterprise, per eventi tra microservizi.
Confluent Cloud, Amazon MSK o un cluster nostro?
Dipende da dove girano gli altri sistemi e da quanta gestione operativa si vuole assumere. Confluent Cloud offre connettori gestiti, Flink, Schema Registry e Tableflow in un unico servizio; MSK ed Event Hubs rientrano nel proprio account e nella propria fattura AWS o Azure; un cluster autogestito con Strimzi dà il pieno controllo in cambio dell’onere di gestirlo. I compromessi vengono illustrati sui volumi dell’azienda prima di qualsiasi acquisto.
Potete aggiornare un cluster che usa ancora ZooKeeper?
Sì. Kafka 4 funziona solo su KRaft, quindi un cluster ZooKeeper viene prima migrato a KRaft su una versione 3.x, con controller aggiunti e metadati trasferiti mentre il cluster continua a servire traffico, poi aggiornato a Kafka 4 dopo aver verificato i client rispetto alle API rimosse.
Con quale rapidità possono iniziare ingegneri Kafka?
Quando è disponibile il profilo giusto per il ruolo di ingegnere Kafka, l’avvio dipende soltanto dal Suo colloquio e dalla firma dell’NDA e della cessione della proprietà intellettuale. Altrimenti avviamo una ricerca, che di norma produce profili di candidati entro due o tre settimane, e nessuno inizia finché Lei non ha detto di sì.
Come ingaggiare ingegneri Kafka tramite BigTree108?
Ci indichi il lavoro, il livello di seniority e l’impegno orario necessario. Le proponiamo una o due persone con i rispettivi profili, Lei le intervista come farebbe con una Sua assunzione e firma un unico contratto con BIG TREE 108 LLC, ricevendo una sola fattura al mese.
A chi appartiene il lavoro che producono?
A Lei. Ogni specialista ha un contratto firmato con BigTree108 che cede all’azienda tutto il lavoro prodotto, e il nostro accordo con Lei lo cede a sua volta. Codice, design e documenti vengono consegnati nei Suoi repository e strumenti, non conservati dove solo noi possiamo modificarli.
Sta sviluppando o gestendo Kafka?
Ci indichi i volumi di eventi, i linguaggi dei servizi e dove gira il cluster. Riceverà una risposta entro un giorno lavorativo: un piano, una revisione dell’architettura oppure profili di candidati.