Usługi tworzenia rozwiązań i doradztwa Apache Kafka
Tworzenie rozwiązań i doradztwo Apache Kafka: architektura sterowana zdarzeniami, producenci i konsumenci w Java, .NET, Python i Go, Kafka Connect i change data capture z Debezium, przetwarzanie strumieni w Kafka Streams i Apache Flink, zarządzana Kafka na Confluent Cloud, Amazon MSK i Azure Event Hubs oraz operacje na klastrach, migracje i aktualizacje, z dedykowanymi inżynierami Kafka w Państwa zespole lub projektem Kafka wykonanym kompleksowo.
Co budujemy w Kafka
Architektura sterowana zdarzeniami na Kafka
Tematy, partycje, klucze i retencja zaprojektowane wokół Państwa zdarzeń biznesowych, schematy zdarzeń uzgodnione między zespołami oraz wzorce, takie jak transactional outbox i idempotentni konsumenci, tak że zdarzenie nie jest ani gubione, ani zastosowane dwukrotnie.
Producenci i konsumenci Kafka
Usługi w Java ze Spring for Apache Kafka, .NET z Confluent.Kafka, Python i Go, z ponawianiem, tematami dead letter, transakcjami tam, gdzie duplikat kosztowałby pieniądze, oraz share groups (Queues for Kafka, gotowe do produkcji od Kafka 4.2), gdzie praca jest rozdzielana między konsumentów jak w kolejce.
Kafka Connect i Debezium
Zmiany w bazach danych strumieniowane do Kafka przez Debezium, tematy dostarczane do hurtowni, indeksów wyszukiwania i magazynów obiektów przez konektory ujścia oraz tematy materializowane jako tabele Iceberg lub Delta za pomocą Confluent Tableflow, na Confluent Cloud, MSK Connect lub Strimzi.
Przetwarzanie strumieni we Flink i Kafka Streams
Złączenia, agregacje okienkowe i wzbogacanie w Kafka Streams wewnątrz Państwa usług Java albo w zadaniach Apache Flink i Flink SQL na Confluent Cloud, Amazon Managed Service for Apache Flink lub Państwa własnym klastrze, dla kontroli nadużyć, metryk na żywo i alertów.
Confluent Cloud, MSK i Event Hubs
Zarządzana Kafka na Confluent Cloud, Amazon MSK z brokerami Express lub MSK Serverless, Azure Event Hubs przez punkt końcowy Kafka, Aiven lub Redpanda, wybrane pod kątem przepustowości, retencji, regionu i kosztu oraz zaprowizjonowane w Terraform.
Kafka we własnym zarządzaniu na Kubernetes
Klastry Kafka 4 działające na KRaft bez ZooKeeper, na Kubernetes z operatorem Strimzi lub na maszynach wirtualnych, z replikami świadomymi racków, magazynem warstwowym, Cruise Control do rebalansowania i aktualizacjami kroczącymi bez przestojów.
Schema Registry i kontrakty danych
Avro, Protobuf lub JSON Schema w Confluent Schema Registry, Apicurio Registry lub AWS Glue Schema Registry, z regułami zgodności sprawdzanymi w CI, tak że producent nie może zmianą zepsuć swoich konsumentów.
Migracje i aktualizacje Kafka
Klastry ZooKeeper przeniesione na KRaft przed aktualizacją do Kafka 4, obciążenia przeniesione z RabbitMQ, ActiveMQ lub IBM MQ oraz klastry przenoszone między Kafka we własnym zarządzaniu, MSK i Confluent Cloud za pomocą MirrorMaker 2 lub Cluster Linking, wraz z offsetami konsumentów.
Monitoring i bezpieczeństwo Kafka
Opóźnienie konsumentów, niedoreplikowane partycje i przepustowość w Prometheus i Grafana lub Confluent Control Center, TLS na każdym połączeniu, SASL z OAuth lub wzajemny TLS, ACL dla każdej usługi oraz zmiany tematów, kwot i ACL wprowadzane przez przegląd kodu.
Zatrudnienie: inżynierowie Kafka
Dedykowani inżynierowie Kafka
Inżynierowie Kafka dołączają do Państwa zespołu na pełny etat, pracują w Państwa repozytoriach, trackerze i na spotkaniach oraz podlegają Państwa liderowi. Państwo przeprowadzają rozmowy kwalifikacyjne, a my bierzemy na siebie ukraińską umowę, wynagrodzenia, fakturowanie i urlopy.
Realizacja projektów w Kafka
Zespół, który prowadzi projekt w Kafka od zakresu do wydania: wycena, wytworzenie, testy i wdrożenie, z liderem technicznym po naszej stronie, który odpowiada za plan i jakość.
Utrzymanie i przejmowanie systemów w Kafka
Istniejący system w Kafka, przejęty od innego zespołu lub utrzymywany w działaniu: najpierw przegląd bez zmian w systemie i pisemna lista ryzyk, następnie poprawki i nowe funkcje w kolejności według wpływu.
Strona o dedykowanym zespole wyjaśnia, jak specjaliści dołączają do Państwa zespołu, a strona o outsourcingu opisuje realizację projektów, przejęcia i sposób rozliczania.
Kto pracuje nad Państwa projektem w Kafka
inżynierowie Kafka
Projekt klastra, operacje, Connect i aktualizacje
Inżynierowie backend
Producenci i konsumenci w Java, .NET, Python i Go
Inżynierowie danych
Przetwarzanie strumieni i ujścia lakehouse
Inżynierowie chmury i DevOps
Terraform, Kubernetes i monitoring
Inżynierowie QA
Testy kontraktowe i obciążeniowe przepływów zdarzeń
Strumieniowanie zdarzeń, które można prowadzić
Projekt poprzedza kod: klucze partycji dobrane do kolejności, jakiej wymaga biznes, schematy z regułami zgodności i semantyka dostarczania ustalona dla każdego przepływu, co dla większości przepływów oznacza dostarczanie co najmniej raz z idempotentnymi konsumentami, a dla kilku transakcje. Tematy, ACL, kwoty i konektory są deklarowane w kodzie i recenzowane jak każda inna zmiana.
Przed uruchomieniem klaster jest testowany obciążeniowo przy oczekiwanym szczycie z zapasem, alerty są ustawione na opóźnienie konsumentów i niedoreplikowane partycje, a runbooki obejmują utratę brokera, zablokowanego konsumenta i odtworzenie tematu. Aktualizacje są najpierw ćwiczone na stagingu.
Pozostałe usługi z zakresu danych i AI, które świadczymy
AI i uczenie maszynowe
Usługi tworzenia rozwiązań AI i uczenia maszynowego: prognozowanie, wykrywanie nadużyć, systemy rekomendacji, wizja komputerowa, NLP i rozpoznawanie mowy oraz MLOps, z dedykowanymi inżynierami uczenia maszynowego lub realizacją projektu.
Inżynieria danych
Usługi inżynierii danych: potoki ETL, Spark, dbt i strumieniowanie, hurtownie danych i lakehouse'y na Snowflake, Databricks, BigQuery, Redshift i Microsoft Fabric, z dedykowanymi inżynierami danych lub realizacją projektu.
Analityka danych i Power BI
Usługi analityki danych i Power BI: dashboardy w Power BI, Tableau i Looker, analityka produktowa, testy A/B, raportowanie finansowe i marketingowe, z dedykowanymi analitykami danych i programistami BI lub realizacją projektu.
Programowanie baz danych
Usługi programowania i administracji baz danych: projektowanie schematów, strojenie zapytań, migracje i kopie zapasowe w SQL Server, PostgreSQL, MySQL, Oracle i MongoDB, z dedykowanymi programistami baz danych i DBA lub realizacją projektu.
Wizja komputerowa
Usługi tworzenia rozwiązań wizji komputerowej: wykrywanie obiektów, kontrola wizualna, OCR, analityka wideo, obrazowanie medyczne i modele na urządzeniach brzegowych, z dedykowanymi inżynierami wizji komputerowej lub realizacją projektu.
Adnotacja danych
Usługi adnotacji i etykietowania danych dla AI: etykietowanie obrazów, wideo, tekstu, dźwięku i LiDAR, RLHF i dane do ewaluacji, z kontrolą jakości każdej partii, od dedykowanych adnotatorów danych lub w ramach realizacji projektu.
MLOps
Usługi i doradztwo MLOps: platformy ML, CI/CD dla modeli, rejestry modeli, serwowanie i autoskalowanie, infrastruktura GPU, monitorowanie dryfu i LLMOps, z dedykowanymi inżynierami MLOps lub realizacją projektu.
Programowanie Databricks
Programowanie i doradztwo Databricks: konfiguracja lakehouse, potoki Lakeflow, Unity Catalog, migracje, AI/BI, uczenie maszynowe i kontrola kosztów, z dedykowanymi inżynierami Databricks lub realizacją projektu.
Programowanie Snowflake
Programowanie i doradztwo Snowflake: projektowanie hurtowni, pobieranie danych przez Snowpipe i Openflow, dbt, migracje, Cortex AI, bezpieczeństwo i kontrola kosztów, z dedykowanymi programistami Snowflake lub realizacją projektu.
Automatyzacja procesów
Usługi automatyzacji procesów i automatyzacji z AI: przepływy n8n, Make, Zapier i Power Automate, agenci AI w przepływach pracy, automatyzacje CRM, finansów i dokumentów, z dedykowanymi programistami automatyzacji lub realizacją projektu.
Pytania o tworzenie oprogramowania w Kafka
W jakich branżach pracują Państwa inżynierowie Kafka?
W fintech, bankowości i ubezpieczeniach, przy płatnościach, monitorowaniu transakcji i danych handlowych; w e-commerce i handlu detalicznym, przy zamówieniach, zapasach i clickstream; w logistyce, przy śledzeniu przesyłek i zdarzeniach floty; w telekomunikacji i infrastrukturze chmurowej, przy zdarzeniach sieci i użycia; w reklamie i martech, przy strumieniach ofert i wyświetleń; w produkcji i energetyce, przy danych z czujników i liczników; oraz w enterprise SaaS, przy zdarzeniach między mikrousługami.
Confluent Cloud, Amazon MSK czy własny klaster?
To zależy od tego, gdzie działa reszta Państwa systemów i ile obsługi chcą Państwo wziąć na siebie. Confluent Cloud łączy zarządzane konektory, Flink, Schema Registry i Tableflow w jednej usłudze; MSK i Event Hubs działają na Państwa koncie AWS lub Azure i rachunku; klaster we własnym zarządzaniu ze Strimzi daje pełną kontrolę w zamian za jego prowadzenie. Kompromisy przedstawiamy dla Państwa wolumenów, zanim cokolwiek zostanie kupione.
Czy mogą Państwo zaktualizować klaster, który nadal działa na ZooKeeper?
Tak. Kafka 4 działa wyłącznie na KRaft, więc klaster ZooKeeper jest najpierw migrowany do KRaft na wydaniu 3.x, z dodanymi kontrolerami i przeniesionymi metadanymi, gdy klaster nadal obsługuje ruch, a następnie aktualizowany do Kafka 4, gdy klienci zostaną sprawdzeni pod kątem usuniętych API.
Jak szybko mogą zacząć inżynierowie Kafka?
Gdy odpowiedni inżynier Kafka jest dostępny, o terminie startu decydują wyłącznie Państwa rozmowa oraz NDA i przeniesienie praw własności intelektualnej. W przeciwnym razie prowadzimy poszukiwania, które zwykle dają profile kandydatów w ciągu dwóch do trzech tygodni, a nikt nie zaczyna pracy, dopóki Państwo nie powiedzą „tak”.
Jak wygląda zatrudnienie przez BigTree108: inżynierowie Kafka?
Prosimy o informację o zakresie pracy, poziomie doświadczenia i potrzebnych godzinach. Proponujemy jedną lub dwie osoby wraz z ich profilami, Państwo przeprowadzają z nimi rozmowy tak, jak z własnym kandydatem, podpisują jedną umowę z BIG TREE 108 LLC i otrzymują jedną fakturę miesięcznie.
Do kogo należy praca, którą wykonują?
Do Państwa. Każdy specjalista ma podpisaną z BigTree108 umowę, która przenosi wszystkie rezultaty pracy na spółkę, a nasza umowa z Państwem przenosi je dalej. Kod, projekty i dokumenty są przekazywane do Państwa własnych repozytoriów i narzędzi, a nie przechowywane tam, gdzie zmieniać je możemy tylko my.
Budują lub prowadzą Państwo Kafka?
Prosimy podać wolumeny zdarzeń, języki usług i miejsce, w którym działa klaster. Odpowiedź otrzymają Państwo w ciągu jednego dnia roboczego: plan, przegląd architektury lub profile kandydatów.