본문으로 건너뛰기
BigTree108

Apache Kafka 개발 및 컨설팅 서비스

Apache Kafka 개발 및 컨설팅: 이벤트 기반 아키텍처, Java, .NET, Python, Go의 프로듀서와 컨슈머, Kafka Connect와 Debezium 변경 데이터 캡처, Kafka Streams와 Apache Flink 스트림 처리, Confluent Cloud, Amazon MSK, Azure Event Hubs의 관리형 Kafka, 클러스터 운영, 마이그레이션, 업그레이드를 제공합니다. 귀사 팀에 합류하는 전담 Kafka 엔지니어 또는 Kafka 프로젝트 전체를 맡아 납품하는 방식 중에서 선택하실 수 있습니다.

Kafka 기반 개발 영역

  • Kafka 기반 이벤트 기반 아키텍처

    귀사의 비즈니스 이벤트를 기준으로 설계한 토픽, 파티션, 키, 보존 기간, 팀 간에 합의한 이벤트 스키마, 트랜잭셔널 아웃박스와 멱등 컨슈머 같은 패턴이므로, 이벤트는 유실되지도 두 번 적용되지도 않습니다.

  • Kafka 프로듀서와 컨슈머

    Spring for Apache Kafka를 쓰는 Java, Confluent.Kafka를 쓰는 .NET, Python, Go의 서비스로, 재시도, 데드 레터 토픽, 중복이 비용을 초래하는 곳의 트랜잭션, 작업을 큐처럼 컨슈머에 분산하는 공유 그룹(Queues for Kafka, Kafka 4.2부터 프로덕션 지원)을 갖춥니다.

  • Kafka Connect와 Debezium

    Debezium으로 데이터베이스 변경을 Kafka로 스트리밍하고, 싱크 커넥터로 토픽을 웨어하우스, 검색 인덱스, 오브젝트 스토리지에 전달하며, Confluent Cloud, MSK Connect 또는 Strimzi에서 Confluent Tableflow로 토픽을 Iceberg나 Delta 테이블로 구체화합니다.

  • Flink와 Kafka Streams를 이용한 스트림 처리

    귀사 Java 서비스 안의 Kafka Streams, 또는 Confluent Cloud, Amazon Managed Service for Apache Flink, 자체 클러스터의 Apache Flink 작업과 Flink SQL에서 처리하는 조인, 윈도우 집계, 데이터 보강이며, 사기 점검, 실시간 지표, 경보에 쓰입니다.

  • Confluent Cloud, MSK, Event Hubs

    처리량, 보존 기간, 리전, 비용을 기준으로 선택하고 Terraform으로 프로비저닝하는 Confluent Cloud의 관리형 Kafka, Express 브로커 또는 MSK Serverless를 쓰는 Amazon MSK, Kafka 엔드포인트를 통한 Azure Event Hubs, Aiven 또는 Redpanda입니다.

  • Kubernetes의 자체 관리 Kafka

    ZooKeeper 없이 KRaft로 실행하는 Kafka 4 클러스터로, Kubernetes에서는 Strimzi 오퍼레이터로, 또는 가상 머신에서 운영하며, 랙 인식 복제본, 계층형 스토리지, 리밸런싱을 위한 Cruise Control, 다운타임 없는 롤링 업그레이드를 갖춥니다.

  • Schema Registry와 데이터 컨트랙트

    Confluent Schema Registry, Apicurio Registry 또는 AWS Glue Schema Registry의 Avro, Protobuf, JSON Schema이며, 호환성 규칙을 CI에서 점검하므로 프로듀서가 변경으로 컨슈머를 깨뜨릴 수 없습니다.

  • Kafka 마이그레이션과 업그레이드

    Kafka 4로 업그레이드하기 전에 ZooKeeper 클러스터를 KRaft로 옮기고, RabbitMQ, ActiveMQ, IBM MQ의 워크로드를 옮기며, 자체 관리 Kafka, MSK, Confluent Cloud 사이의 클러스터를 컨슈머 오프셋까지 포함해 MirrorMaker 2 또는 Cluster Linking으로 옮깁니다.

  • Kafka 모니터링과 보안

    Prometheus와 Grafana 또는 Confluent Control Center에서 보는 컨슈머 랙, 복제 부족 파티션, 처리량, 모든 연결의 TLS, OAuth 또는 상호 TLS를 쓰는 SASL, 서비스별 ACL, 코드 리뷰를 거치는 토픽, 쿼터, ACL 변경입니다.

Kafka 엔지니어 채용

  • 전담 Kafka 엔지니어

    귀사 팀에 풀타임으로 합류해 귀사의 저장소, 트래커, 회의에서 일하고 귀사의 리드에게 보고하는 Kafka 엔지니어 인력입니다. 면접은 귀사가 진행하고, 우크라이나 현지 계약, 급여, 청구, 휴가는 당사가 맡습니다.

  • Kafka 프로젝트 수행

    Kafka 프로젝트를 범위 정의부터 릴리스까지 맡는 팀입니다. 견적, 개발, 테스트, 배포를 수행하며, 계획과 품질을 책임지는 기술 리드가 당사에 있습니다.

  • Kafka 지원 및 인수

    다른 팀에서 인수하거나 계속 운영하는 기존 Kafka 시스템입니다. 읽기 전용 검토와 서면 위험 목록을 먼저 제공하고, 이후 영향이 큰 순서로 수정과 신규 기능을 진행합니다.

전담 개발팀 페이지는 전문가가 귀사 팀에 합류하는 방식을 설명하고, 외주 개발 페이지는 프로젝트 납품, 인수, 비용 청구 방식을 다룹니다.

Kafka 프로젝트를 맡는 사람들

  • Kafka 엔지니어

    클러스터 설계, 운영, Connect, 업그레이드

  • 백엔드 엔지니어

    Java, .NET, Python, Go 프로듀서와 컨슈머

  • 데이터 엔지니어

    스트림 처리와 레이크하우스 싱크

  • 클라우드 및 DevOps 엔지니어

    Terraform, Kubernetes, 모니터링

  • QA 엔지니어

    이벤트 흐름의 컨트랙트 및 부하 테스트

운영할 수 있는 이벤트 스트리밍

코드보다 설계가 먼저입니다. 비즈니스에 필요한 순서에 맞춘 파티션 키, 호환성 규칙이 있는 스키마, 흐름별로 정하는 전달 의미론이며, 대부분의 흐름은 멱등 컨슈머를 쓰는 최소 한 번 전달을, 일부는 트랜잭션을 뜻합니다. 토픽, ACL, 쿼터, 커넥터는 코드로 선언하고 다른 변경처럼 리뷰합니다.

가동 전에 클러스터를 여유를 둔 예상 피크에서 부하 테스트하고, 컨슈머 랙과 복제 부족 파티션에 경보를 설정하며, 런북은 브로커 유실, 멈춘 컨슈머, 토픽 재생을 다룹니다. 업그레이드는 먼저 스테이징에서 연습합니다.

제공하는 다른 데이터 및 AI 서비스

데이터 및 AI 개요

Kafka 개발 관련 질문

Kafka 엔지니어는 어떤 업종에서 일합니까?

결제, 거래 모니터링, 트레이딩 데이터를 위한 핀테크, 은행, 보험, 주문, 재고, 클릭스트림을 위한 이커머스와 리테일, 배송 추적과 차량 이벤트를 위한 물류, 네트워크와 사용 이벤트를 위한 통신과 클라우드 인프라, 입찰과 노출 스트림을 위한 광고 및 마케팅 기술, 센서와 계량 데이터를 위한 제조와 에너지, 마이크로서비스 사이의 이벤트를 위한 엔터프라이즈 SaaS입니다.

Confluent Cloud, Amazon MSK, 자체 클러스터 중 무엇입니까?

나머지 시스템이 어디서 운영되는지, 운영 부담을 얼마나 지고 싶은지에 따라 달라집니다. Confluent Cloud는 관리형 커넥터, Flink, Schema Registry, Tableflow를 하나의 서비스로 제공합니다. MSK와 Event Hubs는 귀사의 AWS 또는 Azure 계정과 청구서 안에 있습니다. Strimzi를 쓰는 자체 관리 클러스터는 직접 운영하는 대신 완전한 통제를 줍니다. 장단점은 구매 전에 귀사의 처리량을 기준으로 정리해 드립니다.

아직 ZooKeeper로 실행되는 클러스터를 업그레이드할 수 있습니까?

네. Kafka 4는 KRaft로만 실행되므로, ZooKeeper 클러스터는 먼저 3.x 릴리스에서 KRaft로 마이그레이션합니다. 클러스터가 트래픽을 처리하는 동안 컨트롤러를 추가하고 메타데이터를 옮기며, 제거된 API에 대해 클라이언트를 점검한 뒤 Kafka 4로 업그레이드합니다.

Kafka 엔지니어 투입까지 얼마나 걸립니까?

적합한 Kafka 엔지니어 인력이 있으면 귀사의 면접, NDA, 지식재산권 양도 절차만 거치면 바로 시작할 수 있습니다. 그렇지 않으면 인재를 탐색하며, 보통 2~3주 안에 후보자 프로필을 전달합니다. 귀사가 승인하기 전에는 누구도 업무를 시작하지 않습니다.

Kafka 엔지니어 채용은 BigTree108을 통해 어떻게 진행합니까?

필요한 업무, 경력 수준, 근무 시간을 알려 주십시오. 당사가 한두 명의 프로필을 제안하면, 귀사는 직접 채용하는 인력과 같은 방식으로 면접을 진행하고, BIG TREE 108 LLC와 하나의 계약을 체결하여 월 1회 하나의 인보이스를 받습니다.

전문가가 만든 결과물의 소유권은 누구에게 있습니까?

귀사에 있습니다. 모든 전문가는 당사와 서명한 계약으로 모든 작업 결과물을 회사에 귀속시키고, 귀사와의 계약으로 이것이 다시 귀사에 귀속됩니다. 코드, 디자인, 문서는 당사만 수정할 수 있는 곳이 아니라 귀사의 저장소와 도구에 직접 전달합니다.

Kafka를 구축하거나 운영하고 계십니까?

이벤트 처리량, 서비스의 언어, 클러스터가 운영되는 곳을 알려 주십시오. 1영업일 이내에 계획, 아키텍처 검토 의견, 또는 후보자 프로필을 보내 드립니다.

이메일 hello@bigtree108.com응답 방식