Usługi inżynierii danych
Usługi inżynierii danych: potoki ETL i ELT, hurtownie danych i lakehouse na Snowflake, Databricks, BigQuery, Amazon Redshift i Microsoft Fabric, przetwarzanie w Spark, modelowanie w dbt, strumieniowanie z Kafka oraz platformy danych dla analityki i AI, z dedykowanymi inżynierami danych w Państwa zespole lub platformą danych wykonaną kompleksowo.
Inżynieria danych, którą podejmujemy
Potoki pobierania danych i ETL
Ładowanie z baz danych, API SaaS, plików i trackerów zdarzeń za pomocą Airbyte, Fivetran, dlt lub własnego kodu Python, harmonogramowane w Airflow 3, Dagster, Azure Data Factory lub AWS Glue, przyrostowe, gdzie to możliwe, i bezpieczne do ponownego uruchomienia, a także reverse ETL z powrotem do Państwa CRM i produktu.
Hurtownie danych i lakehouse
Snowflake, Databricks, BigQuery, Amazon Redshift i Microsoft Fabric albo data lake na S3 lub Azure Data Lake Storage z tabelami Apache Iceberg lub Delta Lake, uporządkowany w warstwy surową, oczyszczoną i gotową dla biznesu.
Spark i przetwarzanie na dużą skalę
Zadania wsadowe w PySpark i Spark SQL na Databricks, Amazon EMR lub Fabric, partycjonowane i dostrojone tak, aby nocny przebieg mieścił się w oknie, oraz DuckDB lub Polars tam, gdzie dane mieszczą się na jednej maszynie.
Modelowanie danych w dbt
Schematy gwiazdy i modele Data Vault jako SQL w Git, z testami kluczy, relacji i dozwolonych wartości, dokumentacją i pochodzeniem danych (lineage) generowanymi z kodu oraz każdą zmianą uruchamianą w CI przed scaleniem.
Strumieniowanie i change data capture
Zmiany na poziomie wierszy przechwytywane z baz operacyjnych przez Debezium, a zdarzenia przenoszone przez Kafka, Amazon Kinesis lub Azure Event Hubs i przetwarzane we Flink lub Spark Structured Streaming, dla danych, które mają mieć sekundy lub minuty, a nie dobę.
Jakość danych i nadzór
Kontrole aktualności, wolumenu i schematu w testach dbt, Soda lub Great Expectations oraz alerty o niepowodzeniu, katalog z pochodzeniem danych w Unity Catalog, DataHub lub OpenMetadata, dostęp przyznawany według ról i dane osobowe maskowane poza produkcją.
Odejście od starszych platform
Pakiety SSIS, lokalne hurtownie SQL Server i Oracle, Teradata i klastry Hadoop przenoszone etapami na platformę chmurową, z liczbą wierszy i sumami uzgadnianymi między starym a nowym, zanim cokolwiek zostanie wyłączone.
Dane dla uczenia maszynowego i AI
Potoki cech i feature store, takie jak Feast lub wbudowany w Databricks, zestawy treningowe poprawne w czasie (point-in-time) oraz potoki dzielenia na fragmenty i embeddingów, które utrzymują indeks wektorowy do wyszukiwania zgodny z dokumentami źródłowymi.
Koszt i wydajność platformy
Wydatki na hurtownie i klastry rozbite według potoku i zespołu, a następnie obniżone modelami przyrostowymi, partycjonowaniem i klastrowaniem, dopasowaną mocą obliczeniową i auto-suspend, z czasami zapytań mierzonymi przed zmianą i po niej.
Zatrudnienie: inżynierowie danych
Dedykowani inżynierowie danych
Inżynierowie danych dołączają do Państwa zespołu na pełny etat, pracują w Państwa narzędziach i procesie oraz podlegają Państwa liderowi. Państwo przeprowadzają rozmowy kwalifikacyjne, a my bierzemy na siebie ukraińską umowę, wynagrodzenia, fakturowanie i urlopy.
Projekty: Inżynieria danych
Wydzielona część prac w obszarze „inżynieria danych”, z określonym zakresem, stałym planem i wskazanym liderem po naszej stronie, który odpowiada za wynik i raportuje postępy w Państwa kanałach.
Stała współpraca: inżynieria danych
Usługa ciągła w obszarze „Inżynieria danych”: ci sami ludzie co miesiąc, backlog, któremu Państwo ustalają priorytety, oraz godziny widoczne w naszym portalu i na fakturze.
Strona o dedykowanym zespole wyjaśnia, jak specjaliści dołączają do Państwa zespołu, a strona o outsourcingu opisuje realizację projektów, przejęcia i sposób rozliczania.
Kto realizuje Państwa prace w obszarze „inżynieria danych”
Inżynierowie danych
Potoki, Spark, dbt i strumieniowanie
Inżynierowie analityczni (analytics engineers)
Modele dbt i definicje metryk
Inżynierowie Python
Własne konektory i pobieranie z API
Inżynierowie chmury i DevOps
Terraform i CI dla platformy danych
Programiści BI
Raporty na końcu potoku
Wybór platformy danych
Microsoft Fabric, gdy firma już pracuje w Microsoft 365 i Power BI. Databricks, gdy na tych samych danych działa przetwarzanie w skali Spark lub uczenie maszynowe. Snowflake, gdy praca to głównie SQL, a zespół chce mieć mało do utrzymania. BigQuery lub Redshift, gdy reszta środowiska jest na Google Cloud lub AWS. PostgreSQL lub Azure SQL z dbt na wierzchu, gdy jest garstka źródeł i skromne wolumeny.
Którakolwiek to będzie, platforma jest zdefiniowana w Terraform, potoki i modele żyją w Git i są wdrażane przez CI wraz z testami, rozwój i produkcja są rozdzielone, a sekrety pochodzą z sejfu, a nie z notebooka.
Pozostałe usługi z zakresu danych i AI, które świadczymy
AI i uczenie maszynowe
Usługi tworzenia rozwiązań AI i uczenia maszynowego: prognozowanie, wykrywanie nadużyć, systemy rekomendacji, wizja komputerowa, NLP i rozpoznawanie mowy oraz MLOps, z dedykowanymi inżynierami uczenia maszynowego lub realizacją projektu.
Analityka danych i Power BI
Usługi analityki danych i Power BI: dashboardy w Power BI, Tableau i Looker, analityka produktowa, testy A/B, raportowanie finansowe i marketingowe, z dedykowanymi analitykami danych i programistami BI lub realizacją projektu.
Programowanie baz danych
Usługi programowania i administracji baz danych: projektowanie schematów, strojenie zapytań, migracje i kopie zapasowe w SQL Server, PostgreSQL, MySQL, Oracle i MongoDB, z dedykowanymi programistami baz danych i DBA lub realizacją projektu.
Wizja komputerowa
Usługi tworzenia rozwiązań wizji komputerowej: wykrywanie obiektów, kontrola wizualna, OCR, analityka wideo, obrazowanie medyczne i modele na urządzeniach brzegowych, z dedykowanymi inżynierami wizji komputerowej lub realizacją projektu.
Adnotacja danych
Usługi adnotacji i etykietowania danych dla AI: etykietowanie obrazów, wideo, tekstu, dźwięku i LiDAR, RLHF i dane do ewaluacji, z kontrolą jakości każdej partii, od dedykowanych adnotatorów danych lub w ramach realizacji projektu.
MLOps
Usługi i doradztwo MLOps: platformy ML, CI/CD dla modeli, rejestry modeli, serwowanie i autoskalowanie, infrastruktura GPU, monitorowanie dryfu i LLMOps, z dedykowanymi inżynierami MLOps lub realizacją projektu.
Programowanie Databricks
Programowanie i doradztwo Databricks: konfiguracja lakehouse, potoki Lakeflow, Unity Catalog, migracje, AI/BI, uczenie maszynowe i kontrola kosztów, z dedykowanymi inżynierami Databricks lub realizacją projektu.
Programowanie Snowflake
Programowanie i doradztwo Snowflake: projektowanie hurtowni, pobieranie danych przez Snowpipe i Openflow, dbt, migracje, Cortex AI, bezpieczeństwo i kontrola kosztów, z dedykowanymi programistami Snowflake lub realizacją projektu.
Kafka i strumieniowanie zdarzeń
Programowanie i doradztwo Apache Kafka: architektura zdarzeniowa, Kafka Connect i Debezium, Flink i Kafka Streams, Confluent Cloud, MSK i Event Hubs, z dedykowanymi inżynierami Kafka lub realizacją projektu.
Automatyzacja procesów
Usługi automatyzacji procesów i automatyzacji z AI: przepływy n8n, Make, Zapier i Power Automate, agenci AI w przepływach pracy, automatyzacje CRM, finansów i dokumentów, z dedykowanymi programistami automatyzacji lub realizacją projektu.
Pytania o inżynierię danych
W jakich branżach pracują Państwa inżynierowie danych?
W produktach AI i danych, gdzie potoki zasilają modele i analitykę dla klientów; w fintech, przy danych transakcyjnych, ryzyka i raportowaniu regulacyjnym; w e-commerce i handlu detalicznym, przy zamówieniach, zapasach i clickstream; w ochronie zdrowia, przy danych klinicznych i roszczeniowych objętych ścisłymi regułami dostępu; w reklamie i martech, przy strumieniach zdarzeń o dużym wolumenie i atrybucji; oraz w enterprise SaaS, przy danych o użyciu produktu i raportowaniu wewnątrz produktu.
Z jakimi narzędziami i platformami Państwo pracują?
Snowflake, Databricks, BigQuery, Amazon Redshift, Microsoft Fabric i ClickHouse do przechowywania i obliczeń; Spark, dbt, DuckDB i Polars do przetwarzania; Airflow, Dagster, Prefect, Data Factory i AWS Glue do orkiestracji; Kafka, Kinesis, Event Hubs, Flink i Debezium do strumieniowania; a także Python i SQL wszędzie.
Czy mogą Państwo przejąć potoki zbudowane przez inny zespół?
Tak. Przejęcie zaczyna się od przeglądu tylko do odczytu potoków, harmonogramów i niezauważonych awarii oraz pisemnej listy ryzyk w kolejności wpływu, zanim cokolwiek się zmieni.
Jak szybko mogą zacząć inżynierowie danych?
Gdy odpowiedni inżynier danych jest dostępny, o terminie startu decydują wyłącznie Państwa rozmowa oraz NDA i przeniesienie praw własności intelektualnej. W przeciwnym razie prowadzimy poszukiwania, które zwykle dają profile kandydatów w ciągu dwóch do trzech tygodni, a nikt nie zaczyna pracy, dopóki Państwo nie powiedzą „tak”.
Jak wygląda zatrudnienie przez BigTree108: inżynierowie danych?
Prosimy o informację o zakresie pracy, poziomie doświadczenia i potrzebnych godzinach. Proponujemy jedną lub dwie osoby wraz z ich profilami, Państwo przeprowadzają z nimi rozmowy tak, jak z własnym kandydatem, podpisują jedną umowę z BIG TREE 108 LLC i otrzymują jedną fakturę miesięcznie.
Do kogo należy praca, którą wykonują?
Do Państwa. Każdy specjalista ma podpisaną z BigTree108 umowę, która przenosi wszystkie rezultaty pracy na spółkę, a nasza umowa z Państwem przenosi je dalej. Kod, projekty i dokumenty są przekazywane do Państwa własnych repozytoriów i narzędzi, a nie przechowywane tam, gdzie zmieniać je możemy tylko my.
Chcą Państwo mieć dane w jednym miejscu?
Prosimy podać źródła, wolumeny i to, co dane mają zasilać. Odpowiedź otrzymają Państwo w ciągu jednego dnia roboczego: plan, rekomendację platformy lub profile kandydatów.