Data Engineer

ScaloWarszawa, Polska

Posted 9 days agoStill open, checked 2h ago

About the job

Zakres współpracy obejmuje:

  • projektowanie, budowę i rozwój procesów ETL/ELT oraz pipeline’ów przetwarzania danych działających w trybie batch i streaming,
  • tworzenie procesów zasilających BigQuery, hurtownie danych, Data Lake,
  • integrację danych pochodzących z systemów on-premise, chmury GCP, baz danych, plików, interfejsów API,
  • projektowanie logicznych i fizycznych modeli danych,
  • przygotowywanie warstw danych, datamartów tematycznych oraz zbiorów wykorzystywanych w procesach analitycznych i kampanijnych,
  • tworzenie i optymalizację zapytań SQL w relacyjnych oraz kolumnowych bazach danych,
  • programowanie procesów przetwarzania i ładowania danych w Pythonie i/lub Rust,
  • budowę przepływów zdarzeniowych z wykorzystaniem technologii takich jak Kafka lub Pub/Sub,
  • optymalizację wydajności procesów oraz kosztów przetwarzania danych w środowisku GCP,
  • wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponawiania przetwarzania,
  • przekładanie wymagań biznesowych na koncepcje techniczne, modele danych i gotowe rozwiązania,
  • przygotowywanie testów oraz wsparcie wdrożeń zmian w procesach zasilania danych,
  • lokalizacja projektu: Warszawa,
  • tryb realizacji usług: hybrydowy, obecność w biurze raz w tygodniu w Warszawie,
  • budżet projektu: do 150 PLN/h + VAT, w zależności od doświadczenia i zakresu świadczonych usług.

Kompetencje wymagane do realizacji usług:

  • minimum 5 lat doświadczenia na podobnym stanowisku,
  • doświadczenie w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów przetwarzania danych,
  • dobra znajomość SQL, w tym optymalizacji zapytań i pracy z dużymi wolumenami danych,
  • praktyczna znajomość BigQuery, obejmująca projektowanie struktur danych, partycjonowanie, klastrowanie oraz optymalizację wydajności i kosztów zapytań,
  • doświadczenie w programowaniu w Pythonie i/lub Rust,
  • znajomość przetwarzania danych zarówno w trybie batch, jak i streaming,
  • znajomość architektury sterowanej zdarzeniami oraz technologii takich jak Kafka lub Pub/Sub,
  • znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL,
  • znajomość systemu Linux,
  • mile widziane: znajomość Apache Spark, Apache Beam lub Google Cloud Dataflow. dświadczenie z Kubernetes, Docker oraz procesami CI/CD, znajomość Informatica PowerCenter lub innych narzędzi klasy ETL, znajomość AutomateNOW, znajomość systemów kampanijnych, procesów segmentacji klientów lub przygotowywania danych na potrzeby marketing automation.

Co oferujemy w ramach współpracy?

  • możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services,
  • zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie,
  • dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.

SQL, Kafka, ETL, BigQuery, Python/Rust

B2B

Senior

do 150 PLN/h

Hybrydowo

Zobacz jak rozpocząć współpracę ze Scalo: