Data Engineer (Microsoft Fabric)

ScaloWarszawa, Polska

Posted 9 days agoStill open, checked 46m ago

About the job

Zakres współpracy obejmuje:

  • projektowanie i implementację pipeline’ów w Data Factory oraz notebooków PySpark w środowisku Microsoft Fabric,
  • onboarding źródeł plikowych i bazodanowych wraz z walidacją techniczną oraz standaryzacją formatu danych,
  • realizację transformacji danych oraz przygotowanie danych wsadowych,
  • implementację reguł walidacji jakości danych oraz mechanizmów raportowania błędów,
  • wersjonowanie zestawów danych oraz zapis metadanych przebiegu, w tym parametrów, źródeł i wersji,
  • realizację usług w reżimie Git, obejmującym wersjonowanie kodu, code review oraz wdrożenia poprzez CI/CD,
  • współpracę z zespołem ryzyka przy definiowaniu reguł przekształceń danych,
  • zapewnienie zgodności z regulacjami dotyczącymi prywatności i bezpieczeństwa danych oraz integrację standardów bezpieczeństwa firmy ze środowiskiem Azure,
  • optymalizację procesów pod kątem wydajności i kosztów,
  • udział w projekcie realizowanym w branży ubezpieczeniowej,
  • model współpracy: hybrydowy (1x w tygodniu w Warszawie),
  • stawka do 150 PLN/h w oparciu o współpracę B2B.

Kompetencje wymagane do realizacji usług:

  • minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych,
  • praktyczna znajomość Python (PySpark) oraz SQL w pracy z dużymi zbiorami danych,
  • doświadczenie z platformami chmurowymi do przetwarzania danych, takimi jak Microsoft Fabric, Azure Synapse lub Databricks,
  • znajomość architektury warstwowej danych (medalionowej lub podobnej) oraz formatów Delta i Parquet,
  • doświadczenie w pracy z systemem kontroli wersji Git,
  • doświadczenie w integracji różnorodnych źródeł danych, w tym plików Excel dostarczanych przez użytkowników biznesowych,
  • gotowość do podpisania NDA oraz przejścia procesu weryfikacji bezpieczeństwa,
  • mile widziany certyfikat DP-600 lub DP-700,
  • mile widziane doświadczenie w sektorze finansowym lub innym środowisku o wysokich wymaganiach audytowych,
  • mile widziana znajomość języka R,
  • mile widziane doświadczenie w budowie i utrzymaniu procesów CI/CD dla platform danych,
  • mile widziane doświadczenie z frameworkami Data Quality,
  • mile widziane doświadczenie w metodykach Agile i Scrum.

Co oferujemy w ramach współpracy?

  • możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services,
  • zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie,
  • dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.

Microsoft Fabric, Python, PySpark

B2B

Senior

do 150 PLN/h

hybrydowo

Zobacz jak rozpocząć współpracę ze Scalo: