open­SPACE

Szybkie i efektywne zarządzanie terabajtami danych

Wyzwanie przed nami

Firma napotkała wiele wyzwań podczas realizacji projektu związanego z platformą openSPACE realizowaną dla Centrum Badań Kosmicznych, której celem było stworzenie zaawansowanego serwisu do udostępniania danych badawczych kosmosu. Te wyzwania stały się jednak okazją do rozwoju i innowacji, umożliwiając zespołowi projektowemu zdobycie cennych doświadczeń i podniesienie kompetencji w obszarze technologii kosmicznych.

moon-cbk-openspace.png

Tematyka danych kosmicznych, w tym sposób ich pozyskiwania, przetwarzania oraz formaty wymiany

Istotnym zadaniem było zapewnienie skalowalności systemu, który musiał być w stanie obsłużyć terabajty danych pochodzących z różnorodnych badań kosmicznych.

Kolejnym kluczowym aspektem była optymalizacja wydajności systemu. System musiał umożliwiać efektywne zarządzanie, wyszukiwanie ogromnych wolumenów danych. 

Kolejnym z wymogów systemu było uwzględnienie zmienności danych oraz dostosowanie platformy do dodawania kolejnych zbiorów danych, biorąc pod uwagę jej zmienność oraz utrzymywanie kontroli nad wprowadzonymi danymi.

Nasze podejście

Analiza wymagań odnośnie systemu rozpoczęła się od dogłębnego zbadania tematyki danych, co obejmowało konsultacje z ekspertami zajmującymi się badaniami kosmicznymi. Dzięki tym konsultacjom zespół projektowy uzyskał cenne informacje na temat specyfiki danych kosmicznych oraz ich wymagań, co pozwoliło na precyzyjne określenie funkcjonalności i wymagań technicznych systemu.

Dane pomiarowe z satelity HEWELIUSZ - zbiór danych zawiera krzywe blasku wybranych gwiazd wyznaczone na podstawie danych obserwacyjnych z satelity HEWELIUSZ, wchodzącego w skład konstelacji 5 nanosatelitów BRITE
Żródło openSPACE

Następnym krokiem było przygotowanie architektury mikroserwisowej opartej na konteneryzacji. Taki wybór architektury umożliwi elastyczne zarządzanie poszczególnymi komponentami systemu oraz ich skalowanie w zależności od potrzeb. Konteneryzacja zapewni także łatwość w aktualizowaniu i wdrażaniu nowych funkcji oraz integracji z innymi systemami.

elastic-search.jpg

Wybór optymalnych silników wyszukiwania, zdolnych do obsługi danych o zmieniających się w czasie strukturach, był kluczowy dla zapewnienia efektywności i szybkości dostępu do informacji. Zespół przeanalizował dostępne technologie wyszukiwania i zintegrował te, które najlepiej odpowiadały wymaganiom projektu, gwarantując wysoką wydajność i elastyczność w obliczu zmieniających się danych.

Opracowanie mechanizmów walidacji danych na podstawie JSON Schema pozwoliło na zapewnienie wysokiej jakości i integralności danych. JSON Schema umożliwiło definiowanie struktury danych oraz reguł walidacyjnych, co pomogło w utrzymaniu spójności danych w całym systemie oraz eliminowaniu błędów wprowadzanych przez użytkowników.

Wreszcie, zespół opracował przepływ publikacji danych, który obejmował mechanizmy wersjonowania oraz zapewnienie kompatybilności wstecznej. Wprowadzenie wersjonowania umożliwiło śledzenie zmian w danych oraz utrzymanie zgodności z wcześniejszymi wersjami, co było istotne dla zapewnienia stabilności i niezawodności platformy. 

Efekt

Efekt pracy nad platformą openSPACE był znakomity i znacząco podniósł standardy w zakresie zarządzania danymi badawczymi kosmosu.

Szybkość działania systemu, w tym szybkość wyszukiwania, była jednym z kluczowych aspektów projektu. Dzięki zaawansowanej architekturze mikroserwisowej oraz optymalnym silnikom wyszukiwania, platforma openSPACE jest w stanie błyskawicznie przeszukiwać ogromne wolumeny danych. Mechanizmy indeksowania oraz zaawansowane algorytmy wyszukiwania pozwalają na szybki dostęp do potrzebnych informacji, gdzie czas reakcji może mieć kluczowe znaczenie.

swagger.jpg

Udostępnienie zewnętrznego API umożliwiło integrację platformy openSPACE z innymi systemami i narzędziami. API zostało zaprojektowane w sposób umożliwiający łatwe pobieranie danych, ich analizowanie oraz wprowadzanie nowych informacji. Umożliwia to użytkownikom i zewnętrznym aplikacjom korzystanie z funkcji platformy openSPACE oraz integrację jej z innymi rozwiązaniami, co zwiększa elastyczność i użyteczność systemu.

Kontrola nad wprowadzanymi danymi została zapewniona poprzez wdrożenie zaawansowanych mechanizmów walidacji oraz wersjonowania. Wersjonowanie danych umożliwia śledzenie historii zmian oraz utrzymanie zgodności z wcześniejszymi wersjami, co pozwala na bezpieczne aktualizowanie i publikowanie nowych danych bez ryzyka wprowadzenia niezgodności.

W rezultacie, platforma openSPACE nie tylko spełnia swoje podstawowe funkcje jako zaawansowane narzędzie do zarządzania danymi kosmicznymi, ale także oferuje wysoką wydajność, elastyczność oraz ergonomię, co czyni ją nieocenionym zasobem w badaniach kosmicznych i analizach danych.

Wykonawca zrealizował Umowę z należytą starannością, zgodnie z obowiązującymi warunkami oraz zachowaniem obowiązujących terminów. Pracownicy Wykonawcy wykazywali się profesjonalizmem i pełnym zaangażowaniem podczas działań w ramach zamówienia.
Dyrektor CBK PAN

 

Chcesz nawiązać współpracę?

Skontaktuj się z nami, a z przyjemnością omówimy Twoje potrzeby i zaproponujemy najlepsze rozwiązania.