e-Nauka – Sesja I
Chmura obliczeniowa w administracji i e-Nauce
Aplikacje na żądanie w usłudze obliczeń kampusowych
Tomasz Chmiel, Roman Wyrzykowski (Politechnika Częstochowska)
Usługa obliczeń kampusowych projektu PLATON została zrealizowana w oparciu o innowacyjną infrastrukturę obliczeniowo-usługową o zasięgu ogólnokrajowym. Stworzona w ten sposób chmura obliczeniowa dostarcza aplikacji na żądanie, zapewniając szerokiemu gronu użytkowników ze środowisk akademickich i badawczych elastyczny, skalowalny dostęp do specyficznych aplikacji, zarówno w systemie Microsoft Windows, jak i Linux, z uwzględnieniem potrzeb określonych grup zawodowych w tych środowiskach.
Wśród najważniejszych efektów praktycznych działania usługi należy wymienić:
- zdalną pracę z aplikacjami interakcyjnymi (graficznymi) w środowisku Microsoft Windows (np. Adina, Ansys, Matlab, AutoCAD, Adobe i inne);
- uruchamianie na żądanie maszyn wirtualnych z systemem Windows lub Linux;
- możliwość zestawienia wirtualnego laboratorium dla grupy studentów lub naukowców korzystających z określonych aplikacji
Aplikacje dostępne w usłudze obliczeń kampusowych dzięki wieloletnim licencjom i powszechności pozwalają na kumulowanie doświadczeń i dobrych praktyk użytkowników profesjonalnych narzędzi komputerowych. Aplikacje te, często dobrze już znane użytkownikom z prywatnych doświadczeń, są wykorzystywane do zadań o znacznie większej skali skomplikowania – a takimi zwykle są zadania obliczeń dla potrzeb praktyki inżynierskiej.
Wdrożone systemy zarządzania i rezerwacji zasobów sprzętowo-programowych zapewniają użytkownikom oraz administratorom możliwość prostego i intuicyjnego korzystania z zasobów chmury. W szczególności, zdalny dostęp do aplikacji i maszyn wirtualnych umożliwia portal internetowy oraz dedykowany klient oparty o protokół RDP, który jest dostępny na znacznej większości systemów klienckich użytkowników.
W prezentacji, oprócz przedstawienia koncepcji oraz najważniejszych szczegółów budowy i funkcjonowania usługi, omówiono także wybrane przykłady zastosowań, jak również scharakteryzowano plany rozwoju usługi na najbliższą przyszłość. Plany te obejmują w szczególności zapewnienie dostępu do chmury wyłącznie poprzez przeglądarkę internetową oraz integrację usługi obliczeń kampusowych z infrastrukturą PL-GRID.
Rozwój Polskiej Infrastruktury Obliczeniowej Wspierającej Innowacyjne Badania Naukowe
Jacek Kitowski (ACK Cyfronet AGH)
Badania naukowe na przestrzeni ostatnich lat przechodzą bardzo znaczącą transformację, związaną z możliwościami dostarczanymi przez coraz bardziej wydajne systemy komputerowe dużej skali. Praktycznie w każdej dziedzinie nauki począwszy od nauk przyrodniczych a na naukach humanistycznych kończąc, znajdziemy przykłady zagadnień o bardzo silnych wymaganiach czy to dotyczących dużej mocy obliczeniowej potrzebnej do przetwarzania danych z eksperymentów czy też potrzeby przechowywania i przeszukiwania danych już istniejących bądź generowanych poprzez eksperymenty „in-silico”. W tym artykule zaprezentowana jest struktura polskiej infrastruktury Gridowej PLGrid PLUS [1], jako przykład budowy narodowej infrastruktury obliczeniowej wychodzącej naprzeciw wymaganiom użytkowników z różnorodnych dziedzin nauki.
Projekt PLGrid PLUS jest kontynuacją wcześniejszego projektu PL-Grid [2], którego zadaniem była budowa podstawowej infrastruktury Gridowej pomiędzy głównymi centrami obliczeniowymi w Polsce, jak również naturalną kontynuacją aktywności w dziedzinie systemów Gridowych podejmowanych przez te ośrodki w ramach współpracy zagranicznej od końca lat 90-tych ubiegłego stulecia. W skład konsorcjum projektu wchodzą następujące ośrodki: ACK Cyfronet w Krakowie (jako koordynator), PCSS w Poznaniu, ICM w Warszawie, WCSS we Wrocławiu oraz TASK w Gdańsku, z których każdy udostępnia znaczące zasoby obliczeniowe oraz przechowywania danych w ramach zintegrowanej infrastruktury dostępnej dla użytkowników zarówno w modelu Grid jak i Cloud. Zasoby obliczeniowe trzech z tych ośrodków są na liście TOP500 z listopada 2012 (CYFRONET miejsce 106, ICM miejsce 143 oraz PCSS miejsce 375), a więc zasoby, które mają znaczący rozmiar nie tylko w skali kraju, ale również na arenie europejskiej [3]. Dlatego też bardzo istotną częścią działalności projektu jest udział w ramach europejskiej infrastruktury Grid w ramach projektów EGI (European Grid Infrastructure) oraz EGI-inSPIRE.
Głównym jednak zadaniem projektu jest zaspokajanie potrzeb użytkowników z tzw. Gridów dziedzinowych, mających na celu zbudowanie szeregu domenowo specyficznych usług obliczeniowych oraz przechowywania danych w obrębie 13 dziedzin nauki w Polsce: astrofizyki, fizyki wysokich energii, nanotechnologii, akustyki, biologii, budowy synchrotronu, chemii kwantowej, ekologii, energetyka, bioinformatyki, zdrowia, fizyki materiałowej oraz metalurgii. W ramach każdej z tych dziedzin budowane są innowacyjne specjalistyczne usługi mające na celu zachęcanie do korzystania z dostępnej mocy obliczeniowych coraz szerszych rzesz polskich naukowców, dając im łatwy i co najważniejsze dziedzinowo zorientowany interfejs do wykonywania obliczeń przy użyciu dzielonej infrastruktury obliczeniowej w sposób możliwie przyjazny i przezroczysty. Przykładem takich usług są np. Usługa modelowania i optymalizacji struktur mikrostruktur materiałowych w dziedzinie metalurgii, wirtualny synchrotron, analiza numeryczna map hałasu w miastach w dziedzinie akustyki czy składowanie danych genetycznych w dziedzinie bio-informatyki.
Równolegle do rozwoju usług dziedzinowych prowadzone są prace nad ciągłym ulepszaniem i rozwojem infrastruktury poprzez dodawanie funkcjonalności na poziomie samej infrastruktury, nie tylko związanej ze zwiększaniem mocy obliczeniowej poprzez zakupy sprzętowe, ale również poprzez tworzenie oraz integrację dodatkowych komponentów. Tutaj między innymi jest dostępny przyjazny dla użytkowników portal dostępny poprzez przeglądarki internetowe, pozwalający użytkownikom na zarządzanie swoimi kontami oraz występowaniem o dostęp do poszczególnych usług, zarządzanie grantami oraz dostęp do zaawansowanej pomocy poprzez system „helpdesk”, oferujący pomoc użytkownikom na 3 poziomach w zależności od rodzaju problemu. Dodatkowo organizowane są szkolenia dla użytkowników na różnym poziomie zaawansowania poprzez nowoczesny system e-nauczania oraz rozwijane są systemy wspierające zarządzanie infrastrukturą. Na szczególną uwagę zasługuje obszar aktywności związany z problematyką obliczeń w modelu Cloud z uwzględnieniem zagadnień optymalizacji dostępu do danych, w tym danych organizacyjnie rozproszonych.
[1] Strona projektu PLGrid PLUS: www.plgrid.pl/plus
[2] Strona Polskiej Infrastruktury Gridowej: www.plgrid.pl
[3] J. Kitowski, M. Turała, K. Wiatr, Ł. Dutka, M. Bubak, T. Szepieniec, M. Radecki, M. Sterzel, Z.Mosurska, R. Pająk, R. Slota, K. Kurowski, B. Palak, B. Balcerek, P. Bała, M. Filocha and R. Tylman, Polish Computational Research Space for International Scientific Collaborations,in: R. Wyrzykowski , et al. (Eds.), Proc. 9th Int. Conf. Parallel Processing and Applied Mathematics, PPAM 2011, Torun, Poland, Sept. 11-14, 2011, LNCS 7203 (2012) 317-326, Springer.
Usługi w chmurze dla administracji publicznej
Marcin Mazurek (Talex)
Pojęcie chmury jest już powszechnie znane, zwykle jednak używane jest w kontekście najbardziej popularnych obecnie chmur typu IaaS czy SaaS. Rozwinięciem i rozszerzeniem poza aspekty stricte techniczne idei chmur, jest chmura IT as a Service (ITaaS), która umożliwia skorzystanie z elastycznych i skalowalnych usług IT na żądanie. Usługi te są połączeniem chmur IaaS lub SaaS z usługami wykonywanymi przez wykwalifikowany personel, a ich celem jest dostarczenie do klienta kompletnej usługi IT. Przykładem takiej usługi może być np. skorzystanie z oferty Office 365 firmy Microsoft połączonej z usługą wdrożenia i wsparcia technicznego dla użytkowników, wykonywaną przez partnera, który dysponuje odpowiednim systemem przyjmowania, obsługi i raportowania zleceń.
Dobrym przykładem usług ITaaS są usługi outsourcingu IT świadczone przez naszą firmę m.in. dla administracji publicznej. Już w chwili obecnej oferujemy naszym klientom usługi obsługi informatycznej środowisk w taki sposób, że obsługa IT w zakresie Help Desk, Service Desk, serwisu oprogramowania i sprzętu oraz szeroko rozumianego wsparcia technicznego, jest realizowana w sposób automatyczny, skalowalny i dynamiczny. Za pomocą narzędzi zarządzania chmurą bazujących m.in. na systemie wspomagania realizacji procesów TalDesk, systemie raportowania InfoTal i systemach zarządzania chmurami IaaS/SaaS, realizowane są usługi, których pozyskanie przez klienta jest szybkie, łatwe, a często automatyczne (np. w zakresie reakcji na awarie nadzorowanych w ramach usługi monitoringu serwerów klienta).
Kolejnym przykładem usług ITaaS realizowanych przez firmę Talex S.A. są usługi wydruku na żądanie, w ramach których klient, nie ponosząc nakładów na zakup sprzętu, otrzymuje usługę druku realizowaną na urządzeniach umiejscowionych w jego lokacjach. Świadczona usługa nie wymaga żadnego zaangażowania ze strony klienta w proces eksploatacji drukarek, automatyka chmury obejmuje nie tylko wykrywanie i usuwanie awarii, ale również wymianę materiałów eksploatacyjnych, a nawet uzupełnianie papieru. Usługę cechuje prosty model rozliczeń, a klient, za pomocą dostępnych online raportów systemu InfoTal, na bieżąco jest informowany o wykorzystanym wolumenie wydruków.
Realizacja usług chmurowych dla administracji publicznej przez firmy komercyjne ma oprócz potencjalnych oszczędności finansowych wiele zalet takich jak możliwość uzyskania zaawansowanych usług informatycznych bez konieczności angażowania własnych zasobów, brak nakładów początkowych na uruchomienie usług, elastyczność i skalowalność bez ponoszenia kolejnych nakładów na rozbudowę środowiska. Niestety w chwili obecnej realizacja praktyczna idei chmury ITaaS dla administracji publicznej napotyka jeszcze pewne problemy natury prawnej, organizacyjnej i mentalnej. Nieodzowne wydaje się podjęcie dialogu zmierzającego do ich usunięcia.
SUCRE – Chmury w sektorze publicznym
Bartek Palak (PCSS)
Zagadnienia związane zarówno z przetwarzaniem w chmurze (ang. cloud computing) jak i tworzeniem oprogramowania otwartego (ang open-source software) zyskują na coraz większym znaczeniu w Europie. Aby wesprzeć te idee Komisja Europejska wraz z Krajami Członkowskimi UE promuje i inwestuje we wspólne badania z instytucjami i firmami liczącymi się w dziedzinie chmur obliczeniowych oraz oprogramowania otwartego na całym świecie, w tym w szczególności z instytucjami badawczymi i przemysłowymi w Azji.
Międzynarodowe konsorcjum projektu SUCRE (Wsparcie Badań nad Wykorzystaniem Potencjału Technologii Chmur Obliczeniowych – ang. Supporting Cloud Research Exploitation) tworzą jednostki badawcze oraz instytucje komercyjne z Grecji, Wielkiej Brytanii, Niemiec, Polski, Włoch oraz Japonii. Podstawowym zadaniem projektu jest zbadanie sposobów wykorzystania otwartych modeli przetwarzania chmurowego (ang. open-source models in Cloud computing) oraz analiza możliwości większego wykorzystania potencjału tychże modeli. Przedmiotem szczególnego zainteresowania projektu są instytucje publiczne (m.in. administracja publiczna, szkolnictwo, itp.), co do których przewiduje się, że ich obecne i przyszłe zapotrzebowanie na moc obliczeniową oraz szeroko pojęte technologie informatyczne może być bardzo dobrze zaspokojone poprzez wykorzystanie otwartych chmur obliczeniowych. Przeprowadzone badania pozwolą m.in. na zdefiniowanie rekomendacji kształtujących politykę Komisji Europejskiej dla sektora publicznego, a dotyczących rozwiązań opartych na otwartych technologiach chmur obliczeniowych, ich standaryzacji współdziałania, a także aspektów technologicznych, społecznych, ekonomicznych czy też prawnych.
Usługi chmurowe dla nauki na podstawie BonFIRE
Michał Giertych, Bartosz Belter (PCSS)
Jednym z obszarów Internetu Przyszłości jest Internet Usług (ang. Internet of Services – IoS). Koncepcja ta zakłada rozwój Internetu w kierunku platformy dostarczania aplikacji i usług sieciowych oraz ich integracji w celu zapewnienia użytkownikom wymiernych korzyści biznesowych. Dostęp do tych usług oraz zasobów IT ma być możliwy z dowolnego miejsca na świecie, o dowolnej porze, na żądanie użytkownika, a koszty naliczane dynamicznie. Tak zdefiniowany dostęp do usług nazywany jest przetwarzaniem chmurowym (ang. Cloud computing). Przetwarzanie chmurowe pozwala na efektywniejsze wykorzystanie zasobów IT – użytkownicy usług otrzymują żądaną funkcjonalność, bez konieczności kupowania i utrzymywania niezbędnej infrastruktury fizycznej. Z punktu widzenia środowisk naukowych dostęp do darmowych zasobów chmurowych może mieć kluczowy wpływ na jakość, czas oraz koszty prowadzenia badań. W rezultacie powinno to prowadzić do zwiększenia efektywności prac naukowych poprzez zmniejszenie nakładów na przygotowanie środowiska do pracy.
Tworzenie usług przetwarzania chmurowego, a w szczególności ich kompleksowe testowanie stanowi wyzwanie dla współczesnej informatyki. Obserwuje się duże zapotrzebowanie na wyizolowane, rozproszone środowiska testowe, w których badacze mogliby sprawdzać działanie swoich innowacyjnych usług oraz aplikacji w określonych warunkach zapewniających kontrolę oraz powtarzalność.
Projekt BonFIRE (Building service testbeds for Future Internet Research and Experimentation) [1] ma na celu zbudowanie i udostępnianie właśnie takiego rozproszonego środowiska chmurowego, na bazie którego można wykonywać zaawansowane eksperymenty z nowymi aplikacjami i usługami. Partnerzy projektu udostępniają różnorodne zasoby obliczeniowe, sieciowe oraz dyskowe na potrzeby użytkowników. Ponadto oferowane są mechanizmy pozwalające na zarządzanie środowiskiem testowym oraz dodatkowe nowoczesne narzędzia, umożliwiające monitorowanie, kontrolowanie stanu środowiska oraz eksperymentów bezpośrednio przez samych badaczy.
Założeniem projektu jest zagwarantowanie badaczom oraz ich projektom możliwie pełnego i nieodpłatnego dostępu do środowiska chmurowego. Ważnym elementem w koncepcji BonFIRE są tzw. otwarte konkursy dla eksperymentów (ang. Open Calls), podczas których zgłoszone eksperymenty mogły ubiegać się o dostęp do oferowanej infrastruktury oraz niezbędnego wsparcia technicznego a także finansowego. Spośród zgłoszeń wybrane zostały projekty ocenione najlepiej pod kątem: innowacyjności, skalowalności oraz stopnia wykorzystania oferowanych zasobów. Dzięki temu podejściu platforma BonFIRE-a jest stale rozwijana i dostosowywana do potrzeb oraz sugestii użytkowników, przez co obie strony zyskują wymierne korzyści w realizacji swoich celów.
Od niedawna platforma BonFIRE-a jest również publicznie dostępna dla szerszego grona instytucji naukowych i akademickich z Europy, które byłby zainteresowane wykorzystaniem chmury do realizacji swoich projektów badawczych.
[1] http://www.bonfire-project.eu
Wykorzystanie infrastruktury chmurowej i platformy GridSpace w obliczeniach naukowych
Daniel Harężlak (ACK Cyfronet AGH)
Praca zawiera opis rezultatów integracji platformy wsparcia e-Nauki GridSpace [GS] z infrastrukturą chmurową oferowaną w ramach zasobów PL-Grid [CLOUD]. Dodatkowo, poprzez eksperymenty platformy GridSpace, przedstawione są aspekty dzielenia się wykonywalnym kodem wraz z treścią publikacji naukowej (tzw. „executable paper”) jako nowym medium przekazywania wiedzy w e-Nauce.
Zapewnianie wsparcia platformy GridSpace, wywodzącej się ze środowiska wirtualnego laboratorium [VL], dla coraz szerszego grona grup badawczych jest źródłem nowych wymagań i zmian wprowadzanych w samej platformie. Jednym z takich wymagań było udostępnienie na żądanie usługi porównującej białka metodą Mammoth [MAMMOTH] w dziedzinie bioinformatyki w czasie uruchomienia eksperymentu GridSpace. Dostęp do usługi miał być realizowany za pomocą protokołu HTTP w celu użycia w różnych językach programowania. Dodatkowym wymaganiem była możliwość zażądania konkretnej ilości pamięci operacyjnej w zależności od wielkości problemu. Implementacja przedstawionych wymagań za pomocą standardowej infrastruktury gridowej lub kolejek lokalnych, ze względu na ograniczoną możliwość modyfikacji środowiska oraz czas dostępu do grubych węzłów, okazała się trudna w realizacji. Użycie infrastruktury chmurowej rozwiązało powyższe problemy poprzez użycie dynamicznej konfiguracji żądanych zasobów oraz możliwość modyfikacji mechanizmu translacji adresów IP i portów TCP/UDP. Cykl życia maszyn wirtualnych jest obsługiwany w całości przez kod eksperymentu, co w znaczący sposób polepsza zużycie dostępnych zasobów. Dodatkowo zachowane zostały wszystkie cechy eksperymentu GridSpace, takie jak możliwość dzielenia się kodem i wytworzonymi rezultatami w ramach zdefiniowanych grup użytkowników, możliwość ponownego uruchomienia i walidacji nowych rezultatów oraz zapisanie wyników uruchomień w dobrze zdefiniowanych lokalizacjach.
[GS] E. Ciepiela, D. Harezlak, J. Kocot, T. Bartynski, M. Kasztelnik, P. Nowakowski, T. Gubała, M. Malawski, M. Bubak: Exploratory Programming in the Virtual Laboratory. In: Proceedings of the International Multiconference on Computer Science and Information Technology, pp. 621-628 (October 2010)
[VL] M. Bubak, T. Gubala, M. Malawski, B. Balis, W. Funika, T. Bartynski, E. Ciepiela, D. Harezlak, M. Kasztelnik, J. Kocot, D. Krol, P. Nowakowski, M. Pelczar, J. Wach, M. Assel, A. Tirado-Ramos: Virtual Laboratory for Development and Execution of Biomedical Collaborative Applications. In: S. Puuronen, M. Pechenizkiy, A. Tsymbal, D-J. Lee (eds.) Proc. 21st IEEE International Symposium on Computer-Based Medical Systems, June 17-19, 2008, Jyvaskyla, Finland, p. 373 – 378, doi: 10.1109/CBMS.2008.47 (2008)
[CLOUD] J. Meizner, M. Radecki, M. Pawlik, T. Szepieniec: Cloud Services in PL-Grid and EGI Infrastructures. In: M. Bubak, M. Turała, K. Wiatr (Eds) CGW’12 Proceedings, ACK CYFRONET AGH, Kraków, ISBN 978-83-61433-06-4, pp. 71-72 (2012)
[MAMMOTH] Ortiz, Angel R. and Strauss, Charlie E. and Olmea, Osvaldo, MAMMOTH (matching molecular models obtained from theory): an automated method for model comparison. Protein science : a publication of the Protein Society, 11, vol. 11, p. 2606-2621 (2002)
e-Nauka – Sesja II
Rola e-Infrastruktury w kreowaniu innowacji
Zintegrowana Platforma Teleinformatyczna o podwyższonym poziomie bezpieczeństwa
Maciej Stroiński, Norbert Meyer (PCSS)
W prezentacji przedstawiona zostanie architektura środowiska sieciowo-aplikacyjnego umożliwiającego bezpieczne, niezawodne, wydajne i skalowalne przetwarzanie i składowanie danych oraz udostępnianie dotychczasowych oraz nowych aplikacji i usług wykorzystywanych przez Policję. Środowisko to określone zostało pod nazwą Zintegrowanej Platformy Teleinformatycznej, której elementami są:
- infrastruktura sieciowa wraz z zarządzaniem
- aplikacyjna platforma przetwarzania danych
- system przechowywania i kopii zapasowych
- zaawansowany system zarządzania danymi
- bezpieczeństwo infrastruktury i usług.
W wystąpieniu nacisk położony jest na rozwiązania usług chmurowych w zakresie przetwarzania (cloud computing) i składowania danych (cloud storage). Tak powstałe rozwiązanie uwzględnia fakt ewolucyjnego przechodzenia od aktualnie wdrożonych rozwiązań do koncepcji chmury pod postacią SaaS (Software as a Service) oraz PaaS (Platform as a Service).
Projekt zakładał zdefiniowanie wymagań użytkownika, którym jest w naszym przypadku Komenda Główna Policji, w zakresie budowy przyszłościowej infrastruktury ICT rozproszonej w kraju, umożliwiającej dostęp do usług IT Komendzie Głównej, Komendom Wojewódzkim, powiatowym oraz komisariatom policji. Duży nacisk położony został na skalowalność i niezawodność infrastruktury, zdolnej obsłużyć również użytkowników mobilnych w terenie, połączonych sieciami bezprzewodowymi. Projekt obejmował analizę technologii, które w niedalekiej przyszłości (lata 2014-2015) mają szansę zaistnieć w postaci gotowych produktów, z których będzie można skorzystac w budowie Zintegrowanej Platformy Teleinformatycznej o podwyższonym poziomie bezpieczeństwa.
Skalowalna Platforma dla eksperymentów dużej skali typu „Data Farming“ z wykorzystaniem środowisk organizacyjnie rozproszonych
Dariusz Król (ACK Cyfronet AGH)
Postęp technologiczny w dziedzinach „High Performance Computing“ oraz „High Throughput Computing“ doprowadził w ostatnich dekadach do powstania nowych metodyk prowadzenia badań naukowych opartych o symulacje komputerowe. Jedną z powstałych metodyk, która wykorzystuje symulację komputerową do generowania dużej ilości danych w celu analizy jest „data farming“ [1]. Poprzez uruchamianie dużej ilości symulacji badanego zjawiska z różnymi wartościami parameterów wejściowych, możliwe jest zdobycie wiedzy oraz lepsze zrozumienie nawet bardzo złożonych zjawisk, których nie da się opisać w sposób analityczny.
Przeprowadzanie eksperymentów dużej skali zgodnych z metodyką „data farming“ wymaga użycia dużej ilości mocy obliczeniowej. W szczególności, stosuje się w tym celu klastry obliczeniowe, środowiska Gridowe oraz środowiska typu „Cloud“. Istniejące narzędzia wspierające wykonywanie obliczeń na wymienionych środowiskach, np. systemy kolejkowe, nie nadają się do efektywnego przeprowadzania takich eksperymentów, m.in. ze względu na brak wsparcia dla generowania przestrzeni parametrów, monitorowania postępu eksperymentu czy gromadzenia i analizy wyników poszczególnych symulacji.
Z tego względu, w ramach projektu EUSAS [2], zostało zbudowane narzędzie Scalarm [3], które stanowi kompletną platformę do wykonywania eksperymentów typu „data farming“. Do głównych cech narzędzia należą:
• wsparcie dla wszystkich faz eksperymentu typu „data farming“, zaczynając od fazy projektowania eksperymentu, poprzez wykonywanie symulacji i monitoring postępu, kończąc na zbieraniu wyników i ich analizie statystycznej,
• wsparcie dla wykonywania eksperymentów dużej skali, tj. obejmujących miliony symulacji do wykonania,
• możliwość użycia różnych typów infrastruktur obliczeniowych, m.in. środowisk Gridowych i systemów typu „Cloud“ do wykonywania symulacji.
W ramach projektu PL-Grid PLUS [4], platforma Scalarm jest dostosowywana do specyficznych wymagań środowisk dziedzinowych, m.in. wsparcie aplikacji natywnych poprzez udostępnianie usługi typu „Simulation-as-a-Service“, tj. udostępniania interfejsu programistycznego do wykonywania eksperymentów typu „data farming“. Dodatkowo, przeprowadzono zestaw testów, mających na celu zmierzenie zarówno przepustowości platformy, jej skalowalności oraz weryfikację możliwości wsparcia zarówno środowisk Gridowych jak również prywatnych i komercyjnych środowisk typu „Cloud“ takich jak Amazon Elastic Compute Cloud.
W ramach prowadzonych testów, wykonywano symulacje z zakresu kontroli tłumu przez służby porządkowe podczas pokojowych demonstracji, stosując jednocześnie ponad 500 zadań uruchomionych w środowisku Gridowym oraz ponad 250 maszyn wirtualnych uruchomionych w systemie Amazon Elastic Compute Cloud. Test ten potwierdził wsparcie dla heterogenicznych infrastruktur obliczeniowych.
Dodatkowo, przeprowadzono test platformy pod kątem przepustowości mierzonej w ilości przetwarzanych symulacji jednocześnie. W ramach tego testu użyto jedynie klastra Zeus dostępnego w ACK Cyfronet AGH w celu minimalizacji opóźnień sieciowych pomiędzy modułami platformy. W czasie prowadzonych testów, maksymalna przepustowość wynosiła ponad 460 symulacji/s co jest wartością o rząd wielkości większą od istniejących dzisiaj systemów takich jak gLite [5] i Condor [6].
[1] A. Brandstein, G. Horne, “Data Farming: A Meta-Technique for Research in the 21st Century”, Maneuver Warfare Science 1998, Marine Corps Combat Development Command Publication, Quantico, Virginia.
[2] S. Dlugolinsky, M. Kvassay, L. Hluchy, M. Wrzeszcz, D. Król, J. Kitowski, “Using parallelization for simulation of human behaviour”. 7th International Workshop on Grid Computing for Complex Problems. Bratislava, 2011, pp. 258-265. ISBN 978-80-970145-5-1.
[3] Bartosz Kryza, Dariusz Król, Michał Wrzeszcz, Łukasz Dutka, Jacek Kitowski, Interactive Cloud Data Farming Environment for Military Mission Planning Support, Computer Science 13(3), 2012, AGH Press, 2012, pp. 89-100.
[4] PL-Grid PLUS web site: http://www.plgrid.pl/plus
[5] gLite – Lightweigt Middleware for Grid Computing website, [online: http://glite.cern.ch/ as of January 14, 2013]
[6] Tannenbaum, T., Wright, D., Miller, K., Livny, M.: Condor: a distributed job scheduler, Beowulf Cluster Computing with Windows, MIT Press Cambridge, MA, USA 2002, ISBN:0-262-69275-9, pp. 307 – 350.
Doświadczalna Sieć w Trójmiejskiej SKM
Łukasz Wiszniewski (CI TASK)
W ramach realizacji projektu budowy linii kolejowej pomiędzy torowiskiem Szybkiej Kolei Miejskiej (na wysokości przystanku Gdańsk Wrzeszcz) a Lotniskiem Gdańsk – Rebięchowo przez miejską spółkę „Pomorska Kolej Metropolitalna S.A”, CI TASK wraz z SKM PKP S.A i firmą PASSUS podjęło się zbadania możliwości udostępniania pasażerom sieci Internet w trakcie podróży.
Jako punkty dostępowe, dla użytkowników końcowych znajdujących się w wagonach kolejki, założono wykorzystanie urządzeń WiFi działających w paśmie 2,4 GHz, natomiast dla sieci dystrybucyjnej rozważono trzy rozwiązania instalacji oparte o:
1. WiMAX,
2. Dostęp przez routery GSM,
3. WiFi w paśmie 5 GHz.
Wybrano trzecie rozwiązanie, jako generujące najmniej kosztów w trakcie eksploatacji oraz stosunkowo tanie w zakupie (gotowe urządzenia amerykańskiej firmy FireTide).
Pierwsze było potencjalnie drogie, ze względu na konieczność zakupu specjalistycznych urządzeń oraz dostęp do licencjonowanego pasma.
Drugie rozwiązanie jest powszechnie stosowane w tego typu inwestycjach.
Jego wadą jest jednak generowanie dość dużych kosztów eksploatacji w formie opłat dla operatora sieci komórkowej.
Celem opisanych badań było przetestowanie, w warunkach rzeczywistego ruchu pociągów, możliwości zapewnienia dostępu do internetu dla pasażerów publicznej komunikacji kolejowej przy zastosowaniu własnej infrastruktury dostępowej.
Przeprowadzone zostały wspólnie badania wybranego wariantu instalacji.
W referacie przedstawiono:
– sposób przygotowania instalacji, wraz z zaistniałymi problemami,
– opis procedury testowej,
– przebieg przeprowadzonych badań i uzyskane wyniki, oraz
– wnioski.
Jako kryterium oceny jakości uzyskanego połączenia przyjęto zalecenia ITU (International Telecommunication Union) dla poszczególnych rodzajów transmisji sieciowych.
Zalecenia te definiują m. in. wymagania dla trzech podstawowych parametrów: procentowej utraty pakietów, opóźnień pakietów, zmienności ich opóźnień w czasie (ang. jitter).
Oprócz pomiarów wymienionych parametrów wykonano także pomiary przepustowości sieci, jako możliwą do uzyskania w najlepszych warunkach eksploatacyjnych badanej instalacji.
Na miejsce badań wytypowano prosty odcinek torów pomiędzy przystankami Gdańsk Wrzeszcz oraz Gdańsk Politechnika.
Urządzenia infrastruktury dostępowej zostały zainstalowane na trzech słupach trakcyjnych (w odległości ok. 500m od siebie) oraz na obu przystankach końcowych.
Szybka Kolej Miejska udostępniła do testów jeden skład kolejki EN57, w którym zainstalowano urządzenie łączące się z infrastrukturą dostępową oraz zapewniające bezprzewodową sieć dla ekipy pomiarowej.
Badania przeprowadzone zostały w dniach 20-27 kwietnia 2012, ekipa pomiarowa przejechała testowaną trasę łącznie 16 razy.
Liczba możliwych do wykonania pomiarów była poważnie ograniczona, ponieważ testowy skład był normalnie użytkowany w trakcie badań i przejeżdżał badany odcinek tylko 2-4 razy dziennie.
Analiza zebranych wyników jednoznacznie wskazuje, że spełnienie zdefiniowanych przez ITU norm jest trudne do osiągnięcia.
Charakterystyka testowanej sieci powodowała dużą wrażliwość na jakość połączenia radiowego, jednak w przypadku zastosowania w pełni poprawnej instalacji i konfiguracji, testowana infrastruktura potencjalnie umożliwia zapewnienie stałej łączności (w trakcie ruchu pociągu) w sposób umożliwiający korzystanie z podstawowych usług dostarczanych przez sieć internet.
Warto zwrócić uwagę, że przeprowadzono badania i ocenę pracy sieci bezprzewodowej bez szczególnie wyspecjalizowanych i drogich urządzeń.
Nasze opracowanie demonstruje jak przeprowadzić testy dysponując przenośnym komputerem, ręcznym odbiornikiem GPS oraz kilkoma typowymi narzędziami do diagnozowania sieci.
e-Nauka – Sesja III
Zaawansowane usługi dla e-Nauki
Nowe Technologie w Mediach
Artur Binczewski, Maciej Głowiak (PCSS)
Dynamiczny rozwój technologii znajduje swoje odbicie również, a być może przede wszystkim wśród urządzeń związanych z multimediami. Zadziwiająca jeszcze kilka lat temu technologia Full HD jest obecnie powszechnie dostępna zarówno wśród urządzeń profesjonalnych, jak i w użytku domowym. Podobnie rzecz przedstawia się z technologią 3D, która również na stałe zagościła w kinach i naszych domach, choć z uwagi na ograniczenia techniczne stanowi ciągle raczej ciekawostkę niż alternatywę dla klasycznych rozwiązań 2D. Producenci sprzętu i rynek usług multimedialnych jednak nie próżnuje i podąża drogą, którą badacze i naukowcy przeszli już kilka lat temu. W roku 2012 rozpoczął się, po kilkuletnim zastoju, dynamiczny rozwój segmentu urządzeń o rozdzielczości 4K. Oprócz czysto profesjonalnych rozwiązań (kamery, czy monitory podglądowe) producenci wprowadzają – ciągle jeszcze na zasadzie interesujących ciekawostek – pierwsze telewizory czy projektory kina domowego. Rewolucja 4K będzie postępować również w bieżącym roku – i co bardzo prawdopodobne – w latach następnych. W prezentacji nakreślone zostaną główne trendy rozwoju urządzeń wysokiej rozdzielczości, jak również zaprezentowana zostanie przyszłość urządzeń 4K, 8K i technologii holograficznych. Przedstawione zostaną także ciekawe inicjatywy udostępniania wizualizacyjnej infrastruktury naukowej wysokiej rozdzielczości w ramach projektu VISIONAIR.
Możliwości i wyzwania dla Naukowej Interaktywnej Telewizji HD – PLATON
Mirosław Czyrnek, Cezary Mazurek, Maciej Stroiński (PCSS)
Abstrakt dostępny wkrótce
Wykorzystanie nowoczesnej infrastruktury badawczej Internetu Przyszłosci w eNauce
Krzysztof Kurowski, Alicja Ciemniewska, Piotr Pawałowski, Sergiusz Zieliński (PCSS)
Powstawanie licznych aplikacji i usług opartych na najnowszych technologiach powoduje, ze Internet stał się złożonym i ewoluującym zjawiskiem, na którego rozwój wpływają osiągnięcia techniczne, socjoekonomiczne i kulturalne. Te okoliczności niosą ze sobą konieczność zmiany podejścia do testowania i badań prowadzonych nad powstającymi systemami. Inicjatywa FIRE (ang. Future Internet Research and Experimentation) finansowana przez Unię Europejską stawia sobie za zadanie wyjście naprzeciw tej potrzebie poprzez stworzenie wielodyscyplinarnego środowiska badań i testowania innowacyjnych rozwiązań sieciowych i usług. Realizacja tego zadania polega na wspomaganiu badań opartych na doświadczeniach poprzez stworzenie dynamicznej platformy badawczej na skalę europejską. Platforma ta ma powstać poprzez federację juz istniejących, rozproszonych środowisk testowych (testbedów).
W prezentacji omówiony zostanie udział Poznańskiego Centrum Superkomputerowo-Sieciowego w dwóch projektach realizowanych w ramach inicjatywy FIRE: TEFIS oraz EXPERIMEDIA. PCSS dołączyło do konsorcjów tych projektów w ramach naborów na rzeczywiste eksperymenty mające na celu przeprowadzenie badań nad innowacyjnymi rozwiązaniami, jak również potwierdzenie przydatności oferowanej infrastruktury testowej. Doświadczenia prowadzone przez PCSS dotyczą badań nad platformą umożliwiającą prowadzenie wideokonferencji w wysokiej rozdzielczości wzbogaconych o rozszerzoną rzeczywistość, śledzenie ruchów i obraz stereoskopowy w scenariuszach zdalnego nauczania i treningu sportowego.
Platformy mediów strumieniowych na potrzeby nauki i edukacji
Jan Starzak (CKPŁ)
Media strumieniowe w Internecie rozwijają się obecnie bardzo dynamicznie. Brak utrwalonych standardów w warstwie kompresji, dystrybucji oraz odtwarzania powoduje ciągły rozwój konkurencyjnych rozwiązań. Utrudnia to wybór skutecznych rozwiązań na potrzeby systemów internetowej telewizji w Internecie. Twórcy działający na rzecz tych dziedzin muszą wybierać rozwiązania nie tylko nowoczesne, ale również niedrogie oraz oparte o technologie powszechnie dostępne wśród użytkowników. Szczególnie istotną barierą w tej dziedzinie jest dostępność różnych funkcjonalności przeglądarek na poszczególnych urządzeniach i systemach operacyjnych. W świetle informacji o zakończeniu przez producentów wsparcia dla popularnych dotychczas rozwiązań, oraz coraz silniejszej tendencji do zmuszania użytkowników do korzystania z usług przetwarzania w chmurze, konieczne jest wypracowanie modelu nowoczesnej platformy strumieniującej. Wśród podstawowych założeń takiej platformy musiałyby być: szerokie wsparcie wśród urządzeń odbiorczych (telefony komórkowe, tablety, telewizory z dostępem do Internetu, komputery osobiste), dynamiczna skalowalność wg. potrzeb i niskich koszty wdrożenia i utrzymania.
W wystąpieniu przekrojowo zaprezentowana zostanie sytuacja na rynku systemów strumieniowych. Uwzględnione zostaną zarówno rozwiązania płatne, jak i dostępne za darmo na licencjach open-source z uwzględnieniem ich obsługi w przeglądarkach internetowych w różnych urządzeniach dostępowych. W ostatniej części wystąpienia zaprezentowany zostanie prototyp platformy strumieniującej zbudowanej w oparciu o narzędzia na licencjach open-source i wspierającej standard mediów strumieniowych MPEG-DASH.
Sterowany jakością dostęp do usług składowania danych dla e-Nauki
Darin Nikolow, Renata Słota (ACK Cyfronet AGH)
Renata Słota (1,2), Darin Nikolow (1,2), Marek Pogoda (1), Jacek Kitowski (1,2), Stanisław Polak (2)
(1)Akademickie Centrum Komputerowe Cyfronet AGH, Kraków
(2)Akademia Górniczo-Hutnicza, Wydział Informatyki, Elektroniki i Telekomunikacji, Katedra Informatyki, Kraków
Dzięki dostępności infrastruktury badawczej PL-Grid [1-2] polscy naukowcy mogą prowadzić badania na inną znacznie większą skalę niż dotychczas. Wiele środowisk badawczych zdecydowało się udostępnić w ramach projektu PLGrid Plus [3] swoje usługi umożliwiające prowadzenie badań w swoich dziedzinach z wykorzystaniem wspomnianej infrastruktury. Zagadnieniami o wzrastającym poziomie istotności jest miejsce i sposób przechowywania danych oraz – zwłaszcza – możliwość spełnienia wysokich wymagań jakościowych względem usług przechowywania i udostępniania danych. Takimi wymaganiami jest przede wszystkim bezpieczeństwo, ale także szybkość i niezawodność dostępu do danych.
W ramach projektu „System bezpiecznego przechowywania i współdzielenia danych oraz składowania kopii zapasowych i archiwalnych w Krajowym Magazynie Danych (KMD2)” [4] prowadzone są prace nad udostępnianiem jakości usługi (SLA) składowania danych (Storage Quality of Service – SQoS). Ich głównym celem jest zapewnienie użytkownikom dostępu do usługi składowania danych zgodnie z założoną jakością jej realizacji. Prace te obejmują: zdefiniowanie jakości usługi w oparciu o profile użytkowników, definicję odpowiednich metryk jakościowych sposobu monitorowania zarówno jakości dostarczanej usługi, jak i jakości samych systemów składujących dane z wykorzystaniem zdefiniowanych metryk jakościowych, a także definicję procedury zarządzania jakością dostarczanej usługi KMD2 [5]. Podjęte zostały również badania nad automatyzacją procedury zarządzania jakością tej usługi.
Jednym z założeń projektu KMD2 jest określenie i realizacja niefunkcjonalnych wymagań użytkowników, związanych z jakością usługi składowania danych, QoS. Wymagania te mogą być sformułowane w postaci SLA (Service Level Agreement) będącego częścią kontraktu, którego zawarcie powinno być poprzedzone wcześniejszą analizą możliwości uzyskania określonego poziomu bezpieczeństwa, wydajności i dostępności zasobów. Zaproponowano następujące trzy klasy parametrów SLA:
• parametry wydajnościowe,
• parametry określające poziom bezpieczeństwa danych (prawdopodobieństwo utraty całości lub części powierzonych danych; ochrona przed niepowołanym dostępem),
• parametry określające poziom dostępności usługi.
Biorąc pod uwagę te trzy klasy parametrów SLA zaproponowano 3 grupy podziału użytkowników względem SLA: standardowa (Standard), o wysokim poziomie bezpieczeństwa (High Data Protection) i o szybkim dostępie do danych (Fast Data Access).
Dla potrzeb zarządzania jakością stworzono moduł Quality Management Deamon, QMD. W przypadku otrzymania komunikatu od Monitora SLA, o wykryciu naruszenia SLA dotyczącego wydajności lub poziomu dostępności danych, QMD bazując na danych z monitorowania zasobów (Monitor QoS), przygotowuje dane dla modułu zarządzającymi danymi, Data Demona (DD), w postaci współczynników preferencji odnośnie wyboru węzłów składujących dane (SN) do zapisu/odczytu danych lub stworzenia/przesunięcia repliki.
W przypadku systemów monitorowania, wykorzystywanych dla potrzeb realizacji mechanizmów SLA, rozpatrzono dwa aspekty:
– monitorowanie parametrów SLA dla konkretnego klienta, celem określenia stopnia realizacji kontraktu (realizowane przez Monitor SLA),
– monitorowanie zasobów systemów składowania danych i/lub podsystemów KMD2 i jego parametrów (np. ilość replik, długość klucza do szyfrowania) celem zarządzania jakością usługi (realizowane przez Monitor QoS).
Dla celów automatyzacji procesów zarządzania jakością rozpatrzono cztery przypadki: możliwość zmiany wydajności poprzez zmianę preferencji wyboru SN, zwiększenie liczby replik przy wzroście popularności pliku, tworzenie nowych replik przy obniżeniu redundancji danych w wyniku awarii sprzętu lub nośnika, kopiowanie wybranych plików znajdujących się na nośnikach wymiennych (taśmach) do dyskowej pamięci podręcznej dla zmniejszenia opóźnienia transferów danego użytkownika.
W ramach prezentacji przedstawione będą szczegóły definicji jakości usługi składowania danych, szczegóły realizacji proponowanych rozwiązań, a także pierwsze wyniki testów dotyczące realizacji wymagań szybkości odczytu danych.
Podziękowania: Prace finansowane były częściowo ze środków NCBiR na naukę w latach 2011-2013 w ramach projektu KMD2 nr NR02-0025-10/2011 oraz grantu AGH nr 11.11.230.015.
Bibliografia:
[1] Opis infrastruktury PL-Grid, http://www.plgrid.pl/wprowadzenie
[2] J. Kitowski, M. Turała, K. Wiatr, Ł. Dutka, PL-Grid: Foundations and Perspectives of National Computing Infrastructure, in: M. Bubak , T. Szepieniec, K. Wiatr (Eds.), Building a National Distributed e-Infrastructure – PL-Grid, Scientific and Technical Achievements, LNCS 7136, Springer-Verlag, 2012, pp. 1-14,
[3] Strona domowa Projektu PLGrid Plus, http://www.plgrid.pl/projekty/plus
[4] Strona domowa Projektu KMD2, http://kmd.pcss.pl/
[5] Darin Nikolow, Renata Słota, Danilo Lakovic, Paweł Winiarczyk, Marek Pogoda, Jacek Kitowski, Management Methods in SLA-aware Distributed Storage Systems, Computer Science 13(3), 2012, AGH Press, 2012, pp.35-44
PortalNaukowca.pl – idea, realizacja, odbiór
Jakub Jasiczak
Podczas wystąpienia przedstawiony zostanie pomysł ogólnopolskiej platformy szkoleniowej dla naukowców www.PortalNaukowca.pl oraz doświadczenia zebrane w trakcie tworzenia i prowadzenia serwisu. Omówione zostaną ponadto napotkane trudności i bariery oraz sposób ich pokonania. PortalNaukowca.pl jest częścią projektu pt. „Rozwój kompetencji kadr B+R z wykorzystaniem platformy szkoleniowej” realizowanego w ramach Programu Operacyjnego Kapitał Ludzki. Przedsięwzięcie ma służyć podniesieniu umiejętności pracowników naukowo-badawczych zatrudnionych w szkołach wyższych, jednostkach naukowych i badawczo-rozwojowych z terenu całego kraju w zakresie zarządzania badaniami naukowymi i pracami rozwojowymi oraz komercjalizacji rezultatów prac badawczych. Zamieszczane w Portalu dedykowane teksty i nagrania mają charakter praktyczny i koncentrują się na skuteczności działania. Treściom autorstwa przedstawicieli świata nauki i praktyki gospodarczej towarzyszą materiały tworzone przez samych użytkowników platformy.
