Grid Service Provider - Poznańskie Centrum Superkomputerowo

POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER
Systemy zarządzania
w środowisku rozproszonym
Mirosław Kupczyk
[email protected]
POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER
Computer systems operating at different scale
System Type
Computational
model
End system
Multithreading,
automatic
parallelization
Cluster (increased
Synchronous
scale, reduced
communication,
integration
distributed shared
memory
Intranet (heterogeneity, Client/server,
separate
loosely
administration, lack of synchronous:
global knowledge)
pipelines, coupling
manager/worker
Internet (lack of
Collaborative
centralized control,
systems, remote
geographical
control, data mining
distribution,
international issues)
Resource management
Security
Process creation, OS
signal delivery, OS
scheduling
Parallel process
creation, gang
scheduling, OS-level
signal propagation
Resource discovery,
signal distribution
networks, high
throughput
OS kernel
hardware
Brokers, trading, mobile
code, negotiation
Trust delegation,
public key,
sandboxes
Shared security
databases
Network security
(i.a. Kerberos)
POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER
Main issues
• The cluster introduces new issues of
parallelism and distributed management, set of
homogeneous systems
• The intranet introduces the additional issues of
heterogeneity and geographical distribution
• The internet introduces issues associated with
a lack of centralized control
POZNAŃSKIE CENTRUM SUPERKOMPUTEROWO-SIECIOWE
Środowisko heterogeniczne
• Obliczenia w środowisku heterogenicznym
W ostatnich latach można zaobserwować tendencje zmierzające do
połączenia pojedynczych systemów komputerowych w wyżej
zorganizowane struktury w środowisku heterogenicznym.
• Główny cel - dostarczenie mocy obliczeniowej pozwalającej na rozwiązanie
problemu, zgodnie z kryteriami zdefiniowanymi przez użytkownika.
• Ograniczenia
• ekonomiczne, technologiczne, aktualny poziom wiedzy.
• Powstanie wyżej zorganizowanych struktur:
• klaster,
• metakomputer,
• struktura typu Grid (siatka obliczeniowa).
POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER
GRID
• The grid is the next evolutionary step for
supercomputing
• The grid represents the first wave of computing in the
well-connected world into which we are heading
POZNAŃSKIE CENTRUM SUPERKOMPUTEROWO-SIECIOWE
Klasyfikacja struktury typu GRID
Rozproszone obliczenia
wielkiej skali
Grid obliczeniowy
Grid
Grid danych
Obliczenia o dużej
przepustowości
Przetwarzanie dużych
ilości danych
Przetwarzanie na żądanie
Grid usługowy
Usługi pracy grupowej
Przetwarzanie
multimedialne
POZNAŃSKIE CENTRUM SUPERKOMPUTEROWO-SIECIOWE
Architektura struktury typu GRID
ZBIÓR APLIKACJI
Aplikacje
Zestaw
Narzędzi
Zdalna
wizualizcja
Zdalny dostęp
do danych
Zdalne
obliczenia
Usługi
Grid
Infrastruktura
Grid
Usługi do pracy
grupowej
Zdalne
zarządzanie
aparaturą
Protokoły, autentykacja, polityka dostępu, zarządzanie zasobami, itp.
Archiwizatory, infrastruktura sieciowa, komputery, urządzenia do wizualizacji
danych, urządzenia laboratoryjne, itp.
Lokalne usługi
POZNAŃSKIE CENTRUM SUPERKOMPUTEROWO-SIECIOWE
Metakomputer a struktura typu Grid
• Zasięg rozproszonego środowiska heterogenicznego
• lokalny (w ramach jednej domeny),
• rozległy (geograficznie odległe węzły).
• Tradycyjna problematyka
• szeregowania zadań, komunikacji, synchronizacji w systemach
rozproszonych, optymslizacji, itp.
• Nowa problematyka
w odniesieniu do geograficznie rozległego środowiska
• przepustowość i opóźnienia w sieci (zdalny dostęp do danych),
• zarzadzanie dużymi ilościami danych,
• bezpieczeństwo dostępu a otwartość środowiska,
• łączenie systemów a lokalne polityki zarządzania zasobami w domenach,
• dynamika środowiska w kontekście:
• zmiennej liczby użytkowników,
• zmiennej liczby węzłów GSP (Grid Service Provider).
POZNAŃSKIE CENTRUM SUPERKOMPUTEROWO-SIECIOWE
Podsumowując ...
• W chwili obecnej nie istnieje ogólnie dostępna struktura
typu Grid.
• Jednym z głównych problemów oczekujących na
rozwiązanie w podejściu tradycyjnym jest problem
zarządzania w systemie rozproszonym.
POZNAŃSKIE CENTRUM SUPERKOMPUTEROWO-SIECIOWE
Problem zarządzania
• Pojęcie zasobu
• procesor, pamięć operacyjna, pamięć dyskowe,
• użytkownik,
• aplikacja (licencja),
• system komputerowy, klaster, ...
• Zarządzanie w skali mikro i makro
• Zarządzanie w pojedynczym systemie, klastrze, strukturze
typu Grid
• skala złożoności
• dostępność informacji o stanie zasobów (monitorowanie)
• użyteczność
• standaryzacja
POZNAŃSKIE CENTRUM SUPERKOMPUTEROWO-SIECIOWE
Podsumowując ...
• Pozyskiwanie informacji - monitorowanie
•
pozyskiwanie wiedzy o stanie środowiska
• Zarządzanie zasobami
•
udostępnienie zasobu
• wykorzystanie zasobu w sposób optymalny
• Rozliczenie wykorzystania zasobów
Globus Toolkit
Core Globus Services
•
•
•
•
Resource management (GRAM)
Information services (MDS)
Communication infrastructure (Nexus)
Remote file and executable managment
(GASS and GEM)
• Process monitoring (HBM)
• Security (GSI)
Resource Management
POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER
Zarządzanie dużymi
ilościami danych
POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER
Grupy Zadań
(I) Struktura pilotowa
• sprzęt istniejący oraz nowy
• charakter wdrożeniowy
(II) Ujednolicenie interfejsów dostępu oraz protokołów
komunikacyjnych
•
XML, LDAP
(III) Bezpieczeństwo udostępniania danych
(IV) Warstwa aplikacyjna
• usługi ASP, np. wdrożenie bezpiecznej usługi backup’u w skali
kraju
Warstwa Aplikacji
System Automatycznej
Archiwizacji
Bezpieczna usługa
archiwizacji danych
Interfejs dostępu do danych
XML
Zarządzanie replikami metadanych
Ochrona
Danych
Globus
Składnica metadanych (LDAP)
Systemy
archiwizacji
Serwery plików
Oprogramowanie
HSM (np. UniTree,
TSM, etc)
Zaawansowana infrastruktura sieciowa
Sieć POL-34/155 <> sieć PIONIER
Struktura koncepcji