I. AI_01 Mechanizmy replikacji i zabezpieczenia danych w CPD MF

Załącznik nr 1
Opis środowiska Zamawiającego
I. AI_01 Mechanizmy replikacji i zabezpieczenia danych w
CPD MF
1. Sprzęt i oprogramowanie Zamawiającego
1.1
Oprogramowanie:
a) Licencje wirtualizatora pamięci masowych IBM SVC:
Produkt
D0UZCLL
Opis
IBM SmartCloud Virtual Storage Center
Ilość
500
Tabela 1 Oprogramowanie wirtualizatora IBM SVC
1.2
Sprzęt:
a)
Wirtualizator macierzy IBM SAN Volume Controller (SVC), 8 nodowy klaster:
Produkt
Opis
Ilość
SVC Storage Engine 2145-CG8
Węzeł klastra wirtualizatora SVC
6
SVC Storage Engine 2145-DH8
Węzeł klastra wirtualizatora SVC
2
Tabela 2 Specyfikacja wirtualizatora IBM SVC
Identyfikator
obiektu
Lp.
Opis obiektu
Krotność
Kod bloku lub
komponentu
1
costor.pr.ia.01
Macierz dyskowa DS8800
2
B.STO.UNI
2
costor.pr.ia.03
SAN Volume Controller
6
B.STO.VST
3
costor.pr.ia.04
Macierz dyskowa HP 3PAR SS10400
2
B.STO.UNI
4
costor.pr.ia.07
Macierz dyskowa EMC VNX 7600
2
B.STO.UNI
Tabela 3 Bloki architektoniczne w systemie AI_01
1.3
Zakres rozwiązania
Wykonany system mechanizmów replikacji i zabezpieczenia danych umożliwia bezpieczne przechowywanie
danych w urządzeniach pamięci masowych wraz z szybkim dostępem do nich za pośrednictwem systemu
komunikacji SAN w CPD OP Radom przy użyciu protokołu Fibre Channel. Realizuje funkcje związane z
zarządzaniem komponentami systemu, zmianą konfiguracji, rozbudową oraz mapowaniem odpowiednich
zasobów do poszczególnych środowisk i systemów biznesowych.
Dla zapewnienia równomiernego obciążenia interfejsów wirtualizatorów pamięci masowych, systemy
operacyjne (takie jak RedHat Linux, Windows Server na serwerach fizycznych oraz VMware ESXi) wykorzystują
wbudowane mechanizmy do wielościeżkowości.
Zostały zrealizowane funkcjonalności związane z zarządzaniem infrastrukturą pamięci masowych.
1
Lp.
Nazwa funkcji
Opis funkcjonalności
1
Bezpieczne
przechowywanie
danych
Izolacja
oraz
selektywny dostęp
Bezpieczeństwo przechowywanych danych jest realizowane przy
użyciu redundantnych komponentów sprzętowych, dysków
zapasowych (spare), mechanizmów RAID.
Izolacja dostępu do zasobów dyskowych została zrealizowana
poprzez mapowanie obszarów pamięci masowych do odpowiednich
środowisk.
Dostarczone
rozwiązanie
umożliwia
dokonywanie zmian
konfiguracyjnych.
Możliwość rozbudowy o dodatkowe bloki funkcjonalne (rozbudowa
istniejących macierzy i wirtualizatorów pamięci masowych SVC, jak
również możliwość podłączenia pamięci masowych innych
producentów do SVC)
System zapewnia monitorowanie i diagnostykę urządzeń systemu.
2
3
Zmiana konfiguracji
4
Skalowalność
5
Monitorowanie
Tabela 4 Funkcjonalność systemu
1.4
Środowisko systemu
Środowisko systemu mechanizmów replikacji i zabezpieczenia danych będące centralnym elementem
składowania danych jest newralgicznym systemem CPD MF. Musi ono pracować w trybie ciągłym, w celu
zapewnienia ciągłości pracy obszarów biznesowych jak i infrastrukturalnych.
Zapewnia bezpieczeństwo przechowywanych danych poprzez redundantną architekturę macierzy dyskowych i
wirtualizatora pamięci masowych SVC. Realizacja zabezpieczeń danych realizowana jest za pomocą
wewnętrznych mechanizmów (zabezpieczenia typu RAID, zapasowe dyski przejmujące funkcje uszkodzonego
mechanizmu w przypadku awarii).
Dodatkowym elementem zabezpieczenia dostępu do danych jest zastosowanie mechanizmów mirroru na
urządzeniu SVC w celu zabezpieczenia przed potencjalnym uszkodzeniem jednej z macierzy w ramach
pojedynczego ośrodka przetwarzania.
System mechanizmów replikacji i zabezpieczenia danych został zbudowany z macierzy dyskowych klasy
Enterprise i ośmionodowego klastra SVC.
Dla systemu mechanizmów replikacji i zabezpieczenia danych występuje tylko środowisko produkcyjne, do
którego podłączone są środowiska produkcyjne, szkoleniowe, testowe i rozwojowe systemów biznesowych oraz
infrastrukturalnych Ministerstwa Finansów.
Obsługa systemów biznesowych i infrastrukturalnych przez system replikacji i zabezpieczenia danych z poziomu
macierzy dyskowych nie różni się ze względu na klasy systemów i są dostępne na tym samym poziomie.
Różnica dotyczy dodatkowych zabezpieczeń produkcyjnych systemów biznesowych i infrastrukturalnych na
wypadek awarii pojedynczej macierzy dyskowej, poprzez dodatkowy mirror z poziomu SVC. W tym celu
konfiguracje dysków logicznych dla systemów Klasy I na macierzach jest odwzorowana 1:1. W przypadku
systemów Klasy IV (np. testowych i deweloperskich), zasoby dyskowe są udostępniane odpowiednio z jednej
macierzy za pomocą SVC.
1.5
Architektura logiczna
System mechanizmów replikacji i zabezpieczenie danych zbudowany jest z poniższych komponentów.
Lp.
2
Nazwa komponentu
Wirtualizator
pamięci
masowych (Klaster SVC)
Opis funkcjonalny realizowany przez komponent
Urządzenie wirtualizacyjne SAN Volume Controller (SVC)
składa się z ośmionodowego klastra.
2
3
System komunikacji sieci SAN
4
Serwery
5
6
Konsola SSPC
Serwer TPC
Klaster SVC jest odpowiedzialny za podział i udostępnienie
zasobów
dyskowych
poszczególnym
systemom
biznesowym i infrastrukturalnym.
Dla zapewnienia wysokiej dostępności danych w przypadku
awarii pojedynczej macierzy, SVC realizuje mirror pomiędzy
macierzami dla systemów Klasy I jak również dla systemów
Klasy II i III w sytuacji, gdy będą wykorzystywane w CPD MF.
Wspomniana konfiguracja urządzeń macierzy dyskowych
oraz urządzeń wirtualizujących zakłada, że kontrola nad
zasobami macierzy dyskowych będzie odbywała się na
poziomie urządzeń wirtualizujących – SVC. Jednocześnie
część zasobów dla systemów biznesowych w Klasie II, III i IV
ma udostępnione zasoby bezpośrednio z macierzy
dyskowych.
Medium transmisyjne do udostępniania zasobów pamięci
masowych dla systemów klienckich za pomocą protokołu
Fibre Channel.
Przetwarzanie danych na obszarach mapowanych z pamięci
masowych.
Stacja zarządzająca macierzy.
Serwer IBM Tivoli Strage Productivity Center 5.1- służący do
zarządzania i monitorowania pamięci masowych.
Tabela 5 Charakterystyka komponentów sieci SAN
Poniższy rysunek przedstawia połączenia pomiędzy poszczególnymi komponentami.
3
Rysunek 1 Schemat blokowy systemu mechanizmów replikacji i zabezpieczenia danych dla SVC
Liniami przerywanymi zaznaczono komponenty systemu komunikacja w sieci SAN CPD MF. W przypadku strzałek
– ciągłe oznaczają fizyczne połączenia pomiędzy komponentami, a przerywane – połączenia realizowane logicznie
(np. zonning, interfejsy komunikacyjne).
Wszystkie zasoby udostępniane z macierzy w klasie I są zwirtualizowane za pomocą SVC.
Bloki architektoniczne w klasie II i III nie są udostępniane za pośrednictwem SVC tylko prezentowane
bezpośrednio do serwerów z macierzy.
1.6
Oprogramowanie do zarządzania w systemie replikacji
Do zarządzania macierzami dyskowymi w systemie replikacji i zabezpieczenia danych służą: oprogramowanie
zarządzające macierzami oraz konsola TPC.
Macierze raz skonfigurowane nie wymagają dodatkowych (dalszych) konfiguracji – chyba, że nastąpi rozbudowa
środowiska o kolejne komponenty macierzy dyskowych.
Do zarządzania SVC w systemie replikacji i zabezpieczenia danych służą: przeglądarka internetowa,
oprogramowanie TPC oraz sesja terminalowa
4
1.7
Konfiguracja mirroru pomiędzy macierzami w SVC
Dla systemów Klasy I, które wymagają ciągłego trybu działania i wspomagają główne procesy biznesowe w
resorcie finansów oraz ich niezawodność decyduje o sprawności działania całego resortu i ma znaczenie
strategiczne (Klasa I) został skonfigurowany mirror pomiędzy macierzami realizowany przez SVC.
Parametr mirroru ustawiony jest na "mirrorwritepriority redundancy".
Parametr "mirrorwritepriority redundancy" – oznacza, że zawsze system dostanie potwierdzenie o zapisie gdy na
obu kopiach mirroru znajdą się dane.
Mirror danych odbywa się pomiędzy Mdisk Grupami tego samego typu – czyli data_stg1 i data_stg_2 oraz
inf_stg_1 i inf_stg_2. Definiując dysk logiczny vdisk – definiujemy na jakich MdiskGrupach znajdują sie kopie
mirroru.
Inicjalnie podczas konfiguracji mirroru został ustawiony parametr określający szybkość synchronizacji kopii
mirroru (syncrate = 80, co oznacza, że SVC będzie synchronizować dane z prędkością 16Mbps).
Brak mirroru jest tylko dla systemów, które działają okresowo lub dla środowisk Klasy II, III i IV, zarówno dla
DataStore’ów VMware oraz Hyper-V jak i dysków typu RDM oraz dysków dla FlashCopy.
1.8
Konfiguracja FlashCopy w SVC
W ramach realizacji mechanizmów replikacji danych, zostały skonfigurowane zasoby dyskowe na potrzeby
mechanizmów FlashCopy dla produkcyjnych baz danych.
Dla baz danych Oracle zostały zdefiniowane dwa obszary dla FlashCopy, zasoby znajdują się na obu macierzach.
Dla baz danych SQL został zdefiniowany jeden obszar dla FlashCopy, zasoby znajdują się na jednej macierzy.
1.9
Centralny system zarządzania i monitorowania
W ramach budowy systemu AI_01 zostało wykorzystane oprogramowanie IBM Tivoli Storae Productivity Center
TPC jest centralnym systemem, z którego Administrator może zarządzać oraz monitorować pamięci masowe.
Bezpośrednio z systemu TPC można wykonywać konfiguracje nowych LUN’ów zarówno z macierzy jak i SVC.
Dodatkowo z TPC administrator może uruchamiać natywne interfejsy graficzne producentów przełączników,
macierzy i SVC.
II. AI_05 System backupowy w CPD MF
1. Sprzęt i oprogramowanie Zamawiającego
1.1
LP.
1
Oprogramowanie:
Nazwa Licencji
IBM Tivoli Storage Manager
Suite for Unified Recovery
Ilość licencji
500 TB
Opis
Komponent programowy serwera
TSM, licencjonowany w modelu TB
Tabela 6 Zestawienie licencji
W ramach licencji stowarzyszonych z IBM Tivoli Storage Manager Suite for Unified Recovery dostarczone są
produktu wskazane w tabeli poniżej.
LP.
1
2
3
4
Nazwa Licencji
Tivoli Storage Manager Extended Edition
Tivoli Storage Manager for Databases
Tivoli Storage Manager for Enterprise Resource Planning
Tivoli Storage Manager for Mail
5
5
6
7
8
9
10
11
Tivoli Storage Manager for Space Management
Tivoli Storage Manager for Storage Area Networks
Tivoli Storage Manager for Virtual Environments
Tivoli Storage Manager for Hyper-V
Tivoli Storage Manager FastBack
Tivoli Storage Manager FastBack for Microsoft™ Exchange
Tivoli Storage Manager FastBack for Bare Machine Recovery
Tabela 7 Licencje stowarzyszone z IBM Tivoli Storage Manager Suite for Unified Recovery
1.2
Sprzęt:
Lp.
1
Numer Produktu (PN)
7870B5G
2
81Y9326
3
46C0568
4
46C0563
5
6
7
8
9
42D0677
44X1945
90Y3566
68Y7484
42D0501
Element
HS22, Xeon 4C X5647 130W 2.93GHz/1066MHz/12MB, 3x4GB, O/Bay
2.5in SAS
Intel
Xeon
4C
Processor
Model
X5647
130W
2.93GHz/1066MHz/12MB
8GB (1x8GB, 2Rx4, 1.35V) PC3L-10600 CL9 ECC DDR3 1333MHz VLP
RDIMM
4GB (1x4GB, 1Rx4, 1.35V) PC3L-10600 CL9 ECC DDR3 1333MHz VLP
RDIMM
IBM 146GB 2.5in SFF Slim-HS 15K 6Gbps SAS HDD
QLogic 8Gb Fibre Channel Expansion Card (CIOv) for IBM BladeCenter
Emulex 10GbE Virtual Fabric Adapter Advanced II - IBM BladeCenter
IBM BladeCenter PCI Express Gen2 Expansion Blade II
QLogic 8GB FC Single-port HBA for IBM System x
Ilość
1
1
6
1
2
1
1
1
2
Tabela 8 Zestawienie konfiguracji sprzętowej dla coback.pr.ia.01
Oraz konfigurację sprzętową wykorzystanych serwerów Blade dla komponentów coback.pr.ia.02 i
coback.pr.ia.03– serwer VMware i Oracle Proxy która jest zgodna ze standardem C.PSR.B.X86.2.
Lp.
1
Numer Produktu (PN)
7870B5G
2
46C0568
3
46C0563
4
5
6
8
9
42D0677
44X1945
90Y3566
68Y7484
42D0501
Element
HS22, Xeon 4C X5647 130W 2.93GHz/1066MHz/12MB, 3x4GB, O/Bay
2.5in SAS
8GB (1x8GB, 2Rx4, 1.35V) PC3L-10600 CL9 ECC DDR3 1333MHz VLP
RDIMM
4GB (1x4GB, 1Rx4, 1.35V) PC3L-10600 CL9 ECC DDR3 1333MHz VLP
RDIMM
IBM 146GB 2.5in SFF Slim-HS 15K 6Gbps SAS HDD
QLogic 8Gb Fibre Channel Expansion Card (CIOv) for IBM BladeCenter
Emulex 10GbE Virtual Fabric Adapter Advanced II - IBM BladeCenter
IBM BladeCenter PCI Express Gen2 Expansion Blade II
QLogic 8GB FC Single-port HBA for IBM System x
Ilość
1
2
1
2
1
1
1
2
Tabela 9 Zestawienie konfiguracji sprzętowej dla coback.pr.ia.02 i coback.pr.ia.03
Serwery Blade HS22 wykorzystane dla komponentów coback.pr.ia.01, coback.pr.ia.02 oraz coback.pr.ia.03
zostały zainstalowane w obudowach BladeCenter H.
6
1.3
Biblioteki taśmowe i wirtualne
Poniżej przedstawiono konfigurację wykorzystanych bibliotek taśmowych IBM TS3310, obie biblioteki IBM
posiadają identyczna konfigurację.
Lp.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
Numer
(PN)
3576-L5B
produktu
1640
1682
1900
6013
7003
8002
8242
9211
9212
9215
9600
9820
9848
9900
3576-E9U
1900
6013
8242
9820
9848
3576-E9U
1900
9820
9848
8242
Element konfiguracji
Ilość
TS3310 Tape Library
Capacity Expansion
Path Failover
Additional Power Supply
13m LC/LC Fibre Channel Cable
Rack Mount Kit
1-Cleaning Cartridge
Ultrium 5 Fibre Channel Tape Drive
Attached to Sun
Attached to Windows System
Attached to Linux System
Attached to pSeries or RS/6000
2.8m Power Cord 250V France/Germany
Rack to PDU Line Cord
Encryption Configuration
TS3310 Tape Expansion Module
Additional Power Supply
13m LC/LC Fibre Channel Cable
Ultrium 5 Fibre Channel Tape Drive
2.8m Power Cord 250V France/Germany
Rack to PDU Line Cord
TS3310 Tape Expansion Module
Additional Power Supply
2.8m Power Cord 250V France/Germany
Rack to PDU Line Cord
Ultrium 5 Fibre Channel Tape Drive
1
2
1
1
2
1
2
2
1
1
1
1
1
1
6
1
1
4
4
1
1
1
1
1
1
3
Tabela 10 Zestawienie konfiguracji sprzętowej dla coback.pr.ia.05
Poniżej przedstawiono konfigurację wykorzystanych bibliotek taśmowych HP ESL G3, obie biblioteki HP posiadają
identyczna konfigurację.
L.P.
1
Nr Produktu
QQ007B
Nazwa produktu
HP ESL G3 Included Control Module
2
QN998A
HP ESL G3 100 Base Module Tape
Library
Objaśnienie
Biblioteka ESL z modułem
kontrolera
Bazowy moduł biblioteki
Ilość
1
1
7
3
QQ006A
HP ESL G3 International 240V Power
Cord
HP ESL G3 EM Drive 1-6 Readiness Kit
4
QQ002B
5
6
QP005B
QP008A
7
QQ009A
8
QP007B
9
TC345A
10
TC346A
11
TC347A
HP ESL G3 Command View Tape Library
Lic
12
TC348A
HP ESL G3 Control Path Failover SW
13
TC349A
HP ESL G3 Data Path Failover SW
14
AJ837A
HP 15m Multi-mode OM3 LC/LC FC
Cable
15
C7975AC
16
C7978A
HP LTO5 RW Custom Labeled No Case
20 Pk
HP Ultrium Universal Cleaning
Cartridge
HP ESL G3 LTO-5 Ult 3280 FC Drive Kit
HP ESL G3 Redundant (2N) Power
Supply
HP ESLG3 Included 24-Slot CM I/E
Station
HP ESL G3 Expansion Module
HP ESL G3 100-Slot Capacity Upgrade
Lic
HP ESL G3 Secure Manager License
Listwa
zasilająca
wewnętrzna
Zestaw do instalacji
napędów o numerach 16
Napęd taśmowy LTO-5
Redundantny zasilacz
2
Rozszerzenie ilości półek
wymiany
Moduł
rozszerzenia
biblioteki
Licencja
rozszerzenia
ilości półek
Licencja
oprogramowania Secure
Manager
Licencja
oprogramowania
Command View TL
Licencja
oprogramowania Control
Path Failover
Licencja
oprogramowania Data
Path Failover
Światłowód
FC
wielomodowy OM3 z
końcówką LC długości
15m
Zestaw
taśm
LTO5
wielokrotnego zapisu
Uniwersalne
kasety
czyszczące
1
1
6
1
1
1
1
1
1
1
12
5
2
Tabela 11 Zestawienie konfiguracji sprzętowej dla coback.pr.ia.09
Poniżej przedstawiono konfigurację wykorzystanych wirtualnych bibliotek taśmowych EMC DataDomain 4500,
obie biblioteki EMC posiadają identyczna konfigurację.
Lp.
Ilość
Numer Produktu
Opis
1
1
DD4500
SYSTEM,DD4500,NFS,CIFS
2
1
DD4500-CTL
SYSTEM,DD4500,CTL,NFS,CIFS
3
3
C-ES30-30S
OPTION,ES30 SHELF,15X2TB SAS HDD
4
1
C-ES30-45S
OPTION,ES30 SHELF,15X3TB SAS HDD
5
10
PC-EUROPE-1
POWER CORD,DD EUROPE CONT,CEE7/7,C13,2M
6
1
C-FLDIN4500
OPTION,FIELD INSTALL KIT,DD4500
7
2
C-8GFC-M2P
OPTION,DD 8GBIT FC,IO MODULE,LC,2PORT
8
1
C-1GMCU4P
OPTION,DD 1GBE,IO MODULE,CU,4PORT
8
9
1
DDOS-DOC-A3N
DDOS,DD OS,DOC,A3N=IA
10
1
DD-BST-DOCS3N
DOCS, LICENSE, BOOST, S3N
11
1
L-BST-4500
LICENSE,BOOST,DD4500
12
1
L-VTL-4500
LICENSE,VTL,OPEN SYSTEMS,DD4500
13
1
L-REP-4500
LICENSE,REPLICATOR,DD4500
Tabela 12 Zestawienie konfiguracji sprzętowej dla coback.pr.ia.10
1.4
Zakres rozwiązania
System wykonywania kopii zapasowych umożliwia zabezpieczenie danych obszarów objętych systemem
backupu. W ramach zbudowanego systemu backupu zostały wykorzystane dedykowane rozwiązania
zabezpieczania danych specyficzne dla zabezpieczanej aplikacji. Budowany System backupu zapewnia centralne
zarządzanie zadaniami wykonywania kopii bezpieczeństwa, zarządzania nośnikami, retencją nośników oraz
wykonywaniem kopii całościowej jak i przyrostowej. Zadania zabezpieczenia danych wykonywane są zarówno
przy wykorzystaniu sieci LAN jak i sieci SAN. System umożliwia odtworzenie kopii zapasowej na wskazanych
roboczych zasobach sprzętowych. System backupu zapewnia odtwarzanie danych zgodnie z wymaganymi
parametrami RTO i RPO zdefiniowanymi dla każdej z klas systemu.
Lp.
Nazwa funkcji
Opis funkcjonalności
1
Bezpieczne
przechowywanie
danych
kopii
zapasowych
Środowisko systemu tworzenia kopii bezpieczeństwa z uwagi na
powiązanie ze wszystkimi systemami biznesowymi oraz
infrastrukturalnymi jest systemem newralgicznym dla środowiska IT
w CPD MF. Z tego powodu system backupu musi pracować w trybie
ciągłym, w celu zapewnienia ciągłości pracy obszarów biznesowych
jak i infrastrukturalnych.
System backupu zapewnia zarówno zabezpieczenie danych zgodnie z
polityką tworzenia kopii bezpieczeństwa jak i ich odtworzenie,
zgodnie z wymaganiami dla Klas Systemów. Opracowana w
niniejszym dokumencie polityka wykonywania kopii bezpieczeństwa
dla bloków wspierających budowę systemów biznesowych wyznacza,
w jaki sposób będą wykonywane kopie bezpieczeństwa dla
poszczególnych bloków architektonicznych z uwzględnieniem
specyficznych wymagań dla Klasy Systemu. Dla systemów Klasy I, II i
III system backupu umożliwia wykonanie kopii bezpieczeństwa w
trybie on-line. Dla systemów Klasy IV kopie bezpieczeństwa są
wykonywane tylko na żądanie w trybie off-line. Podobnie dla kopii
bezpieczeństwa maszyn wirtualnych, dla Systemów Klasy I, II oraz III
kopie bezpieczeństwa maszyn wirtualnych są wykonywane
codziennie, jako kopie przyrostowe.
System backupu jest zabezpieczany w trybie on-line, na urządzenie
taśmowe, raz dziennie po zakończeniu wykonywania kopii
bezpieczeństwa systemów produkcyjnych, oraz po wykonaniu kopii
tych danych na inne nośniki.
9
Dodatkowo system backupu jest wyposażony w dodatkowe pule
dyskowe udostępnione przez system AI_01 bezpośrednio z macierzy
HP 3PAR .
Tabela 13 Funkcjonalność systemu
2. Architektura logiczna
2.1
Wynikowa architektura logiczna rozwiązania
Poniżej na schemacie przedstawiono architekturę systemu backupu w OP Radom.
2.2
Oprogramowanie do zarządzania
Zarządzanie systemem backupu odbywa się z wykorzystaniem narzędzi:
a)
Sesja terminalowa do serwera TSM
b) Interfejs graficzny do serwera TSM
c)
Centralny system zarządzania i monitorowania
10
W ramach realizacji wdrożenia projektu SZ_02 został zainstalowany i skonfigurowany dedykowany agent
monitoringu IBM Tivoli Monitoring. Dodatkowo do centralnego serwera raportów Tivoli Common Reporting
wgrano dedykowane raporty dla agenta monitoringu.
III. AI_08 System wirtualizacji zasobów w CPD MF
1. Sprzęt i oprogramowanie Zamawiającego
1.1
Oprogramowanie:
Platforma wirtualizacji zasobów opiera się na funkcjonalnościach oprogramowania wiodącego producenta
VMware.
Platforma wirtualizacji zasobów składa się z poniższych bloków licencji:
Nazwa komponentu
Wersja licencji
vSphere
vSphere with Operations Management
5.x Enterprise Plus
vCenter Server
5.x Standard per Instance
Ilość sztuk
657
3
Tabela 14 Ilość licencji oprogramowania wirtualizatora.
Platforma wirtualizacji zasobów realizuje również usługę ochrony AV dla udostępnianych przez nią bloków
architektonicznych. Do tego celu wykorzystuje oprogramowanie Trend Micro Deep Security.
W CPD MF wykorzystywana jest aktualnie licencja na oprogramowanie Trend Micro Deep Security umożliwiająca
ochronę:
471 CPU – funkcjonalności AntyMalware oraz Web Reputation;
8 CPU - funkcjonalności Integrity Monitoring oraz Log Inspection;
Eksploatowane rozwiązanie objęte jest usługami gwarancji i wsparcia technicznego do dnia 02 października 2018
roku.
Infrastruktura eksploatowanego rozwiązania w OP Radom przedstawia się następująco:
 133 hosty ESXi (407 CPU) objęte ochroną AntyMalware oraz Web Reputation
 4 hosty ESXi (8 CPU) objęte ochroną Integrity Monitoring oraz Log Inspection
 4 serwery vShield Manager
 1 serwer MS SQL
 1 serwer Deep Security Manager
 4 serwery Relay
 4 serwery SPS (Smart Protection Server)
1.2
Sprzęt:
Infrastruktura sprzętowa składa się z wielu rodzajów rozwiązań dostarczanych w ramach kolejnych faz projektów,
spełniających wymagania architektoniczne.
1.3
Środowisko systemu
11
System został zainstalowany na fizycznych maszynach, które udostępniają wysokodostępne klastry wirtualne.
Całe środowisko zostało zbudowane w sposób zapewniający ciągłość świadczenia usług, nawet w przypadku
awarii jednego z elementów infrastruktury systemu wirtualizacji zasobów.
Jako podstawowy system operacyjny dla serwerów pełniących rolę wirtualizatora w ramach platformy
wirtualizacyjnej CPD Radom przyjęto VMware ESXi 5.5 u1.
Infrastruktura sprzętowa składa się z wielu rodzajów rozwiązań sprzętowych dostarczanych w ramach kolejnych
faz projektów, spełniających wymagania architektoniczne określone przez Zamawiającego.
Całość jest zarządzana przez oprogramowanie wirtualizacyjne: C.VM.X86.VMW
W szczególności zastosowano następujące licencje:
Nazwa komponentu
Wersja licencji
vSphere
vSphere with Operations Management
5.xEnterprise Plus
vCenter Server
5.x Standard per Instance
Ilość sztuk
657
3
Ze względu na różnorodność zastosowanego sprzętu struktura klastrów Vmware wynika z pogrupowania sprzętu
wg typu, oraz rodzaju oprogramowania systemowego zastosowanego na maszynach wirtualnych.
Każdy z klastrów ma włączoną funkcjonalność: HA, DRS, DPM.
Całość jest kontrolowana przez 3 instancje oprogramowania Vmware vCenter Server Standard
1.4
Architektura logiczna
Architektura logiczna rozwiązania
a) System Witrualizacji zasobów:
System wirtualizacji zasobów przewiduje budowę warstwową bloków architektonicznych wspierających systemy
biznesowe. Do budowy środowiska IT w CPD MF został przyjęty czterowarstwowy model ogólny systemów.
Uzasadnieniem dla tego modelu jest charakter środowiska IT, które jest zbudowane w Ośrodkach Przetwarzania
CPD MF. Głównymi składowymi obecnie budowanych systemów biznesowych są następujące warstwy:
 warstwa proxy
 warstwa aplikacyjna
 warstwa bazodanowa
 warstwa zasobów danych.
Wszystkie te warstwy odgrywają ważną rolę w modelach środowiska IT chmur obliczeniowych, ponieważ są one
przedmiotem oferty w katalogach usług związanych z ofertą dla klientów. W przypadku CPD MF klientem jest DS
MF.
12
Warstwa proxy
Warstwa aplikacyjna
Warstwa bazodanowa
Warstwa zasobów danych
(zasoby macierzowe warstw)
Rysunek 2 Model warstwowy systemów CPD MF
Metodyka TOGAF przewiduje i zaleca budowę bloków architektonicznych w środowiskach IT. Bloki takie dobrze
charakteryzuje - używana technologia w budowanym środowisku IT oraz uproszczenia rozbudowy tego
środowiska.
Bloki architektoniczne w 3 pierwszych warstwach modelu warstwowego będą charakteryzować się:
 platformą sprzętową
 metodą wirtualizacji
 systemem operacyjnym
 platformą aplikacyjną
Zasada budowy takich bloków jest oparta na platformie sprzętowej. Następnie sprzęt poddaje się wirtualizacji –
tak dalece jak to jest możliwe i uzasadnione rachunkiem ekonomicznym. W ten sposób uzyskuje się bloki typu
IaaS (ang.Infrastructure as a Service). Potem, już jako obiekty logiczne środowiska, są wyposażane w system
operacyjny i ten sposób uzyskuje się bloki typu PaaS (ang. Platform as a Service – tylko z systemem operacyjnym).
W kolejnym kroku dokonuje się wyboru i instalacji dodatkowych komponentów platformy aplikacyjnej
(środowisko wykonywania aplikacji) dla bloków typu PaaS albo instalacji aplikacji. Po uformowaniu takich bloków
środowisko jest gotowe do udostępnienia ich klientom.
W ramach budowy systemów biznesowych i infrastrukturalnych można używać dwóch rodzajów bloków:
 typu IaaS
 typu PaaS
Bloki architektoniczne typu IaaS będą zawierały platformę sprzętową , jako bloki fizyczne, i platformę
wirtualizacyjną jako bloki wirtualne. Bloki typu PaaS, oprócz platformy sprzętowej, platformy wirtualizacyjnej,
będą zawierały system operacyjny lub system operacyjny i platformę aplikacyjną, czyli środowisko do
uruchamiania aplikacji.
Bloki typu IaaS będą podstawą do tworzenia usług typu IaaS, a bloki typu PaaS będą używane do usług PaaS.
Oprócz bloków architektonicznych do budowy systemów informatycznych będą zdefiniowane bloki
architektoniczne do tworzenia infrastruktury komunikacyjnej w zakresie LAN, WAN, SAN oparte o metodykę
TOGAF.
13
IaaS
PaaS/OS
PaaS /APP
Blok typu PaaS
Platforma Aplikacyjna
APP4
APP3
APP2
APP1
Wybór platformy
aplikacyjnej lub
aplikacji
OS3
OS2
OS1
Wybór systemów
operacyjnych
Blok typu PaaS
Systemy Operacyjne
Blok typu IaaS
logiczne obiekty wirtualne i fizyczne
WIR3 Mechanizmy
WIR2 wirtualizacji
WIR1
zasobów
Zasoby fizyczne
Rysunek 3 Schemat budowy bloków architektonicznych i usług IaaS i PaaS
b) Trend Micro Deep Security:
Podstawowa architektura logiczna rozwiązania TM Deep Security została przedstawiona na rysunku poniżej.
14
Rysunek 4 Architektura TM Deep Security.
Trend Micro Deep Security Manager – to aplikacja służąca, jako centralna konsola do zarządzania środowiskiem
Deep Security. Za pomocą TM Deep Security Manager, można tworzyć/modyfikować/zarządzać politykami
bezpieczeństwa, tworzyć raporty bezpieczeństwa oraz monitorować środowisko pod kątem zagrożeń.
Database – baza danych na potrzeby Deep Security Managera. Konfiguracja systemu, oraz zdarzenia związane z
naruszeniem bezpieczeństwa, przechowywane są w bazie danych.
TM Deep Security Virtual Appliance (DSVA) - wirtualne urządzenie (działające jako wirtualna maszyna),
pozwalające na wdrażanie bezagentowej ochrony dla maszyn wirtualnych w środowisku VMware vSphere.
Wymagany jest jeden DSVA per ESX host.
TM Deep Security Agent (DSA) – agent instalowany na systemie operacyjnym zapewniający ochronę agentową.
Stosowany głównie w przypadku maszyn fizycznych lub maszyn wirtualnych, dla których wymagana funkcja
ochrony bezagentowej nie jest wspierana.
TM Deep Security Relay – dostarcza aktualizacje bezpieczeństwa dla DSA oraz DSVA.
VMware vShield – rozwiązanie składające się z konsoli zarządzającej – VMware vShield Manager oraz agenta
zainstalowanego na hostach ESXi - VMware vShield Endpoint. Rozwiązanie to pozwala na integrację systemów
firm trzecich z rozwiązaniami VMware w celu zapewnienia mechanizmów ochrony.
VMware vShield Manager służy do zarządzania środowiskiem VMware vShield.
VMware vShield Endpoint – pozwala na bezagentową ochronę wirtualnych maszyn przy wykorzystaniu
oprogramowania firm trzecich.
IV. AI_11 Bramka internetowa w CPD MF
1. Sprzęt i oprogramowanie Zamawiającego
Symbole graficzne użyte w tym dokumencie przedstawiono w poniższej tabeli.
15
Opis symbolu
Ruter
Symbole wynikające z
architektury referencyjnej
Symbole CA Consulting
R
Przełącznik LAN Rdzeniowy
Przełącznik LAN Dystrybucyjny
(Cisco Nexus)
Przełącznik LAN dostępowy
Przełącznik Dystrybucyjny w
bramce internetowej (Cisco
Catalyst 650x)
SRR
SDR
SDV
SDR
Wirtualny
przełącznik
dystrybucyjny VSS (ang. Virtual
Switching System)
Urządzenie równoważące ruch
sieciowy (Cisco ACE)
LB
Zapora sieciowa z IPS
Zapora sieciowa
FW
Bypass z interfejsami 1Gb lub
10Gb
Urządzenie (appliance) IPS
Blok ruterów
Blok
rdzeniowych
IPS
R
przełączników
Blok
przełączników
dystrybucyjnych
SRR
SDR
16
Symbole wynikające z
architektury referencyjnej
Opis symbolu
Blok
dostępowych
przełączników
SDV
Blok
przełączników
dostępowych w kasecie
SDV
Blok urządzeń równoważących
ruch sieciowy
LB
Blok Zapór sieciowych
FW
Blok urządzeń IPS
1.1
Lp.
1.
1.2
a)
IPS
Oprogramowanie:
Nazwa
aplika
cji
Cisco
Prime
LMS
Symbole CA Consulting
Wers
ja
4.x.x
P/N
LPILMS42
-50
Typ licencji
Prime Infrastructure
LMS - 50 Device
Base Lic
Liczb
a
pacz
ek
licen
cji
1
Zastosow
any klucz
licencyjny
Liczba
(został
licencji
uzupełnio UWAGI
w
ny
w
paczce
trakcie
impleme
ntacji)
100
Licencja
na
oprogramowanie
Cisco Prime LMS ,
umożliwia
zarządzanie do 100
urządzeń.
Sprzęt:
Rutery w bramce UI LAN.RT
Dwa, redundantne routery CISCO ASR pracujące w klastrze A/P.
b) Rutery w bramce Internet LAN.RT
Dwa, redundantne routery CISCO ASR pracujące w klastrze A/P.
c)
Przełączniki dostępowe Internet C.LAN.SW4
Dwa, redundantne routery CISCO 37xx pracujące w klastrze A/P.
d) Przełączniki dystrybucyjne bramki C.LAN.SW5 oraz urządzenia równoważącego ruch C.LAN.LB.3
17
Dwa, redundantne przełączniki CISCO 65xx wraz z modułami ACE pracujące w klastrze A/P.
e) Przełączniki dostępowe UI C.LAN.SW4
Dwa, redundantne routery CISCO 37xx pracujące w klastrze A/P.
1.3
Zakres rozwiązania
Zakresem zbudowanego rozwiązania jest architektura systemu Bramki Internetowej w CPD MF.
Wdrożona sieć w CPD MF obejmuje ośrodek OP Radom.
W ośrodku OP Radom została zbudowana sieć o strukturze hierarchicznej składająca się z:
 bloków ruterów realizujących dostęp do sieci zewnętrznych,
 warstwy dostępowej realizowanej na przełącznikach dostępowych,
 bloku urządzeń Firewall,
 warstwy dystrybucyjnej przez którą przepływa ruch z/do sieci LAN/WAN Blok dystrybucyjny realizuje
również funkcjonalność równoważenia ruchu sieciowego za pomocą modułów zainstalowanych w
przełącznikach tego bloku. Równoważenie ruchu jest realizowane do serwerów PROXY, zbudowanych
na serwerach typu blade w obszarze sieci LAN i podłączonych do warstwy dystrybucyjnej Bramki
Internetowej.
Struktury Bramki Internetowej są przygotowane do realizacji połączenia do sieci rozległej WAN UI zapewniającej
łączność dla urzędów administracji publicznej i użytkowników instytucjonalnych (Na etapie wdrożenia nie ma
łącz realizujących tę komunikację, aczkolwiek infrastruktura sieci posiada dwa dedykowane rutery pod tego typu
łącza i jest przygotowana na obsługę takiego ruchu w przyszłości). Sieć LAN w OP Radom posiada również dostęp
do Internetu poprzez osobne struktury sieciowe Bramki Internetowej (osobne rutery, firewalle oraz urządzenia
IPS) podłączone do wspólnej warstwy dystrybucji bramki.
Pod względem funkcjonalnym system będzie oferował funkcje zawarte w poniższej tabeli
Funkcjonalność systemu
Lp.
Nazwa funkcji
Opis funkcjonalności
LAN Bramki
Sieć lokalna bramki dostępowej CPD MF
Internet
Styk z siecią Internet
WAN
Połączenie z sieciami zewnętrznymi (administracja
publiczna, użytkownicy instytucjonalni)
Główne funkcje systemu w OP Radom są następujące:
 Zapewnienie infrastruktury sieciowej dla niezależnego podłączenia do sieci Internet w OP Radom
 Zapewnienie infrastruktury sieciowej dla niezależnego podłączenia do sieci WAN UI zapewniającego
komunikację z Użytkownikami Instytucjonalnymi (placówki europejskie i administracja publiczna) w OP
Radom
 Zapewnienie nieprzerwanego dostępu do serwisów aplikacyjnych
 Zapewnienie niezależnego filtrowania ruchu sieciowego na styku z siecią Internet w OP Radom
 Zapewnienie niezależnego filtrowania ruchu sieciowego na styku z siecią WAN w OP Radom
 Zapewnienie systemu zarządzania siecią pozwalającego wykonywanie kopii zapasowych konfiguracji
urządzeń sieciowych, aktualizacje oprogramowania urządzeń sieciowych, zdalną modyfikację
konfiguracji i monitorowanie zmian konfiguracji oraz monitorowanie stanu urządzeń sieciowych
systemu Bramki Internetowej.
1.4
Środowisko systemu
Topologia sieci została tak zaprojektowana, że w Bramce Internetowej nie występują pętle w warstwie
drugiej ISO/OSI. Jednakże konfiguracja STP stanowi zabezpieczenie przy wystąpieniu błędów w
18
oprogramowaniu lub podłączeń innych urządzeń w przyszłości, które mogą powodować pętle.
Konfiguracja STP jest zawsze rekomendowana przez producentów sprzętu jako dobra praktyka
administratora urządzeń sieciowych. Jako protokół STP została skonfigurowana wersja MST (IEEE
802.1s), co gwarantuje bezproblemową współpracę z urządzeniami innych producentów w przeszłości.
Wykonawca wdrażając rozwiązanie opierał się na standardach wspieranych przez wszystkich
producentów sprzętu sieciowego.
W obszarze bloku architektonicznego przełączników dystrybucyjnych został skonfigurowany
dynamiczny protokół trasowania pakietów OSPF na styku z blokiem przełączników rdzeniowych.
Protokół OSPF został wybrany ze względu na to, że umożliwia bezproblemową współpracę
z praktycznie wszystkimi urządzeniami różnych producentów, o ile zaistnieje konieczność rozbudowy
systemu infrastrukturalnego w przyszłości. W przypadku zastosowania innych protokołów (takich jak
IS-IS,EIGRP) mogą pojawić się problemy z komunikacją z urządzeniami innych producentów ze względu
na licencjonowanie oraz fakt, że np. protokół EIGRP jest protokołem własnościowym firmy Cisco.
V.
System komunikacji LAN/WAN w CPD MF
1. Sprzęt i oprogramowanie Zamawiającego
1.1
Lp.
Oprogramowanie:
Nazwa
aplikacji
Cisco
Prime
LMS
Solarwind
s
Network
Configura
tion
Manager
HP
Network
Node
Manage
r
1.2
Wersj
a
P/N
Typ licencji
4.x.x
LPILMS4250
Prime Infrastructure
LMS - 50 Device Base
Lic
7.x.x
Orion
Network
Configura
tion
Manager
- DL50
Xxxx
10.0
xxxxx
1
Liczba
paczek
licencji
1
Liczba
licencji w
paczce
Zastosowany
klucz
licencyjny
(został
uzupełniony
w
trakcie
implementacj
i)
Licencja
na
oprogramowanie Cisco
Prime LMS , umożliwia
zarządzanie do 150
urządzeń.
150
1
xxx
UWAGI
Licencja
umożliwia
zarządzenie
do
100
urządzeń
Solarwinds
Network
Configuration Manager
Licencja
umożliwia
zarządzenie
do
1050
urządzeń
/
Użyte 880
Sprzęt:
a) Przełączniki rdzeniowe sieci LAN/WAN C.LAN.SW1
Dwa, redundantne przełączniki rdzeniowe (CISCO Nx7xxx).
b) Przełączniki dystrybucyjne sieci LAN/WAN C.LAN.SW2
Dwa, redundantne przełączniki CISCO Nx7xxx pracujące w klastrze A/A.
19
c) Urządzenia równoważące ruch C.LAN.LB1 z modułem LB
Dwa, redundantne przełączniki CISCO 65xx z modułami LB ACE pracujące w klastrze A/P.
d) Przełączniki dostępowe sieci MGMT C.LAN.SW3
Przełączniki CISCO 37xx.
e) Przełącznik dystrybucyjny sieci LAN
Dwa, redundantne przełączniki HP 105xx pracujące w klastrze A/A.
f)
Lp.
Przełączniki dystrybucyjny sieci LAN C.LAN.SW2
Symbol producenta
Opis elementu
Opis elementu
Ilość
2 szt. urządzeń o identycznej konfiguracji
1
N7K-C7009-B2S2-R
Nexus 7009 Bundle (Chassis 2xSUP2
5xFAB2) No Power Supplies
Główny numer komponentu C.LAN.SW.2,
na który składa się:
1
2
N7K-AC-6.0KW
Nexus 7000 - 6.0KW AC Power Supply
Module
Zasilacz o mocy 6000W
2
3
N7KS2K9-62
Cisco NX-OS Release 6.2 for SUP2 Nexus
7000
Oprogramowanie NX-OS
1
4
N7K-ADV1K9
Nexus 7000 Advanced LAN Enterprise
License (VDC CTS ONLY)
Licencja oprogramowania Advanced LAN
Enterprise
1
5
N7K-LAN1K9
Nexus 7000 LAN Enterprise License (L3
protocols)
Licencja oprogramowania Advanced LAN
Enterprise (przełączanie w L3)
1
6
N7K-SUP2
Nexus 7000 - Supervisor 2 Includes
External 8GB USB Flash
Karta zarządzająca wyposażona w 8GB
pamięci flash
2
7
N7K-USB-8GB
Nexus 7K USB Flash Memory - 8GB (Log
Flash)
Karta Flash USB
2
10
N7K-F248XP-25E
Nexus 7000 F2-Series 48 Port 1/10G
(SFP+) Enhanced
Karta liniowa 48x10GBps SFP+
2
11
GLC-T
1000BASE-T SFP
Moduł 1000BASE-T
12
12
SFP-10G-SR
10GBASE-SR SFP Module
Moduł 10GBASE-SR, w standardzie SFP
26
16
N7K-C7009-FAB-2
Nexus 7000 - 9 Slot Chassis - 110Gbps/Slot Fabric do przełącznika Nexus
Fabric Module
7009,wydajność 110Gbps/slot
5
17
CAB-AC-2500W-EU
Power Cord 250Vac 16A Europe
4
1.3
Kabel zasilający, standard europejski
Zakres rozwiązania
Zakresem zbudowanego rozwiązania jest architektura sieci LAN/WAN w CPD MF. Wdrożona sieć
LAN/WAN w CPD MF objęła ośrodek OP Radom.
W ośrodku OP Radom została zbudowana sieć LAN o strukturze hierarchicznej. Składa się ona z
warstwy dostępowej, warstwy dystrybucyjnej, warstwy rdzeniowej podłączonej do warstwy
dystrybucji bramki Internetowej będących komponentem sieciowym zadania AI_11 Bramka
Internetowa. W ramach połączeń sieciowych bramki Internetowej AI_11, wydzielono na klastrze
Firewalli w tym systemie osobne interfejsy 10Gb do podłączenia urządzeń sieciowych w układach
redundantnych realizujących tor ruchu do sieci WAN Intranet Ministerstwa Finansów. Tor ten
zapewnia komunikację ośrodka OP Radom z siecią WAN Intranet Ministerstwa Finansów zbudowanej
na łączach operatora telekomunikacyjnego w technologii MPLS.
Oprócz komunikacji ośrodka OP Radom do wewnętrznej sieci WAN Intranet Ministerstwa Finansów,
sieć LAN jest podłączona poprzez struktury Bramki Internetowej AI_11 do sieci rozległej WAN UI
zapewniającej łączność dla urzędów administracji publicznej i użytkowników instytucjonalnych (Na
etapie wdrożenia nie ma łącz realizujących tę komunikację, aczkolwiek infrastruktura sieci posiada dwa
dedykowane rutery pod tego typu łącza i jest przygotowana na obsługę takiego ruchu w przyszłości).
20
Sieć LAN w OP Radom posiada również dostęp do Internetu poprzez osobne struktury sieciowe Bramki
Internetowej (osobne rutery, firewalle oraz urządzenia IPS) podłączone do wspólnej warstwy
dystrybucji bramki, która z kolei podłączona jest do warstwy rdzenia sieci LAN.
W ramach modelu warstwowego komunikacja między warstwami proxy, aplikacyjną i bazodanową jest
realizowana poprzez struktury LAN w ten sposób, że pomiędzy poszczególnymi warstwami są
zdefiniowane odpowiednie podsieci VLAN. Te podsieci jednocześnie izolują ruch komunikacyjny
obiektów systemów działających w danej warstwie. Zdefiniowane i uruchomione podsieci VLAN są
dedykowane dla każdego z systemów biznesowych z osobna z podziałem na grupy vlanów APP, DB,
MGMT, BACKUP. Podział taki obowiązuje w każdym środowisku danego systemu biznesowego (wśród
systemów biznesowych MF rozróżniamy środowiska produkcyjne, testowe wewnętrzne, testowe
zewnętrzne, szkoleniowe i rozwojowe). Ruch sieciowy między warstwami systemów jest izolowany
poprzez firewalle. W celu odciążenia pracy firewalla od ruchu w relacji Aplikacja – Baza Danych,
serwery aplikacyjne posiadają interfejsy z vlanie bazodanowym, co pozwala na bezpośrednią
komunikację z pominięciem zapory. Również ruch w sieciach BACKUP dla poszczególnych systemów
biznesowych jest realizowany przez warstwę przełączników dystrybucyjnych w osobnej tablicy
routingu bez dostępu na zewnątrz sieci.
W środowisku IT CPD MF jest uruchomiona komunikacja między różnymi systemami w celu wymiany
komunikatów lub danych. Komunikacja związana z tego typu przepływami danych między systemami
podlega odpowiedniej konfiguracji i kontroli przez zapory ogniowe działające w systemie komunikacji
LAN w sieci Back-End oraz zapory ogniowe działające w obszarze bramki Internetowej AI_11 przy
dostępach z sieci WAN Intranet, WAN UI oraz Internetu.
System komunikacji LAN/WAN obsługuje również równoważenie ruchu sieciowego skierowanego do
usług aplikacyjnych dostępnych pod wirtualnymi adresami VIP wystawionymi w konfiguracji
LoadBalancera w sieci Back-End. Ruch ten jest przyjmowany z warstwy prezentacyjnej serwerów proxy,
do której ruch sieciowy jest również równoważony przez dedykowany LoadBalancer w sieci Front-End
w obszarze bramki Internetowej AI_11 przy dostępach klientów z sieci zewnętrznych.
Pod względem funkcjonalnym system oferuje funkcje zawarte w poniższej tabeli:
Funkcjonalność systemu
Lp.
Nazwa funkcji
LAN
WAN
Opis funkcjonalności
Sieć lokalna w ośrodkach w CPD MF
Połączenie z siecią WAN resortu finansów wykorzystywaną
przez placówki skarbowe i celne
Zarządzanie
Element infrastruktury LAN/WAN służący do monitoringu i
zarządzania siecią
Główne funkcje jakie spełnia system komunikacji LAN/WAN w OP Radom są następujące:
 Zapewnia infrastrukturę LAN/WAN do komunikacji z placówkami skarbowymi i celnymi poprzez
wewnętrzną sieć Intranetową opartą na sieci MPLS
 Zapewnia infrastrukturę LAN/WAN umożliwiającą komunikację z innymi ośrodkami OP po rozbudowie
sieci CPD MF w przyszłości o inne ośrodki i połączeniu ich za pomocą łącz DWDM.
 Zapewnia właściwą ilość i rodzaj interfejsów sieciowych pozwalających na podłączenie określonej liczby
serwerów aplikacyjnych i bazodanowych w OP Radom
 Zapewnia nieprzerwany dostępu do serwisów aplikacyjnych
 Zapewnia równoważenie ruchu sieciowego do usług aplikacyjnych działających w sieci Back-End.
 Zapewnia filtrowanie ruchu sieciowego na styku z siecią WAN resortu finansów w OP Radom
 Zapewnia system zarządzania siecią pozwalający wykonywać kopie zapasowe konfiguracji urządzeń
sieciowych, aktualizacje oprogramowania urządzeń sieciowych, zdalną modyfikację konfiguracji i
monitorowanie zmian konfiguracji a także monitorowanie stanu urządzeń sieciowych
1.4
Architektura logiczna
21
Bloki przełączników dystrybucyjnych oraz dostępowych w serwerach kasetowych mają dostęp do wielu vlanów
w warstwie 2, gdyż sieci VLAN są rozciągnięte na te przełączniki na łączach typu Trunk pomiędzy przełącznikami
w domenie warstwy 2. Do klastra zapory sieciowej doprowadzone zostały vlany z odpowiadającymi im
podsieciami IP bezpośrednio do bloku zapór sieciowych gdzie odbywa się kontrola ruchu pomiędzy tymi
podsieciami oraz sieciami zewnętrznymi. Sieci te są routowane i kontrolowane przez Firewall. Para zapór jest
odpowiedzialna za kontrolę dostępu do sieci wewnętrznych tylko dla serwerów backupujących systemu, które
muszą mieć dostęp do Front-endu sieci w celu backup serwerów Proxy, do zapory doprowadzony jest również
inny vlan z grupy HB, który jest vlanem pełniącym rolę vlanu aplikacyjnego dla serwerów w zadaniu . Ruch
przychodzący od klientów jest rozkładany wg określonych algorytmów na odpowiednie serwery w danej farmie.
Na potrzeby przełączania i synchronizacji stanu urządzeń równoważących ruch jest wykorzystany jeden z Vlanów.
Zapory sieciowe nie potrzebują dedykowanego Vlanu do synchronizacji, gdyż każde z pary urządzeń z bloku zapór
sieciowych jest podłączone bez pośrednictwa sieci LAN. Oprócz tego wszystkie urządzenia podłączone są do sieci
zarządzającej typu Out-of-band przeznaczonych dla danego typu urządzeń. Vlany zarządzające typu Out-of-Band
są skonfigurowane tylko i wyłącznie na dedykowanym bloku przełączników dostępowych odseparowanych za
pomocą osobnego interfejsu bloku zapór sieciowych w sieci LAN. Reguły skonfigurowane na bloku zapór
sieciowych mają odpowiednie polityki bezpieczeństwa dopuszczające ruch z konkretnych podsieci ustalonych z
Zamawiającym.
Architektura logiczna warstwy rdzenia sieci składa się z wielu połączeń punkt-punkt warstwy 3 modelu ISO/OSI.
Przełączniki rdzeniowe pracują tylko i wyłącznie w warstwie trzeciej IP wykorzystując dynamiczny protokół
trasowania pakietów OSPF. W tym celu zostały wykreowane połączenia zagregowane EtherChannel o
przepustowości 2x10Gb, wykorzystujące protokół agregacji łącz fizycznych LACP. Połączenia zagregowane
wyprowadzone na przełącznikach rdzeniowych łączą bloki przełączników warstwy dystrybucji w bramce
internetowej i warstwy dystrybucji sieci LAN.
Oprócz tego dwa przełączniki rdzeniowe są połączone ze sobą za pomocą łącza zagregowanego o dwa razy
większej przepustowości 4x10Gb niż pojedyncze łącza do przełączników z bloków dystrybucyjnych. Łącza te
posiadają własną adresację IP w warstwie 3, na których jest rozciągnięty protokół trasowania pakietów OSPF w
obszarze Area 0 i są zestawione sąsiedztwa OSPF. Wykorzystanie przełączania pakietów na poziomie warstwy 3
IP wśród przełączników rdzeniowych pozwala na szybkie czasy przełączania tras pakietów i krótkie czasy powrotu
stanu tablic wszystkich przełączników warstwy 3 do stanu stabilności po wystąpieniu awarii lub niedostępności
pewnych podsieci w całej architekturze sieci CPD MF. Protokół OSPF został również wybrany z powodu jego
uniwersalności wśród wszystkich producentów sieciowych, jest to ogólnoświatowy standard protokołu
trasowania pakietów, którego implementacja musi być taka sama na różnych platformach sprzętowych. Dlatego
też nie ma problemów z podłączaniem do domeny OSPF innych urządzeń korzystających z tego protokołu na
przykład zapór sieciowych. Protokół ten jest również wykorzystywany w obecnych strukturach sieci WAN
Ministerstwa Finansów, dzięki czemu ułatwiona jest integracja z innymi obszarami sieci bez konieczności
redystrybucji różnych protokołów trasowania pomiędzy sobą.
Architektura logiczna warstwy dystrybucyjnej - blok przełączników dystrybucyjnych sieci LAN jest podłączony do
bloku przełączników rdzeniowych oraz do bloków przełączników dostępowych oraz do bloku urządzeń
równoważących ruch. Ze względu na konieczność podłączenia i kontroli ruchu przez bloki zapór sieciowych,
istniała konieczność rozdzielenia fizycznego przełącznika dystrybucyjnego na dwa wirtualne konteksty VDC-1 i
VDC-2. Górny kontekst VDC-1 jest podłączony za pomocą połączeń zagregowanych w warstwie 3 do bloku
przełączników rdzeniowych. W tej części sieci jest skonfigurowany protokół trasowania pakietów OSPF w
obszarze Area 0. W tym kontekście są podłączone interfejsy wyjściowe zapór sieciowych w odpowiednich
vlanach. Vlany te są rozciągnięte za pomocą połączenia zagregowanego EtherChannel w warstwie 2
skonfigurowanego w trybie Trunk, pomiędzy obydwoma przełącznikami w górnym kontekście. Wejściowe
interfejsy obydwu bloków zapór sieciowych są podłączone do kontekstu dolnego VDC-2 w odpowiednich
Vlanach. Dolny kontekst bloku przełączników dystrybucyjnych wykorzystuje technologię vPC, na potrzeby tej
technologii jest wykonane połączenie tzw. vPC peer link oraz non-vPC link dla Vlanów, które są rozciągnięte
pomiędzy przełącznikami w sposób tradycyjny. Połączenie vPC peer link, obsługuje całą resztę sieci VLAN i ruch
pochodzący z różnych domen vPC. Technologia vPC oprócz zapewnienia bezpętlowej topologii oraz
wykorzystania przepustowości wszystkich Up-linków, z perspektywy przełączników warstwy dostępowej kreuje
22
jedno wirtualne połączenie zagregowane do jednego wirtualnego przełącznika wyższej warstwy. Liczba połączeń
vPC, ich przyporządkowanie do interfejsów. W procesie rozbudowy infrastruktury dystrybucyjnej (projekty KIC1b
oraz KIC2) zostały dołożone przełączniki sieciowe HP10xxx oraz przełączniki Cisco Nx7xxx. Rozszerzają one
warstwę L2 dystrybuowaną przez kontekst VDC2 przełączników. Przełączniki HP 10xxx zostały skonfigurowane z
wykorzystaniem technologii IRF (z ang. Intelligent Resilient Framework). Technologia IRF umożliwia połączenie
kilku urządzeń w celu stworzenia jednego, wirtualnego przełącznika. Zastosowanie IRF zwiększa dostępność,
stabilność i niezawodność przyjętego rozwiązania. Utworzony w ten sposób wirtualny przełącznik znacznie
upraszcza nie tylko topologię sieci, ale i jej zarządzanie. Dla wszystkich innych urządzeń w sieci LAN wirtualny
przełącznik IRF widziany jest jako jedno urządzenie. Zapewnia to między innymi tworzenie i zastosowanie
redundantnych, zagregowanych połączeń z wykorzystaniem modułów i portów należących do różnych
przełączników fizycznych, z których składa się przełącznik wirtualny IRF. Rozwiązanie takie pozwala na
uproszczenie topologii sieci, w której nie ma potrzeby stosowania dodatkowych mechanizmów i protokołów jak
np. protokół Spanning-Tree. Dostarczone w ramach projektu KIC2 dwa dodatkowe przełączniki Cisco Nx7xxx
zostały wykorzystane do rozbudowy bloku przełączników dystrybucyjnych. Oba przełączniki zostały połączone ze
sobą nadmiarowymi łączami światłowodowymi 10GE, co pozwoliło na utworzenie bloku niezawodnościowego
odpornego na awarię jednego z urządzeń. Fizycznie blok ten tworzą dwa przełączniki, ale z punktu widzenia
komunikacji sieciowej blok ten postrzegany jest, jako jedno urządzenie logiczne. Przełączniki zostały podłączone
do przełączników bloku dystrybucyjnego również nadmiarowymi łączami światłowodowymi 10GE. Wszystkie
przełączniki zostały połączone ze sobą na zasadzie każdy z każdym wieloma linkami światłowodowymi 10GE.
Pozwoliło to na utworzenie topologii w sposób maksymalnie zabezpieczający przed uszkodzeniem jednego z
czterech urządzeń albo któregokolwiek z połączeń pomiędzy nimi.
23
Blok
architektoniczny
bramki WAN/
Internet
Bramka
Wan i Internet
2x10 Gb
2x10 Gb
MEC
Blok
architektoniczny
przełączników
rdzeniowych
MEC
Przełączniki
rdzeniowe
2x10 Gb
2x10 Gb
2x10 Gb
2x10 Gb
C.LAN.SW2
B.LAN.ACC
peer-link
Keep-Alive
Klaster firewall’i
2x1 Gb
2x1 Gb
C.LAN.SW3
[…]
6x10 Gb
8x10 Gb
8x10 Gb
Karty dostarczane w ramach
postepowania
C.LAN.SW2
Elementy dostarczane w
ramach postępowania
4x10 Gb
Przełączniki TOR
C.LAN.SW2
[…]
C.LAN.SW6
LAN OP RADOM
1 2
3
4
[…]
1 2
3
4
Architektura logiczna rozbudowywanej warstwy dystrybucyjnej
VI. System AI_17 - Komunikacja SAN w CPD MF
1.1
a)
Produkt
2499-816
2809
3648
9284
9802
Sprzęt i oprogramowanie:
Przełącznik SAN IBM SAN768B-2, 2 sztuki:
Opis
IBM System Storage SAN768B-2
8 Gbps SW SFP+ 8-Pack
48-Port 16 Gbps FC Blade
SAN768B Standalone Mode
Power Cord, EMEA
Ilość
1
30
5
1
1
Tabela 15 Specyfikacja przełącznika IBM SAN786B-2
24
Oprogramowanie
Advanced Zoning
Enhanced Group Management
Full Fabric
Enterprise Bundle, zawierający:
- Fabric Watch
- ISL Trunking
- Advanced Performance Monitoring
- Extended Fabrics
- Adaptive Networking
Tabela 16 Oprogramowanie przełącznika IBM SAN768B-2
b) Przełącznik SAN HP SN8000B, 2 sztuki:
Produkt
QK710B
QW941A
AJ716B
Opis
HP SN8000B 8-Slot Pwr Pack+ Dir Switch
HP SN8000B 8Gb 48-port Enh FC Blade
HP 8Gb Short Wave B-Series SFP+ 1 Pack
Ilość
1
4
192
Tabela 17 Specyfikacja przełącznika HP SN8000B
Oprogramowanie
Advanced Zoning
Enhanced Group Management
Full Fabric
Enterprise Bundle, zawierający:
- Fabric Watch
- ISL Trunking
- Advanced Performance Monitoring
- Extended Fabrics
- Adaptive Networking
Tabela 18 Oprogramowanie przełącznika HP SN8000B
1.2
Zakres rozwiązania
Zaprojektowany system komunikacji SAN umożliwia infrastrukturze serwerowej dostęp do urządzeń pamięci
masowych w CPD OP Radom przy użyciu protokołu Fibre Channel. Zrealizowany został przez instalację
przełączników FC, odpowiednie skrosowanie urządzeń oraz konfigurację zapewniającą wysoką dostępność.
Dla zapewnienia równomiernego obciążenia sieci SAN systemy operacyjne (takie jak RedHat Linux na serwerach
fizycznych oraz VMware ESXi i Hyper-V) wykorzystują wbudowane mechanizmy do wielościeżkowości.
Zostały zrealizowane funkcjonalności związane z zarządzaniem infrastrukturą SAN/Storage.
Sieć SAN została zbudowana w oparciu o dwa przełączniki klasy Director IBM SAN768B-2 pracujące w dwóch
odseparowanych fabric’ach, do których za pomocą linków ISL zosta-ły połączone przełączniki dostępowe z Blade
Center H (po jednym z każdego Blade Center do każdego fabric’a – dla zapewnienia redundancji) oraz po jednym
linku za pośrednictwem modułu „QLogic Virtual Fabric Extension Module for IBM BladeCenter” do dwóch kart
„BNT Virtual Fabric 10Gb Switch Module for IBM BladeCenter”.
System komunikacji SAN obejmuje zasięgiem tylko Ośrodek Przetwarzania Danych w Radomiu.
Sieć SAN została rozbudowana o dwa przełączniki HP SN8000B SAN Director. Oba przełączniki pracują w dwóch
odseparowanych od siebie podsieciach fabric, do których podłączone są symetrycznie moduły HP Virtual Connect
z obudów HP Blade, tak by zapewnić redundancję połączeń dla wszystkich serwerów typu blade.
25
1.3
Środowisko systemu
Dla systemu komunikacji sieci SAN występuje tylko środowisko produkcyjne, do którego podłączone zostały
wszystkie środowiska systemów biznesowych i infrastrukturalnych.
Środowisko systemu komunikacji SAN jako centralny element dostępu do danych jest newralgicznym systemem
CPD MF. Pracuje w trybie ciągłym, w celu zapewnienia ciągłości pracy obszarów biznesowych jak
i infrastrukturalnych. Zapewnia bezpieczeństwo dostępu do danych poprzez redundantną architekturę.
System komunikacji SAN został zbudowany z dwóch podstawowych struktur:
- sieć szkieletu komunikacyjnego
- sieć dostępowa (Blade Center, HP Blade)
Sieć szkieletu komunikacyjnego zbudowana z dwóch przełączników klasy SAN Director (IBM SAN786B-2) służy do
bezpośredniego podłączenia urządzeń pamięci masowych (macierze dyskowe i biblioteki taśmowe oraz
wirtualizatory pamięci masowych - SVC) oraz przełączników dostępowych z Blade Center (Brocade 20-port 8 Gb
SAN Switch Module for IBM).
Po modernizacji sieć szkieletu komunikacyjnego została rozbudowana o dwa przełączniki rdzeniowe klasy SAN
Director (HP SN8000B SAN Director). Służy ona do bezpośredniego podłączenia urządzeń pamięci masowych
(macierze dyskowe i biblioteki taśmowe) oraz modułów HP Virtual Connect w HP Blade.
Sieć dostępowa (Blade Center), zbudowana na bazie przełączników w Blade Center – służy do podłączenia
serwerów typu Blade. Przełączniki dostępowe w Blade Center zostały skonfigurowane w trybie Access-Gateway.
Wszystkie urządzenia podłączone są do przełączników dostępowych. Serwery blade są widoczne na
przełącznikach Director poprzez wirtualizację portów w sieci SAN (NPIV).
Dodatkowo serwery BladeCenter podłączone zostały do sieci SAN za pomocą modułu „QLogic Virtual Fabric
Extension Module for IBM BladeCenter” do dwóch kart „BNT Virtual Fabric 10Gb Switch Module for IBM
BladeCenter”. Moduł QLogic pracuje w trybie transparent mode (NPIV) jako bridge pomiędzy natywnym SANem
wykorzystującym protokół FC a 10 Gb siecią LAN. Połączenie pomiędzy powyższymi kartami jest realizowane na
poziomie backplane’u w Blade Center.
Rysunek 5 Backplane w Blade Center
Sieć dostępowa (HP Blade), zbudowana na bazie modułów HP Virtual Connect w HP Blade, służy do podłączenia
serwerów typu Blade.
Wszystkie urządzenia podłączone do przełączników dostępowych, serwery blade, widoczne są na przełącznikach
Director poprzez wirtualizację portów w sieci SAN (NPIV).
26
Dodatkowo serwery HP Blade podłączone są do sieci SAN za pomocą modułu „HP FlexFabric 10Gb 2P 554” do
dwóch modułów „HP BLc VC FlexFabric 10Gb/24-port”. Moduł HP Virtual Connect pracuje w trybie transparent
mode (NPIV) jako bridge pomiędzy natywnym SANem wykorzystującym protokół FC a siecią 10 Gb Converged
Network. Połączenie pomiędzy powyższymi kartami jest realizowane na poziomie backplane’u w HP Blade.
Rysunek 6 Konfiguracja modułów “HP BLc VC FlexFabric 10Gb/24-port
Rysunek 7
1.4
Architektura logiczna
System komunikacji w sieci SAN zbudowany jest z poniższych komponentów.
27
Lp.
1
Nazwa komponentu
Przełącznik
w
szkielecie
komunikacyjnym
2
Przełącznik w Blade Center
3
4
6
7
Macierze dyskowe
Bibioteki taśmowe/Wirtualne
biblioteki taśmowe
Wirtualizatory
pamięci
masowych
Serwery podpięte do sieci SAN
SMI-Agent
8
TPC Serwer
9
Przełącznik w HP Blade
10
Moduły VC w HP Blade
11
Serwery typu Blade podpięte do
sieci SAN
5
Opis funkcjonalny realizowany przez komponent
Przełączniki w szkielecie komunikacyjnym służą do
podłączenia wszystkich przełączników dostępowych w
Blade Center oraz urządzeń pamięci masowych (macierze
dyskowe, SVC oraz biblioteki taśmowe).
Skalowalność niniejszych urządzeń wynosi:
512 portów - przy zastosowaniu 64-portowych kart
8Gbps
384 portów - przy zastosowaniu 48-portowych kart
16Gbps
Ponieważ jednym z kryteriów budowy sieci SAN jest
wydajność zastosowano 48portowe karty 16Gbps.
Przełączniki w Blade Center służą do podłączenia
poszczególnych serwerów typu Blade do przełączników w
szkielecie komunikacyjnym.
- Brocade 20-port 8 Gb SAN Switch Module for IBM
BladeCenter
Niniejsze przełączniki pracują w trybie AccessGateway.
macierze dyskowe IBM,HP oraz EMC
Biblioteki taśmowe IBM, HP oraz Wirtualne biblioteki
taśmowe EMC
Klaster SVC składający się z ośmiu urządzeń (nodów)
Wszystkie serwery typu blade są podpięte do sieci SAN
SMI-Agent zainstalowany na serwerze TPC – służący do
komunikacji z przełącznikami klasy IBM Director. Jest on
częścią oprogramowania IBM Network Advisor.
Serwer IBM Tivoli Strage Productivity Center – służący do
zarządzania i monitorowania pamięci masowych oraz
sieci SAN
Przełączniki w szkielecie komunikacyjnym służą do
podłączenia wszystkich przełączników dostępowych w
HP Blade oraz urządzeń pamięci masowych (macierze
dyskowe oraz biblioteki taśmowe).
Skalowalność niniejszych urządzeń wynosi:
512 portów - przy zastosowaniu 64-portowych kart
8Gbps
384 portów - przy zastosowaniu 48-portowych kart
8Gbps
Moduły HP Virtual Connect w HP Blade służą do
podłączenia poszczególnych serwerów typu Blade:
- HP BLc VC FlexFabric 10Gb/24-port for HP Blade
Wszystkie serwery typu blade zostały podpięte do sieci
SAN
Tabela 19 Charakterystyka komponentów sieci SAN
Poniższe rysunki przedstawiają połączenia pomiędzy poszczególnymi komponentami.
28
Rysunek 8 Schemat blokowy systemu komunikacji SAN
Liniami przerywanymi zaznaczono komponenty systemu replikacji i zabezpieczenia danych oraz serwery
korzystające z sieci SAN. W przypadku strzałek – ciągłe oznaczają fizyczne połączenia pomiędzy komponentami,
a przerywane – połączenia logicznie (przepływy informacji dla serwera TPC i SMIAgenta).
Zasoby udostępniane z macierzy Zamawiającego są częściowo zwrtualizowane za pomocą SVC a częściowo
wystawiane bezpośrednio do Hostów ESXi.
29
Rysunek 9 Schemat blokowy systemu komunikacji SAN w środowisku
1.5
Schemat fizycznych połączeń LAN pomiędzy elementami systemu.
Bloki architektoniczne w systemie komunikacji SAN podłączone zostały do sieci administracyjnej (MGMT).
Dodatkowo TPC Serwer ma dostęp do sieci Backupowej.
W ramach powyższych bloków architektonicznych wyróżniamy:
 blok architektoniczny przełączników FC – składający się z dwóch przełączników klasy SAN Director (IBM
SAN768B-2),
 blok architektoniczny przełączników FC w Blade Center – składający się z dwóch przełączników „Brocade
20-port 8 Gb SAN Switch Module for IBM BladeCenter” zainstalowanych w pojedynczym Blade Center,
 blok architektoniczny wirtualnego serwera Linux – na którym zostało zainstalowane oprogramowanie
IBM Tivoli Storage Productivity Center.
 blok architektoniczny Przełączników FC – składający się z dwóch przełączników klasy SAN Director (HP
SN8000B SAN Director)
 blok architektoniczny modułów HP Virtual Connect w HP Blade – składający się z dwu modułów „HP BLc
VC FlexFabric 10Gb/24-port for HP Blade” zainstalowanych w pojedynczym HP Blade.
30
Rysunek 10 Architektura połączeń LAN dla systemu komunikacji SAN w OP Radom
Schemat fizycznych połączeń w sieci SAN CPD MF Radom
Rysunek poniżej przedstawia poglądowy schemat fizycznych połączeń urządzeń do przełączników klasy SAN
Director.
Oznaczenie komponentów:
 RBC[1-10] – dziesięć serwerów Blade Center,
 RBCPKI – serwer Blade Center dla projektu PKI,
 R_TS3310_[1-2] – dwie biblioteki taśmowe TS3310,
 R_DS8K_S/N[1-2] – dwie macierze dyskowe (R_DS8K_75YA531, R_DS8K_ 75AMG51),
 R_SVC_[1-4] – osiem nodów klastra SVC.
Serwery Blade Center podłączone są z przełącznikami SAN Director za pomocą dwóch przełączników Brocade w
Blade Center (każdy po 6 linków do przełączników SAN Director) oraz za pośrednictwem Modułu QLogic Virtual
Fabric Extension do kart BNT Virtual Fabric (po jednym linku do przełączników SAN Director).
Karty „BNT Virtual Fabric 10Gb Switch Module for IBM BladeCenter” obsługują zarówno sieć LAN jak i SAN. Dla
zapewnienia maksymalnej ich przepustowości dla sieci LAN (która wykorzystuje te karty jako podstawowe
interfejsy dla serwerów blade. Cała komunikacja w sieci SAN dla serwerów blade jest realizowana wyłącznie za
pomocą przełączników Brocade.
„QLogic Virtual Fabric Extension Module for IBM BladeCenter” został skonfigurowany w trybie Transparent Mode
(NPIV).
31
Rysunek 11 Poglądowy schemat fizycznych połączeń urządzeń w sieci SAN
W ramach rozbudowanego systemu komunikacji SAN w CPD MF zaimplementowano następujące rozwiązania:
- przełączniki FC i moduły „HP BLc VC FlexFabric 10Gb/24-port” połączone są między sobą za pomocą linków FC.
- urządzenia pamięci masowych (macierze, biblioteki taśmowe) podłączone są do obu prze-łączników
rdzeniowych klasy SAN Director,
- serwery kasetowe typu blade które używają:
 wewnętrznych modułów „HP BLc VC FlexFabric 10Gb/24-port” (po 4 połączenia z każdego modułu
dostępowego do dystrybucyjnego),)
 wewnętrznych kart „HP FlexFabric 10Gb 2P 554” (po 2 połączenia z każdej karty) za pośrednictwem „HP
BLc VC FlexFabric 10Gb/24-port”,”
- dostęp poszczególnych serwerów do zasobów pamięci masowych realizowany jest za pomocą
skonfigurowanych zon,
- dostęp do obecnie pracującej sieci SAN w OP Radom odbywa się za pomocą połączeń ISL pomiędzy
przełącznikami rdzeniowymi typu SAN Director. Połączenia te skonfigurowane są jako 3 trunki pogrupowane po
4 linki. Każdy trunk ma przepustowość 32Gbps. Daje to ogółem 96Gbps pełnej przepustowości pomiędzy
switchami w fabricu a w wypadku awarii którejkolwiek z kart FC wydajność utrzymana jest na poziomie 64Gbps.
1.6
Architektura IBM Tivoli Storage Productivity Center (TPC)
W celu zarządzania i monitorowania zasobami sieci SAN, pamięci masowych (macierze dyskowe, wirtualizatory
pamięci masowych, biblioteki taśmowe) oraz systemów operacyjnych, korzystających z centralnych zasobów
dyskowych wykorzystujemy:
•
CIMOM (Common Information Model Object Manager)
•
wbudowany CIMOM agent na bibliotece TS3310
•
wbudowany CIMOM agent na macierzy IBM DS
•
wbudowany CIMOM agent na SVC
•
wbudowany CIMOM agent na vCenter
•
SMIA-Agent dla przełączników Brocade zainstalowany na serwerze TPC
•
SRA – Storage Resource Agent – zainstalowany serwerach fizycznych TSM
W ramach tego komponentu został zainstalowany Brocade SMIA Agent wbudowany w oprogramowanie IBM
Network Advisor w wersji 11.1.5.
32
Rysunek 12 Architektura oprogramowania TPC
1.7
Integracja z systemem monitorowania
System komunikacji SAN integruje się z systemem monitoringu i zarządzania.
Oprogramowanie TPC wysyła zdarzenia do systemu Tivoli Netcool OMNIbus.
VII. SB_01 Architektura zabezpieczeń sieci.
Wdrożony system bezpieczeństwa ma za zadanie kontrolować i separować ruch sieciowy zgodnie z
wymaganiami, weryfikować podatności komponentów infrastruktury i systemów biznesowych oraz chronić
przed potencjalnymi zagrożeniami, które mogą doprowadzić do naruszenia bezpieczeństwa CPD MF Radom.
Wszystkie wdrożone urządzenia bezpieczeństwa zostały skonfigurowane w sposób umożliwiający wysyłanie
logów do systemu zarządzania zdarzeniami/logami STRM używanego obecnie w CPD MF. Dodanie pojemności
i/lub funkcjonalności może odbyć się poprzez rozbudowę istniejących lub dodanie nowych komponentów, np. w
przypadku braku interfejsów sieciowych istnieje możliwość dodania dodatkowej wkładki lub/i interfejsów
sieciowych do odpowiedniego urządzenia. To samo dotyczy wydajności zastosowanych urządzeń. Ponieważ
wszystkie urządzenia pracują w trybie klastrowym to w przypadku małej wydajności urządzeń lub komponentów
33
istnieje możliwość dołożenia kolejnych urządzeń i zbudowania środowiska mieszanego, tj. zastosowanie klastrów
wydajnościowych (load-balancing, active-active) oraz redundantnego (active-passive). Wdrożone rozwiązanie
jest skonfigurowane optymalnie pod względem wydajnościowym oraz zgodne z wymaganymi parametrami.
Główna funkcja realizowana przez system bezpieczeństwa to ochrona urządzeń, systemów i aplikacji w CPD MF
Radom poprzez:
 Ograniczenie ruchu sieciowego do urządzeń, systemów i aplikacji tylko do wymaganych adresów i
portów;
 Ograniczenie ruchu sieciowego wynikające z podziału systemów na klasy bezpieczeństwa
 Monitorowanie i filtrowanie ruchu sieciowego w celu wykrycia anomalii i prób ataku;
 Monitorowanie i filtrowanie ruchu SMTP w celu wykrycia wirusów i ograniczenia ilości spamu;
 Zapewnienie dostępu do urządzeń, systemów i aplikacji tylko dla uprawnionych osób posiadających
odpowiednie poświadczenia bezpieczeństwa.
 Zapewnienie wysokiej dostępności poprzez zastosowanie urządzeń redundantnych
 Charakterystyka komponentów, z których została zbudowana Architektura Zabezpieczeń Sieci CPD MF
Radom.
Lp.
1.
Nazwa komponentu
Firewall zewnętrzny
2.
IPS
3.
System badania podatności
4.
Firewall wewnętrzny
5.
Urządzenia filtrujące ruch
SMTP
6.
VPN Gateway działający w
ramach
brzegowego
firewall’a
Maszyna
zarządzająca
sondami IPS
Antywirus
7.
8.
Opis funkcji realizowanej przez komponent
Ochrona systemów CPD MF Radom węzła bramki internetowej oraz
intranetowej poprzez filtrowanie ruchu oraz wydzielenie stref
pośrednich DMZ. Urządzenie działa również jako brama dla połączeń
VPN.
System detekcji i zapobiegania włamaniom. Działanie systemu opiera
się na porównywaniu analizowanego ruchu do zdefiniowanych
sygnatur ataków i włamań. W przypadku wykrycia zagrożenia
podejmowana jest zdefiniowana akcja i wysyłana jest informacja do
systemu zarządzania incydentami. Dla ścieżki Internetowej zostały
zastosowane dedykowane urządzenia. Dla ścieżki Intranetowej
uruchomiono moduły IPS na urządzeniach filtrujących ruch. System
IPS w ścieżce Internetowej jest podłączony do urządzeń typu bypass
w celu przepuszczenia ruchu w przypadku awarii urządzenia IPS.
Komponent skanujący systemy w ramach wszystkich środowisk CPD
MF Radom pod kątem podatności na ataki i włamania. Osobne
urządzenie dla AI_11 i AI_12.
Ochrona systemów CPD MF Radom węzła dystrybucyjnego poprzez
filtrowanie ruchu oraz wydzielenie stref pośrednich zgodnie z polityką
bezpieczeństwa.
Zadaniem urządzenia jest wykrycie spamu oraz skanowanie
wiadomości w celu wykrycia infekcji wirusem. Urządzenie zostało
wpięte do sieci w strefie DMZ Internet.
Zadaniem tej funkcjonalności jest umożliwienie administratorom
resortu finansów zdalnego i bezpiecznego dostępu do
udostępnionych im zasobów w ramach CPD MF Radom.
Maszyna wirtualna służąca do zarządzania komponentami systemu
IPS.
Ochrona antywirusowa serwerów została zrealizowana przy użyciu
komponentów Systemu AV Trend Micro udostępnionych przez CPD
MF. Komponenty zarządzania agentami systemu AV w CPD MF
Radom są częścią hierarchicznej architektury zarządzania systemu
antywirusowego resortu finansów. CPD MF zapewniło wszelkie
niezbędne licencje oraz oprogramowanie antywirusowe Trend Micro.
34
35