Tilgang til de nasjonale superdatamaskinene bidrar til å styrke norsk forskning og innovasjon innen en rekke vitenskapelige fagområder. Superdatamaskinene akselererer utviklingen innen blant annet klimamodellering, farmasøytisk forskning, astrofysikk og materialvitenskap.
Superdatamaskiner (tungregningssystemer) gjør det ikke bare mulig å utføre beregninger raskere, men også å løse problemer som tidligere var utenfor det som var praktisk mulig å beregne. Med disse ressursene kan forskere studere universet mer detaljert, lage mer presise klimamodeller, utvikle nye materialer og bidra til utviklingen av viktige legemidler. Kort sagt bidrar superdatamaskinene til å flytte grensene for hva som er mulig innen forskning og teknologi.
Tungregningsystemer
Norges e-infrastruktur består av tre robuste superdatamaskiner og en toppmoderne lagringsløsning. Gjennom Sigma2 er Norge også medeier i Europas kraftigste superdatamaskin, LUMI.
Hver av superdatamaskinene består av en beregningsressurs med flere beregningsnoder, der hver node har flere prosessorer og delt internminne, samt et sammenkoblingsnettverk som knytter nodene sammen. I tillegg har systemene en sentral lagringsressurs som er tilgjengelig for alle beregningsnodene, og en sekundær lagringsressurs for sikkerhetskopiering og, i noen tilfeller, arkivering. Alle systemene benytter varianter av UNIX-baserte operativsystemer, som Linux og AIX.
Lagringssystemer
NIRD tilbyr datalagringskapasitet for forskningsprosjekter gjennom en datadrevet arkitektur. Lagringsressursene benyttes også av tungregningssystemene, det nasjonale dataarkivet og andre tjenester som krever lagringsinfrastruktur. NIRD består av to geografisk adskilte lagringssystemer. Den ledende lagringsteknologien, kombinert med den kraftige nettverksinfrastrukturen, gjør det mulig å replikere data asynkront mellom de to systemene. Dette bidrar til høy tilgjengelighet og god beskyttelse av dataene.
NIRD er integrert med superdatamaskinene, noe som legger til rette for effektiv behandling av store datasett. NIRD tilbyr også høyytelseslagring for etterbehandling, visualisering, GPU-beregninger og andre tjenester på NIRD Service Platform.
Systemer i produksjon
Betzy — BullSequana XH2000
Superdatamaskinen Betzy er oppkalt etter Mary Ann Elizabeth (Betzy) Stephansen, den første norske kvinnen som tok doktorgrad i matematikk. Betzy er en BullSequana XH2000 levert av Atos, med en teoretisk toppytelse på 6,2 petaflops.
Betzy er plassert ved NTNU i Trondheim og har vært i produksjon siden november 2020.
Betzy tilbyr hovedsakelig CPU-beregningskapasitet, i tillegg til noe GPU-beregningskapasitet. Den nyeste GPU- og AI-beregningskapasiteten leveres gjennom NVIDIA-akseleratorer. Systemet er hovedsakelig egnet for svært parallelle MPI-jobber, med støtte for jobber som benytter fra 512 til 65 536 kjerner. I tillegg tilbyr systemet mindre for- og etterbehandlingskapasitet gjennom dedikerte noder. Sammenlignet med Saga er Betzy særlig tilpasset svært parallelle jobber.
Noen vanlige applikasjoner som kjører på Betzy:
- OpenFoam
- NorESM
- Bifrost
- FluTAS
- MGLET
- ABINIT
Betzy er blant annet populær blant følgende fagmiljøer:
- Geovitenskap
- Numerisk fluiddynamikk
- Fysikk
- Kjemi
- Marinteknologi
Betzy bruksområder
Noen eksempler prosjekter utført hver hjelp av Betzy:
Saga — Apollo 2000/6500 Gen10
Saga er oppkalt etter gudinnen Saga, som i norrøn mytologi er forbundet med visdom og kunnskap.
Superdatamaskinen ble satt i drift i 2019 og er, i likhet med Betzy, plassert ved NTNU i Trondheim.
Saga tilbyr GPU- og AI-beregningskapasitet gjennom NVIDIA-akseleratorer. Systemet har flere store minnenoder og kan håndtere jobber som krever opptil 6 TiB RAM per kjerne. Saga er godt egnet for enkeltkjerneapplikasjoner, delt minne-applikasjoner (OpenMP) og applikasjoner som benytter opptil 256 kjerner.
Saga benyttes av hoveddelen av våre tungregningsprosjekter. Eksempler på vanlige applikasjoner som kjøres på Saga, er:
- Orca
- Python scripts
- VASP
- Gaus ian
- LAMMPS
Saga benyttes hovedsakelig innen følgende fagområder:
- Kjemi
- Materialvitenskap
- Biovitenskap
- Geovitenskap
- Fysikk
- Medisinsk vitenskap
Saga bruksområder
Eksempler på forskningsaktiviteter som er utført på Saga:
LUMI — HPE Cray EX supercomputer
LUMI (Large Unified Modern Infrastructure) er den første av tre pre-eksaskala-superdatamaskiner som er bygget for å bidra til at Europa er blant verdens ledende regioner innen beregningskapasitet. Norge, gjennom Sigma2, eier en andel av superdatamaskinen LUMI, som er finansiert av EU og konsortielandene.
Nøkkeltall (Sigma2s andel):
| CPU-kjernetimer | 34 003 333 |
| GPU-timer | 1 771 000 |
| TB-timer | 16 862 500 |
| Sentral disk | En andel av det totale 117 PB |
| Teoretisk ytelse (Rpeak) | ~11 PFLOPS |
Bruk av én kjerne på LUMI-C i én time tilsvarer én CPU-kjernetime, mens bruk av én GPU i LUMI-G-partisjonen i én time tilsvarer én GPU-time.
Lagringsforbruk på LUMI-F, LUMI-P og LUMI-O beregnes som henholdsvis 10, 1 og 0,5 terabyte-timer per terabyte lagret data per time.
NIRD — National Infrastructure for Research Data
NIRD tilbyr lagrings-, arkiverings- og skytjenester samt prosesseringskapasitet for lagrede data. Tjenestene og kapasiteten er rettet mot vitenskapelige disipliner som har behov for avanserte ressurser i stor skala eller med høy ytelse for lagring og behandling av data, publisering av forskningsdata samt søk i digitale databaser og samlinger. NIRD er et høyytelseslagringssystem som kan støtte AI- og analysetunge arbeidsbelastninger, samtidig som det muliggjør tilgang til de samme dataene via flere lagringsprotokoller.
NIRD tilbyr lagringsressurser med årlige kapasitetsoppgraderinger, datasikkerhet gjennom sikkerhetskopieringstjenester og tilpassbare applikasjonstjenester, støtte for flere lagringsprotokoller, migrering til tredjeparts skyleverandører og en rekke andre tjenester. Sammen med de nasjonale høyytelsesberegningsressursene utgjør NIRD ryggraden i den nasjonale e-infrastrukturen for forskning og utdanning i Norge. NIRD kobler sammen data- og beregningsressurser og legger dermed til rette for effektiv levering av tjenester.
NIRD er basert på IBM Elastic Storage System (ESS) og er bygget opp av ESS3200-, ESS3500- og ESS5000-enheter. Høy I/O-ytelse ivaretas av IBM POWER9-servere som håndterer I/O-operasjoner, med dedikerte dataflyttere, protokollnoder og andre komponenter.
Programvare
IBM Storage Scale (GPFS) er implementert på NIRD og tilbyr programvaredefinert høyytelseslagring for filer og objekter, tilpasset AI- og dataintensive arbeidsbelastninger.
Innsikt i og oversikt over dataene ivaretas av IBM Storage Discover.
Sikkerhetskopiering og dataintegritet ivaretas av IBM Storage Protect.
NIRD Service Platform maskinvare
NIRD Service Platform er en Kubernetes-basert skyplattform som tilbyr permanente tjenester som webtjenester, domene- og fellesskapsspesifikke portaler, samt behovsbaserte tjenester (On-Demand) gjennom NIRD Toolkit.
Skytjenestene på NIRD Service Platform gjør det mulig for forskere å kjøre mikrotjenester for for- og etterbehandling, dataoppdagelse og -analyse samt datadeling, uavhengig av størrelsen på datasettene som er lagret på NIRD.
NIRD Service Platform er utviklet med tanke på høyytelsesberegning og kunstig intelligens, med fokus på robusthet og skalerbarhet. Plattformen er utformet for å kunne kjøre arbeidsbelastninger innen kunstig intelligens (AI) og maskinlæring (ML).
De tekniske spesifikasjonene for NIRD Service Platform er oppført nedenfor:
| Workers | 12 | |
| CPUs | 2368 cores | 8 workers with 256 cores 4 workers with 80 cores |
| GPUs | 30 | Nvidia V100 |
| RAM | 9 TiB | 4 workers with 512 GiB 4 workers with 1024 GiB 4 workers with 768 GiB |
| Sammenkobling | Ethernet | 8 workers with 2 x 100 Gbit/s 4 workers with 2 x 10 Gbit/s |
Betzy og Saga er plassert ved NTNU i Trondheim. LUMI er plassert i et datasenter i Kajaani, Finland. NIRD (Norwegian Infrastructure for Research Data) er plassert i Lefdal Mine Datacenter,
Decommissioned systems
Fram (2017-2025)
Fram var et Lenovo NeXtScale nx360-system, oppkalt etter det norske polarskipet Fram. Systemet var plassert ved UiT Norges arktiske universitet og levert av Lenovo.
Dette systemet med distribuert minne tilbød CPU-beregningskapasitet koblet sammen med et høybåndbredde- og lavlatensnettverk basert på InfiniBand. Sammenkoblingsnettverket var organisert i en island topology, med 9 216 kjerner på hver øy. Maskinen hadde også enkelte noder med større minnekapasitet, noe som gjorde det mulig å kjøre jobber som krevde opptil 512 GiB per kjerne.
Maskinen var godt egnet for jobber med distribuert minne som benyttet mellom 32 og 512 kjerner ved bruk av MPI.
Gardar (2012-2015)
Gardar var en HP BladeSystem-klynge bestående av én frontend-node for administrasjon og systemstyring, to innloggingsnoder og 288 beregningsnoder. Nodene kjørte CentOS Linux og ble administrert med Rocks. Hver node hadde to Intel Xeon-prosessorer og 24 GB minne. Beregningsnodene var plassert i HP-rackskap. Hvert rackskap inneholdt tre c7000-bladkabinett, og hvert kabinett hadde 16 beregningsnoder.
Gardar hadde et separat lagringssystem. X9320 Network Storage System var tilgjengelig for hele klyngen og benyttet IBRIX Fusion-programvaren. Den totale tilgjengelige lagringskapasiteten på X9320 var 71,6 TB. Lagringssystemet var koblet til klyngen via et InfiniBand QDR-nettverk.
Hexagon (2008-2017)
Hexagon ble tradisjonelt brukt mye innen fagområder som beregningskjemi, beregningsfysikk, beregningsbiologi, geovitenskap og matematikk. Hexagon var installert ved Høyteknologisenteret i Bergen (HiB) og ble administrert og driftet av Universitetet i Bergen.
Hexagon ble oppgradert fra Cray XT4 i mars 2012.
Abel (2012-2020)
Abel er oppkalt etter den kjente norske matematikeren Niels Henrik Abel og var en Linux-klynge ved Universitetet i Oslo. Klyngen var en felles ressurs for forskningsberegninger og hadde en teoretisk toppytelse på 258 TFLOPS. Da Abel ble satt i drift 1. oktober 2012, nådde systemet 96. plass på Top500-listen over verdens kraftigste datasystemer.
Abel var en allsidig klynge utviklet for å håndtere flere samtidige jobber og brukere med ulike behov. I stedet for å være rettet mot massivt parallelle applikasjoner var systemet først og fremst tilpasset applikasjoner med moderat til lav grad av parallellitet og høye krav til I/O-ytelse og/eller minne.
Stallo (2007-2021)
Linux-klyngen Stallo var en beregningsklynge ved Universitetet i Tromsø. Den ble satt i drift 1. desember 2007 og inkludert i NOTUR 1. januar 2008. Superdatamaskinen ble oppgradert i 2013.
Stallo var utviklet for applikasjoner med distribuert minne basert på MPI og med lave krav til kommunikasjon mellom prosessorene, samt for applikasjoner med delt minne basert på OpenMP og opptil åtte prosessorkjerner. Systemet var også egnet for parallelle applikasjoner med moderate minnekrav på 2–4 GB per kjerne, samt såkalt «embarrassingly parallel»-applikasjoner.
Vilje (2012-2021)
Vilje var et klyngesystem anskaffet av NTNU i samarbeid med Meteorologisk institutt og Sigma2 i 2012. Vilje ble brukt til numerisk værvarsling i den operative varslingstjenesten ved Meteorologisk institutt, samt til forskning innen et bredt spekter av fagområder ved NTNU og andre norske universiteter, høgskoler og forskningsinstitutter. Navnet Vilje er hentet fra norrøn mytologi.
Vilje var et system med distribuert minne og besto av 1 440 noder koblet sammen med et svitsjet høybåndbredde- og lavlatensnettverk basert på FDR InfiniBand. Hver node hadde to 8-kjerners Intel Sandy Bridge-prosessorer med en klokkehastighet på 2,6 GHz og 32 GB minne. Totalt hadde systemet 23 040 kjerner.
Systemet var godt egnet for, og primært utviklet for, storskala parallelle MPI-applikasjoner. Tilgang til Vilje var i utgangspunktet begrenset til prosjekter med parallelle applikasjoner som benyttet et relativt stort antall prosessorer (≥ 128).
