Au#au einer Anwendungsinfrastruktur zur Unterstützung von CAE-‐ Simula<onen auf Compute Clustern GNS Systems GmbH Theodor-‐Heuss-‐Straße 5 Stefan Ciesla 38122 Braunschweig www.gns-‐systems.de CeBIT 2015 © GNS Systems GmbH AGENDA •  •  •  •  •  •  •  Über die GNS Systems GmbH Anwendungsinfrastruktur im Überblick Cluster Management HPC Joberstellung und -‐einreichung HPC Jobablauf und -‐kontrolle HPC Jobinterak<on Monitoring und Sta<s<k FIRMENDATEN Gründungsjahr 1997 Mitarbeiterzahl 53 Umsatzziel 2015 4,5 Mio. EUR LEISTUNGSPORTFOLIO System-‐ und Anwendungsinfrastrukturen Unix/Windows Systemmanagement High-‐Performance-‐Compu<ng Technisches Datenmanagement So\wareentwicklung Applica<on Management Outsourcing GNS mbH LEISTUNGSPORTFOLIO Entwicklungsbegleitende Simula<on und Berechnung Entwicklung und Vertrieb von So\wareprodukten für Pre-‐/Postprocessing und Analyse Entwicklung kundenspeziﬁscher So\ware Beratung KUNDENAUSZUG •  •  Automobil Hersteller •  •  •  •  •  •  •  Audi Autoeuropa BMW Daimler Hyundai Porsche Seat •  •  •  Skoda Volkswagen Volkswagen do Brasil •  •  •  •  •  •  Autoliv Faurecia HBPO Keiper Knorr-‐Bremse TRW MBDA (EADS Konzern) Hardware Lieferanten •  •  •  •  IAV TECOSIM GNS Lu\-‐ und Raumfahrt •  Zulieferer •  •  •  •  •  •  Engineering Dienstleister Dell HP NEC So\ware Lieferanten •  Altair •  MSC So\ware ANWENDUNGSINFRASTRUKTUR … CAE-‐Applika<onen Joblib & Automa<on Joberstellung, -‐ablauf, -‐kontrolle & -‐interak<on … Queuing System OS & Mgmt. Tools Hardware … Cluster Management, Monitoring & Sta<s<k … … CLUSTER MANAGEMENT Integrated Suite vs. EigenkomposiKon •  Aufgaben: –  Provisioning von OS + Middleware + Applika<onen –  Konsistent Haltung von Konﬁgura<onen und So\ware •  Lösung 1: Cluster Management Paket –  z. B.: Clustercorp Rocks+ oder Bright Cluster Manager –  all-‐in-‐one, häuﬁg wenig ﬂexibel, umfassend (inkl. Queuing & Monitoring) •  Lösung 2: Modulare Eigenkomposi<on –  Kickstart OS Installa<on Server, RH Satellite/Spacewalk, Puppet, Distributed Tools (z. B. C3-‐Tools, cssh, dsh, pdsh),... –  mäch<g und ﬂexibel, höherer Erstaufwand HPC ABLAUF BEISPIEL Ablauf Beispiel aus Benutzersicht Work-‐ sta<on Submit-‐ server 2. Jobzuweisung 3. Inputdaten holen 4. Rechnung 5. Ergebnisse abliefern Cluster Nodes Job Queuing System 1. Jobeinreichung HPC JOBERSTELLUNG UND EINREICHUNG I Job Generator GUI (XJGen) •  •  •  •  •  •  Modularer Au#au Module für mehr als 25 CAE-‐Applika<onen Umfangreiche Defaults und Parameter Zahlreiche Prüfungen Includeﬁle Suche Unterstützung mehrerer LSF, SGE und PBS Instanzen innerhalb einer Installa<on •  Remote Job-‐Einreichung via SSH •  Planormunabhängig •  Derzeit 9 produk<ve Installa<onen HPC JOBERSTELLUNG UND EINREICHUNG II Job Generator Kommandozeile (JGen) •  Skripoähigkeit und Wait-‐Op<on (wie lokaler Solver) •  Automa<sche Joberstellung aus Parameterﬁles •  Integra<on in Op<mierungsso\ware z. B.: Noesis Op<mus, Simulia Tosca, Altair Hyperstudy, LS-‐Opt, … •  Integra<on in graphische Interfaces von CAE Applika<onen z. B.: Ansys RSM, Autoform, Pamstamp, Openform, Kunden Tools, … HPC JOBABLAUF Ablauf auf Cluster Nodes •  Joblib •  •  •  •  •  •  Ini<alisierung und Cleanup der Batchumgebung Filetransfer Input-‐/Output-‐/Restartdateien Node Daemon des Queuing Systems Logging, Error-‐ und Signalhandling Resource Enforcement (cgroups) Initialisierung Advanced CPU-‐Binding Job Batchscript Solver Batch-‐ und Postskripte Cleanup Postscript •  Solver-‐Aufruf und Steuerung •  Nachbearbeitungsschripe Joblib Tools Applikation HPC JOBINTERAKTION I Job Management •  Schnelle Übersicht durch ﬂexible Filterung von Jobs •  Anzeige von Status und Fortschrip der Berechnung •  Interak<on mit Berechnungen HPC JOBINTERAKTION II Job Signal Files •  Info File •  ‚Start of Job‘-‐Flag •  Info, wo der Job angelaufen ist •  Zugriﬀ auf Zwischenergebnisse •  Copy Return File •  Info über den gesamten Jobablauf •  Logging und STDOUT/STDERR •  ‚End of Job‘-‐Flag Job Ini(alisierung Solveraufruf Cleanup MONITORING UND STATISTIK I Monitoring und BenachrichKgung •  Warum? •  Frühzei<ge Erkennung von Ausfällen •  Auﬃnden von problema<schen Jobs •  Womit? •  Ganglia, Nagios •  GNS Systems Entwicklungen MONITORING UND STATISTIK II StaKsKk •  Warum? •  Erkennung von Trends in der Ressourcen Nutzung •  Kostenzuordnung z. B. via Lizenz Nutzungssta<s<k •  Womit? •  RRDtool Graﬁken •  Langfris<ge Job Datenbank FAZIT Zusammenfassung •  Der Einsatz einer passenden CAE Anwendungsinfrastruktur führt zu einer erleichterten Bedienung für Anwender und zu einer ver-‐ besserten Ressourcennutzung von Hardware und Lizenzen •  GNS Systems bietet langjähriges Know-‐How zur Bereitstellung und zum Betrieb von individuell abges<mmten CAE Anwendungs-‐ infrastrukturen Vielen Dank für Ihre Aufmerksamkeit! Fragen? GNS Systems GmbH Theodor-‐Heuss-‐Straße 5 38122 Braunschweig www.gns-‐systems.de Stefan Ciesla stefan.ciesla@gns-‐systems.de