MyQueue: kommandorads- och Python-gränssnitt för HPC-jobbhantering
MyQueue skickar in och övervakar beräkningsjobb via ett kommandoradsverktyg och ett Python API, hanterar automatiska omstarter för tidsgränser och minnesfel. Skapat av J. J. Mortensen och MyQueue-utvecklingsteamet för utilities-tools, förenar verktyget interaktionen med SLURM, PBS och LSF, spårar jobb beständigt med SQLite och stöder mappbaserade arbetsflöden och Python virtuella miljöer. Det riktar sig till forskare och ingenjörer som kör många kluster- eller lokala jobb och behöver automatiserad återinlämning och enkel spårning.
Vad gör MyQueue i praktiken?
MyQueue fungerar som en frontend till HPC-schemaläggare, accepterar inlämningar genom mq submit-kommandot eller en Python-API, och synkroniserar sedan lokal uppgiftsspårning med fjärrschemaläggare. Den registrerar avslutade, misslyckade och pågående uppgifter i en mappbaserad SQLite-lagring och kan fungera mot lokala maskiner eller fjärrkluster som använder SLURM, PBS eller LSF. Indata är ett jobbskript eller en Python-uppgift; utdata är köstatus synlig via mq list.
Hur pålitlig är automatisk återinlämning för misslyckade jobb?
Appen startar automatiskt om uppgifter som misslyckas på grund av tidsgränser eller minnesutarmning, justerar resurser vid omförsök enligt den angivna logiken. Det beteendet minskar manuella omförsök genom att öka begärda resurser efter specifika misslyckandetecken. Beständig spårning bevarar tidigare försök, så att du kan inspektera misslyckandehistorik innan du accepterar en återinlämning. Återinlämningslogiken riktar sig mot resursrelaterade fel snarare än godtyckliga misslyckanden.
Är det säkert att använda på produktionskluster?
MyQueue kräver ingen separat databas eller administratörsrättigheter och lagrar tillstånd lokalt med SQLite och mappar, vilket håller operationerna transparenta. Den interagerar med schemaläggare med deras inbyggda kommandon, så den är beroende av schemaläggarens behörighetsmodell för jobb-inlämning och avbokning. Verktygets design undviker att skriva dolda systemtjänster; det fungerar från en användarmiljö och bevarar jobbpresentationer i arbetsmappen.
Behöver jag teknisk kunskap för att köra det?
Installation kräver en Python-miljö (Python 3.9 eller senare) och en pip-installation, och drift använder kommandorads-kommandon eller den angivna API:n. Vanliga användare som är obekanta med jobbskript eller virtuella miljöer kommer att möta en inlärningskurva eftersom arbetsflödet förväntar sig schemaläggarjobbbeskrivningar och miljöaktivering. Forskare och dataingenjörer som redan förbereder jobbskript och virtuella miljöer kommer att upptäcka att det stämmer överens med befintliga metoder.
Vem bör adoptera MyQueue och varför
MyQueue passar forskare och ingenjörer som skickar många kluster- eller lokala jobb och vill ha automatiserad återinlämning för resursrelaterade fel; det minskar manuellt försökande arbete samtidigt som det behåller jobbhistorik i en lokal SQLite-backad mapp. Förvänta dig ett kommandorads- eller skriptarbetsflöde och viss initial installation av Python och virtuella miljöer. Rekommenderas.
