Věda | Strojové učení | Superpočítače

Chytrý systém rozpoznávání úloh dokáže efektivně zpracovat data v moderních superpočítačích

  • Vědci představili nový systém pro efektivní distribuci dat v superpočítačích
  • Systém založený na strojovém učení rozpoznává jednotlivé úlohy ke zpracování
  • Jednotlivé servery jsou efektivně využité a dochází k lepšímu rozložení zátěže

Tým vědců z Virginia Polytechnic Institute and State University uvedl nové řešení zaměřené na superpočítače, které pomáhá zefektivnit procesy zpracování jednotlivých úloh, které zahrnují přenosy obrovského množství dat.

Současné systémy ve velkém používají takzvaný Round-robin scheduling, což je základní plánovací algoritmus, který už na úrovni operačního systému určuje, jaký proces bude vykonán na daném hardwaru (procesor, grafická karta, úložiště) a v jakém pořadí. Problém je, že tento algoritmus vůbec neřeší objem dat či vlastnosti úlohy. To vede k mnoha případům, kdy dochází k neefektivnímu zatížení a zpomalení výkonu celého superpočítače. A právě to nový systém řeší.

Strojové učení na to jde chytře

Nový systém využívá strojového učení k tomu, aby dokázal rozpoznat nejen konkrétní úlohu, ale také třeba její typ. Díky tomu může správně vyhodnocovat pořadí a rozložení potřebných zdrojů tak, aby ke zpracování došlo efektivně a hlavně rychle bez toho, aby se superpočítač zbytečně „zasekl“.

Systém navíc řeší nejen aktuální potřeby v reálném čase, ale dokáže i velmi dobře predikovat následné potřeby a rozložit tak úložné a síťové zdroje ještě lépe. Díky tomu už monitorovací platforma dokáže správně vyhodnotit, že v blízké době dorazí velké množství dat, v jaké formě a včas uvolní potřebné zdroje.

Bez změny kódu

Hlavní výhodou je, že se jedná o end-to-end řešení, které nevyžaduje úpravu kódů stávajícího použitého softwaru, který je určen pro zpracování náročných úloh v různých fázích.

V rámci klasických optimalizací u superpočítačů je totiž téměř vždy nutné částečně upravit i používané aplikace, aby došlo k přizpůsobení jejich chování ve spojení s novým systémem rozložení zátěže. To samozřejmě stojí peníze a trvá nějakou dobu, protože se jedná o zásah někdy i velkého počtu programátorů.

Vysoká přesnost

Tvůrci se chlubí tím, že systém dokáže predikovat s velmi vysokou přesností 99 %, což bylo ověřeno u reálného systému a jeho úložného systému. Speciální server pro metadata rovněž neustále sbírá a vyhodnocuje informace z úložných systémů v reálném čase, díky čemuž ve výsledku dochází k optimálnímu vytížení a zpracování dat.

Podobné systémy postavené na strojovém učení budou hrát stále důležitější roli, protože již brzy bude na světě první superpočítač s výkonem v oblasti EXAFLOPS a s tím přichází i nutnost efektivně řešit zdroje novým a chytrým způsobem, a nikoli starými a jednoduššími algoritmy, které byly dostatečně v minulosti. 

Samotná technologie strojového učení jde navíc velmi rychle dopředu a s tím i různé akcelerátory, takže využití není problém ani z pohledu nákladů nebo výkonu.

Diskuze (1) Další článek: O stupeň výš. Recenze počítače Tesco s procesorem 486SX/25 a 486DX4/100 #Computer25

Témata článku: Věda, Umělá inteligence, Výzkum, Strojové učení, Superpočítače, Zpracování, Nový systém, Systém, Rozpoznávání, Super, Data, Chytrý systém, Úloha


Určitě si přečtěte

Šmírování kamerami Googlu: Koukněte, co šíleného se objevilo na Street View

Šmírování kamerami Googlu: Koukněte, co šíleného se objevilo na Street View

Google stále fotí celý svět do své služby Street View. A novodobou zábavou je hledat v mapách Googlu vtipné záběry. Podívejte se na výběr nejlepších!

redakce | 1

Galerie: Podívejte se na čínský Linux, se kterým to na svých PC zkusil i Huawei

Galerie: Podívejte se na čínský Linux, se kterým to na svých PC zkusil i Huawei

** Huawei se loni dostal do křížku s USA ** Začal to proto zkoušet s konkurenčním operačním systémem ** Jmenuje se Deepin a před pár dny se dočkal nové verze

Jakub Čížek | 37

Ubuntu 20.04: Zase vás chce přesvědčit, že je lepší než Windows

Ubuntu 20.04: Zase vás chce přesvědčit, že je lepší než Windows

** Britský Canonical před pár dny vydal novou verzi svého Ubuntu ** 20.04 LTS zapracovalo na grafickém desktopu, rychlosti i bezpečnosti ** V nitru tepe Linux 5.4 a volitelně i nový souborový systém

Jakub Čížek | 118

Čím nahradit Total Commander: 11 správců souborů nejen pro profíky

Čím nahradit Total Commander: 11 správců souborů nejen pro profíky

** Total Commander je fernomén mezi správci souborů ** Našli jsme 11 povedených alternativ ** Zvládnou to samé a ke všemu jsou většinou zadarmo

Karel Kilián | 81

Nový Apple Macbook Air je levnější, má větší SSD a vrací se k tradiční klávesnici

Nový Apple Macbook Air je levnější, má větší SSD a vrací se k tradiční klávesnici

** Nový MacBook Air opravuje nejzásadnější chyby dosavadní verze ** Dostal lepší klávesnici, výkonnější procesor a 256GB SSD ** Apple navíc snížil ceny

Martin Miksa | 54

10 věcí, které jste odkládali „na jindy“, ale teď je konečně můžete udělat

10 věcí, které jste odkládali „na jindy“, ale teď je konečně můžete udělat

** Karanténní opatření nás drží doma a mnozí mají více času navíc ** Připomeneme proto často odkládané činnosti uživatelů počítačů ** Právě teď je ten správný okamžik, kdy se do nich pustit

Karel Kilián | 75