Hodnocení výkonnosti počítačů

Protože bylo třeba porovnat výkonnost počítačů, byl nejstarší takový údaj brán jako počet operací za sekundu. Navíc je při porovnání třeba rozlišit, zda se jedná o operace s pevnou či pohyblivou řádovou čárkou.

Počítače s pevnou řádovou čárkou Používají se jednotky výkonnosti počítačů a to KIPS (= 10 3 ), MIPS (= 10 6 ) a GIPS (= 10 9 ). Tyto jednotky mají odvozen název od Kilo, Mega, Giga Instruction Per Second. U starých pomalých počítačů se používaly zákonitě jednotky KIPS, protože se u nich jednalo jen o tisíce operací za sekundu. U současných počítačů se pak jedná o miliony operací se nejčastěji používá GIPS, což jsou 1000 MIPS. V americké literatuře je často GIPS nahrazeno BIPS - billion instruction per second.

Počítače s pohyblivou řádovou čárkou Pro počítače, které pracují s pohyblivou řádovou čárkou se používají jednotky FLOPS (Floating- point operation per second) - t.j. počet operací s plovoucí řádovou čárkou. Zde se pak používají jednotky KFLOPS (= 10 3 ), MFLOPS (= 10 6 ) či GFLOPS (= 10 9 ). Protože však operace v pevné i plovoucí řádové čárce jsou prováděny v různých aritmetických jednotkách, pak i hodnoty výkonnosti jsou různé. Výkonnost může být v jednom či druhém systému větší či menší. Metody hodnocení výkonnosti počítače pro různá použití jak vyplývá z výše uvedeného se liší. To z toho důvodu, že jsou na něj kladeny různé požadavky.Proto se jeví jako mnohem objektivnější hodnocení výkonnosti z doby odezvy, propustnosti systému a podobně.

Mixy Propustnost systému je vlastně počet úloh zpracovaných počítačem za jednotku času, což je ale v reálné podobě složitá záležitost. Co to je vlastně propustnost počítačového systému? Propustnost počítačového systému je založena na použití instrukčních mixů, což jsou bloky nejpoužívanějších instrukcí vyskytujících se s určitou pravděpodobností v daném typu úkolu. Jsou to vlastně nejstarší zkušební úlohy. Jedná se v nich o stanovení průměrné doby nezbytné k provedení 1 strojové instrukce (Tp v mikrosekundách). Z této hodnoty se pak určuje průměrný počet instrukcí za 1 sekundu.

Výkon počítače (P) pro 1 konkrétní instrukci v mikrosekundách je dán vztahem: P = 1/Tp Protože se pro běžný provoz počítače bere blok instrukcí dle pravděpodobnosti, t.j. takový vzorek, který je váhově založen na četnosti výskytu té které instrukce (čím větší pravděpodobnost, tím vícekrát se bude instrukce ve vzorku opakovat). V bloku je maximálně do 30 nejčastěji používaných instrukcí. Takto získaným vzorkem četnosti instrukcí se simuluje reálné zatížení počítače a nazývá se instrukční mix. Z vah instrukcí se pak zjišťuje průměrný čas jedné instrukce při běžném provozu počítače.

Tyto mixy však nejsou až tak úplně přesné. To z toho důvodu, že :  vzorky jsou realizovány pro konkrétní instrukční soubor  četnost závisí na programátorovi  stanovené váhy se liší v závislosti na úloze, vstupních datech atd.  je nepřesně definovaná prováděcí doba instrukcí  jsou rozdíly mezi statickou a dynamickou četností výskytu instrukcí

Hlavní rozdíly mezi statickou a dynamickou četností jsou dány větvením programu a cykly (je to volání podprogramu, skoky atd). Chyby mezi nimi však výrazněji neovlivní výsledek. Gibsonovy mixy Další mix je z roku 1965, ve kterém bylo 29 nejpoužívanějších instrukcí pro počítač IBM S další generací počítačů kdy se měnil způsob programování a operační kód byly vyvinuty nové mixy a to Gibson III, IIID, IIIE.

Mix GPO Tento mix byl vyvinut pro počítače určené pro hromadné zpracování dat. Do výpočtu výkonnosti počítače byly zahrnuty i periferie.

Zkušební úkoly Aby byla komplexně podchycena propustnost celého počítače a nikoliv jen vlastního procesoru jako u mixů, byla vyvinuta zkušební úloha (benchmark). Protože jde o komplexní test, uplatňuje se zde vliv operačního systému, překladače, systému I/O atd. To z toho důvodu, že uživatel může mít extrémně výkonný procesor, ale když jeho činnost je neúměrně zpomalena ostatními částmi, pak mu to není nic platné.

Zkušební úlohy lze v tomto případě rozdělit do 3 částí z nichž se v současné době používá jen poslední skupina :  přirozené programy bez úprav  zkrácené přirozené úkoly převzaté z programů  umělé zkušební testy vytvořené jen pro zjišťování výkonnosti počítačového systému Jako příklad takovýchto testů slouží Win Bench 96 a Win Stone 96.

Win Bench 96 Tento testovací program byl vyvinut pro testování výkonu jednotlivých částí počítačů. Tímto testovacím programem se zjišťuje výkon pevného disku, grafické karty a procesorového subsystému. Skládá se z řady specializovaných testů jako :  CPU mark 16 - je specializovaný na výkon procesorového subsystému (procesor, IVP a operační paměť) při zpracování 16bitových instrukcí ve Windows 95  CPU mark 32 - je to obdoba CPU mark 16 jen s tím rozdílem, že se pracuje s 32bitovými instrukcemi

 CD ROM WINMARK 96 – měří výkon CD-ROM mechaniky čtením různě velkých bloků dat s proměnlivými požadavky na přenosovou rychlost. Poměr je vypočten z přenosové rychlosti a zatížení CPU při čtení CD-ROM. Test je založen na 6 CD-ROM titulech  DISK WINMARK 96 – měří výkon diskového subsystému pod W95. Testy používají různé soubory a operace v poměru založeném na rozsáhlém profilování diskových přístupů existujících aplikací.  GRAPHICS WINMARK 96 – měří výkon grafického systému pod W95. Spouští se řada různých testů kvůli prověrce práce s WIN GDI (Graphics Device Interface).

Win Stone 96 Je to program zaměřený na celkový výkon počítače v běžných windowsovských aplikacích. Proto jsou v něm fragmenty programů jako Power Point, dBase pro Windows, Paradox pro Windows Access a další. Výsledky testů jsou jen indexy z nichž se poté vypočítává výsledný index výkonu počítače. Test měří čas, který systém potřebuje pro vykonání sady skriptů ve 13 nejprodávanějších verzích 32bitových windowsovských aplikací (W95). Udává odhad celkové výkonnosti.

Whetstone Tento program byl vytvořen na Oxfordské univerzitě v roce 1976 s použitím jazyka ALGOL. Vlastní překladač byl vyvinut v anglickém městě Whetstone a odtud byl odvozen jeho název. Je to speciálně připravená zkušební úloha s výpočty v pevné i pohyblivé řádové čárce, s podmíněnými skoky a voláním podprogramu. Je používán k měření propustnosti při vědeckotechnických výpočtech.

Používají se 2 varianty programu a to s jednoduchou a dvojitou přesností (32 a 64 bitů). Úloha je rozdělena na 11 programových částí. Každá část má takový počet opakování, aby četnost výskytu každé z whetstonských instrukcí odpovídala jejich mixu. Příklad takovýchto operací jsou následující vztahy : A1 := (A1 + A2 + A3 - A5) * 0,5 X := T * arctg(2.0 * sin(x) * cos(x)/cos(X+Y) + cos(X-Y) - 1.0)

Dhrystone Je to další typ zkušební úlohy, která je soustředěna v tomto případě nikoliv na numerické výpočty, tedy žádné výpočty v pohyblivé řádové čárce, ale na systémové programování. Byl vyvinut v USA v jazyce ADA a přepsán do dalších jazyků jako PASCAL a C. Provádí skupiny celočíselných výpočtů, které obsahují manipulaci s datovými typy integer, string a array. Oproti předchozím nemají cykly větší počet opakování. Výkon je v Dhrystonech. Příklad takovýchto operací : B1 := V2 B1 := const

Linpack Je to opět další zkušební úloha, při které se provádí řešení soustavy 100 lineárních rovnic a výpočtů s pohyblivou řádovou čárkou. Většina programu je napsána ve FORTRANu a výkonnost se udává v jednotkách MFLOPS. Užívá se :  velké množství operací v pohyblivé řádové čárce ovšem s omezením jen na několik typů  velké opakované množství jednoduchých funkcí typu: Z(i):= Z(i) + A * X(i)

 data v matici 100 x 100 a jádro programu je omezeno na několik instrukcí Při porovnávání výsledků je třeba rozeznávat jaký systém byl použit :  rozvinutý či nerozvinutý tvar cyklů (rolled/unrolled)  výpočet v jednoduché či dvojnásobné přesnosti

Norton index Při testování nových počítačů se v některých časopisech používá Norton index. Všechny proměnné jsou typu integer a jádro úlohy má tvar : for I :=0 to 99 do begin a := 88 b := a DIV 3 a := b MUL 1234 end Určuje se výkonnost procesoru při značném omezení vlivu operačního systému.

Specmark Byly vyvinuty nové zkušební programy SPEC (System Performance Evaluation Cooperative). Jedná se o 10 programů v jazycích FORTRAN a C. Výsledky jsou udávány vzhledem k počítači VAX a uvádějí se jako průměr 10 relativních výkonů.

Transakce Jedná se o testování počítačového systému pro bankovní potřeby a to v reálném čase (OLTP - OnLine Transaction Processing). Jsou to metody značně odlišné od dosud probíraných.