Na čele pelotonu opravdu
fouká...
... v tom musíme dát miláčkovi našich mas opravdu za
pravdu. Ledva nová verze populárního benchmarku spatřila světlo světa, už se
kolem ní víří spektrum kontroverzních názorů pocházejících z významných
postů hardwarového průmyslu. Proč tolik povyku? Protože chlapci
z MadOnionu, nyní Futuremark Corporation, získali díky svým 3DMarkům
obrovský vliv na kupní rozhodování širokých mas. Nemůžeme se tedy divit, že se
na ně upírají oči marketingových oddělení všech dotčených firem, a způsob,
kterým 3DMark03 získává výsledky, je pod drobnohledem. Vezměme si události pěkně
popořádku.
NVIDIA se distancuje, mnozí
souhlasí...
Ještě předtím, než dal Futuremark počátkem minulého týdne
svůj poslední výtvor ke stažení, rozeslala NVIDIA některým významným periodikům
prohlášení, v němž označuje 3DMark03 jako vizuálně hezký, ale pro seriózní
benchmarkování zcela nepoužitelný nástroj. Tento svůj názor opodstatňuje
rozličnými argumenty, jejichž relevanci je obtížné posoudit – některé
z nich najdete dále v tomto článku. Reakce na sebe nedaly dlouho
čekat. Lars Weinand, recenzent grafických produktů na serveru Tom’s Hardware
Guide, zopakoval ve svém článku
postoj NVIDIE a v podstatě se k němu přiklonil. Lze souhlasit
s tím, že (bez ohledu na ryze technické záležitosti) jeden
z argumentů je vysoce závažný: vysoká optimalizace grafických ovladačů
pro jeden konkrétní benchmark. Weinand se údajně nedávno setkal
s vývojářem her, který se zmínil o zajímavém faktu: ovladače mohou
snadno rozpoznat určitý shaderový kód (například součást některého testu
3DMarku) a „za běhu“ ho nahradit vlastním, pro vlastní čip vysoce
optimalizovaným kódem – ten je pak použit, aniž by benchmarkovací program cokoli
poznal. Je nasnadě, že při takovémto stupni optimalizace by daný benchmark
opravdu ztrácel valnou část svého smyslu...
NVIDIA své tvrzení pádně dokumentovala tím, že předvedla kouzelnou optimalizaci svých ovladačů pro 3DMark03: čísla, která vidíte v následující tabulce, mluví za vše. Tam, kde s ovladači Detonator 42.63 GeForce FX krutě zaostává za Radeonem 9700 Pro, si s verzí 42.68 poskočí o 1785 bodů (!) a vyšvihne se o více než 500 bodů před Radeon.
„Abychom se vůbec mohli stát beta partnery Mad Onionu, museli jsme jim zaplatit...“, říká Tony Tamasi, člen vedení NVIDIE. „To znamená, že jsme se museli snažit, abychom měli jistotu, že 3DMark poběží dobře na našem hardwaru. Celá ta energie, kterou jsme zde vynakládali, byla koncovému uživateli k ničemu. Nic. Nula. Celé to úsilí se kladně neprojeví ani v žádné hře. To je trochu deprimující.“ Podle NVIDIE nutí 3DMarky dodavatele hardwaru pouze k tomu, aby plýtvali své hodnotné lidské zdroje na optimalizaci pro „umělé případy“.
... Futuremark se ale hájí
a ATI přitakává
Jak se dalo očekávat, předběžný pohled ATI na
celou záležitost je podstatně odlišný. Na širší vyjádření si ještě budeme muset
počkat, nicméně již zazněl například protiargument na kritiku, kterou NVIDIA
vznesla směrem k přírodní scéně nového 3DMarku – ta má být tradičně
prubířským kamenem pro ty nejvýkonnější grafické karty a klade si za cíl
reprezentovat aplikace a hry pro rozhraní DirectX 9, které se mají objevit
v letošním roce. NVIDIA říká: „Hlavním problémem je, že tato scéna je sotva
reprezentací DirectX 9. Sedm z devíti pixel shaderů použitých v tomto
testu je verze 1.4, tj. DX8. ... Jen dva pixel shadery jsou verze 2.0. Jedná se
v nejlepším případě o slabý náznak budoucnosti her, a možná ani
to ne.“ ATI na to říká: „Vývojáři nebudou používat shadery verze 2.0 jen
proto, že mohou. Použijí kterýkoli shader, který zastane požadovanou práci
v požadované kvalitě a co nejkratším čase. Zde slouží shader 2.0
k nádherné simulaci vody, ale použít ho pro většinu ostatních věcí ve scéně
by bylo jako jít s kanónem na vrabce.“
K 3DMarku03 se pozitivně vyjádřil i jindy mlčící Intel a obsáhlejší odpověď přišla samozřejmě od tvůrců 3DMarku03. Když jsem si otevřel onen čtyřstránkový dokument ve formátu PDF, mou první akcí bylo vyhledání řetězce „NVIDIA“. Kdo by čekal, že mladí Finové budou adresní, utrpí zklamání – hlavní kritik není ani jednou jmenován. Pokud budu abstrahovat od techničtějších částí dokumentu, Futuremark odpovídá na námitky v kostce takto:
1) Futuremark doporučuje nezávislým testerům používat kromě 3DMarku03 jako doplněk i konkrétní hry. Považuje však 3DMark03 za daleko obecnější měřítko výkonu – jedině dobré syntetické benchmarky umožňují skutečně porovnávat jablka s jablky.
2) Pro porovnávání hardwaru kompatibilního s DirectX 7 a/nebo první generací DirectX 8 by měl být použit 3DMark2001; 3DMark03 je určen pro hardware kompatibilní s DX9.
3) Pro benchmarkování by měly být vždy používány standardní ovladače s certifikací WHQL. „3DMark03 obsahuje pokročilé analytické nástroje, které umožňují nezávislému pozorovateli zachytit jakoukoli diskutabilní optimalizaci ovladačů. Média mohou takovýmto optimalizacím zamezit tím, že vůči nim zaujmou tvrdý postoj.“
Svět není
černobílý...
... a nebude taková ani záležitost jménem 3DMark03. Osobně
doufám, že nový 3DMark neobsahuje žádný úmyslný „kód pomsty“ namířený proti
hardwaru NVIDIE – to by bylo pro firmu Futuremark vysoce kontraproduktivní.
Během času se v každém případě přesvědčíme, nakolik 3DMark03 dobře
reprezentoval požadavky budoucích her, a nakolik nám dobře poradil
v tom, kterou grafickou kartou se vybavit. Chceme-li být skutečně
v obraze a moci zaujmout kvalifikované stanovisko ve výše popsaném
sporu, nezbývá nám, než sledovat bedlivě další vývoj grafického softwaru
a hardwaru. A to je (minimálně mým :-) úmyslem.
Zdroje: Tom's Hardware Guide, ExtremeTech, VR-Zone
