diary/20060829

ベンチマーク乱立

モバイル用Core 2 DuoとCore Duoのベンチマーク比較記事が出た．期待していた情報なので興味深く読んだ．しかしCore 2 DuoはCore Duoに比べて約1割消費電力が増え，約1割性能が向上したというあまりにつまらない結果となっていた．約1割の性能向上というのは複数のベンチマークの平均値で，細かく見ていくとSSE4を使用するSandra 2007a Processor Multi-Media Benchmarkでは2倍超の性能向上，エンコードでは2割の性能向上，それ以外のテストでは1割以下の性能向上となっていた．
ここで何時もうんざりするのが，ベンチマークの種類の多さだ．プロセッサーの性能指標を一つのベンチマークで表現するのが難しいのは理解しているが，次から次へとベンチマークテストを作りあげるのはどうかと思う．これほど沢山出てしまうと，ベンチマークは自分に都合の良いものを作っても構わないのだなと勘違いする人が出ても不思議ではない．実際そういうつもりでベンチマークを作っている場合もあるだろう．これではベンチマークを信頼しろと言っても難しい．何とか客観的な指標にできないのだろうか．
スーパーコンピューターの世界ランキングを決めるベンチマークもベクトルパラレル機向けとスカラパラレル機向けが存在し，どういうベンチマークを使うかでランキングが異なる．これで世界ランキングと言えるのだろうか，いっそ「ゆめりあベンチでのスーパーコンピューター世界ランキングも発表したら」と皮肉を言いたくなる．
客観的な統一指標を作るのが望ましいと言っても，PSNRというトンデモ系の現実とは解離した指標を神のようにあがめたてまつる画像系の学会の連中のようになるのも考えものだし，なかなかに悩ましい問題だ．もしかしたらプロセッサーパワーを表わすのに統一指標を無理に作らずにそのつど指標を決めているのは，PSNRのような怪しい指標を使うよりはなんぼかマシだろうという判断なのかもしれない．