Denektaşı türleri; aşağıya inildikçe programlar küçülür ama gerçek iş yükünden uzaklaşır.
Denektaşı ya da sınama programı, bir bilgisayarın ya da bilgisayar bileşeninin başarımını ölçmek ve başka sistemlerle karşılaştırmak için çalıştırılan programdır. Ölçüm için tek bir program kullanılabileceği gibi bir program kümesi de kullanılabilir; ölçümde çalıştırılan programların tümüne iş yükü denir.
Denektaşları, işlemcinin kayan noktalı aritmetik hızı gibi tek bir yeteneği ölçebileceği gibi, bir veri tabanı sunucusunun dakikada tamamladığı işlem sayısı gibi bütün bir sistemin davranışını da ölçebilir. Sonuçlar yalnızca satın alma kararlarında değil, bilgisayar mimarisi araştırmasında tasarım seçeneklerini karşılaştırmak için de kullanılır.
Türleri
Başarım ölçümünde kullanılan programlar gerçek uygulamalardan ne kadar uzaklaştıklarına göre sıralanabilir.
Gerçek uygulamalar. Kullanıcının günlük işinde çalıştırdığı programların kendisidir. Girdileri, çıktıları ve kullanıcının seçebildiği seçenekleri vardır. Ölçümü en anlamlı olan sınıftır, ancak işletim sistemine ya da derleyiciye bağımlılıkları yüzünden taşınabilirlik sorunları çıkarır.
Değiştirilmiş uygulamalar. Gerçek uygulamalar ya taşınabilirliği artırmak ya da başarımın tek bir yanını öne çıkarmak için değiştirilir. Örneğin giriş çıkış işlemleri ayıklanarak yalnız işlemci başarımı ölçülür.
Çekirdekler. Gerçek programlardan çekilip alınmış küçük ve kritik kod parçalarıdır. Livermore döngüleri ile LINPACK bu sınıfın bilinen örnekleridir. Bütün bir uygulamanın başarımını göstermezler, belirli işlemleri yalıtarak ölçerler.
Oyuncak denektaşları. Genellikle 10 ile 100 satır arasında olan, sonucu çalıştırılmadan önce bilinen küçük programlardır. Eratosthenes kalburu ve hızlı sıralama bu türdendir.
Yapay denektaşları. Büyük bir program kümesindeki işlem ve işlenen sıklıklarını taklit etmek için yazılmış programlardır. En bilinenleri Whetstone ile Dhrystone'dur.
Yapay denektaşları ile oyuncak denektaşları zamanla gözden düşmüştür. Bunların kodu gerçek bir programdan çekilmediği için çekirdeklerden bile daha uzaktır ve derleyici ile donanım eniyilemeleri bu programların başarımını gerçek programlara yansımayan ölçüde artırabilir. Eniyileyen bir derleyicinin Dhrystone kodunun dörtte birini atabildiği, örneğin yalnız bir kez çalışan döngüleri kaldırabildiği gösterilmiştir.
Tarihçe
Yapay denektaşları
Whetstone, H. J. Curnow ile B. A. Wichmann'ın 949 ALGOL programında ölçtükleri işlem sıklıklarına göre kurulmuş on bir modülden oluşur ve 1976'da yayımlanmıştır. Sonuçları saniyede yürütülen bin Whetstone buyruğu (KWIPS) ile verilir.
Dhrystone'u 1984'te Siemens'te çalışan Reinhold Weicker yazdı. Whetstone'un tersine kayan noktalı işlem içermez; yordam çağrıları ile katar işlemleri ağırlıklıdır ve sistem programlama iş yükünü temsil etmek için tasarlanmıştır. Masaüstü dünyası bu iki programı 1990'larda bıraktıysa da gömülü sistem üreticileri Dhrystone sonucunu uzun süre daha duyurmayı sürdürdü.
Çekirdekler ve süper bilgisayarlar
Oak Ridge Ulusal Laboratuvarı'ndaki Summit süper bilgisayarı; TOP500 listesi süper bilgisayarları LINPACK sonuçlarına göre sıralar.
Livermore döngüleri, Lawrence Livermore Ulusal Laboratuvarı'nda F. H. McMahon ile arkadaşlarının süper bilgisayarlar için bir ölçüt kurma girişimidir.
LINPACK denektaşı, doğrusal cebir alt programları kitaplığı LINPACK'in 1979 tarihli kullanım kılavuzunun ekinde yayımlandı. Yoğun bir doğrusal denklem takımını çözer ve sonucu saniyedeki kayan noktalı işlem sayısıyla (FLOPS) verir. Dağıtık bellekli makineler için yazılan HPL uygulaması, denklem takımını çift duyarlıkta çözer. 1993'te başlatılan ve dünyanın en hızlı bilgisayarlarını altı ayda bir sıralayan TOP500 listesi, sıralama ölçüsü olarak bu denektaşını kullanır.
Kurumsal denektaşı takımları
SPEC CPU takımının kuşakları ve emekliye ayrılma tarihleri.
1980'lerde üreticilerin duyurduğu MIPS ile MFLOPS değerleri karşılaştırma için güvenilir bulunmuyordu. Bir grup iş istasyonu üreticisi 1988'de gerçekçi ve ortak sınamalar hazırlamak üzere Standard Performance Evaluation Corporation'ı (SPEC) kurdu. SPEC'in işlemci takımı belirli aralıklarla yenilenir; eski kuşak emekliye ayrılır ve sonuçları yeni kuşakla karşılaştırılmaz. İlk kuşak 1989'da çıktı, onu 1992, 1995, 1999, 2006 ve 2017 kuşakları izledi. Güncel kuşak, dört takıma bölünmüş 52 programdan oluşan ve Mayıs 2026'da çıkan SPEC CPU 2026'dır.
Veri tabanı ve işlem sistemleri için ölçüt hazırlayan Transaction Processing Performance Council (TPC) 1988'de sekiz şirketin katılımıyla kuruldu. 1992'de onaylanan TPC-C çevrimiçi işlem sınamasında ölçü, dakikada tamamlanan işlem sayısıdır. TPC-H ise karar destek iş yüklerini ölçer. TPC'nin sınamaları yalnız hız ölçmez; şartname, sistemin işlem güvenilirliği özelliklerini gösteren sınamaları ve sonucun yanında fiyat bilgisinin verilmesini de zorunlu kılar.
Gömülü sistemler
Gömülü işlemciler için ortak ölçüt hazırlamak üzere 1997'de EEMBC kuruldu. Kurumun 2009'da yayımladığı CoreMark, gömülü işlemci çekirdeklerini ölçen açık bir denektaşıdır ve bütün hesaplamalarını çalışma anında verilen değerlerle sürdürerek derleyicinin kodu atmasını engelleyecek biçimde tasarlanmıştır. EEMBC, 2023'te SPEC'in gömülü sistemler grubu oldu.
Yapay öğrenme
Yapay öğrenme iş yükleri için hazırlanan MLPerf takımlarından eğitim takımı 2018'de, çıkarım takımı 2019'da yayımlandı; iki takımı da yürüten MLCommons kurumu 2020'de kuruldu.
Tüketici denektaşları
Kişisel bilgisayar ve telefon kullanıcılarına yönelik denektaşları ayrı bir dal oluşturur. Primate Labs'in 2007'den bu yana geliştirdiği Geekbench işlemci ile grafik işlem birimini ölçer. Maxon'un Cinebench programı ise sistemi kendi üç boyutlu görüntü üretme yazılımının iş yüküyle ölçer.
Tarayıcılar için ayrı bir denektaşı ailesi vardır. Speedometer, web uygulamalarının tepkiselliğini, kullanıcı işlemlerini taklit eden örnek uygulamalar üzerinden ölçer. 11 Mart 2024'te yayımlanan 3.0 sürümü, üç tarayıcı motorunun geliştiricilerince (Blink, Gecko ve WebKit) birlikte hazırlanmıştır; ölçüm HTML5 olay döngüsüne taşınarak çizim işinin de süreye girmesi sağlanmış, takıma React, Vue ve Svelte gibi çerçevelerin yanında haber sitesi, çizelge ve metin düzenleyici örnekleri eklenmiştir.
Güç ve verimlilik
Başarımın yanında harcanan gücün ölçülmesi 2000'lerin sonunda ayrı bir denektaşı dalı doğurdu. SPEC'in 11 Aralık 2007'de duyurduğu SPECpower_ssj2008, sunucuların güç ve başarım özelliklerini birlikte ölçen ilk sanayi ölçünü denektaşıdır. Denektaşı sunucuyu boştan tam yüke kadar basamak basamak çalıştırır ve her basamakta hem işlem sayısını hem şebekeden çekilen gücü ölçer; sonuç, harcanan watt başına yapılan iş miktarı olarak verilir.
Süper bilgisayarlarda aynı işi Green500 listesi görür. 2006'da başlayan liste, TOP500 sistemlerini HPL denektaşındaki başarımlarının harcadıkları güce oranına göre, watt başına gigaflop olarak sıralar. Haziran 2026 listesinin başındaki KAIROS, HPL'de 3,046 petaflop/s ölçülürken watt başına 73,28 gigaflop vermiştir.
Sonuçların özetlenmesi
Oranlar ve geometrik ortalamayla bir takım sonucunun hesaplanmasına açıklayıcı örnek.
Bir takımdaki her program için ayrı bir süre ölçülür; bu sürelerin tek bir sayıya indirgenmesi ayrı bir sorundur. SPEC, her programın süresini bir başvuru makinesindeki süresine bölerek oran hesaplar ve takımın sonucunu bu oranların geometrik ortalamasıyla verir.
Geometrik ortalamanın seçilme nedeni, oranların hangi makineye göre hesaplandığından bağımsız olarak aynı göreli sonucu vermesidir. Normalleştirilmiş sonuçların aritmetik ortalamayla özetlenmesinin yanlış sonuçlara götürdüğü 1986'da gösterilmiştir. Geometrik ortalamanın kendi zayıflığı da vardır; toplam yürütme süresiyle orantılı bir sonuç vermediği için iki makinenin gerçek iş yükündeki süre farkını doğrudan yansıtmaz.
Koşum kuralları ve raporlama
Bir takımın sonuçlarının karşılaştırılabilir olması için nasıl derlenip nasıl koşulacağının da kurala bağlanması gerekir. SPEC CPU 2017 iki ayrı ölçüt tanımlar: taban ölçütünde takımdaki bütün programlar ortak bir derleyici seçenekleri kümesiyle derlenir, tepe ölçütünde ise her program için ayrı ayrı seçilmiş seçeneklerle derlenmesine izin verilir. Böylece az uğraşla elde edilen başarım ile programa özel ayarla ulaşılan en iyi başarım ayrı ayrı görülür.
Sonucun yayımlanabilmesi için SPEC'in incelemesi zorunlu değildir; kurallara uyan bir sonuç bağımsız olarak da yayımlanabilir. Buna karşılık kamuya açık kullanılan her sonuçta tam açıklama istenir: sistem yapılandırması, derleyici sürümleri ve kullanılan bütün seçenekler, sonucun başkalarınca yinelenmesine yetecek ayrıntıda bildirilir.
Denektaşı oyunları
Başarım sonuçları satışta kullanıldığı için üreticilerin üzerinde sonuçları yükseltme baskısı vardır. Bu baskı, donanım ve yazılım çalışmalarını gerçek programlara yansımayan eniyilemelere kaydırabilir. TPC kendi tarihçesinde, duyurulan başarım savları ile ölçülen sonuçlar arasındaki bu açıklığa İngilizce benchmarketing adının verildiğini yazar.
Bilinen örneklerden biri, ilk SPEC takımında yer alan ve 300'e 300 boyutunda sekiz matris çarpımından oluşan matrix300 çekirdeğidir. Derleyicinin iç döngüyü blok bölmeyle yeniden düzenlemesi aynı makinede başarımı dokuz kattan fazla artırmıştı; program sonraki kuşakta takımda yer almadı. Whetstone'da da derleyiciler karekök ile üstel işlev arasındaki ilişkiyi tanıyıp bütün karekök çağrılarını çarpmaya çevirebiliyordu; gerçek programlarda böyle bir durum beklenmez.
Sonuçları yayımlayan kurumlar zaman zaman sonuçların geçerliliğini geri alır. SPEC, bir derleyicinin takımın kodunu ve veri kümesini önceden bilerek belirli programların başarımını yükselttiği gerekçesiyle o derleyiciyle üretilmiş sonuçlara 2024'te uyarı notu düştü; basında bu notun eklendiği sonuç sayısı 2.600'ün üzerinde verildi.
Cep telefonlarında sınama programını adından tanıyıp yalnız o sırada daha hızlı çalışan aygıtlar da bulunmuştur. 2013'te Galaxy S4'ün grafik biriminin belirli sınama programlarında 533 MHz, öteki uygulamalarda 480 MHz saat sıklığında çalıştığı gösterildi. 2018'de UL, genel dağıtımdaki sınama programıyla adı değiştirilmiş gizli sürüm arasında %47'ye varan fark ölçtüğü üç Huawei ve Honor telefonunu listesinden çıkardı.
Derleyicinin başarım ölçümündeki yeri hukuki bir davanın da konusu oldu. Amerika Birleşik Devletleri Federal Ticaret Komisyonu 2009'da Intel'in kendi derleyicisi ile başarım savları konusunda yazılım üreticilerini ve denektaşı kurumlarını yanılttığını ileri sürdü; 2010'daki uzlaşma kararı şirkete, başarım sınamalarının Intel işlemciler için eniyilenmiş olabileceğini bildirme yükümlülüğü getirdi.
Denektaşları, yeni bir tasarımın donanımı yapılmadan önce benzetimlikler üzerinde iş yükü olarak çalıştırılır. Çevrim düzeyinde doğru bir benzetimlik gerçek donanımdan çok yavaş olduğu için bütün takımı baştan sona çalıştırmak çoğu zaman olanaksızdır; SPEC CPU 2000 programlarının bazıları 300 milyar buyruktan uzundur. Bu yüzden programın davranışını temsil eden kesitler seçilir ve benzetim yalnız bu kesitlerde yapılır.
↑Curnow, H. J.; Wichmann, B. A. (1976). "A synthetic benchmark". The Computer Journal (İngilizce). 19 (1). ss.43-49. doi:10.1093/comjnl/19.1.43.
↑Weicker, Reinhold P. (Ekim 1984). "Dhrystone: A synthetic systems programming benchmark". Communications of the ACM (İngilizce). 27 (10). ss.1013-1030. doi:10.1145/358274.358283.
↑Dongarra, J. J.; Moler, C. B.; Bunch, J. R.; Stewart, G. W. (1979). LINPACK Users' Guide (İngilizce). SIAM. doi:10.1137/1.9781611971811.
↑Dongarra, Jack J.; Luszczek, Piotr; Petitet, Antoine (2003). "The LINPACK Benchmark: past, present and future". Concurrency and Computation: Practice and Experience (İngilizce). 15 (9). ss.803-820. doi:10.1002/cpe.728.
↑"SPEC CPU Benchmarks" (İngilizce). Standard Performance Evaluation Corporation. 14 Eylül 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
12"SPECpower_ssj2008" (İngilizce). Standard Performance Evaluation Corporation. 1 Temmuz 2025 tarihinde kaynağından arşivlendi. Erişim tarihi: 18 Eylül 2026.
↑"SPEC CPU 2017 Overview" (İngilizce). Standard Performance Evaluation Corporation. 17 Eylül 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
↑Fleming, Philip J.; Wallace, John J. (Mart 1986). "How not to lie with statistics: the correct way to summarize benchmark results". Communications of the ACM (İngilizce). 29 (3). ss.218-221. doi:10.1145/5666.5673.
12Sherwood, Timothy; Perelman, Erez; Hamerly, Greg; Calder, Brad (2002). "Automatically characterizing large scale program behavior". Proceedings of the 10th International Conference on Architectural Support for Programming Languages and Operating Systems (İngilizce). ss.45-57. doi:10.1145/605397.605403.
.jpg)
