Benchmark (informatica)

Con il termine benchmark si intende un insieme di test (collaudo o prova) del software volti a fornire una misura delle prestazioni di un computer per quanto riguarda diverse operazioni. Vi è in realtà una seconda definizione, relativa ai test di particolari software: in questo caso il benchmark è la determinazione della capacità di detto software di svolgere più o meno velocemente, precisamente o accuratamente, un particolare compito per cui è stato progettato.

Tipologie

Esistono software di benchmark appositamente studiati per misurare la velocità di un computer nell'eseguire calcoli di natura grafica, o altri che privilegiano la capacità nell'eseguire calcoli di natura gestionale.

Si possono distinguere due tipologie fondamentali di programmi per il benchmark:

• sintetici, mirano a misurare le prestazioni del sistema riguardo specifiche operazioni
• applicativi, si riferiscono all'esecuzione di software applicativo

In entrambi i casi il programma di test restituisce un indice che dovrebbe rappresentare le prestazioni del sistema.

I benchmark sintetici possono essere raggruppamenti di semplici test (microbenchmark) e fornire un risultato per ogni test eseguito. Spesso un'analisi di ciascun risultato risulta più affidabile dell'indice complessivo.

Dibattiti

La validità delle misurazioni delle prestazioni di un computer mediante benchmark è fonte di dibattiti perché l'interpretazione dei risultati è spesso complessa. Nel caso di benchmark sintetici che restituiscono un indice, vi è un'inevitabile perdita di informazione nel considerare il risultato complessivo, cosa che può portare ad un'errata interpretazione di esso.

Un problema che affligge i test di benchmark condotti dai produttori è che i programmi di test potrebbero essere scelti o costruiti in modo da privilegiare le caratteristiche dei propri prodotti.

Nel 2014 Intel chiude una class action decennale, ripagando alcuni degli utenti che fra novembre 2000 e giugno 2002 comprarono un Pentium 4 di prima generazione (Willamette) invece che un AMD Athlon, in quanto i test benchmark restituivano valori migliori per il Pentium 4, in quanto i test si basavano su operazioni in cui i Pentium andavano meglio, evitando quelle in cui gli Athlon avrebbero primeggiato. Alla fine il punteggio era calcolato correttamente, ma non era necessariamente veritiero.

Principi di benchmarking

Ci sono sette caratteristiche fondamentali per i benchmark. Queste proprietà chiave sono:

1. Rilevanza: i benchmark dovrebbero misurare caratteristiche relativamente vitali.
2. Rappresentatività: le metriche delle prestazioni di riferimento dovrebbero essere ampiamente accettate dall'industria e dal mondo accademico.
3. Equità: tutti i sistemi dovrebbero essere paragonati in modo equo.
4. Ripetibilità: è possibile verificare i risultati del benchmark.
5. Rapporto costo-efficacia: i test di benchmark sono economici.
6. Scalabilità: i test di benchmark dovrebbero funzionare su sistemi che possiedono una gamma di risorse da bassa ad alta.
7. Trasparenza: le metriche di benchmark dovrebbero essere facili da capire.

Tipi di benchmark

1. Programma reale
   • software di elaborazione testi
   • software strumento di CAD
   • software applicativo dell'utente (es.: MIS)
2. Component Benchmark / Microbenchmark
   • La routine principale consiste in una parte di codice relativamente piccola e specifica.
   • misurare le prestazioni dei componenti di base di un computer
   • può essere utilizzato per il rilevamento automatico dei parametri hardware del computer come il numero di registri, la dimensione della cache, la latenza della memoria, ecc.
3. Kernel
   • contiene codici chiave
   • normalmente astratto dal programma reale
   • kernel popolare: Livermore loop
   • benchmark linpack (contiene una subroutine di algebra lineare di base scritta in linguaggio FORTRAN)
   • i risultati sono rappresentati in Mflop / s.
4. Benchmark sintetico
   • Procedura per la programmazione di benchmark sintetici:
     • acquisire statistiche di tutti i tipi di operazioni da molti programmi applicativi
     • ottenere proporzione di ciascuna operazione
     • scrivere il programma in base alla proporzione di cui sopra
   • I tipi di benchmark sintetici sono:
     • Cote
     • Dhrystone
   • Questi sono stati i primi benchmark per computer standard del settore generici. Non ottengono necessariamente punteggi più alti sui moderni computer in pipeline.
5. Benchmark I/O
6. Benchmark di database
   • misurare il throughput e i tempi di risposta dei sistemi di gestione dei database (DBMS)
7. Benchmark paralleli
   • utilizzato su macchine con più core e / o processori, o sistemi costituiti da più macchine

Benchmark comuni

Note

Altri progetti

• Wikizionario contiene il lemma di dizionario «benchmark»
• Wikimedia Commons contiene immagini o altri file sul benchmark

Collegamenti esterni

• Bench-mark, su Treccani.it – Enciclopedie on line, Istituto dell'Enciclopedia Italiana.
• Benchmark, su Vocabolario Treccani, Istituto dell'Enciclopedia Italiana.
• benchmark, su sapere.it, De Agostini.
• (EN) Denis Howe, benchmark, in Free On-line Dictionary of Computing. Disponibile con licenza GFDL
• Come costruire un tavolo da benchmark, su hwmaster.com. URL consultato il 18 dicembre 2012 (archiviato dall'url originale il 31 dicembre 2012).

Portale Informatica: accedi alle voci di Wikipedia che trattano di informatica