Standard Performance Evaluation Corporation

редактировать
Standard Performance Evaluation Corporation
SPEC-logo reg.png
Образование1988
ТипНекоммерческая корпорация
Головной офисГейнсвилл, Вирджиния
ЧленствоПоставщики оборудования и программного обеспечения, университеты, исследовательские центры
Персонал5
Веб-сайтwww.spec.org

The Standard Performance Evaluation Corporation (SPEC) - американская некоммерческая корпорация, цель которой - «производить, устанавливать, поддерживать и поддерживать стандартизированный набор» тестов производительности. arks для компьютеров.

SPEC была основана в 1988 году. Тесты SPEC широко используются для оценки производительности компьютерных систем; результаты тестирования опубликованы на сайте SPEC.

SPEC превратилась в головную организацию, включающую четыре разные группы; Группа по производительности графики и рабочих станций (GWPG), Группа высокой производительности (HPG), Группа открытых систем (OSG) и новейшая исследовательская группа (RG).

Содержание
  • 1 Структура
    • 1.1 Группа открытых систем (OSG)
    • 1.2 Группа высокой производительности (HPG)
    • 1.3 Группа производительности графики и рабочих станций (GWPG)
    • 1.4 SPEC Исследовательская группа (RG)
  • 2 Членство
  • 3 Уровни членства
  • 4 Тестовые наборы SPEC
    • 4.1 Облако
    • 4.2 ЦП
    • 4.3 Портативный компьютер
    • 4.4 Производительность графики и рабочих станций
      • 4.4.1 SPECwpc
      • 4.4.2 Высокопроизводительные вычисления, OpenMP, MPI, OpenACC, OpenCL
        • 4.4.2.1 OMP
    • 4.5 Клиент / сервер Java
      • 4.5.1 JBB
      • 4.5.2 jEnterprise
    • 4.6 Почтовые серверы
    • 4.7 Хранилище
    • 4.8 Мощность
    • 4.9 Виртуализация
    • 4.10 Веб-серверы
  • 5 Инструменты SPEC
  • 6 Программа поиска эталонных показателей
  • 7 Устаревшие эталонные тесты (без преемников)
  • 8 устаревших тестов (больше не документированных)
  • 9 Переносимость
  • 10 Лицензирование
  • 11 Культура
  • 12 Ссылки
  • 13 Внешние ссылки
Структура

The Open Systems Group (OSG)

Группа высокой производительности (HPG)

Группа производительности графики и рабочих станций (GWPG)

Исследовательская группа SPEC (RG)

Членство

Членство в SPEC открыто для любой заинтересованной компании или организации, желающей соблюдать стандарты SPEC. Это позволяет:

  • Участие в разработке тестов
  • Участие в обзоре результатов
  • Бесплатное программное обеспечение на основе участия в группе

Список участников доступен на странице членства SPEC; [1].

Уровни членства
  • Постоянное членство требует оплаты членских взносов и обычно включает компании, выпускающие оборудование или программное обеспечение.
  • «Партнеры» SPEC платят сниженный взнос и обычно включают университеты.
  • SPEC «Поддерживающие участники» приглашаются к участию в разработке единого эталонного теста и не платят взносов.
Комплекты эталонных тестов SPEC

эталонные тесты предназначены для тестирования «реальных» ситуаций. Существует несколько тестов для тестирования Java-сценариев, от простых вычислений (SPECjbb) до полной системы с Java EE, базой данных, диском и сетью (SPECjEnterprise).

Комплекты SPEC CPU тестируют производительность CPU, измеряя время выполнения нескольких программ, таких как компилятор GCC, программа химии gamess и программу погоды WRF. Различные задачи имеют одинаковый вес; не предпринимается попыток взвесить их на основе их предполагаемой важности. Общий балл основан на среднем геометрическом.

Облако

Измерение и сравнение предоставления, вычислений, хранения и сетевых ресурсов облачных платформ IaaS.

  • SPEC Cloud IaaS 2018
  • SPEC Cloud IaaS 2016

CPU

Поддерживаемый текущийОтменено
ПоследниеБудет прекращено
  • SPEC CPU2017
  • SPEC CPU2000
  • SPEC CPU95
  • SPEC CPU92

Измерение и сравнение совокупной производительности процессора, памяти и компилятора.

  • SPEC CPU2006 содержит два набора:
    • CINT2006 ("SPECint ") - тестирование целое число арифметика с такими программами, как компиляторы, интерпретаторы, текстовые процессоры, шахматные программы и т. Д.
    • CFP2006 ("SPECfp ") - тестирование производительности с плавающей запятой, с физическим моделированием, трехмерной графикой, обработкой изображений, вычислительной химией и т. д.
  • Пакет SPEC CPU 2017 содержит четыре набора.
    • Наборы SPECspeed 2017 Integer и SPECspeed 2017 Floating Point используются для сравнения времени на компьютере с выполнять отдельные задачи.
    • SPECrate 2017 Integer и SPECrate 2017 Floating Point s Инструменты измеряют пропускную способность или работу в единицу времени.

Портативная

Графическая система и производительность рабочей станции

Измерение производительности системы трехмерной графики OpenGL, протестированной с различными методами рендеринга задачи из нескольких популярных реальных 3D-приложений в данной системе.

Benchmark SuiteТекущая версияСтарые версии
SPECviewperfSPECviewperf 13
  • SPECviewperf 12
  • SPECviewperf 11
SPECwpcSPECwpc v2.1
SPECapc
SPECapc для 3ds Max ™SPECapc для 3ds Max ™ 2015
  • SPECapc для 3ds Max ™ 2011
SPECapc для MayaSPECapc для Maya 2017
  • SPECapc для Maya 2012
SPECapc для PTC CreoSPECapc для PTC Creo 3.0
  • SPECapc для PTC Creo 2.0
SPECapc для Siemens NXSPECapc для Siemens NX 9.0 и 10.0
  • SPECapc для Siemens NX 8.5
SPECapc для SolidWorksSPECapc для SolidWorks 2017
  • SPECapc для SolidWorks 2013

SPECwpc

Высокопроизводительные вычисления, OpenMP, MPI, OpenACC, OpenCL

Benchmark SuitesПоддерживаемые в настоящее времяИсключены
HPC(нет)
  • SPEC HPC2002
  • SPEC HPC96
OMP
  • SPEC OMP2012
  • SPEC OMP2001 V3.2
MPI
  • SPEC MPI2007
(нет)
ACCEL
  • SPEC ACCEL
(нет)
OMP

SPEC OMP (OpenMP ) является первым тестом для оценки производительности на основе приложений OpenMP, для измерения производительности систем SMP (Multi-Processor Shared memory, т.е. UMA )..

Java Client / Server

Benchmark SuiteПоддерживается в настоящее времяОтменено
ПоследниеБудет удалено
jAppServer(нет)(нет)
  • SPECjAppServer2004
  • SPECjAppServer2002
  • SPECjAppServer2001
JBB
  • SPECjbb2015
(нет)
  • SPECjbb2013
  • SPECjbb2005
  • SPECjbb2000
jEnterprise
  • Веб-профиль SPECjEnterprise 2018
  • SPECjEnterprise 2010
(нет)(нет)

.

JMS
  • SPECjms2007
(none)(нет)
JVM
  • SPECjvm2008
(нет)
  • SPECjvm98

JBB

оценивает производительность Java на стороне сервера, эмулируя трехуровневую систему клиент / сервер (с акцентом на средний уровень).

jEnterprise

Многоуровневый тест для измерения производительности серверов приложений на базе технологии Java 2 Enterprise Edition (J2EE).

Почтовые серверы

Поддерживаемые в настоящее времяСписаны
(нет)
  • SPECmail2009
  • SPECmail2008
  • SPECmail2001

Хранилище

Поддерживаемый токОтменено
  • SPEC SFS 2014
  • SPECsfs2008
  • SPEC SFS97_R1 (3.0)
  • SPEC SFS97 (2.0)
  • SPEC SFS93 (LADDIS)

SPEC SFS предназначен для измерения пропускной способности файлового сервера и времени отклика с поддержкой доступа по протоколам NFS и SMB.

Мощность

Поддерживаемый токОтменено
  • SPECpower_ssj 2008
(нет)

.

Виртуализация

Поддерживаемый токОтменено
  • SPEC virt_sc2010

Веб-серверы

Поддерживаемые текущиесняты с производства
(none)
  • SPECweb2009
  • SPECweb2005
  • SPECweb96
  • SPECweb99
  • SPECweb99_SSL
SPEC Tools
  • Инструмент оценки эффективности сервера (SERT). Предназначен для измерения эффективности сервера, первоначально как часть второго поколение программы ENERGY STAR для компьютерных серверов Агентства по охране окружающей среды США (EPA).
  • SPEC Chauffeur WDK Tool. Разработан для упрощения разработки рабочих нагрузок для измерения энергоэффективности и производительности.
  • PTDaemon. SPEC Программное обеспечение PTDaemon используется для управления анализаторами мощности в тестах, которые содержат компонент измерения мощности.
Программа поиска тестов
  • SPEC CPUv6, Программа поиска ЦП стремится поощрять тех, кто находится за пределами SPEC, чтобы помочь им найти приложения, которые можно было бы использовать в следующем наборе тестов, интенсивно использующем ЦП, который в настоящее время обозначается как SPEC CPUv6. Устарело.
Устаревшие тесты производительности (без преемника)
  • SPEC SDM91
  • SPECsip_infrastructure2011 - тест по-прежнему доступен для покупки, но дополнительные результаты не принимаются и поддержка больше не предлагается.
Устаревшие тесты (больше не документированные)
  • SPECapcSM для Lightwave 3D 9.6, программное обеспечение для оценки производительности систем, на которых работает программное обеспечение NewTek LightWave 3D v9.6.
  • SPEC 2001
  • SPEC CPU89
Переносимость

Тесты SPEC написаны на переносимом языке программирования (обычно C, C #, Java или Fortran ), и заинтересованные стороны могут компилировать код, используя любой компилятор, который они предпочитают для своей платформы, но не могут изменять код. Известно, что производители оптимизируют свои компиляторы для повышения производительности различных тестов SPEC. В SPEC есть правила, которые пытаются ограничить такую ​​оптимизацию.

Лицензирование

Чтобы использовать эталонный тест, необходимо приобрести лицензию у SPEC; Стоимость варьируется от теста к тесту и составляет обычно от нескольких сотен до нескольких тысяч долларов. Эта модель с оплатой за лицензию может показаться нарушением GPL, поскольку тесты включают программное обеспечение, такое как GCC, на которое распространяется лицензия GPL. Однако GPL не требует, чтобы программное обеспечение распространялось бесплатно, только чтобы получателям было разрешено распространять любое программное обеспечение под GPL, которое они получают; лицензионное соглашение для SPEC специально исключает элементы, относящиеся к «лицензиям, требующим бесплатного распространения», а сами файлы помещаются в отдельную часть общего программного пакета.

Культура

SPEC пытается создать среду, в которой споры разрешаются путем апелляции к понятиям технической достоверности, репрезентативности или «равных условий игры». Представители SPEC, как правило, являются инженерами, обладающими опытом в исследуемых областях. Тесты включают в себя «правила выполнения», которые описывают условия измерения и требования к документации. Результаты, которые публикуются на веб-сайте SPEC, проходят экспертную оценку инженерами по производительности участников.

Ссылки
Внешние ссылки

Последняя правка сделана 2021-06-09 07:36:58
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте