Каковы аргументы против использования pystone для оценки общей относительной производительности системы в нескольких системах?

Question

Каковы аргументы против использования pystone для оценки общей относительной производительности системы в нескольких системах?

1

Я запускаю распределенный вычислительный проект, несколько похожий на различные проекты @home (хотя и не делает простых научных вычислений, а вместо этого иногда привлекает удаленный пользователь к задачам, связанным с представлением аудио и визуальных стимулов), и мне нужно чтобы получить представление об относительной производительности системы на компьютерах, которые запускают мое приложение, поэтому я могу исключить данные с машин, которые очень подпадают (потому что они, возможно, не преподнесли стимулы точно). Приложение написано на python, и я вижу, что модуль pystone предоставляет определенный тип тестов, но я также вижу, что в некоторых случаях pystone был пренебрежительным. Для моего относительно новичка понимания бенчмаркинга, pystone, возможно, не подходит для общего бенчмаркинга, потому что он сводит производительность до одного балла, но для моих целей, где все, что я хочу, - это единый счет для сравнения между машинами, я думаю, этого должно быть достаточно. Есть ли недостатки, которые мне не хватает для использования pystone для получения относительной общей производительности системы?

Mike Lawrence 25 апр. 2011, в 05:24

Источник

Теги:

python

benchmarking

1 ответ

Ещё вопросы

ncoghlan · Answer 1 · 2011-04-25T03-10-00.000Z

Большая проблема с Pystone как критерием чего-либо (будь то версии интерпретатора Python или базового оборудования) заключается в том, что он просто не выполняет достаточно разных аспектов вычислительной среды.

Целочисленная арифметика, арифметика с плавающей запятой, векторные операции, выделенное медиа аппаратное обеспечение, пропускная способность памяти, пропускная способность ввода-вывода, размеры кеша, архитектура потоков, конвейерная архитектура... список аппаратных функций, которые могут варьироваться в зависимости от машин, продолжается и продолжается, и это самая большая причина, почему первый вопрос в ответ на вопрос "Что быстрее, A или B?" обычно будет "Ну, для чего вы планируете использовать их?". Ответ на вопрос о скорости, вероятно, будет отличаться в зависимости от того, строите ли вы домашний медиацентр или веб-сервер или сервер базы данных и т.д.

Современные компьютерные системы - это сложные животные, а наложение виртуальных машин-интерпретаторов с их собственным сложным объектом и моделями исполнения сверху не облегчают. Наивный бенчмарк, такой как Pystone, позволит вам получить общее представление о базовом компьютерном хрюке процессора, но не расскажет вам ничего о других потенциально ограничивающих факторах машины.