| 1 |
A Comprehensive Review of Performance Testing Methodologies and Best Practices |
Обзор классических типов тестирования: нагрузочное, стрессовое, ёмкостное и др. Методология включает следующие этапы: 1) планирование тестирования (определение целей, требований, метрик), 2) подготовка тестового окружения (установка ПО, настройка), 3) разработка и запуск тестов, 4) сбор и агрегирование метрик, 5) глубокий анализ и валидация данных с применением статистики. Подчеркивается важность автоматизации и репродуцируемости тестов. |
Обобщённо: нагрузки, сборщики метрик, аналитические утилиты (не конкретизированы) |
Универсальность без конкретики по инструментам и средам виртуализации требует адаптации под конкретные задачи. |
Ключевой вывод — важность планового, комплексного и детального подхода к тестированию, без излишней зависимости от отдельных инструментов, с сильной поддержкой автоматизации и анализа данных. |
| 2 |
Performance Evaluation of Linux Operating Systems |
Методология сравнительного тестирования трёх Linux-дистрибутивов с однородной нагрузкой, охватывающей CPU (процессы), память, диск и сеть. Тесты выполняются циклически с фиксированными параметрами, для повторяемости. Подробный сбор системных метрик и логирование в стандартизованной среде. Результаты обрабатываются с учётом статистики и различий в оптимизациях дистрибутивов. |
vmstat, iostat, htop, ping |
Ограничено тремя дистрибутивами и базовыми нагрузками, без анализа сложных сценариев и VM-образов. |
Демонстрирует влияние системной конфигурации и оптимизаций на производительность; методология хороша для базового сравнительного тестирования. |
| 3 |
Experimental Evaluation of Desktop Operating |
Генерируются нагрузочные сессии iperf, фиксируются показатели пропускной способности, задержек, потери пакетов. Данные пакетов анализируются инструментами трафика (Wireshark). Тесты выполняются с многократным повтором и контролем внешних факторов. Анализ включает статистический методы и временные срезы для выявления закономерностей. |
iperf, Wireshark, ping |
Фокус исключительно на сетевой подсистеме Windows, ограниченная применимость к Linux, хотя инструменты кроссплатформенные. |
Предлагаемый многомерный анализ сетевого перформанса применим и для Linux, но ограничен анализом сети. |
| 4 |
Performance Evaluation of Recent Windows Operating Systems |
Методология заключается в построении стресс-тестов, имитирующих реальные сценарии работы системы, с адаптацией сценариев под версию ОС. Собираются показатели производительности с помощью встроенных системных инструментов и автоматизированных скриптов. Особое внимание уделяется автоматизации и репрезентативности тестовой нагрузки, а также учёту изменений конфигурации. |
Встроенные системные инструменты Windows (не конкретизированы) |
Ограничен платформой Windows, отсутствие детального списка и описания инструментов. |
Акцент на качество сценариев и автоматизацию важен для оценки производительности, но методология слабо переносима на Linux и ВМ. |
| 5 |
Automated Monitoring and Analysis of Network Traffic in Linux Using Scripts and System Tools |
Автоматизация набора сетевых тестов средствами собственных bash-скриптов. Создание сценариев для синтетической нагрузки, сбор логов в CSV, построение графиков средствами gnuplot. Методология предусматривает полный цикл — от запуска, сбора метрик до наглядной визуализации для быстрого анализа аномалий и трендов. |
Bash-скрипты, gnuplot |
Ограничено сетевым тестированием. |
Прикладной пример интеграции измерений, сбора и визуализации, полезный для сетевой подсистемы и автоматизированного анализа. |
| 6 |
Measuring Software Performance on Linux |
Подход с выделением трёх ключевых компонентов: 1) аппаратные и ОС-факторы, влияющие на perf-измерения, 2) выявление источников ошибок и накладных расходов измерений (например, синхронизация, прерывания), 3) рекомендации по настройкам Linux (CPU affinity, governor и др.) для минимизации ошибок. Тесты запускаются повторно, с настройкой параметров ОС. Важен контроль всех слоёв измерений — пользователя и ядра. |
perf, strace, ftrace |
Требуется высокий уровень знаний, сложная настройка для корректных измерений, не предназначена для быстрого внедрения. |
Подход ориентирован на получение корректных результатов с акцентом на аппаратные аспекты и системные настройки. |
| 7 |
Netflix Linux Perf Analysis 60s |
Пошаговая методология: начало с анализа текущей нагрузки, сбор живых метрик (perf, vmstat, dstat), поиск узких мест через flamegraph и анализ узконаправленных состояний выполнения (syscalls, blkio, TCP). Важна организация периодических срезов для выявления корреляций. Обязательно документирование окружения, конфигураций и запуск тестов под контролем. |
perf, vmstat, dstat, top, flamegraph |
Методология заточена под серверы с интенсивной нагрузкой. |
Индустриальная практическая методика профилирования и мониторинга, дающая глубокий анализ узких мест с использованием визуализации и продолжительного мониторинга. |
| 8 |
Linux Monitoring Guide |
Руководство с практическими рекомендациями по использованию системных утилит мониторинга и сбора метрик в реальном времени. Описывается методика организации своевременного и непрерывного мониторинга CPU, памяти, сети, файловых систем и базы данных, с анализом причин отклонений. |
top, vmstat, iostat, tcpdump |
Мониторинг, а не нагрузочное тестирование; отсутствует методика создания нагрузок и оценки устойчивости. |
Можно рассматривать как часть методологии тестирования производительности. |
| 9 |
Тестирование операционных систем |
Обзор видов тестирования и методик производительности ОС: нагрузочное, стрессовое, функциональное с примерами нагрузок. Методология предлагает комплексный подход с выявлением ключевых показателей (результативность CPU, время отклика и пр.). Советы по этапам планирования, исполнения и анализа результатов. |
Не выделены конкретные утилиты |
Обзорный, рекомендации общего характера. |
Полезен для общей ориентации в задачах производительности ОС. |
| 10 |
Тестирование СХД |
Практические сценарии тестирования подсистем хранения данных с фокусом на параметры нагрузки (очередь, размер блоков) и целостность данных. Предлагаются тесты длительностью нескольких часов с анализом отклонений. Применяются специфичные утилиты для мониторинга детальной активности диска. |
fio, iostat, blktrace |
Специализировано только на продуктивность СХД. |
Предлагается контроль параметров нагрузки в реальном времени с корреляцией результатов, что позволяет выявлять узкие места на уровне подсистемы хранения. |
| 11 |
Измерение производительности диска |
Методика с детальными рекомендациями по выбору параметров тестов (например, кол-во потоков, размер очереди). Важна тщательная настройка для предотвращения системных ошибок и искажений. Предлагается последовательность тестов чтения и записи с изменением параметров и анализом сбоя. |
fio, dd, iostat |
Ограничено дисковыми тестами. |
Особое внимание уделяется диагностике ошибок и неточностей в тестах, что критично для корректного измерения производительности. |
| 12 |
Performance Testing |
Обзор основ нагрузочного, стрессового и регрессионного тестирования с таксономией методик и руководствами выбора инструментов из области веб-приложений. Предлагается многоуровневая методология с акцентом на интеграцию тестов в CI/CD, комплексный анализ и визуализацию логов. |
JMeter, LoadRunner, Selenium |
Веб-ориентировано, слабо применимо к ОС и ВМ образам. |
Важны принципы комплексности и автоматизации, которые можно частично применять и для системного тестирования. |
| 13 |
Акиньшин А. Профессиональный бенчмарк (2022) |
Детальный теоретический труд с постановкой задачи системного сбора и кластеризации результатов перформанс-тестов. Описан подход по использованию статистических методов и визуализации для выявления закономерностей и аномалий при большом объёме данных. Методология предполагает подготовку обширных метрик, которые обрабатываются отдельными аналитическими блоками и кластеризуются. |
Не специализировано, упоминание инфраструктуры аналитики |
Требует глубоких знаний статистики, ориентирован на анализ собранных данных. |
Важен для анализа и интерпретации результатов, значительно повышая качество принятия решений при исследовании производительности в сложных системах. |