Автор pristroykin_ 
Цели и границы аудита процессов тестирования
Какие задачи решает аудит и что входит в его область
В ходе оценки Аудит тестирования сопоставляет фактическую работу с внутренними регламентами, требованиями проекта и согласованными критериями. Его цель — определить, насколько последовательно команда планирует проверки, готовит тесты, выполняет их, регистрирует дефекты и завершает тестирование. Результаты помогают обнаружить пробелы в контроле, повторяющиеся ошибки и причины задержек.
Границы проверки задают заранее: указывают команды, этапы жизненного цикла и виды тестирования, которые войдут в оценку. Например, аудит может охватывать только регрессионные проверки конкретного релиза или весь путь от анализа требований до итогового отчёта. Ограничение области позволяет собрать свидетельства по каждому включённому этапу, не распространяя выводы на процессы, которые не проверялись.
Критерии оценки и участники проверки
Критериями служат утверждённые планы, процедуры, требования проекта, применимые стандарты и показатели, согласованные до начала работы. В качестве ориентира может использоваться серия ISO/IEC/IEEE 29119, описывающая процессы и документацию тестирования. Аудитор проверяет не наличие формального документа само по себе, а соответствие реальных действий установленным правилам.
Проверку проводят специалисты, не отвечающие за оцениваемую работу: это помогает снизить конфликт интересов. В сборе сведений участвуют руководитель тестирования, тестировщики, аналитики и владельцы требований. Частоту аудита определяют по риску: его проводят по плановому графику, перед значимым выпуском либо после изменений процесса, повлиявших на контроль качества.
Подготовка и сбор свидетельств
Документы, записи и метрики для анализа
До проверки собирают стратегию и план тестирования, требования, тест-кейсы, результаты прогонов, отчёты и реестр дефектов. Записи из систем учёта показывают, кто и когда менял тест, запускал проверку или переводил дефект между статусами. Сопоставление требований, тест-кейсов и результатов позволяет оценить прослеживаемость: для каждого требования проверяется наличие связанных проверок и зафиксированного результата.
Метрики рассматривают совместно, поскольку отдельное число не объясняет причину отклонения. Долю покрытия требований можно рассчитывать как отношение требований с хотя бы одной связанной проверкой к общему числу требований в области аудита. Доля пройденных тестов — отношение успешных запусков к числу тестов с итоговым статусом; незапущенные проверки учитывают отдельно. Динамика дефектов и время выполнения тестов помогают обнаружить задержки, но на них влияют сложность изменений и состояние тестовой среды.
Интервью и наблюдение за выполнением работ
Интервью проясняют, как сотрудники действуют при неполных требованиях, сбоях среды и спорных результатах. Ответы сверяют с документами и записями: устное описание процедуры не подтверждает её фактическое выполнение. Наблюдение за рабочим процессом показывает, как запускаются тесты, фиксируются результаты и передаются сведения о дефектах. Свидетельство считают убедительным, когда его можно связать с конкретной записью, требованием или выполненной операцией.
Оценка тестового процесса
Планирование, покрытие требований и качество тест-кейсов
При анализе плана проверяют сроки, ответственных, ресурсы, зависимости от среды и критерии завершения тестирования. Полнота покрытия определяется не только количеством тест-кейсов: проверяют, охвачены ли требования, граничные значения, отрицательные сценарии и значимые риски. Прослеживаемость выявляет требования без тестов, тесты без обоснованной связи и случаи, когда результат проверки не зафиксирован.
Качество тест-кейса оценивают по однозначности предусловий, шагов и ожидаемого результата. Проверка должна быть повторяемой: другой сотрудник, располагая теми же данными и средой, способен выполнить её и сопоставить фактический результат с ожидаемым. Дублирующие сценарии и проверки, зависящие от неописанных знаний отдельного специалиста, отмечают как источники риска.
Выполнение тестов, учёт дефектов и отчётность
Аудитор прослеживает путь теста от запланированного запуска до итогового статуса. Отдельно проверяют, как обрабатываются блокировки, повторные прогоны и изменения версии продукта. Для дефекта оценивают наличие условий воспроизведения, ожидаемого и фактического поведения, уровня серьёзности, ответственного и истории изменений статуса. Если дефект закрыт без повторной проверки исправления, это должно быть отражено как отклонение от установленной процедуры.
Отчётность должна показывать объём выполненных проверок, незавершённые работы, открытые дефекты и ограничения результатов. Высокая доля успешных тестов сама по себе не доказывает достаточность проверки: показатель имеет смысл только при известном составе тестового набора и охвате требований.
Выводы аудита и улучшение процесса
Классификация несоответствий и оценка рисков
Несоответствие фиксируют, когда свидетельство подтверждает отклонение от конкретного критерия. Единичная ошибка может быть связана с разовым сбоем; системное несоответствие проявляется в повторяющихся случаях, общей причине или отсутствии контроля, который должен предотвращать проблему. Для оценки риска учитывают вероятность повторения и последствия для продукта, сроков и полноты проверок. Приоритет получают пробелы, способные оставить критические требования без проверки или скрыть дефекты.
План корректирующих действий и проверка их выполнения
В отчёте указывают критерий, свидетельство, описание отклонения, его причину и оценку риска. Корректирующее действие направляют на устранение причины, а не только отдельного проявления: например, изменение процедуры дополняют ответственным, сроком и ожидаемым результатом. Повторная проверка подтверждает, что мера выполнена и предотвращает повторение проблемы на новых записях или циклах тестирования. Незакрытые действия сохраняют в учёте с объяснением остаточного риска.