В результате, успешно убедившись в корректной обработке попытки записи пустого диска, мы упустим проверку пары ISO-начать мультисесию. Техника попарного тестирования помогает существенно уменьшить количество комбинаций проверок, достаточных для обеспечения необходимого уровня качества программного обеспечения. Это в самом деле умная техника тест-дизайна, которая гарантирует беспроигрышный результат как с точки зрения усилий и задействованных ресурсов, так и с точки зрения эффективности тестирования. При попарном тестировании создание и анализ тестовых сценариев является менее сложным, чем при использовании тройного или более сложных комбинаций.

Однако нужно тщательно создать необходимую вам Модель, чтобы тестовое покрытие было удовлетворительным. Суммируя все вышесказанное, pairwise testing — прекрасный метод для повышения эффективности написания тест-кейсов. Он значительно сокращает количество комбинаций, которые будут покрыты, но остается очень хорошим с точки зрения обнаружения неисправностей. Аll-pairs testing — комбинаторный метод тестирование программного обеспечения, который проверяет все возможные дискретные комбинации параметров для каждой пары входных параметров системы. Исходя из этого, мы получим меньшее число комбинаций, чем при использовании ортогональных матриц. Попарное тестирование — это одна из техник тест-дизайна, основанная на комбинаторике и разделению входных параметров «по парам» (почему и называется pairwise testing).

Тест-дизайн. Техника попарного тестирования

Pairwise testing сокращает общее количество тест-кейсов, тем самым уменьшая время и расходы, затраченные на тестирование. Техника известна уже больше 20 лет, но только последние 5 лет мы можем наблюдать ее активное использование. ISTQB определяет попарное тестирование как технику тест-дизайна методом черного ящика, при которой тест-кейсы создаются таким образом, чтобы выполнить все возможные отдельные комбинации каждой пары входных параметров. Попарное тестирование значительно экономит время и ресурсы, так как количество тестовых случаев уменьшается по сравнению с тройными или более сложными комбинациями.

• Тестовые наборы (тест-сьюты, Test suite) охватывают все комбинации.
• То есть, pairwise тестирование позволяет выявить значительное количество ошибок, используя меньшее количество тестовых случаев, по сравнению с более сложными комбинациями.
• Техника попарного тестирования помогает существенно уменьшить количество комбинаций проверок, достаточных для обеспечения необходимого уровня качества программного обеспечения.
• По этой причине в нашем примере отсутствуют значения объёма данных, равные нулю и превышающие объем диска.
• Применить алгоритм, составляющий оптимальное число тестов с полным перебором пар.

Комбинаторное тестирование — это метод тестирования программного обеспечения, который позволяет эффективно обнаруживать ошибки, связанные со взаимодействием параметров. Самый популярный вариант — попарное тестирование (pairwise). Pairwise основан на принципе, который гласит, что 98% всех ошибок возникают в результате влияния одного или двух параметров. Попарное тестирование позволяет исследовать все возможные комбинации значений для каждой пары параметров, что обеспечивает более широкое покрытие тестирования, чем тестирование каждого параметра в отдельности. Это позволяет обнаружить большинство ошибок в программном обеспечении и снизить количество дефектов, которые могут возникнуть в процессе эксплуатации программы.

Полезности метода

Процесс заключается в том чтобы найти правильных людей и поставить им правильные цели. Рекомендуется структурировать процесс (хотя парное тестирование и является подвидом исследовательского, при котором это не обязательно). Итак, парное тестирование убирает невидимые барьеры, и этим помогает улучшить качество софта и создать более продуктивную атмосферу в департаменте/компании.

Проводится комбинирование вариантов и подбор нужных, то есть оцениваются все возможные комбинации (сочетания) входных переменных, и из них выбираются только нужные (значимые). Техника основана на том, что 99,9…% дефектов возникают при взаимодействии не более двух факторов одновременно. Также можно использовать гибридную стратегию тестирования.

Шаг 3. Уточняем значения

В таких случаях может потребоваться использование других методов, таких как тестирование с покрытием утверждений или мутационное тестирование. Это методика, при которой два сотрудника компании работают вместе на одном компьютере, при этом делятся идеями, обсуждают тестируемый софт и пишут тестовые сценарии, делают заметки и репорты. Это одна из разновидностей исследовательского тестирования. Методика является как бы «продолжением и дополнением» парного программирования, когда два разработчика пишут код, сидя за одним компьютером. Таким образом, пользуясь техникой попарного тестирования, сократили количество тест-кейсов сначала с 4000 до 24, затем до 6 как в таблице, что уже вполне посильно.

Согласно статье, опубликованной на Combinatorial testing, экспериментальные данные показывают, что почти 60-95% проблем возникают из-за взаимодействия между двумя параметрами. С помощью парного тестирования, если мы проверяем двусторонние комбинации, мы можем обнаружить высокий процент ошибок. Для сложного приложения выходные данные для большинства тестовых случаев могут быть не одним параметром, а несколькими факторами, такими как переходы между состояниями, входные параметры, факторы среды и т. Возможно, нам придется тестировать кроссбраузерность, кроссплатформенность, кроссплатформенность и т. На вход программа принимает простой текстовый файл с параметрами и их значениями, называемый Моделью, а на выход выдает сгенерированные тестовые сценарии.

Используем возможности PICT

Оно не подходит для тестирования взаимодействия более чем двух параметров. При применении парного тестирования важно выбрать правильный алгоритм тестирования, который будет генерировать тестовые сценарии. Существует несколько алгоритмов, которые могут быть использованы, такие как ортогональные массивы и графовые алгоритмы. При выборе метода тестирования важно понимать, почему именно попарное тестирование так популярно и почему другие методы, как, например, тройное или более сложные комбинации, не применяются так широко. Если система такая простая, то и цена ошибки невелика, случайные или атомарные тесты могут оказаться проще и дешевле, чем 2-way. Если работаете с белым ящиком, то вы знаете о системе достаточно для использования более эффективных техник тест-дизайна В противном случае мы возвращаемся в I квадрант.

Перебрать все пары немудрено, трудность в том, чтобы обеспечить при этом минимум тестов, комбинируя проверки нескольких пар в одном тесте. Тут нам на помощь приходят математические методы, уходящие корнями к английским математикам девятнадцатого века. Я лишь упоминаю их вскользь, дабы любители линейной алгебры могли навести справки, благо информации в интернете предостаточно. Что важно нам, так это то, что велосипед изобретать не нужно, и методы, по которым мы можем сформировать оптимальное покрытие, давно изобретены. Не путать с «парным тестированием» (pair testing), методом командной работы в ИТ, когда создаются пары из тестировщика и другого тестировщика/разработчика/бизнес-аналитика для работы над участком проекта. Если сравнить столбцы 3 и 4, каждое значение из столбца 3 имеет пару с обоими значениями из столбца 4.

Бывает сложно передать неизвестные зависимости переменных внутри программы.

Ранее я говорил, что PICT генерирует каждый раз новые комбинации тестов и процесс генерации сильно зависит от начальных условий. Тем не менее каждый созданный набор гарантировано покрывает все необходимые комбинации, но некоторые комбинации пикт формирует более эффективно. Каждый раз PICT генерирует новые комбинации сценариев и, соответственно, новый набор тестов.

Попробуйте автоматизировать все, что получится, а комбинаторные тесты можно использовать как фильтр. Можно использовать n-way комбинаторику, если полно времени. Сначала придется анализировать и исследовать продукт, осознанно подбирать параметры, осознанно конфигурировать тесты. Скорее всего, количество тестов здесь будет обусловлено высокой вариативностью, можно использовать комбинаторику в качестве фильтра для более изысканных тестов. Но не рассчитывайте на высокую эффективность, вы все равно упустите какие-то параметры. График показывает, что в промышленных и сложных системах с высокой вариативностью все самое интересное находится при комбинации 3 и более переменных.