Что такое test case

Пишем максимально эффективный тест-кейс

Что такое тест-кейс?

Тест-кейс — это профессиональная документация тестировщика, последовательность действий направленная на проверку какого-либо функционала, описывающая как придти к фактическому результату.

Набор тест-кейсов называют тест-комплектом. Иногда тест-набор путают с тест-планом. Тест-план описывает какие работы, как и когда должны быть проведены в рамках тестирования продукта, а так же что необходимо для их выполнения.

Зачем нужны тест-кейсы?

Атрибуты тест-кейса

Любой тест-кейс обязательно включает в себя:

Не обязательно, но желательно добавить в тест-кейс атрибут история редактирования — это сильно облегчит вам жизнь. Лаконичный журнал изменений, где отраженно: кем, как, и когда был изменен тест-кейс.

Что еще необходимо знать, перед созданием тест-кейса?

Во-первых, каждый выполненный тест-кейс, дает нам один из трех результатов:

1.Положительный результат, если фактический результат равен ожидаемому результату,
2.Отрицательный результат, если фактический результат не равен ожидаемому результату. В этом случае, найдена ошибка.
3.Выполнение теста блокировано, если после одного из шагов продолжение теста невозможно. В этом случае так же, найдена ошибка.

Во-вторых, одним тест-кейсом проверяется одна конкретная вещь, и для этой вещи должен быть только один ожидаемый результат.

Чего не должно быть в тест-кейсе

1. Зависимостей от других тест-кейсов;
2. Нечеткой формулировки шагов или ожидаемого результата;
3. Отсутствия необходимой для прохождения тест-кейса информации;
4. Излишней детализации.

Первого следует избегать, потому что: связанный тест-кейс всегда может быть удален из-за ненадобности или он может быть изменен, в этом случае, станет непонятно как исполнить тест-кейс в которому, есть ссылки.

Так же из-за зависимости тест-кейсов, может возникнуть ощущение, что тестируемый продукт уже приведет к нужному состоянию благодаря выполнению связанных тест-кейсов.

Со вторым думаю все ясно. Если описание шагов или ожидаемое результата будет не четким, то это блокирует прохождение тест-кейса.

В тест-кейса должно быть вся информация, которая необходима для его прохождения. Например, если мы проверяем окно логина на сайте, значит нам понадобится логин и пароль, иначе прохождение этого сценария будет невозможно.

Так же не следует слишком детализировать кейс. Например, если мы проверяем возможность создания комментария, то не стоит писать в каком угле экрана должно быть окно логина. Избыточная информация только затрудняет прохождение тест-кейса.

Источник

Как писать тест-кейсы: полное руководство

Во время тестирования QA-инженер работает с большим количеством документации. Чеклисты, наборы тестов, тестовые сценарии, планы тестирования, отчеты о тестировании, анализ тестирования — это лишь часть списка документов, которые должны уметь создавать тестировщики. В этой статье мы расскажем вам, как создавать тест-кейсы для ручного тестирования.

Что такое тест-кейс и зачем он нужен

Тест-кейс — это четкое описание действий, которые нужно выполнить для проверки отдельной функции вашего приложения.

Тестировщик создает тест-кейс, чтобы проверить, работает ли определенная фича должным образом, и чтобы подтвердить, что функционал, UI/UX и другие параметры системы удовлетворяют всем соответствующим стандартам, руководствам и требованиям клиентов.

Чем отличаются тест-кейс и чеклист

Тест-кейсы используются для сложных проектов. Например, когда от поведения системы зависит человеческая жизнь. Это могут быть проекты, связанные с пожарной безопасностью, здравоохранением, финансами и т. д. В таких случаях все нужно тестировать очень тщательно.

Чеклист QA — это список того, что нужно протестировать. Благодаря ему процесс тестирования проходит более четко и аккуратно.

Обычно при работе с простыми системами — сайтами, мобильными приложениями и т. д. — нет необходимости в тест-кейсах. Часто в команде бывает только один-два тестировщика, которые хорошо знают свой продукт. В таком случае время, потраченное на создание и поддержку тест-кейсов, никогда не окупится. Лучше создать чеклист со списком функций, которые нужно проверить — это будет более рационально.

Позитивные, негативные и деструктивные тест-кейсы

В позитивных тест-кейсах используются корректные входные данные и сценарии ожидаемой работы системы. Цель здесь — убедиться, что программный продукт выполняет то, что должен делать, и что система не выдаст ошибку, если это не предусмотрено.

В целом позитивное тестирование гарантирует, что система соответствует требованиям при позитивных сценариях нормального использования.

Например, если поле пароля принимает десять символов, пользователь должен иметь возможность создать такой пароль.

Негативные тест-кейсы используют некорректные входные данные и проверяют, не делает ли программа того, чего не должна делать. Негативное тестирование призвано гарантировать, что при получении некорректных входных данных система не будет работать по нормальному сценарию (например, выбросит ошибку).

Если вернуться к нашему примеру, пользователь не должен иметь возможность создать пароль, состоящий из 11 символов.

Деструктивные тест-кейсы создаются, чтобы узнать предел прочности системы. Нагрузочное тестирование — распространенный вариант деструктивного тестирования.

Для деструктивного тестирования QA-специалисты могут применять следующие методы:

Атрибуты тест-кейса для ручного тестирования

Как и все тестировочные документы, тест-кейс имеет определенный формат. Он содержит следующие атрибуты:

Кроме того, для некоторых тест-кейсов могут потребоваться дополнительные атрибуты:

Характеристики хорошего тест-кейса

Прежде всего, тест-кейс не должен быть зависимым или связанным с другими тест-кейсами. Он должен быть полным и самодостаточным. Следует избегать расплывчатых описаний шагов или ожидаемых результатов. Любые ограничения, отсутствие необходимой информации или чрезмерное количество деталей делают тест-кейсы менее эффективными.

Короче говоря, хороший тест-кейс:

Best practices в написании тест-кейсов

Под best practices мы подразумеваем правила, которые помогают создавать простые, понятные и полезные тест-кейсы:

Формирование тест-кейсов

Обычно при написании тест-кейсов тестировщики пользуются таблицами Excel. Но вы также можете использовать инструменты управления тестированием, такие как TestRail.

Примеры тест-кейсов для ручного тестирования

Позитивный тест-кейс

Давайте попробуем создать наш собственный тест-кейс для ручного тестирования функции поиска на e-commerce сайте компании FootWear. Начнем с позитивного теста.

ID: FWSF-1. (Лучше использовать числа в возрастающем порядке. FWSF = FootWear Search Functionality. Попробуйте придумать комбинацию букв, имеющую отношение к проекту или функции, которую вы собираетесь тестировать).

Заголовок: Проверить результаты поиска с корректными входными данными. (Узнать, какие значения допустимы, мы можем в требованиях).

Предусловия: Нужно иметь предварительно настроенные продукты из разных категорий, отображаемые на сайте. (Для проверки функциональности нам необходимо иметь элементы, доступные для поиска. Вы можете настроить это в панели администратора или в базе данных).

Шаги:

Ожидаемый результат: На странице результатов поиска отображаются все релевантные результаты.

Деструктивный тест-кейс

Еще один пример — деструктивный тест-кейс.

ID: FWSF-2.

Заголовок: Проверить устойчивость поиска к SQL-инъекциям.

Предусловия: Подготовьте SQL-запрос, который вы собираетесь вставить в поиск.

Шаги:

Ожидаемый результат: Для защиты от SQL-инъекций отображение предупреждающих сообщений должно быть отключено.

Негативный тест-кейс

Наконец, вот вам негативный тест-кейс.

ID: FWSF-3.

Заголовок: Проверить ввод на недопустимые значения.

Предусловия: Выпишите недопустимые значения для поля ввода поиска из системных требований.

Шаги:

Ожидаемый результат: Отображается предупреждающее сообщение «Пожалуйста, используйте только допустимые символы». Поиск можно продолжить.

Итоги: тестирование тест-кейса

Итак, мы разобрали основы написания тест-кейсов. Совет напоследок: чтобы проверить, насколько хорош ваш тест-кейс, покажите его человеку, который ничего не знает о проекте, над которым вы работаете. Вопросы, которые вы услышите, помогут определить слабые места вашего тест-кейса. Обратите внимание на эти моменты и постарайтесь внести изменения как можно скорее, иначе в будущем для поддержки тест-кейсов потребуется гораздо больше времени и усилий.

Источник

Правильно пишем тест-кейсы. Памятка начинающему специалисту по тестированию

Когда смотришь на специалистов по тестированию, которые пишут тест-кейсы, то понимаешь, что многие из них даже не имеют представления как это правильно делается. Я не буду приводить множество примеров, которые показывают вопиющие ошибки, а постараюсь озвучить основные принципы того, как надо писать тест-кейсы.

Для начинающих поясним, что такое тест-кейс озвучив определение из глоссария терминов ISTQB:

Тест-кейс — набор входных значений, предусловий выполнения, ожидаемых результатов и постусловий выполнения, разработанный для определённой цели или тестового условия, таких как выполнения определённого пути программы или же для проверки соответствия определённому требованию.

Определение тест-кейса языком обывателя:

Тест-кейс — это чёткое описание действий, которые необходимо выполнить, для того чтобы проверить работу программы (поля для ввода, кнопки и т.д.). Данное описание содержит: действия, которые надо выполнить до начала проверки — предусловия; действия, которые надо выполнить для проверки — шаги; описание того, что должно произойти, после выполнения действий для проверки — ожидаемый результат.

Надеюсь, теперь многим стало понятно, что такое тест-кейс. Теперь перейдём к правилам написания тест-кейсов, которые вырабатывались не один год и показывают свою эффективность до сих пор.

Обязательные атрибуты для заполнения

В зависимости от специфики компании могут присутствовать дополнительные атрибуты для заполнения: приоритет, функциональный блок, программа, ссылка на требование, номер требования и т.д.

Правила написания тест-кейсов

На самом деле правила простые, однако их не так-то просто соблюдать. Если же придерживаться данных правил, то тест-кейсы будут легко поддерживаемыми, легко читаемыми, не будут вызывать отторжения и могут быть использованы всеми участниками команды в процессе разработки программного обеспечения.

Примеры

Для наглядности приведу пару примеров. Рассмотрим на примере сайта, на котором вы сейчас находитесь.

Тест-кейс №1. Корректный

Тест-кейс №2. Некорректный

В данном тест-кейсе постарался в каждой строке писать неправильно, чтобы было наглядно. И в скобках добавлял наводящие пояснения.

Во второй части видео (с 8-й минуты) разбираю на примерах создание тест-кейсов:

Главное в нашем деле практика. Практикуйтесь в написании тест-кейсов.

Если вы будете вести тест-кейсы в таблице (к примеру в Excel), то можете скачать шаблон тест-кейсов. В файле две вкладки. На одной шаблон единичного тест-кейса, а на второй пример порядка размещения группы тест-кейсов.

Источник

Инструменты тестирования Java: 10 лучших практик написания тест-кейсов

Трудно представить, что было бы сегодня с проектами по обработке больших данных и машинному обучению без Java. Прошло уже более 25 лет с тех пор, как он был разработан для обеспечения динамических свойств, которые обычно были недоступны в традиционных компилируемых языках. Сейчас это один из наиболее широко используемых серверных языков для разработки back-end и front-end проектов.

Благодаря такому большому активному сообществу, Java на протяжении многих лет сохраняет свои позиции в тройке самых популярных языков программирования в мире. Java добилась такого успеха потому, что его технологические стандарты продолжают развиваться, и Java будет продолжать сохранять свою популярность, не имея реального конкурента.

Обнаружение и устранение проблем инфраструктуры на этапе разработки исходного кода — это, безусловно, наиболее эффективный и экономичный способ решения проблем и повышения качества и функциональности кода. Если развертывание некоторых широко используемых методов тестирования может решить проблемы в коде на этапе разработки, то почему команды не выделяют достаточно ресурсов на тестирование?

О чем рассказывается в этой статье:

Почему программистам важно разбираться в Java тестировании?

Методы тестирования для Java

Почему модульное тестирование так важно?

Фреймворки модульного тестирования для Java

Как написать тест-кейс JUnit

С помощью автоматизации модульное тестирование становится лучше

Сделать тестирование Java проще и легче с помощью искусственного интеллекта

Тестирование безопасности в Java

Выводы о Java тестировании

Станьте экспертом в разработке Java — научитесь тестировать

Тестирование на Java может стать разочарованием для начинающих программистов и неприятностью для более опытных разработчиков. Молодые разработчики могут не понимать, для чего предназначен код, особенно если они получают недокументированный или нестабильный унаследованный код. Тестирование требует много абстрактного мышления, а на создание и исправление тестов уходит время. Это большой подъем для молодых разработчиков, которые вообще мало занимались тестированием. Кроме того, существует множество сценариев того, почему что-то в коде не работает, и на выяснение ошибок могут уйти дни или недели.

Опытные разработчики не любят проводить тесты по тем же причинам. Они гораздо больше заинтересованы во внедрении новых функций, потому что это просто интереснее. Они также знают, что для большого объема кода необходима длинная серия тестов. На создание и выполнение полного набора тестов может уйти несколько дней или недель.

Весь процесс может оказаться непосильным. Один из архитекторов решений Parasoft рассказывает о тестировании программного обеспечения в отличном учебном пособии по тестированию программного обеспечения с примерами.

В этой статье блога рассматриваются вопросы, которые часто задают разработчики о методах тестирования:

Что такое тест-кейс?

Тестовый скрипт в сравнении с тест-кейсом

Различные типы тест-кейсов

Как писать тест-кейсы для программного обеспечения

Стандартный формат тест-кейсов

Лучшие практики написания тест-кейсов

Набор тестов в сравнении с планом тестирования

Инструменты для написания тест-кейсов

Как новички, так и опытные разработчики могут узнать о лучших практиках написания тестов, стандартных форматах тест-кейсов, инструментах написания тест-кейсов и многом другом. Мы хотим, чтобы разработчики постигли чудеса тестирования программного обеспечения, чтобы оно стало менее утомительной задачей, а не серьезной тратой времени и энергии.

Почему программистам важно разбираться в Java тестировании?

Иногда ошибки могут быть вполне безобидными, но гораздо чаще ошибки могут привести к серьезным последствиям. Вы просто не можете это игнорировать. Вам будет особенно тяжело, когда вы поймете источники ваших ошибок: что произошли обновления кода, что вы работаете не в последней версии, что сторонняя зависимость могла быть отключена, или фоновое приложение могло сделать тест неудачным и т.д. Все это влияет на новые тесты, и такие типы ошибок могут занять много времени, устранение ошибок такого рода может занять дни или недели.

Самые немыслимые вещи могут произойти даже тогда, когда вы следуете лучшим практикам. Мельчайшие детали требуют вашего полного внимания. С тестированием программного обеспечения гораздо легче справиться, если что-то идет не так, когда вы уделяете ему все свое внимание. Дьявол всегда кроется в деталях. Например, вы узнаете, когда приложение не запускается, потому что об этом говорится в настроенном вами сообщении об ошибке. Если в приложении подмечены зависимости, то сообщения об ошибках появятся в журнале или в терминале. Опять же, все дело в деталях.

Создание и поддержка читабельного кода тестов обеспечивает хорошее покрытие тестов и позволяет избежать сбоев в коде во время реализации функций после разработки. Хотя коротких путей не существует, есть вещи, которые могут сделать ваше тестирование на Java проще, лучше и эффективнее в целом.

Методы тестирования для Java

Существует несколько способов тестирования Java-приложений.

Бенчмарк измеряет эффективность кода.

Интеграция проверяет совместимость и согласованность группы модулей или всего приложения.

Протокол тестирует работу других протоколов.

Мутация выявляет недостающие тесты в коде.

Тестирование базы данных проверяет схему, безопасность и производительность среди прочих.

Производительность, также известная как стресс-тестирование, определяет, какую нагрузку может выдержать приложение.

Тесты безопасности проверяют уязвимость протоколов безопасности.

Unit проверяет, что каждая функция приложения возвращает правильное значение для заданного ввода.

Четыре типа тестирования часто считаются более важными, чем другие:

Модульное и интеграционное тестирование — это два наиболее важных вида тестирования. Они позволяют проводить независимые тесты всех функциональных возможностей. Это очень важно для тестирования Java, так как это лучший способ определить, что программное обеспечение не работает. Тестирование безопасности будет рассмотрено в другом разделе.

Почему модульное тестирование так важно?

Весь смысл проведения тестов заключается в поиске ошибок. Кто не согласится, что найти ошибку в конкретной части кода лучше, чем обнаружить, что ошибки есть во всем приложении? Это означает, что вам придется покопаться в коде, чтобы выяснить, где находятся ошибки. Это может занять несколько дней или недель, а может и месяцев. Причина, по которой мы проводим модульное тестирование, заключается в разделении кода для поиска и исправления ошибок. В итоге вы разработаете код, который будет более надежным и не будет содержать ошибок.

Модульное тестирование является гибким. Старый код часто нуждается в обновлении по мере добавления новых функций. Запустив тесты на новом коде, вы сможете определить, не нарушил ли новый код старую функцию.

Если вы не проводите модульное тестирование изолированно, все может измениться без вашего ведома. Ваши новые тесты могут не сработать, а вы не будете понимать, почему так произошло. Если модульные тесты трудно писать, есть вероятность, что дело не в тесте, а в самом программном обеспечении. Создание новых тестов требует времени, но это единственное, что можно сделать во время разработки, чтобы убедиться, что программное обеспечение выполняет то, для чего оно предназначено.

Фреймворки модульного тестирования для Java

Фреймворки для тестирования — это программные инструменты, которые помогают программистам писать и выполнять модульные тесты. Они стандартизируют способ создания веб-приложений, предоставляя основу для тестирования, а также возможность выполнять тесты и сообщать о результатах. Проще говоря, эти платформы тестирования значительно облегчают жизнь программистов.

Как написать тест-кейс JUnit

При проведении тестирования Java для исходного кода создаются тест-кейсы. Они выполняются с использованием различных параметров, чтобы убедиться, что код будет работать по всем возможным сценариям. Тестирование Java обеспечивает тщательные и функциональные тест-кейсы, которые могут проверить каждый аспект вашего приложения.

Тест-кейс JUnit — это именно то, на что он похож: тестовый скрипт, измеряющий функциональность по набору действий или условий для проверки ожидаемого результата. JUnit — это простой фреймворк для написания повторяющихся тестов. Поскольку JUnit является одним из самых популярных и важных тестовых фреймворков для разработки, управляемой тестами, он достоин нашего рассмотрения.

Тем, кто только начинает изучать Java, необходимо научиться быть эффективными и оптимизировать тест-кейсы во время написания кода. Если вы пишете код без тест-кейсов, то контроль качества просто отсутствует. Тестовый код пишется для проверки того, что приложение работает так, как вы хотите. Тест-кейсы необходимо запускать после их написания, чтобы убедиться, что код работает при проверке результатов.

При разработке, управляемой тестами, модульный тест должен быть написан и выполнен до написания кода. Как только код написан, все тесты должны быть выполнены, и код должен пройти. Тесты должны выполняться каждый раз, когда добавляется какой-либо код, чтобы убедиться, что ничего не нарушено.

JUnit использует аннотации, такие как @After, @Test(timeout = 1000) для тайм-аута и т. д. Это позволяет выполнять несколько тестов вместе, проверять, какое исключение выбрасывается из теста, и выполнять параметризованное тестирование. Он также завершит тест, который длится дольше указанного времени в течение миллисекунд. Пользователи могут конфигурировать и настраивать тесты так, как они хотят, используя больше аннотаций тестов JUnit.

Лучшие практики модульного тестирования

Ключом к быстрому и эффективному модульному тестированию является автоматизация. Инструменты автоматизированного тестирования помогают сократить количество дефектов позднего цикла, что позволяет разработчикам сосредоточиться на разработке новых функций. Разработчики могут легко генерировать, дополнять и повторно использовать модульные тесты, оптимизируя их выполнение, что значительно сокращает время и затраты, связанные с модульным тестированием. Это означает, что вы можете выполнять тесты в течение нескольких часов, а не недель или месяцев. Когда модульное тестирование может быть выполнено так быстро с помощью автоматизации, его можно принять в качестве лучшей практики и распространить на все предприятие. Руководители проектов могут установить руководящие принципы для стандартов кодирования и статистических мер контроля качества. Выполнение тестов для Java-проектов станет более единообразным и быстрым.

Сделать тестирование Java проще и легче с помощью искусственного интеллекта

Автоматизированный искусственный интеллект (ИИ, AI) предоставляет возможность создавать модульные тесты за вас с помощью автоматического создания тестовых примеров JUnit одним щелчком мыши. Это позволит вам легко интегрировать тесты в процесс непрерывной интеграции. Ассистент модульных тестов автоматически проведет вас через вставки с помощью интеллектуальных рекомендаций.

Mocking — это функция, позволяющая заменять зависимости, которые работают медленно или недоступны. Это значительно ускорит ваше модульное тестирование. Благодаря подходу к модульному тестированию с использованием искусственного интеллекта вы сможете получать уведомления об объектах, над которыми можно поиздеваться, а также мгновенно моделировать эти объекты для вас.

ИИ также может помочь в масштабировании тестов. Массовое создание модульных тестов мгновенно генерирует множество тестов. Он создает тесты для нескольких классов в пакете или проекте. Увеличение покрытия кода важно при тестировании на JUnit. Параметризация тестовых примеров позволяет тестировать различные переменные и пути кода в вашем приложении.

Что касается выполнения тестов, искусственный интеллект может контролировать выполнение всех ваших тестов и улучшать стабильность и дизайн ваших тестов. Поддержание стабильного и предсказуемого набора тестов — это то, что сэкономит вам много времени.

Эти функции ИИ просты в использовании и позволят сократить время и усилия на модульное тестирование более чем на 50%, от создания до обслуживания. Вам и вашей команде легче внедрять лучшие практики модульного тестирования с помощью ИИ. Они позволяет лучше понять функции тестирования начинающему разработчику. Опытные тестировщики оценят экономию времени на создание тестов, которые имеют смысл и проверят функциональность кода с помощью достоверных утверждений.

Parasoft Jtest — это решение для автоматизированного модульного тестирования для активной разработки на Java и унаследованного кода, содержащего эти функции ИИ. Оно использует технологии с открытым исходным кодом, такие как JUnit, Mockito и PowerMock, чтобы вписаться в большинство сред разработки. Это не привязанное к конкретному производителю решение, что облегчает его внедрение, интеграцию и масштабирование.

Тестирование безопасности в Java

Важно, чтобы ваше приложение было максимально надежным, но безопасность также является ключом к любому успешному приложению. Parasoft Jtest интегрирует стандарты безопасности в процесс разработки для проверки соответствия стандартам OWASP, CWE, CERT, PCI DSS и многим другим. Jtest может применять статические тесты внутри IDE или на сервере сборки и интеграции и находить уязвимости соответствия на протяжении всего жизненного цикла разработки. Отчетность, аудит и непрерывная обратная связь обеспечивают представление статуса соответствия в реальном времени.

Выводы о Java тестировании

Автоматизированное тестирование, которое разработчики могут настроить на основе бизнес-логики или сценария тестирования и которое дает рекомендации по другим необходимым тестам, значительно сократит время на создание тестов. Важно, чтобы вы добились корреляционного покрытия всех ваших тестов и знали, для какого кода у вас нет тестов. Вам также нужно убедиться, что любые изменения не сломают существующий код с помощью регрессионного тестирования.

Автоматизированное тестирование позволяет проводить тестирование в течение нескольких часов или дней, а не недель или месяцев. Внедрение инструментов, которые помогут вам стать более гибкими, также может значительно сократить время, необходимое для тестирования. Если ваша команда не получает хороших результатов тестирования, напишите план тестирования и включите в него все советы из этой статьи, которые вы считаете полезными. Обратитесь со своим планом к руководству или руководителю вашей команды разработчиков программного обеспечения и станьте тем авторитетом, который установит лучшие практики, которые можно внедрить на всем предприятии.

Тестирование Java, будь то создание тест-кейсов JUnit или применение новых тестовых аннотаций для вашего следующего проекта Java, не только улучшит функциональность вашего проекта разработки, но и сэкономит драгоценное время. Возможно, самым значительным результатом тестирования программного обеспечения является повышение общей рентабельности инвестиций в проект.

Всех желающих приглашаем на бесплатные demo-занятия:

1. «Теория тестирования: виды тестирования». Чтобы быть хорошим специалистом нужно понимать какие виды тестирования бывают. На этом занятии мы обсудим по каким направлениям можно протестировать наш программный продукт. Узнаем что скрывается за белыми и черными ящиками. А также обсудим, чем отличаются стресс тесты от нагрузочных.

2. «Пример реактивного приложения на Java Spring Boot». Продолжаем разрабатывать систему получения курса валюты. Разберемся с тем, что такое реактивное программирование и переведем один из микросервисов на реактивные рельсы.

Источник