Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате
Форум программистов > PHP: Общие вопросы > Тестирование для чайников


Автор: 53x7u5 7.10.2010, 11:35
Добрый день.

Готовимся к серьезной разработке партнерской программы учитывающей трафик и регистрации. Разработка скорее всего будет на PHP. В данный момент заняты подбором исполнителя. Так как работать приходится с деньгами, встал вопрос о необходимости привлечения дополнительного независимого тестера со стороны. Такова преамбула.
Мы намерены поставить нашего разработчика в известность о том что на этапе тестирования он должен будет работать не один, это условие будет включено в техническое задание.

Проблема, как вы уже наверное догадались, заключается в том, что никто из нас (сторона заказчика) с тестированием лично не сталкивался. Разработкой партнерки будет заниматься фрилансер уже имеющий опыт работы над аналогичным проектом. Его работа будет включать и тестирование в том числе, но мы для надежности хотим привлечь еще одного специалиста исключительно для тестирования. 

Вопрос заключается в следующем:
- Должны ли мы обязать разработчика предусмотреть какие-либо возможности (например отладочные модули доступные внешнему тестеру) для того чтобы к тестированию системы мог быть привлечен сторонний специалист, или любая система может быть протестирована без каких-либо доработок?

Под тестированием подразумеваем поиск ошибок в коде, нагрузочное тестирование и тестирование безопасности.
Вопрос актуален в том числе и потому, что мы опасаемся что разработчик необоснованно "заломит цену" или затянет сроки без причины.
Помогите не ударить в грязь лицом перед разработчиком (: 

И еще вопрос:
- Как оценить бюджет на тестирование?

Спасибо.

Автор: solenko 7.10.2010, 15:23
Для начала нужно подготовить ТЗ. Далее по нему составляется тест-план и эстимейт самим тестировщиком.
Соответственно, пока нет ТЗ, то и о бюджете говорить бессмысленно.

Нанимать тестировщика на fixed-cost проект тоже затея не из лучших. Если вы будете разбивать ваш проект на итерации, то тестирование нужно для каждой итерации. И не просто новых фич, а с регресс-тестирование всех предидущих. Добавьте к этому тесты после каждой фичи, в которой найден баг после багфикса + регресс когда закрыты все баги. Естественно, ни один тестировщик в здравом уме не будет называть фиксированную цену за работу, объем которой зависит от другого человека (разработчика).

Добавлено через 3 минуты и 56 секунд
Вспоминая прошлые проекты, тестирование (ручное функциональное) занимало ~30% времени, потраченного на разработку.

Автор: 53x7u5 8.10.2010, 09:37
Цитата(solenko @  7.10.2010,  15:23 Найти цитируемый пост)
Для начала нужно подготовить ТЗ. Далее по нему составляется тест-план и эстимейт самим тестировщиком.
Соответственно, пока нет ТЗ, то и о бюджете говорить бессмысленно.


Речь идет о том же ТЗ на разработку которое мы передаем разработчику или для QA требуется какое-то отдельно ТЗ?

Правильно ли я вас понял - если мы делим всю разработку на этапы и на каждом этапе привлекаем тестировщика, то с каждым этапом объем работы (а соответственно стоимость работы) будут увеличиваться?

Вчера пообщался с несколькими молодыми тестерами (опыт менее 2 лет) работающими в местных отделениях крупных IT-компаний. Назвали цифру в 100$ за 8 часов работы тестировщика на фрилансе. При этом сказали что этого времени достаточно для того чтобы провести тестирование "средненьких" проектов. Что при этом является средненьким проектом правда не уточнили (:
Этим цифрам можно верить?

Автор: Sentox 8.10.2010, 10:19
Тестирование "зелёного проекта", это не Приёмочное тестирование всего продукта в целом.
Это как минимум ряд процессов начиная от проектирования тестов, планов  и идей тестов заканчивая ПСИ (приёмно - сдаточными испытаниями). Зависит в очень многом от выбранной методологии разработки ПО, судя по всему тестировщики имеют ввиду каскадный стиль, в конце которого будут проводится тестирование и шлифовка.
В случае итеративной разработки весь жизненный цикл разработки ПО будет занимать ~ 60% тестирование (нагрузку увеличивает регрессионное тестирование, но в данном случае повышается качество и время разработки уменьшается), включая самим разработчиком кода и в случае ООП - модулей, компонентов,  классов и интерфейсов. То есть в этом случае не малая часть тестирования  припадает на самого разработчика. Кстати тестирование по безопасности может и мне кажется должен сам разработчик, кто как не он знает лучше свою архитектуру.
Для того что бы не были заломлены цены, должны быть составлены риски по проекту и постоянно выявляться, на основе их можно аргументировать увеличение бюджета проекта от основного.
Затягивание можно избавить внедрением итерационной методологии разработки плюс мониторинг проекта онлайн с малыми и большими вехами плюс постоянное выявление рисков по проекту, по которым Вы можете ориентироваться со сложностями в проекте. Скорее Вам подойдёт OpenUP или RUP с более формализованной частью в аспекте тестирования и требований. 
Есть метрики для определения цены на ПО - COCOMO

Автор: 53x7u5 13.10.2010, 14:51
Спасибо за развернутые ответы. Поставил бы по плюсу, но кармы не хватает  (:
Поэтому просто личное спасибо solenko и Sentox. 

Мы разместили объявление о поиске QA на фри-лансе. Если кого-нибудь заинтересует предложение о работе, ознакомьтесь с объявлением http://www.free-lance.ru/projects/?pid=513912.

Цитата
Требуется QA для выполнения дополнительного* тестирования системы учета трафика. 

Разработка ведется поэтапно (от 1 до 3 недель на этап). Окончание работ по проекту – конец ноября текущего года. От QA потребуется выполнить оценку системы как на каждом этапе, так и по завершению основных работ по проекту.

Потребуется провести функциональное и нагрузочное тестирование как отдельных модулей, так и всей системы в целом. 

Юзкейсы не сложные. Наибольшее внимание в ходе работы потребуется уделить правильности работы системы сбора и анализа данных – систему статистики. 

Нагрузка не нормированная, колеблется от этапа к этапу.

«Дополнительно» означает, что за проведение тестирования несет ответственность сама команда разработчиков. От QA же требуется оказывать помощь разработчикам при проведении тестов, дать личную независимую оценку проекта (проведение самостоятельного тестирования, поиск новых багов и уязвимостей, проверка уже «исправленных» багов).

Для проверки адекватности кандидатов предлагаем выполнить небольшое задание:
— Зайти на сайт http://elhobo.ru и обнаружить любой баг, который еще не был обнаружен уже отписавшимся кандидатами. Обнаруженный баг необходимо описать в комментариях к этому объявлению.

ТЗ отсылается только соискателям успешно выполнивших задание. 

Предпочтение отдается соискателям с опытом работы над проектами с развитой системой обработки статистики.

Оплата по договоренности после ознакомления с техническим заданием. 

Автор: Sentox 16.10.2010, 14:09
Для адекватности лучше бы задали задание в виде списка идей тестовых случаев для конкретного аспекта на сайте, т.е. расписать как каждый тестовый случай будет проверяться, в RUP есть артефакт -  idea test case.

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)