FunConfetQA. Осень 2013. День третий

И вот он, последний день FunConfetQA в этом году. Очень порадовал кучей полезных и прикольных докладов!

Но пойдем по порядку 

1. Алексей Лупан / Мелочь пузатая, или Объем тест-кейса против содержательности

Интересный доклад "с чувством, с толком, с расстановкой". Алексей рассказывал о том, почему чит-листы не всегда хорошо. И подробнейшие тест-кейсы - тоже. И как находить между ними баланс.

Полезный доклад, животрепещущая тема, поднявшая просто волну холиваров в чатике. Честно признаюсь, у меня эта конфетка прошла в режиме "без первого доклада", поэтому я то фокусировалась на Алексее, то фокусировалась на задачке.

Поэтому холивар весь почитаю на форуме 
Но то, что я слышала, мне однозначно понравилось!

2. Николай Москаленко / Юзабилити анализ интерфейса с карандашом в руке

Блеск! Лучший доклад конференции!

Первое, что привлекло внимание - красивые слайды. И правда, если бы у человека, рассказывающего про юзабилити, были бы некрасивые слайды, это было бы как-то очень... Не очень! Кстати, шаблон "правильный", мне кажется, почему то, что тут не обошлось без курса Rock Your Slides 

Следующая крутая фишка доклада - примеры! "Плохие слайды перегружены информацией... Бу-бу-бу...". А потом БАЦ - и следующий слайд с примером такого сайта. Без этого доклад был бы не так хорош, теория ведь нас не слишком привлекает.

И, наконец, в самом конце Николай показывал примеры "как надо". И вот это было круто! Николай работал проектировщиком какое-то время, что сразу почувствовалось.

Он взял парочку примеров, которые показывал раньше и... Переверстал! И показал, как это могло бы быть. О, кстати, не спросила, в какой программе это было сделано. Или написан код? Надо будет выяснить...

Так вот, заключительная часть вообще вау, таких примеров мало где встретишь! Николай даже сайт confetqa переверстал! Правда, мне в новой версии шапка не очень нравится, сейчас более красивая, имхо. Хотя, не далее как сегодня я плевалась на изменившийся интерфейс отображения результата прогона автотестов, а всем понравилось 

В общем, действительно классный доклад. Теория, практика и еще раз практика. Супер!

3. Ирина Винокурова / Мы не Баги! Или как научить программистов тестированию, чтобы не было мучительно больно

Прекрасное завершение конференции.

Ира рассказывала о том, как донести до разработчиков мысль о том, что тестировщики - не бибизянки, тыкающие по кнопочкам абсолютно бездумно. Что есть такие понятия, как тест-дизайн и все-все-все, как классы эквивалентности и прочая.

Не все разработчики об этом знают. Особенно, если речь идет о крупных проектах с бюрократической волокитой или, наоборот, небольших фриланс проектах. И в этом случае надо как-то разговаривать, как-то убеждать...

А разработчики будут сопротивляться и ворчать 
Обо всех таких проблемах и их решениях и рассказала Ирина в своем докладе. И, конечно же, не обошлось без слайдов с милыми совушками! )))

На этом FunConfetQA завершилась, пора перемещаться на форум, голосовать за лучший доклад, читать ответы на свои вопросы, задавать новые и вообще, общаться на разные интересные темы. Туда и пойду, пока-пока!

Пишем отчет, панель задач тестировщика

Включила сегодня confetqa послушать, последний день...

А параллельно открыла приложение, которое тут же и повисло. Запустила JVisualVM, чтобы посмотреть на мониторы и внезапно осознала, что моя панелька задач какая-то... Большая 

А главное - все такое нужное!! Так ничего и не закрыла...

Фишка в чем - вчера провела нагрузочное тестирование, результаты оформить не успела. Поэтому jmeter-ы даже закрывать не стала, они мне будут нужны сразу после конференции, дописать таки отчет.

Нагрузочное тестирование проводилось на linux-сервере. После него то, собственно говоря, приложение и подвисло.

Итак, смотрим:

• Папочки винды - must have всегда. Думаю, пояснять не надо, там постоянно открыты 3-4 папочки, ну, мне так удобнее смотреть всяко-разное, чем в FAR, что поделать.
• Outlook - must have всегда. Думаю, пояснять не надо, вся почтовая переписка находится там. Внимание, конечно, ему уделяется не всегда, но пусть будет запущен.
• Google Chrome - must have всегда. Тоже пояснять не стоит, наверное. JIRA, Confluence, Mercurial, TeamCity надо где-то смотреть...
• cmd - must have всегда. Постоянно открыты 4 консольки. Первая - мне любимой, для сборки проектов, прогона тестов итд. Вторая - под SQL Developer (надо бы ее убрать, кстати, закрепив в панели программу). Ну и еще две - постоянно подняты локально 2 сервера, для ручной проверки фич. Сейчас, кстати, их там 7, к постоянным четырем добавились 2 jmeter и jvvm.
• FAR - must have всегда. Вот для быстрого копипаста проекта в JBoss мне удобно использовать именно его.
• IntelliJ IDEA - must have всегда. Писать автотесты, смотреть исходный код и т.д. и т.п. Собственно, самая часто используемая программа.
• SQL Developer - must have всегда. Вместе с IDEA является самой часто используемой программой. 
• Skype - must have всегда. Там и коллеги, и Заказчики. Там что онлайн. Правда, стоит всегда в режиме "не отвлекай", так удобнее.
• ISQ - must have всегда. Там есть пара Заказчиков, которых нету в скайпе. 90% времени нафиг не сдалась, но пущай работает.
• SQL Workbench - иногда эта программа удобнее, чем SQL Developer. Когда нужна, тогда и запускаю.
• Cygwin Terminal - нагрузочный тест я запускала через sh скрипт. В батник было лень перекладывать, поэтому просто запустила через Cygwin.
• Notepad++ - must have всегда. Всякие полезности там обычно открыты.
• SoapUI - открыт не всегда, но часто. Через SOAP запросы часто приходится кидать для тестирования.
• JMeter - там открыты результаты "ступеньки" (на разном числе тредов по минуте), когда я искала, какая нагрузка будет ок. Еще не перенесено в вики, поэтому пока висит.
• Putty - через него снимала vmstat на сервере. Можно было через второй Cygwin, не спорю.
• WinSCP - опять же, подключен к серверу. Опять же, ну удобнее мне всякие логи смотреть не через tailf, а в Notepad.
• JMeter - там открыты результаты второго теста (на определенном числе тредов нагружаем час). Опять же, ждет документирования.
• Картинка - картинка ступеньки нагрузочного теста, вставляла в доку, решила пока оставить, пригодится для документации.
• Приложение - запустила посмотреть, как ведет себя после нагрузки.
• JVisualVM - запустила, так как приложение стало подвисать, а разработчик в скайпе меня игнорил, пришлось самой мониторы включать 
• GoToWebinar - 2 часа отдыха вместе с ConfetQA!

И да-да, я знаю, сейчас прибежит коллега и обзовет меня извращенкой. Так что я ему сразу отвечу - на свой firefox посмотри!! 

Я, между прочим, документацию закончу и большинство программ закрою, останутся must have.

FunConfetQA. Осень 2013. День второй

Еще один конфетко-день прошел 
Пройдемся по горячим следам!

1. Алексей Петров / Вестники тестирования. Цели и польза

И снова я в пролете с первым докладом 
Увы и ах, пока ничего не могу сказать, буду ждать выкладки на форум...

2. Рина Ужевко / Гадкий я. Или как не попасть в “ловушки” на пути к успеху

Оу, Рина сегодня зажгла! Не зря ее взяли в программный комитет SQA Days. Слайды очень, ну очень клевые!! Прямо-таки лучшие слайды за всю конфетку, я бы так сказала!

А еще очень яркий и позитивный сам по себе. Рина рассказывала о ловушках, в которые попадают тестировщики на своей работе. В частности, сама Рина периодически попадает в капкан "Какой билдик! Увау!".

Как многие, наверное, знают, Рина работает тестировщиком в геймдев. И там очень легко забыть обо всем на свете и увлечься игрой, а не тестировнием. Например, выпустили квесты для Хеллуина, надо простетить, что монстрики есть и квесты выполнимы, а сам втягиваешь и сидишь играешь, проходишь квестики. Тоже, кстати, тестирование - затягивает игруля или нет 

Вообще интересный доклад, как не увязнуть в рутине, поднять от нее голову, оглядеться, обнаружить, что ты в капкане ловушки и ускользнуть оттуда, пока не стало слишком поздно!

3. Наталья Руколь / Управляемое исследовательское тестирование

Наталья Руколь, как всегда, радует нас интересными и красиво оформленными докладами.
Хотите сделать все правильно? Вперед! Но учтите, что это такая скукоти-и-ища (если писать подробные тест-кейсы).

А как сделать так, чтобы и протестить все и в рутине не увязнуть? Наталья предложила 6 способов. А уж какой из них выбирать - решать вам!

Потому что не все подойдут именно вам и именно вашей конторе. Но это же не повод просто сидеть сложа ручки. Камон, ребята, все в ваших руках! В том числе и превращение рутины в интересные задачки. Назначь работу любимой женой 

Я могу поставить идею (IDEA) !!!

Хочется поделиться небольшой тестерской радостью, пусть и не совсем своей

У нас в коллективе нету прямо выраженного тест-менеджера, каждый человек несет некую ответственность за свою часть продукта, за своего Заказчика. Но, во время прохождения школы тест-менеджеров я начала больше общаться с ребятами (или хотя бы стараться это делать) и смотреть, что им нравится, а что нет.

И вот есть у нас девочка, назовем ее Яна. По некоторым причинам она раньше появлялась редко, сейчас уже часто. Но ближе к вечеру. И, так как она старожил, то и компьютер у нее, прямо скажем... Всего 4 Гб оперативки.

При том, что для полноценного тестирования нам нужно хотя бы 16 Гб, так как при старте двух серверов локально отжирается большая часть этого счастья. Но, Яна же появляется редко, поэтому у нее есть своя виртуалка, где она поднимает сервера. А тесты пишет и код правит на своей скромной рабочей станции.

И вот буквально на той неделе задержалась я на работе, как раз с Яной много времени провели. Хожу я, значит, по офису, чай наливать иду. Прохожу мимо Яны, а она сидит грустит.

- Ну как там тесты, поправила?
- Да какое там, 15 минут (потрясает кулаками) ждала, пока машина отвиснет.
- Ого, как же так.
- Да в ней же всего 4 Гб оперативки...
- Так попроси админа дать тебе нормальную станцию, поставь задачку в JIRA!
- Ну-у-у-у, я с ним разговаривала уже (скромно потупив глазки).
- И что?
- Он сказал, что когда Вася (другой коллега) пересядет на ноутбук, мне отдадут его компьютер. Только (тяжкий вздох) уже пара месяцев, как он пересаживается...
- И что, тебе ждать теперь чтоли? Это же необходимость, а не прихоть! Ставь задачку!
- Ну-у-у-у... Я даже не знаю, наверное, попробую с ним еще поговорить, а может, пока вообще не стоит (опять же по некоторым своим причинам).

Ладно. Проходит еще минут 15-20, мне надоедает работать, да и время уже 11 часов, собираюсь домой. Иду мимо Яны, а она раздраженно машет рукой на свою железяку и говорит "А, ладно, я с тобой. Лучше завтра все сделаю, а то надоело ждать, пока все отлагает".

А я иду и думаю, ну как же так? Ведь Яна же одна из моих ребят, и так страдает. Да и не только она, весь проект страдает! У нее сегодня в планах было эти тесты добить и другую задачку сделать, а что в итоге? Из-за ограниченности компа она ничего не сделала...

Ведь это правда очень неудобно, собирать на своей машине, потом копировать на виртуалку, там все разворачивать, потом опять на своей исправлять... И почему вообще мы должны терять ее время???

Я знала, что она не поставила админу задачку, поэтому сделала это сама. И даже обосновала, тесты интеграционные гонять - это вам не хухры мухры. Приготовилась отстаивать свою позицию. Прихожу к админу:

- Видел задачку?
- Ага. У меня как раз свободная станция завалялась...
- о_О Где ж ты раньше то был?!
- А ко мне последнее время никто с просьбами не обращался!

Потом были еще танцы с бубнами вокруг установки машины. Но вот, наконец, у Яны стоит нормальный комп!

Сегодня ухожу с работы, прохожу мимо нее. А она сидит и таким счастливым голосом говорит:

- Я теперь могу поставить идею!!!
(IntelliJ IDEA - среда разработки для Java-приложений)

Раньше идея бы даже не стартанула. А теперь - ВАУ, можно спокойно работать! И, главное, столько счастья

А я даже где-то горжусь. Тем, что ускорила процесс получения этой радости

Fun ConfetQA. Осень 2013. День первый

И вот началась новая серия конфеток, на этот раз - от Тани Зинченко!

Давайте посмотрим, что принес нам первый день

1. Евгений Ефимов / Как посчитать время на тестирование так, чтобы все поверили

На этот доклад я, к сожалению, не успела. Срочная работа привалила. В итоге на середине доклада я включила GTW, увидела страшные формулы на слайдах, но наушники одевать не стала, надо было доделать задачку. Так что я смотрела только мельком. Но отзывы в твиттере просто восторженные!!!

И не только в твиттере, но и в скайпике все признали, что доклад очень крутой, а некоторым еще и полезный - тем, у кого начальство любит подобные расчеты! В общем, не знаю как вы, а я хочу посмотреть этот доклад хотя бы в записи!

2. Татьяна Андреева / Как взглянуть на свою работу под другим углом

Очень позитивный доклад! Прикольные слайды, интересные аналогии тестирования с Винни-Пухом! Рассказано с примерами, что очень радует. Понятно, что не всем подойдут именно те методы, которые внедрила у себя Татьяна, но интересен именно ее, конкретный, опыт.

Немного огорчили размытые ответы на вопросы, на просьбу резюмировать "с чего начать", Татьяна сказала, что не знает, так как не все и всем подойдет. Но это же понятно! Просто хочется по ее личному ощущению услышать, понять... Ничего, обсудим на форуме!

А еще в тему того, что идеи автора подойдут не всем - Татьяна сказала, что им помогло описывать ошибки быстро, даже если и не так уж и качественно. Ох, какая кривая дорожка... Нет, я верю, что иногда она работает. Но сложно различить ту грань, за которой перестает.

Раз, исправили ошибку тут же - и локализовывать не надо. Два - исправили. И вот ты привык оформлять баги в "быстром" темпе, зная, что их тут же исправят. Но упс... Аврал / больничный / отпуск, мало ли что. И вот до баги руки дошли пару месяцев спустя. И уже ничего не понятно, что тут происходит? В чем ошибка?

В общем, спорный пункт.

3. Алексей Баранцев / Баг не воспроизводится… Что делать?!

О, Алексей, как всегда, просто прекрасен!!

Вот иногда считают, что если человек сделал себе имя, то фи всем, кто приходит его послушать. Подумаешь, фанаты. Это просто бренд, ничего больше. А вот "чего"! Алексея всегда слушаешь с открытым ртом.

Потому что - интересная тема, интересный рассказ и клевые слайды!!!

А еще (гордится) Алексей в своем выступлении процитировал Таню Зинченко и меня! Рассказал об одном случае, который я описывала в блоге... Вот случай помню, а блог-пост хоть убей, найти не могу!! Алексей, а точно в блоге? Не в чатике? О, точно, и правда в блоге - вот ссылка.

В общем, доклад Алексея, как всегда, превосходит ожидания. И все возникающие вопросы. Таня после доклада говорила "только пишут вопросы - а какие инструменты Вы используете, а Вы р-р-раз и ответили, только спрашивают то, а Вы р-р-раз и ответили". Здорово! Отличная структура и полезные мысли. Что делать, если баг не воспроизводится... Играть в игру "найди отличия!". Но какая это иногда тяжелая игра...

Отличное начало конференции. я считаю! Клевые доклады, позитифф и прочие прелести жизни. Ждем продолжения!

API-тесты, комиксы

Коллеги, всем привет!

9 ноября в 12.45 я выступаю на конференции SQA Days 14 с докладом Автотесты на уровне API для Java-приложений.

Конечно же, сам подход применим не только для Java приложений, но и для любых других. Но я же буду рассказывать о конкретном опыте и на конкретном примере

В общем, приходите, будет интересно!

А сейчас я бы хотела опубликовать несколько слайдов из моей черновой презентации. Я ее в итоге полностью переработала (читай - полностью выкинула), но эти слайды мне очень понравились и я решила их сохранить хотя бы в виде мини-комикса

Итак, плюшки API-тестов!

Тестовых инструментов на самом деле больше, чем ты думаешь

Продолжу практику выписывания интересных советов из книжки Lesson Learned in Software Testing (№ 141), в вольном переводе:

You may have more test tools than you realize.

Секундомер - один из примеров отличного инструмента для тестирования! Измерение времени отклика системы - это одна из важнейший активностей тестировщика. Секундомер прост в использовании, гибкий и точный. Многие тестировщики и разработчики уверены, что все это лучше как-то заавтоматизировать, подключиться к системным часам и прочее... Но использование простого секундомера зачастую является лучшим выбором для black box testing.

A test tool does not have to be labeled "Test tool". Testers have dozens of other tools useful.

Инструменты для тестирования далеко не всегда так и называются - "инструменты для тестирования". Тестировщик может найти десятки инструментов с другими названиями, которые будут ему очень даже полезны. Многие из них дешевые или вообще бесплатные. Вот некоторые из них:

• Disk imaging tools - Позволяет быстро восстановить систему к определенному состоянию.
• Dependency walkers - Отображает dynamic libraries (боюсь, по русски это прозвучит менее понятно ), которые использует приложение.
• File scanners - Ищет и записывает, какие системные файлы были изменены.
• Memory monitors - Следит за утечками памяти.
• Macro tools - Делает простым повторение рутинных задач.
• "Little languages" such as Sed, Awk, Grep and Diff - Этот инструмент дает возможность очень просто автоматически редактировать файлы, извлекать данные, искать какую-то информацию или просматривать diff (разница между двумя файлами). Первоначально разрабатывался под Unix, но сейчас такой инструмент есть практически на всех платформах.

----------------------------------------------------------------------------------------------

От себя хочу добавить, что, действительно, на форумах часто спрашивают "Ребята, а какие есть инструменты у тестировщика?". Да любые! В первую очередь мозг

Мы как разработчики, им же нужен один блокнот. Ну IDE сильно жизнь упрощает. Но это же не значит, что они только IDE и используют. Те же команды в Unix, те же макросы, те же скрипты, логи и т.д. и т.п.

Так и тестировщики - официальных инструментов у нас нет. И это, в общем-то, здорово! Хотелось бы, конечно, серебрянную пулю иметь, но ее нету. И для разных целей мы можем применять абсолютно разные инструменты. Порой такие простые, как блокнот или секундомер.

Все зависит от задачи. Все зависит от Вашего уровня подготовки. Все зависит от Вас!
Используйте то, что есть под рукой, используйте то, что позволит Вам избавиться от рутины, отдав ее роботу, используйте то, что позволит Вам тратить на подготовку к тестированию (например, развертывание тестового стенда) минуты, а не часы.

Важным опытом является, пожалуй, именно знание того самого "Little languages". Ну просто потому, что это чаще всего пригождается в работе. Хотя, кому как. Ищите то, что будет именно Вам в тему!