SQA Days 16. День первый

Отгремела 16 конференция по тестированию. И ВАУ, это было круто!

Спасибо организаторам за отличную площадку. на которой они собрали много интересных людей и дали этим людям возможность поделиться собственным опытом и знаниями!

Конференция проводилась в Санкт-Петербурге, в отеле "Park Inn by Radisson Прибалтийская". Там проводится уже вторая конференция и сервис отеля всегда на высоте. На втором этаже есть 3 больших зала и куча места для "поговорить за чашкой чая". Из развлечений - большой телевизор с игрушками, пуфики и конкурсы от Badoo и Wargaming.

А еще первый день вокруг участников бегал мим 

Но пока хватит об организации. Расскажу немного о докладах, на которых я побывала, это ведь самое интересное!

Доклады

1. Игорь Бондаренко. Слепые SQL инъекции. Достаточно ли хороши ваши тесты?

Игорь рассказывал о разных типах слепых инъекций:

1. Классическая.
2. Error based.
3. Абсолютно слепая.

Каждая имеет свою особенность поиска, но докладчик показал примеры, что очень ценно!

Но вот нашел ты инъекцию, а как доказать ее важность? Не бойтесь использовать белый ящик, вы же знаете, какие у вас есть таблицы в базе и какие данные там хранятся. Сделали готовый запрос и показали на нем.

Еще интересны примеры инъекций, которые эквивалентны друг-другу, написаны с помощью синонимов. Фаервол может резать ключевые слова, поэтому тестировщики успокаиваются, "все защищено!", ан нет, стоит использовать тот же запрос, но по синониму, и вот уже система сломана!

Ну и напоследок список тулзов для тестирования инъекций автоматически, без участия человека.

И все это за 15 минут 

2. Наталья Савастюк. Проверка влияния внешних событий на работу мобильного приложения

Наталья очень хорошо разложила по полочкам, как нужно проверять влияние внешних событий. Чек-лист, бери и используй!

Доклад очень понравился, как только выйдет видео, начну его активно рекомендовать своим ученикам, потому что там раскрыт вопрос "как искать баги?", пусть и для мобильного приложение. Все равно полезно!

Просто, понятно, доступно. К концу доклада узнала из твиттера, что Наталья — тренер. Тогда я вспомнила о ее сайте http://www.software-testing.by/. Очень рада была увидеть ее вживую! Она полностью оправдала свой статус, я верю, что студенты остаются довольны обучением. Что там мало воды и много всякого полезного по делу, молодец! Так держать!

3. Алексей Лянгузов. Визуализация покрытия автоматизированными UI тестами

Леша, браво! Для меня этот доклад стал лучшим за всю конференцию. Он дает много идей для размышления. От "ух ты, надо и мне попробовать прям вот это же" до "хм, да, визуализация это так круто, надо бы ее там и там добавить".

Алексей рассказал, как он прикрутил модель к своим тестам. Написал код — отрисовалась моделька (разработчику интереснее и проще писать, чем рисовать). Запустил тесты, они же знают, на какие страницы заходят, поэтому могут отметиться на модели, зеленым или серым (заходили на страницу или нет).

Результат прогона, однако, оказался удивительным. Кроме зеленого и серого появились рыжые области —тест туда зайти зашел, а в модели не было предусмотрено. Это натолкнуло на новую идею - почему бы не проверять не только состояния, но и переходы между ними? На этом мысль тоже не остановилась, так что результирующая модель очень познавательная 

Рекомендую к просмотру!

4. Татьяна Писчасова. Github Flow. Тестировщики против тестирования

Пошла на доклад после замечания коллеги "А вот у нас некоторые Заказчики хотят фичи чуть ли не завтра, было бы интересно попробовать. Сделал фичу, сразу отдал". Пришлось разрываться между секциями B и С.

Но выбрала в итоге доклад Татьяны, как более полезный для моей работы.

Таня рассказывала хорошие вещи на примере опыта собственной команды. 2ГИС уже больше года (если не ошибаюсь) как переехал на доставку фич. Новая фича = новый бранч. Когда разработчик считает, что фича готова, он создает pull request - запрос на релиз.

Сразу возникает куча вопросов аля "Как оценивать задачи?", но Таня сразу предупредила, что не будет на них отвечать в данном выступлении. И вроде она сказала, что ее коллеги об этом уже рассказывали. Надеюсь, меня поправят или дадут в комментариях ссылку на тот доклад, было бы интересно послушать!

Update - а вот и ссылочка на доклад коллег!

Если кратенько, то в процессе перехода на каждодневные релизи пришли к следующим выводам:

1. Должен быть жесткий регламент (попахивает бюрократией, но тут сильно зависит от команды, когда все хотят одного и того же, то это ок). Иначе никак.
2. Регрессия по 20 раз в день? Лучше совсем без нее. А поэтому - автотесты всегда, везде и всей командой.
3. Баги - минимизируем, анализируем и ищем причины, а не фиксим последствия. Например, обнаружили проблему при автоматическом мердже (софт такой софт, вечно у этих роботов баги ), так как на каждую фичу идет отдельный бранч, то коммитов очень много, приводит к коллизиям. Решилось очень просто — ввели code review. А всякие ошибки "пропустил точку с запятой" отдали на откуп валидаторам и хукам.
4. Тестируйте как можно раньше! И дружите с разработчиками ))

В целом доклад отличный!

Единственное "но" лично для меня — я пошла туда узнать, как перестроить процесс с 1 релиза в неделю на 20 релиз в день, но все эти советы, приведенные выше, выполняются и у нас, при релизах раз в 3 недели. Хотя в их случае они наверняка приобретают еще больший масштаб, я уверена! 

Тут я, каюсь, похожа на Ринин образ "религия не позволяет", так как после доклада быстренько слиняла встречаться с Юлей, которая сидела с=в другом зале. Ну ничего, зато с Таней пообщались мои коллеги, уверена, что они все узнали!

Мне, наверное, от доклада хотелось бы больше примеров, которые иллюстрировали бы всю тяжесть такого перехода, ведь автотесты у них наверняка и раньше были. И у багов причины искались, а не дыры латались.

Но все равно, я считаю, доклад очень полезен, особенно тем, кто только думает "Хм, что-то у нас все плохо, как построить правильный процесс?". Берите доклад и вникайте! Процесс отличный, отвечаю 

5. Ольга Павлова. Порог вхождения как критическая точка пользовательского опыта

Доклад довольно интересный. Помогает взглянуть на свое приложение с другой точки зрения. Люди обычно не любят кучу настроек "прямо на входе". То есть если с приложением сложно начать работать, они будут искать ему альтернативу.

А если начать работать легко. а сложности начинаются при углублении в более сложные функции, тут уже лучше.

Люди могут терпеть первичные сложности только тогда, когда они сильно замотивированы. Например, регистрация в игре World of Tanks весьма нетривиальна, порог вхождения большой, но люди хотят играть, поэтому все терпят.

Кстати, любопытный факт — Mac открывает текстовый документ хуже, чем Windows, хотя позиционируется как простой и ориентированный на пользователя. Но пользователь, открывая редактор, хочет сразу писать, а не выбирать из пунктов меню "новый документ".

В докладе было много других любопытных примеров, советую послушать, чтобы увидеть мир другими глазами. Хотя согласна с одним из вопросов в зале, о том, как все плохо, рассказали, а примеров "как сделать хорошо", не было. А хотелось бы.

6. Владимир Мозжечков. Техническое собеседование Senior QA. Проведение и прохождение

Владимир рассказывал, как они в своей компании собеседуют синьоров. Честно говоря, я слегка выпала в осадок, услышав, какое домашнее задание им дается.

Все очень просто и логично, кандидатам дается бажное приложение и просят описать найденные ошибки. Тут вроде бы все логично, но далее следует слайд 6, как оцениваются присланные результаты...

Приличное количество хорошо оформленных баг - это уровень троечки! А 4 балла получает тот, кто составит тест-план, хотя его об этом не просили. Ну а самый крутой уровень — ежедневные отчеты.

Вот тут то мы и насторожились. Одним из первых вопросов после окончания доклада было — "А на сколько времени дается задание?". Оказывается, что срок — неделя. И считается нормальным эту неделю тратить по 2-4 часа в день на домашку.

Ого! И это в Туле. Я думаю, даже в Москве сложно найти людей, которые согласны на такое задание. Владимира потом спросили, как они мотивируют сеньоров решать такое задание? Ответ — никак. Не хотите, не надо.

Нет, в целом все остальное было вполне логичным. И первые 2 уровня в оценке тоже ок, они правда отсеивают тех, кто сделал "тяп-ляп", на "отстаньте". Но все же уровень кандидата можно выяснить и заданием на 10-30 минут, зачем тратить чужое время? 

Высокооплачиваемый специалист просто не будет делать такое задание. Тут лучше брать пример с авторов книги Remote, которые считают, что любой труд должен быть оплачен. Поэтому они дают кандидатам простенькую работу и оплачивают ее. А потом уже принимают решение, работать ли с этим человеком дальше. Мне кажется, что, если работа занимает много времени, за нее должны платить.

7. Инна Смирнова. Эффективный тест-менеджмент... и как с ним бороться

Инна рассказала о 4 видах менеджеров по Адизесу. А потом пояснила, как с ними общаться. Особенно, если эти "эффективные" менеджеры мешают тебе работать. Тема актуальная, кто еще не читал Адизеса, вполне можно послушать.

8. Юлия Свистунова. Как оценить команду тестирования и как направить их развитие в нужное русло

Юлю — шикарный оратор! Всегда слушаю ее с белой завистью, я после долгих репетиций не умею вещать так же захватывающе. Качество подачи — на твердую 5!

Качество доклада тоже на пятерку. Юля показывала матрицы, с помощью которых можно оценивать свою команду. Передавала привет и "спасибо" Наталье Руколь. Собственно говоря, благодаря Наташе я с этими матрицами уже знакома. И они впечатляют! Действительно круто, так и хочется сразу же пройтись и оценить саму себя =)

Если вы еще не знаете, о чем идет речь — обязательно послушайте доклад. Это действительно ценный опыт!

Не была, но наслышана

Максим Цепков. Спиральная динамика- понимай ценности и действуй

Один из лучших докладов, судя по твиттеру! Видела другие выступления Максима, верю 
Обязательно посмотрю в записи.

Дмитрий Марущенко. Концепция QaAPI: взгляд на тестирование с другой стороны баррикад

Очень хотела пойти, потому что от BaDoo обычно выступают ораторы с подачей материала на 5+. А тут еще и тема интересная...

Судя по твиттеру, я не ошиблась, доклад был реально крутой. А еще он занял первое место! Что тоже о многом говорит ))

Afterparty

Одними докладами организаторы не ограничились. В перерывах были вкусные плюшки, горячий чай, кофе, игры. На стендах партнеров разыгрывались разные ништяки. Главный журналист ловил участников и уводил в сторонку, к камере.

Я его, кстати, не узнала, богатым будет 
Беру чашку, иду наливать себе чай. Подходит парнишка:
- Пойдем со мной.
- Куда?
- *хитро улыбаясь* Туда, куда я скажу!
- Дай хоть чай налью.
- Тебя сейчас снимать будут, там чашка лишняя.

Поболтали с ним, обсудили рост и развитие конференции, порадовались тому, как много стало крутых и интересных докладов.

Ну а вечером, после всех докладов, началась вечеринка. Организаторы молодцы, такое представление закатили!

Сначала на сцене играла красивая скрипачка с ярко-красном платье. Можно было понаслаждаться музыкой и в то же время не приходилось громко орать, чтобы пообщаться друг с другом.

Потом тамада устроил конкурс на узнавание мелодий. Я участвовала там с Лешей Петровым и мы заняли почетное второе место. Заняли бы и первое, если бы я не протупила на музыке из танчиков. Леша мне подсказывает активно "battle tanks", а там громко, не слышно... Соседняя группа назвала просто и по русски "танчики" и выиграла коньяк!

Ну и ладно, зато мы почти победили )))

Потом на сцену вышел мальчик со скрипкой и начал играть. А потом второй мальчик, еще младше! Вскоре к ним присоединилась и красавица мама. Их выступление было восхитительным! Смотрите сами:

Еще раз огромное спасибо организаторам за такое выступление. Даже не так, за ТАКОЕ выступление! Где еще рядовой ИТшник такое увидит? 

А потом были еще конкурсы. А потом на сцену вышла группа, которую можно было не только слушать, но и начать, наконец, танцевать! Правда, это уже стало немного шумновато...

Поэтому мы ушли в соседний бар Моллис и просидели там до полуночи. Пообщались, перекусили и пошли спать. Ну, это я так думала, когда в 11:45 со всеми прощалась. Сейчас, думаю, в полночь лягу, еще и к первому докладу встану!

Потом, правда, планы изменились. Мы пошли к отелю с Лешей Петровым, который выступал на следующий день, и решили провести генеральную репитицию. Доклад у него на 15 минут, "сказочка на ночь" 

Хотя обсуждение немного затянулось )) А потом еще вспомнили, как он работал почти в нашей компании. А потом обсудили ремонт, а потом снова тестирование 

Вспоминлось сразу, как поехала в прошлом году на ЛАФ, чтобы пообщаться там до 2 утра с коллегой, которого каждый день вижу на работе. Так и тут, выехали с москвичом аж в Питер, чтобы обсудить тестирование 

Это, кстати, одна из прекрасных возможностей конференции — встретиться с новыми людьми и поболтать со старыми знакомыми. Так что я довольна! Хотя до сих пор хочу спать )))) Режим я себе сильно сбила в Питере, да)