SQA Days 22. Санкт-Петербург, отзыв

17-18 Ноября, в Санкт-Петербурге, прошла конференция по тестированию SQA Days 22.
В этот раз я ехала в качестве слушателя.

Если кратко — конференция удалась! Я ехала туда в четкой целью «подумать, о чем я сама могла бы выступить». Что цепляет в названиях, на что хочется пойти и послушать? Что затрагивает в самих докладах? И ведь нашла идеи! Штук 6 идей, что я могла бы рассказать по работе, а не просто по общей тематике от Testbase.

А если в целом, на конфе я:

• Послушала интересные доклады;
• Придумала идеи для своих докладов;
• Поработала (куда ж без этого);
• Встретилась с Юлей и Арсением, своими коллегами, мы очень продуктивно с ними пообщались в итоге, но об этом я расскажу в #12недель;
• Зарядилась энергией. Я серьезно! Намного легче было работать после конфы, хотя я и осталась без выходных фактически. Об этом чуть позже

В общем, я довольна ツ

Но давайте по порядку. Начнем с основного, конечно же — с докладов. 

Доклады

1. Как hh.ru дошли до 500 релизов в квартал без потери в качестве. Алексей Анисимов

Это был доклад второго дня, но для меня он оказался самым лучшим, полезным, интересным... Поэтому сначала расскажу о нем, а потом об остальных уже по порядку.

Доклад заинтересовал названием и описанием. И это отличный пример грамотного описания, потому что доклад полностью оправдал мои ожидания. Все, что обещал, автор рассказал. И о том, как было раньше, и о том, как они шли в светлое будущее, и о том, с какими проблемами столкнулись.

Очень крутой доклад. Прям рекомендую. Он и мотивирует, и заставляет задуматься... Мы сами сейчас стоим на пути ускорения выкладки релизов, но мы пока в пути. Однако доклад Алексея навел меня на мысли о том, о чем я могу рассказать )))) Главная тема «подумай, о чем могла бы выступить» достигнута!

Так вот, у ребят приличная нагрузка, 1 млн уникальных пользователей в день → крутится это все на 100 серверах. Процесс gitflow — каждая задача делается в отдельной ветке.

С какими проблемами они столкнулись:

1. Длинная инструкция по выпуску — человеческий фактор, бывают ошибки. 
2. Релиз занимает 1 ч/д, это много
3. Разные типы релизятся по разному
4. TEST отличается от PROD
5. Тестам не верят (слишком много ложных падений в UI тестах)
6. Так как тестам не верят → часть релизов сразу в PROD идет, «я щас одну строчку поменяю», а вы понимаете, чем это чревато  

В итоге:

1. Даунтайм прода, так как выпуск идет доооолго, а это деньги каждую секунду
2. Увеличивается time to market (время выхода фичи в прод)
3. Непротестированные изменения из пункта 6 тоже приводят к даунтаймам
4. Нежелание что-либо делать (ох, это так сложно все)

В итоге приняли решение релизиться автоматически. 

Наметили проблемы, которые хотят решить:

— Куча вариантов сборки;

— TEST непригоден для проверки деплоя, так как далек от реальной конфигурации

— Автотесты УГ и им не верят.

Итак, к чему в итоге пришли:

• сборку релизов написали свою, готовые не подошли
• система деплоя сервисов — ansible
• GUI тесты заменили на API там, где можно
• Обширный рефакторинг тестов в связи с прошлым пунктом
• Используют докер, потому что модно и интересно

Разумеется, внедрение докера тоже не обошлось без проблем =) 

Люди вообще не любят перемены, это гомеостаз нас защищает (подробнее о нем хорошо рассказывается в книге «Мастерство»). Поэтому любые проблемы сваливали на докер. Что-то пошло не так? «Это все докер, давайте откажемся от него уже, сплошные проблемы!»

Но ничего, все настроили, автоматизировали и стало жить хорошо 

Провели внутренние тренинги для тестировщиков. В итоге каждый тестировщик может править тесты и у них осталось всего 3 автоматизатора для оптимизации кода и всякого такого.

В итоге тестам больше доверия, релизы автоматические и теперь они могут выпускать по несколько релизов в день, не напрягаясь. Крутая success-story! Рекомендую посмотреть) 

Для меня это был тот доклад, ради которого стоило приехать на конфу. Так как сама не новичок, понимаю, что много открытий чудных не будет, так что 1-2 доклада "в тему" уже хорошо. А тут еще и идеи для своего выступления, вдвойне круто))

2. Как не потерять важное при передаче проекта. Вострикова Галина

Галина дала целый чек-лист по передаче проекта. Она довольно часто меняет проекты, иногда ее забирают на новый, пока старый не доведен до конца. Приходится передавать знания, а это всегда сложно, ведь потом тебя еще какое-то время дергают с вопросами.

Или когда сам приходишь на новый проект, еще не особо понимаешь, о чем спросить, чтобы потом не дергать человека. Чек-лист поможет не продолбать все важное.

Проблемы передачи проектов:
— Отсутствие ключевых ролей;
— Отсутствие документации / инструкций;
— Уход с проекта «носителя знаний»;
— Личностные взаимодействия.

Что влияет:
— Долгосрочный проект или нет?
— Вы попали на какую стадию: начало, середина, конец проекта?
— Когда выпуск в PROD?
— Есть ли запас времени на фикс ошибок?

Что передавать?

1. Общая информация о проекте

1.1. Глоссарий терминов
1.2. Описание системы:
— поддерживаемые ОС;
— версии;
— браузеры;

Все общее:
— цели проекта / этапа;
— бизнес-логика;
— описание ПО;
— схемы взаимодействия;

Процесс сдачи версии Заказчику / в PROD, как это делать, кому писать письма, что в них должно быть?

1.3. Особенности: узкие места, сторонние ПО
1.4. Тестовое окружение
1.5. Артефакты проекта
...

3. Проверить новичка

Весь чек-лист я уже не стала записывать, только вот с чего начать + последний пункт очень важен. Если не проверишь, что человек усвоил знания, то все, тю-тю.

Очень классный доклад, рекомендую к просмотру. То, что доктор прописал — за 15 минут куча практики. Обещала чек-лист — дала четкий, подробный чек-лист. Супер :)


3. Нагрузочное тестирование. 100 тысяч пользователей. Миронцев Николай

В целом интересный доклад. Николай рассказывал о том, как Заказчик решил «хочу 100 тыс пользователей держать» и как они это тестировали.

Из интересного — это как замеряли время и в итоге отказались от WebSocket и динамической загрузки страницы. Все теперь работает на JS и страница грузится сильно быстрее.

Не понравилось начало доклада, Николай сходу начал вещать про LoadComplete, а я еще как слушатель не поняла, нафига мне про него слушать то... Возникло подозрение, что это просто рекламный доклад. Хотя потом перешли к конкретной ситуации и стало норм, но мне вот введения не хватило.


4. Велосипедизация, или всегда ли хороши стандартные решения. Алексей Вихров

Интересный доклад. Автор рассказывает о том, что изобретать велосипед — не всегда плохо. Да, круто, когда есть стандартное решение, но его бывает очень сложно адаптировать под себя. И в таком случае лучше сваять на коленке, но так, чтобы именно у тебя работало.

Вот, например, если говорить про автоматизацию Web Ui, то что сразу приходит в голову? Selenium, Java, JUnit, jenkins...

Это все хорошо, но ребята столкнулись с проблемой отчетов по тестам. И прикручивать allure было долго и «не совсем то, что хочется». Их решение:

PrimeFace + JFS — позволяет сделать клевые отчетики на чистой java

Это интересненько! Мы как раз тоже хотим сделать некоторые отчеты в виде графиков или круговых диаграмм, но не по тестам. А сама система на java, так что рассмотрим и этот вариант в том числе. Полезный доклад оказался!

У Алексея на слайдах отчеты смотрелись вполне норм. И нарисовали их за часы, потому что для внутреннего использования, к вау-красоте не стремились. Зато быстренько сваяли и можно использовать. А потом при желании кастомизировать и усложнять.

Исходно ребята по табличке данных выводили количество пройденный / проваленных тестов. Не помню точно, чем их не устроили готовые отчеты, но тоже вполне себе вариант. Быстро, дешево и сердито. В любом случае спасибо за идею ツ

5. Делаем автоматизацию проектных KPIs. Евгений Ильин

Евгений рассказывал, как они начали автоматизировать KPI, причем не в одной команде, а сначала в одной, потом пришли в другую, третью итд. Конечно, не всегда и не везде им были рады... План внедрения:

1) Предрассудки: Зачем нам вообще KPI? У нас нет времени, ресурсов, наш проект уникален, ничего не получится... Так говорят все и с этим надо бороться. Времени на KPI нет, ну так не ты же его делать будешь, ты только расскажи, что хочешь собрать

2) Мотивируем: устраиваем демо — развеиваем сомнения в успехе. Желательно на демо позвать лидеров команд, где уже успешно прошло внедрение KPI

3) Оцениваем источники данных. Откуда будет поступать информация? JIRA, Testrail итд. Что эти инструменты умеют и могут предоставить?

4) Анализируем качество данных. На разных проектах будут разные методики вычисления KPI.

Но если все сделать, то получится крутота. Правда, мне не хватило конкретных примеров, для мотивации. Вот, раньше было так, стали собирать такой то KPI. Понятное дело, что лично мне он может не подойти, но зато такие истории мотивируют придумать что-то похожее.


6. Continuous performance testing. Михаил Клоков

Это был интересный рассказ. Начал Михаил с упрощенного примера: сейчас большинство магазинов переезжает в веб. Жизнь такая, что это удобнее покупателю, чем ножками доехать. И обычно все начинают с «чтобы все было красивенько». Но если красивенько и число пользователей растет, начинаются проблемы с производительностью и приходится уже их решать.

Ну а дальше уже доклад о том, как проводить нагрузочное тестирование в рамках CI. Потому что если не вписать его в обычный цикл, то о проблемах с перфомансом мы узнаем перед поставкой, когда уже поздно что-то менять. И нужно тестировать нагрузку постоянно.

В частности, нужно огромные perf suite тестов разбивать на небольшие части, так проще тестировать и проще понять, где что-то пошло не так.

Хорошую мысль автор озвучил «Если процесс длинный и хоть 1 шаг требует ручного действия → будут проблемы и фейлы, ибо человеческий фактор». Эта фраза натолкнула меня на еще одну идею, что я бы могла рассказать, так что доклад однозначно принес пользу ツ

Из минусов — слайды на английском языке все. Зачем это на русскоязычной конференции, не очень понятно. Точнее, понятно, что с тем же докладом можно потом пойти на англоязычную, но грустно, что под SQA было лень переработать доклад.


7. Вредные привычки в тест-менеджменте. Андрей Мясников

Этот доклад стоит послушать хотя бы ради докладчика ツ

Андрей зажигал там конкретно, веселые байки, примеры из жизни итд. Ну и, конечно же, шикарные слайды, со стишками в новом модном стиле, забыла как называется.

При этом сами темы злободневные, о том, как не надо руководить и почему «вот это вот — плохо».


8. Ролевые игры QA: тестирование через персонажей. Андрей Сикерин

Хорошие слайды, довольно интересный доклад о том, как создать персонажа, когда у вас обширная аудитория пользователей. Как выстроить портрет и как создать под него сценарий.


9. Готовим стажировку. Екатерина Боброва

Екатерина рассказала о своем опыта проведения стажировок. Долго думали, где искать таланты в небольшом городе и пришли таки к выводу, что стажировки — это хорошо. И вот уже 8 штук провели и кучу граблей собрали.

Что нам нужно?

1. Найти людей (да, это тоже сложно, на первые стажировки анкет было с гулькин нос, не повыбираешь особо)
2. Дать базу
3. Дать обратную связь по практическим заданиям
4. Проверить умения

В итоге поняли, что: летняя вечерняя школа после работы → это кошмар, «не делайте так». Лучше в выходные и фуллтайм, а то педагоги устали, все устали..

По мере наработки опыта столкнулись с еще одной проблемой: люди, которые читали лекции, увольнялись и уезжали в Москву или еще куда. В итоге нарабатывается материал и вот тренер нормально рассказывает, но... Облом! Учи новенького.

В итоге подумали-подумали и пришли к тому, чтобы... Сделать видео-записи курсов и выложить на youtube! Этим решили сразу несколько задач:

• Больший охват аудитории, теперь стажеров больше приходит;
• Польза обществу за счет бесплатного обучения, вклад в сообщество, круто же!

Абсолютно согласна, что круто, поэтому опубликовала ссылочку на их лекции вот тут: Бесплатный курс по тестированию ПО для начинающих.

Вообще интересный опыт, и рассказывает Катя живенько, так что рекомендую ツ

10. Куда приводят мечты? или Искусство развития тестировщика. Нина Щеглова

Этот доклад был признан одним из самых лучших.

Я этот доклад, к сожалению, не конспектировала, но в целом интересно, да.

Нина рассказывала о том, как они создали свою матрицу роста тестировщиков. Как организовали встречи с начальством, выяснение сильных сторон, постановку целей на будущее.

Тема злободневная, согласна. А Нина, ко всему прочему, еще и готовый шаблон дала своей матрицы, бери да используй. Удобно и полезно! 

Организация

К организаторам претензий вообще нет! Влад проводит уже не первую конференцию и каждый раз что-то улучшает. Это прям здорово. И на обеде очередей нет, и вкусняшки весь день нынче лежат, можно в любой момент перекусить, если проголодался. И даже фрукты теперь есть на конфе, для тех, кто булочки не ест, а кушать тоже хочет ツ

Хотя какие-то мелкие комментарии у меня возникали, но я их в форме обратной связи написала, а сейчас уже и не помню. Значит, сущие мелочи )))

Ну, конечно, мне как девочке-девочке хочется побольше фоточек! Это ж самый кайф, выискивать себя на фотках конференции и радоваться, когда нашел ツ А тут я пару раз крутилась около плаката, надеясь сделать официальное фото, а фотографа рядом не было, эх... Пришлось на телефон, все на телефон... 

В общем, даешь еще больше фоточек)))) А так все норм!

Ну и вообще...

Отель

А вот с отелем мне в этот раз не особо повезло. Зашла в номер, а там даже тапочек и халата нет. Неожиданно и грустно, в ванной то пол прохладный, но кто ж в отель свои тапки берет?

Ну и в самой ванной — зеркало в разводах, под раковиной видна шпаклевка, не сильно аккуратно заделанные куски, дверь внизу как заплеванная, пол в самом душе выглядит грязным... Ах да, еще и кран капает, но я это уже на второй день только заметила (в номере редко бывала)

Но так то в целом номер милый и уютный

Так что я решила забить и остаться в нем. В душе я провожу мало времени, в самом номере тоже в основном сплю, ну еще работала вечером. Так что... Переживем)))

А вот за завтрак было очень обидно! Коллега Арсений рассказал, что, когда он въезжал, то попросил номер с одной двуспальной кроватью и ему сказали, мол, мы бесплатно повысили уровень номера, вот держите. И завтра типа с 7 до 11 в ресторане RGB. А у меня с 7 до 10 в Green.

Но первый раз я по привычке ломанулась в ресторан RGB, так как конференция в этом отеле не в первый раз, в прошлый раз я завтракала там. Меня пустили. Не сказать, чтобы завтрак порадовал, так как не нашла «сухого» творога, был только «мокрый», не знаю, как он называется, который с водичкой идет. Я такой не очень люблю. Но зато при тебе делают яичницу или омлет на заказ. Так что нормально поела. 

А на следующий день меня туда не пустили, сказали «У вас на карточке написано, что ресторан Green, идите туда». А это тот, где мы обедали. Там просто шведский стол. Творога вообще нет, никакой тебе яичницы на заказ с ветчиной и сыром... После первого «нормального» завтрака этот меня выбесил, особенно с учетом минусов номера, уж как минимум завтрак в нормальном ресторане они мне могли предложить. За то, что номер менять не стала. Но тут я сама виновата, что лень было ходить и жаловаться. 

Сделала себе заметку на будущее — если останавливаться в «Прибалтийском» в Питере, то обязательно с завтраком в RGB, и никак иначе.

Магия утра

Ой, ладно, ну их. Что я все о плохом... На самом деле от конференции остались очень позитивные воспоминания!

И хотя приехала я в гостиницу в четверг в полночь, а встала в пятницу в 8 утра, ничего страшного, вполне бодрядчком ходила. Спустилась вниз, на конфу. Там меня одна из моих выпускниц спросила, как дела, как я встала итд. Потом подколола на тему «А как же магия утра?». Ну, какая уж тут магия утра, когда ты в полночь только въехал =)

А вот в субботу и воскресенье я себе магию утра устроила! Правда, снова пришлось вставать в 7:30 и 8 утра. И ты такой просыпаешься на час раньше, чем надо и думаешь: «Ну блин, ну ты че?? Выходной же, поспи!! Нафига тебе часок поработать?». Но книга сама себя не напишет, так что вставала, и ничего.

При этом я вернулась домой, пошла на работу... И таким бодрячком пошла! Откуда-то бралась энергия работать. При том, что я работала вторую неделю без выходных фактически... И я вспомнила, что и после прошлых конференций остается такое чувство энергичности. Заряжаешься там позитивом и идеями и ходишь, смотришь на работу по-новому. Круто же! А так как я искала, о чем бы рассказать на следующей конференции, то еще одна точка зрения появилась. Делаешь что-то и думаешь, а клевая ли это штука? Может, рассказать о ней? Так что ходишь и радуешься жизни. И это круто!

Так вот, про магию утра и работу. Я в этот раз не брала с собой сумку под ноутбук. Подумала, а зачем? Он же все равно в номере стоит. А в итоге полдня в пятницу ходила без ноута и страдала. Вот ведь есть 15 минут в перерыве, я могла бы проверить часть домашек! После обеда зашла в номер за ноутбуком и взяла его с собой. Очень довольна результатом. Если доклад не особо нравится — ты можешь посидеть и поработать. Если интересно все, то записать полезные мысли.

После конференции мы с коллегой встретились и обсуждали рабочие моменты, что и как можно улучшить. И хвастались сделанным по книге. А потом я еще вечерком почитала (уделила время себе) и поработала.

В субботу встала на час раньше — смогла поработать над книгой. И в перерывах сидела и работала. Мне это нравится, я все же не очень общительный человек, подходить и завязывать знакомства не умею. Хорошо, когда ты докладчик (желательно первого дня) — выступил с докладом и люди сами к тебе подходят что-то обсудить. Так что в следующий раз надо, надо выступать! Anyway, мне удалось поработать в перерывах + вечером снова почитать, сделать заход к книге итд. Магия утра и все такое 

И в воскресенье был отличный день. Я снова встала в 8 утра, проклиная магию утра и размышляя «ну вот нафига тебе эти полчаса на книгу то, а???». Но ничего, встала, книгу пописала, а потом еще встретилась с Юлей Мироновой, моей коллегой и помощницей из Питера. У нас был ооооочень плодотворный диалог о курсах, но про его итоги я напишу в разделе про #12недель.

Ну и потом уже, когда ехали в Сапсане, тоже встретились с коллегами и много чего полезного обсудили. Так что я очень довольна поездкой. Плодотворная получилась. И доклады понравились (не зря ехала), и встретились с людьми, которые помогли принять несколько важных решений. Конфа в Питере — это хорошо ツ


Afterparty?

А вот про вечеринку я вам ничего не расскажу, так как вместо нее мы работали. Ну, как работали... Пару часов пришлось потратить на исправление действий блондинки )))

Я вернулась после докладов в свой номер и стала проверять домашки. Тут начали вылезать всякие противные программы из серии «java updater» или какой-нибудь антивирусник, успевший поставиться без моего ведома (это так Mcfree любит самоустанавливаться без приглашения).

В итоге я полезла в установку и удаление программ, твердо решив выкосить все лишнее. Я прикинула так: мне на том ноуте особо ничего не нужно, кроме хрома, ворда, да дропбокса. Все остальное, что не касается майкрософта или леново, можно сносить. А теперь угадайте, что я снесла 

Что-то снесла и вдруг у меня пропало соединение с сетью. В общем, я снесла себе драйвер работы по вай-фай. Пошла к Арсению плакаться: «почини мне комп!». Он, конечно, в шоке был с меня))))

А самое смешное было дальше. У него мак, у меня винда. Драйвер он себе скачать скачал, но как его перекинуть на соседний ноут? Значит, 21 век на дворе, два ноутбука стоят рядышком, а перекинуть данные с одного на другой нельзя. Попробовали на телефон, но андроид не очень любит мак...

В итоге я спустилась на общий праздник и пошла искать людей, у которых можно найти флешку. Конечно, большинство смотрело на меня как на больную. 21 век, конференция тестировщиков, нафига тебе флешка?

Флешка нашлась у оператора. Он проникся эпичностью ситуации:
— Понимаешь, я случайно удалила драйвер подключения к сети...
— Ахаха, то есть тебе нужно установить драйвер, но ты не можешь его скачать, так как у тебя нет сети?)))

В общем, он меня спас )))) Вернулась в номер с флешкой, установили драйвер назад на мой комп, потом уже сидели и обсуждали, как нужно перестраивать процессы в растущей компании. А потом разошлись по домам. Точнее, по номерам, работать каждый над своей книгой.

Вот такое вот у нас было афтепати. И знаете что? Это в 100 раз круче, чем просто побухать в толпе. Вот ツ

Жду следующую конференцию и уже начинаю готовить к ней тезисы! До встречи в мае в Минске!