Напосмотреть: GTAC 2016

Каждый год я подаю заявку на GTAC и каждый год получаю отказ.
Я уже даже привык.
Но каждый год отсматриваю доклады.

Итак, мой личный рейтинг с GTAC 2016
1. How Flaky Tests in Continuous Integration - собственно говоря гугл решил привлечь математика к проблеме моргающих тестов. Словил несколько инсайтов, буду курить тему дальше.



2. Automating Telepresence Robot Driving - лидар, пластиковый стаканчик и другие трюки для тестирования системы телеприсутствия. В этом докладе нет большой технической жести, но именно так выглядит тестирование будущего (или будущее тестирования ? ). Таких доклады вдохновляют работать дальше.



3. Using Test Run Automation Statistics to Predict Which Tests to Run - доклад о том на какие ухищрения приходится идти когда запуск тестов длиться долго, а тестировать все равно нужно. В принципе ничего нового, гугл о таких практиках у себя рассказывал еще в 2012 году, но поражает масштаб - словить проблемы запуска всех тестов с которой гугл борется на масштабе 3,5 миллионов тестов и 125 миллионов выполнений тестов в сутки можно и на 30 000 тестов.  Понятно, что Unity  - не Google, финансовая и ресурсная база разные, но кто ж вам гарантирует что вы не окажетесь в подобной ситуации с 10000 тестов. It depends (c)




Ну и еще пара интересных докладов:
Finding Bugs in C++ Libraries Using LibFuzzer  - отличный рассказ про методики фаззинга, теоритическая часть очень понравилась.
OpenHTF - The Open-Source Hardware Testing Framework - ребята из гугла продолжают биться за автоматизацию, в том числе и на железе. Python (не, ну а что еще можно запихнуть в железяку? ), SL4A (про который Сергей Высоцкий рассказывал еще в далеком  2013 в Киеве), плагины.



Мысли по поводу конференции:
1. GTAC уже не торт Программный коммитет конференции налажал - некоторые доклады шваховые, подготовка некоторых спикеров оставляет желать  лучшего.
2. Проблемы которые были в индустрии 2-3 года назад не решены ни кем и ни чем, остаются на своих местах, ждут своих героев и инструментов.
3. Тестирование железяк как нараждающийся тренд.

Anyway GTAC остается самой значимой (лично для меня) конференцией  в мире в области автоматизированного тестирования.




Сайт конференции 
Плейлист со всеми докладами.

Конференции: GTAC 2015

Сам там не был, но доклады отсмотрел, по крайней мере все, что показались интересными по названию.

Итак, что понравилось лично мне.

Uber Challenge of Cross-Application-Cross-Device Testing - очень давно думал над подобного  рода штукой -мультипользовательское тестирование.  Реализацию этой штуковины я себе представлял несколько иначе, чем показали, но тем не менее идея явно имеет право на жизнь.

Effective Testing of a GPS Monitoring Station Receiver - адовый рассказ от Lockheed Martin про то как тестировать  наземную станцию мониторинга GPS.

Chromecast Test Automation и  Chrome OS Test Automation Lab - не могу разорвать эти рассказы друг от друга. Подходы достаточно похожи, вплоть до использования RF Chambers (камеры изолирующие наводки, чтобы герметизировать работу с WiFi-роутером). Очень порадовала инфраструктура конфигурационного тестирования Chromebook - очень круто.

GTAC по прежнему рулит.
В 2016 году он будет рулить в Калифорнии.

GTAC 2014 Post-Mortem

Вместо предисловия.
Второй год пытаюсь попасть на GTAC, второй год меня не приглашают.

Уже второй год с командой отсматриваем видео с пожалуй самой лучшей конференции по автоматизаированному тестированию - Google Test Automation Conference.
В этот раз решил написать и сюда.

Про саму конференцию читать здесь.
Видео докладов здесь.

Я буду писать только о тех выступлениях что мне понравились или хоть чем-то зацепили.

1. Opening Keynote - Move Fast and Don't Break Things - рассказ о том как на самом деле все в Google в области автоматизации тестирования. Сурова правда жизни состоит в том что и у них есть нестабильные тесты, они тоже релизят с известными багами, если те не мешают релизу. Очень понравилась идея Robosheriff - автоматический анализатор нестабильных тестов.
2. Make Chrome the best mobile browser - рассказ о том как тестируется мобильная версия Google Chrome. Очень впечатлила инфраструктура построенная вокруг процесса тестирования и работа проведенная в области Testability продукта. И да - эти ребята тестируются на реальных устройствах (Android/IPhone).
3. Test coverage at Google - рассказ о том как меряют покрытие кода в Google.  Ничего принципиально нового по сравнению с их же статьей нет. Понравилось то что в IDE подсвечиваются строчки непокрытые тестами.
4. I Don't Test Often ... But When I Do, I Test in Production - рассказ от Netflix о том как они используют приматов для тестирования своей amazon-based архитектуры.  Отличный пример того как понимание важности устойчивости на ранних этапах привело к созданию и регулярному использованию весьма специфичных инструментов.
5. The Importance of Automated Testing on Real and Virtual Mobile Devices - ничего интересного кроме яркого (пусть даже немножко "продажного") освещения проблем разработки на мобильных устройствах  и тестирования там же. 
6. Free Tests Are Better Than Free Bananas: Using Data Mining and Machine Learning To Automate Real-Time Production Monitoring - поиск инвариантов на production-среде с использованием техник Machine Learning.
7. Test Automation on an Infrared Set-top Box - блестящий доклад от том как инженерное мышление и Raspberry Pi помогли тестировать телевизионные приставки автоматически. Молодцы!
8. Never Send a Human to do a Machine’s Job: How Facebook uses bots to manage tests - рассказ от качка из Facebook о том что следить за автотестами тяжело поэтому они придумали систему ботов которые мониторят и анализируют результаты автотестов и дают обратную связь авторам автотестов об их поделиях. Аналогично Robosheriff из п.1.
9. The Testing User Experience - продолжение темы из п.1 и п.8  - анализ результатов автотестов и их стабильности.
10. Going Green: Cleaning up the Toxic Mobile Environment - эта гоп-бригада там уже второй год подряд - костюмированное представление на тему того как все непросто при тестировании Android приложений. Я бы не имел ничего против если б эти ребята были не из Google, но когда инженеры Google говорят о том что другие инженеры Google вот тут и тут сделали неправильно и плохо, то может хотя бы одни сходят и исправят ситуацию? 

Вот тут вот один товарищ смачно резюмировал 

Whilst there seemed to be some suggestions for dealing with flaky tests (like Facebook running new tests x times to see if they fail and classify them as flaky and assign to the owner to fix), there didn’t seem to be a lot of solutions for avoiding the creation of flaky tests in the first place which I would have liked to see.

и наверное да - мы учимся бороться или уживаться с нестабильными тестами, но пока не придумали как не делать нестабильные тесты.