На чем тестировать и как подбирать девайсы? Вопрос древний, как мамонт. Появился он ровно тогда, когда появились первые платформы.
Но, если раньше этот вопрос не стоял так остро, потому что смартфонов не было, а версий браузеров можно было пересчитать по пальцам, то сейчас все совершенно иначе.
Конечно, хочется взять и протестировать на всевозможных девайсах, только вот их покупка (особенно если продукт поддерживает все современные платформы) вполне может разорить какой-нибудь стартапчик. Так что же делать? Думать и анализировать.
Вопрос можно и нужно рассматривать комплексно и с нескольких сторон.
Во-первых, необходимо отталкиваться от продукта. Продукт мы делаем для пользователей, у них есть девайсы и этот продукт должен работать на них. Думаю, что несложно сделать простой вывод: необходимо понимать какими девайсами/платформами пользуется наша аудитория при взаимодействии с нашим продуктом. Как это сделать:
- Посмотреть в ТЗ/требования/любой текст, где описана наша аудитория или системные требования к продукту. Это должно немного помочь, если такой документ есть.
- Погрузившись в современный мир гибких методологий и не найдя нормальной документации, идем к проджект-менеджеру, например, и начинаем общаться с ним. Узнаем какой пул девайсов мы поддерживаем, какие версии (ОС, браузер, архитектура, видеопроцессор, память, что-то еще, где может запускаться продукт) и все про нашу аудиторию.
- Смотрим на статистику использования продукта — кто, где и на каких девайсах. Если такой нет (“да чет забыли”, “потом сделаем, задача уже есть”) или продукт не выходил на рынок, значит прикидываем по общей статистике. Например, вот тут https://developer.android.com/about/dashboards/ можно посмотреть статистику по использованию различных осей, экранов и т.д. для андроида . Определяем другие важные свойства и смотрим аналогично.
Собираем воедино кусочки найденной информации, раскладываем ее по приоритетам, классам эквивалентности и популярности использования, формируем необходимый пул девайсов и довольные идем к лиду/ПМ-у или другому руководителю, для которого это важно. Получаем аппрув и ждем девайсы… или не получаем и весь наш анализ разбивается об острые скалы реальности. Потому что денег нет. Или потому что “зачем нам покупать этот девайс, он же почти как тот, какая разница?”.
И тут появляется “во-вторых”. Во-вторых, необходимо учитывать возможности компании. Отлично, если вы сможете убедить купить все выбранные девайсы. Но если вам “повезло”, то что же все-таки делать?
- Сомневаюсь, что совсем девайсы не закупят. Скорей всего парочку основных все же можно получить. Чтобы их определить, необходимо взять самые популярные и критичные из нашего анализа.
- Как ни странно, но идем и собираем девайсы у коллег. “Жестокие времена требуют жестоких мер” 🙂 Например, пройдитесь по телефонам коллег, посмотрите какие есть модели и договоритесь, что будете иногда их забирать для тестирования. (Пользуясь случаем, передаю “привет” второму варианту опроса)
- Посмотрите в сторону облачных ферм девайсов, можно найти временные бесплатные варианты.
- Конечно же, эмуляторы. Полностью рассчитывать на них не стоит, но это лучше, чем ничего. Например, вот из вариантов эмулятора для Android девайсов https://www.genymotion.com
Но, скорей всего, ситуация с девайсами у вас будет лучше, так как это самый печальный исход и он больше присущ стартапам.
Вроде бы все?… А, нет.
В-третьих, вопрос “на каких девайсах тестировать?” очень сильно зависит от целей тестирования, которые в свою очередь зависят от этапов разработки и тестирования. То, о чем мы говорили выше больше подходит для этапа запуска продукта. Т.е. для этого этапа требуется полное и комплексное тестирование на девайсах.
После запуска продукта, он зачастую переходит на этап поддержки, выпускаются патчи, новые версии и т.д. Здесь наш фокус смещается с анализа аудитории, статистики и т.д. на анализ правок в функционале и новых фич. Например, зачем проверять смартфоны с различными процессорами, если были только визуальные правки? Гораздо важнее проверить различные экраны и разрешения. Аналогично, когда мы проверяем исправления багов, берем только те девайсы, которые потенциально могли затронуть правки.
Тоже самое можно сказать про локализацию дефектов. При нахождении бага необходимо понять, на какой конфигурации он воспроизводится. Ведь чем качественней будут локализованы шаги, тем проще и точнее будет исправление. На каких девайсах смотреть? Опять же, зависит от реализации функционала.
Ну и несколько советов:
1. Не забывайте обновлять пул девайсов, хотя бы раз в полгода, статистику тоже.
2. Следите за выходом новых версий ПО и девайсов на которых запускаются ваши продукты.
3. Загляните в саппорт, если еще этого не делали. Узнайте с каких девайсов чаще всего приходят жалобы. Могут быть внезапные открытия.
4. Не забывайте про эффект пестицида. Если обстоятельства и возможности позволяют, меняйте иногда девайсы.
