Андроид тестирование: Тестирование Android приложений / Хабр

А/В-тесты на Android от А до Я / Блог компании Redmadrobot / Хабр

Большая часть статей об A/B-тестах посвящена веб-разработке, и несмотря на актуальность этого инструмента и для других платформ, мобильная разработка несправедливо остаётся в стороне. Мы попытаемся эту несправедливость устранить, описав основные шаги и раскрыв особенности реализации и проведения A/B-тестов на мобильных платформах.

Концепция A/B-тестирования

A/B-тест нужен для проверки гипотез, направленных на улучшение ключевых метрик приложения. В простейшем случае пользователи делятся на 2 группы контрольную (A) и экспериментальную (B). Фича, реализующая гипотезу, раскатывается только на экспериментальную группу. Далее на основе сравнительного анализа показателей метрики для каждой из групп делается вывод о релевантности фичи.

Реализация

1. Делим пользователей на группы

Для начала нам необходимо понять, как мы будем делить пользователей на группы в нужном процентном соотношении с возможностью динамически его менять. Такая возможность будет особенно полезна, если вдруг выяснится, что новая фича повышает конверсию на 146%, а раскатана, например, всего на 5% пользователей! Наверняка нам захочется выкатить её на всех пользователей и прямо сейчас — без обновления приложений в сторе и сопутствующих временных издержек.

Конечно, можно организовать разбивку на сервере и каждый раз при необходимости что-то менять дёргать backend-разработчиков. Но в реальной жизни бэк зачастую разрабатывается на стороне заказчика или третьей компанией, и у серверных разработчиков и так хватает дел, поэтому оперативно регулировать разбивку, работая с третьими лицами, удаётся не всегда, а точнее, почти никогда, поэтому такой вариант нам не подходит. И тут на помощь приходит Firebase Remote Config!

В Firebase Console, в группе Grow есть вкладка Remote Config, где вы можете создать свой конфиг, который Firebase доставит пользователям вашего приложения.

Конфиг представляет собой мапу <ключ параметра, значение параметра> с возможностью присваивать значение параметра по условию. Например, пользователям с конкретной версией приложения значение X, всем остальным — Y. Более подробно о конфиге можно узнать в соответствующем разделе документации.

Также в группе Grow есть вкладка A/B Testing. Здесь мы можем запускать тесты со всеми вышеописанными плюшками. В качестве параметров используются ключи из нашего Remote Config. В теории можно прямо в A/B-тесте создать новые параметры, но это только внесёт лишнюю путаницу, поэтому делать так не стоит, проще добавить соответствующий параметр в конфиг. Значение в нем традиционно является значением по умолчанию и соответствует контрольной группе, а экспериментальное значение параметра, отличное от дефолтного — экспериментальной.

Прим. Контрольная группа обычно называется группой A, экспериментальная — группой B. Как видно на скрине, в Firebase по умолчанию экспериментальная группа называется “Variant A”, что вносит некоторую путаницу. Но ничто не мешает изменить её название.

Далее запускаем A/B-тест, Firebase разбивает пользователей на группы, которым соответствуют разные значения параметра, получив конфиг на клиенте, мы достаём из него нужный параметр и на основе значения применяем новую фичу. Традиционно параметр имеет имя соответствующее названию фичи, и 2 значения: True — фича применяется, False — не применяется. Подробнее о настройках A/B-тестов в соответствующем разделе документации.

2. Кодим

Не будем останавливаться непосредственно на интеграции с Firebase Remote Config — она подробно описана здесь.

Разберём способ организации кода для проведения A/B-тестирования. Если мы просто меняем цвет кнопки, то говорить об организации нет смысла, ибо организовывать особенно нечего. Мы рассмотрим вариант, в котором в зависимости от параметра из Remote Config показывается текущий (для контрольной группы) или новый (для экспериментальной) экран.

Нужно понимать, что по истечению A/B-теста один из вариантов экрана надо будет удалить, в связи с этим организовать код необходимо таким образом, чтобы минимизировать изменения в текущей реализации. Все файлы связанные с новым экраном стоит называть с префиксом AB и помещать в папки с таким же префиксом.

Если мы говорим об MVP в Presentation слое, выглядеть это будет примерно так:

Наиболее гибкой и прозрачной представляется следующая иерархия классов:

BaseOrderStatusFragment будет содержать весь функционал текущей реализации, кроме методов, которые не могут быть размещены в абстрактном классе из-за ограничений архитектуры. Они будут располагаться в OrderStatusFragment.

AbOrderStatusFragment будет переопределять методы, различающиеся в реализации, и иметь необходимые дополнительные. Таким образом, в текущей реализации изменится лишь разбивка одного класса на два и некоторые методы в базовом классе станут protected open вместо private.

Примечание: если архитектура и конкретный кейс позволяют, можно обойтись без создания базового класса и напрямую наследовать AbOrderStatusFragment от OrderStatusFragment.

В рамках такой организации скорее всего придётся отступить от принятого CodeStyle, что в данном случае допустимо, ибо соответствующий код будет удалён или отрефакторен по завершению A/B-теста (но, конечно, в местах нарушения CodeStyle стоит оставить коммент)

Подобная организация позволит нам быстро и безболезненно удалить новую фичу, если она окажется нерелевантной, поскольку все связанные с ней файлы легко найти по префиксу и её реализация не влияет на текущий функционал. В случае же, если фича улучшила ключевую метрику и принято решение оставить её, нам всё равно предстоит работа по выпиливанию текущего функционала, что повлияет на код новой фичи.

Для получения конфига стоит создать отдельный репозиторий и заинжектить его на уровень приложения, чтобы он был везде доступен, так как мы не знаем, какие части приложения затронут будущие A/B-тесты. По этим же причинам запрашивать его стоит как можно раньше, например, вместе с основной информацией, необходимой для работы приложения (обычно такие запросы происходят во время показа сплеша, хотя это холиварная тема, но важно что где-то они есть).

Ну, и, естественно, важно не забыть прокинуть значение параметра из конфига в параметры событий аналитики, чтобы была возможность сравнить метрики

Анализ результатов

Есть немало статей, подробно рассказывающих про способы анализа результатов A/B-тестов, например. Чтобы не повторяться, просто укажем суть. Нужно понимать, что разница метрик на контрольной и экспериментальной группе — случайная величина, и мы не можем сделать вывод о релевантности фичи только на основе того, что на экспериментальной группе показатель метрики лучше. Необходимо построить доверительный интервал (выбор уровня надёжности стоит доверить аналитикам) для вышеописанной случайной величины и проводить эксперимент до тех пор, пока интервал полностью не окажется в положительной или отрицательной полуплоскости — тогда можно будет сделать статистически достоверный вывод.

Подводные камни

1. Ошибка при получении Remote Config

Сравнительный анализ проводится на новых пользователях, так как в экспериментах должны участвовать юзеры с одинаковым пользовательским опытом и только те, кто видел единственный вариант реализации. Напомним, что получение конфига является сетевым запросом и может закончится неудачей, в таком случае будет применено значение по умолчанию, традиционно равное значению для контрольной группы.

Рассмотрим следующий кейс: у нас есть пользователь, которого Firebase отнёс к экспериментальной группе. Пользователь первый раз запускает приложение и запрос Remote Config возвращает ошибку — пользователь видит старый экран. При следующем запуске запрос Remote Config отрабатывает корректно и пользователь видит новый экран. Важно понимать, что такой пользователь не является релевантным для эксперимента, поэтому нужно придумать, как отсеивать такого пользователя на стороне системы аналитики, либо доказать, что число таких пользователей пренебрежимо мало.

На самом деле такие ошибки действительно возникают нечасто, и скорее всего вам подойдёт последний вариант, но есть по сути аналогичная, но куда более насущная проблема — время получения конфига. Как было сказано выше, лучше засунуть запрос Remote Config в начало сессии, но если запрос будет идти слишком долго, пользователю надоест ждать, и он выйдет из приложения. Поэтому нужно решить нетривиальную задачу — выбрать тайм-аут, по которому сбрасывается запрос Remote Config. Если он будет слишком мал, то большой процент пользователей может оказаться в списке нерелевантных для теста, если слишком большим — мы рискуем вызвать гнев пользователей. Мы собрали статистику по времени получения конфига:

Примечание. Данные за последние 30 дней. Общее кол-во запросов 673 529. Первый столбец, помимо сетевых запросов, содержит получения конфига из кеша, поэтому выбивается из общей формы распределения.

Данные графика:

2. Накатка обновления Remote Config

Необходимо понимать, что Firebase кеширует запрос Remote Config. Дефолтное время жизни кеша составляет 12 часов. Время можно регулировать, но у Firebase, есть ограничение на частоту запросов, и если его превысить, Firebase нас забанит и будет возвращать ошибку на запрос конфига (Прим. для тестирования можно прописать настройку setDeveloperModeEnabled, в таком случае лимит применяться не будет, но сделать так можно для ограниченного числа устройств).

Поэтому, например, если мы хотим завершить A/B-тест и раскатать новую фичу на 100%, нужно понимать, что переход осуществится только в течение 12 часов, но это не главная проблема. Рассмотрим следующий кейс: мы провели A/B-тест, завершили его и подготовили новый релиз, в котором есть другой A/B-тест с соответствующим конфигом. Мы выпустили новую версию приложения, но у наших пользователей уже есть конфиг, закешированный с прошлого A/B-теста, и, если время жизни кеша ещё не истекло, запрос конфига не подтянет новые параметры, и мы опять получим пользователей отнесённых к экспериментальной группе, которые при первом запросе получат дефолтные значения конфига и в перспективе испортят данные нового эксперимента.

Решение этой проблемы весьма простое — необходимо форсировать запрос конфига при обновлении версии приложения путём обнуления времени жизни кеша:

val cacheExpiration = if (isAppNewVersion) 0L else TWELVE_HOURS_IN_SECONDS
FirebaseRemoteConfig.getInstance().fetch(cacheExpiration)

Так как обновления выпускаются не так часто, лимиты мы не превысим
Подробнее о подобных проблемах здесь.

Выводы

Firebase предоставляет весьма удобный и простой инструмент проведения A/B-тестирования, которым стоит пользоваться, уделяя при этом особое внимание описанным выше узким местам. Предложенная организация кода позволит минимизировать количество ошибок при внесении изменений, связанных с циклом проведения A/B-тестов.

Всем добра, удачного A/B-тестирования и повышения конверсий на 100500%.

Диагностика Android-смартфона: 8 лучших приложений

– Эх, собирался купить смартфон, а получил кота 🙁
– Где были твои глаза?
– Да с виду-то он целый, только нерабочим оказался. Не знал, как его проверить, вот и купил «кота в мешке».
Ситуация досадная, но вполне обычная, когда бывший чьим-то мобильник переходит к новому владельцу. Не хотите стать жертвой обмана? Тогда тестируйте девайс перед покупкой.

В сегодняшнем обзоре – 8 лучших приложений для диагностики Android-смартфонов. Они помогут вам узнать, что представляет собой устройство, проверить его исправность и оценить работу каждой функции. Пара минут – и все нужные сведения как на ладони.

AIDA64

Давно и нежно любимая бывалыми юзерам ПК AIDA64 существует и в мобильной версии. В отличие от десктопных релизов, цены на которые начинаются от $40, она бесплатна, а также совместима практически с любыми Android-гаджетами: смартфонами, планшетниками, умными часами, телеприставками, ТВ и т. д. Главное, чтобы версия Андроида на устройстве была не старше 4.0.

Аида отображает полную детализированную информацию об аппаратной и программной начинке девайса, выводит показания датчиков, данные о подключении к сетям и многое другое.

В приложении 13 основных разделов:

• Система, где собраны главные сведения об устройстве – марка, модель, серийный номер, объемы памяти и т. д.
• ЦП – содержит информацию о модели SoC, архитектуре, ревизии, количестве ядер, диапазоне частот и остальном.
• Отображение – показывает характеристики экрана и графического ускорителя.
• Сеть – отображает данные о сетевых интерфейсах и подключениях.
• Батарея – об источнике питания.
• Андроид – об операционной системе.
• Устройства – о графическом процессоре, камерах, USB, Vulkan, PCI, CUDA, OpenCL.
• Температуры.
• Датчики.
• Установленные приложения.
• Кодеки.
• Папки.
• Системные файлы.

Однако мобильная Aida64 не имеет в составе инструментов нагрузочного тестирования и бенчмаркинга. Полученные данные она отображает в виде списков и числовых показателей, понимать которые должен сам пользователь. То есть рассчитана на опытных.

Phone Doctor Plus

То ли дело Phone Doctor Plus! Вот он-то и выручит тех, кто держит смартфон впервые и просто хочет узнать, работают ли на нем камеры, динамики, датчики и прочие «железки». Впрочем, бывалые Андроид-юзеры тоже уважают «Доктора»: как ни крути, а приложение полезное. И содержательное.

В числе его возможностей:

• Быстрое и точное тестирование 30-ти (как заявлено производителем) аппаратных элементов с определением их работоспособности.
• Экспресс-оценка состояния основных компонентов – процессора, хранилища, оперативной памяти, батареи и сети.
• Детальная диагностика аккумулятора и прогнозирование срока его службы.
• Диагностика сетевых подключений.
• Сбор сведений об установленных приложениях с оценкой их полезности и возможностью удаления.

Рабочая область Phone Doctor Plus состоит из четырех основных вкладок:

• На первой (показана на скриншоте выше) собрана информация о текущем состоянии главных компонентов и о результатах их тестирования (4 шкалы «Железо»).
• На второй находятся плитки запуска диагностических тестов.

• На третьей – список приложений.
• На четвертой – сведения о батарее и кнопки отключения ресурсоемких функций.

Утилита не собирает столь подробных сведений о каждой детали, как Aida64, а только тестирует функционал. Для проведения теста пользователь должен выполнить инструкции, которые видит на экране.

Phone Check

Phone Check (Mobile Phone Checker / Tester & Info) совмещает в себе функции Аиды и Доктора: отображает подробные сведения об аппарате и проверяет его работоспособность. Всего в приложении 11 диагностических тестов:

• Инфо об устройстве.
• Аккумулятор.
• Сеть, Bluetooth.
• Звук.
• Дисплей.
• Сенсорный экран (тачскрин).
• GPS.
• Внешний вид.
• Камеры.
• Датчики.
• SoC, память, хранилище.

И 2 режима тестирования – простой и подробный. Тесты запускаются последовательно – один за другим. У пользователя есть возможность пропускать отдельные тесты или их этапы.

Помимо оценки функциональности, Phone Check отображает информацию о текущем использовании устройства – загрузке процессора, памяти, сети, заряде аккумулятора, а также общие сведения о системе.

Device Checker *SAM*

Утилита Device Checker *SAM* (Phone and tablet testing) разработана для диагностики смартфонов и планшетов Samsung, однако исправно выполняет свои задачи и на устройствах других марок. За исключением определения подлинности аппарата – эти функции доступны только владельцам Самсунгов. Зато остальное – 20 с лишним тестов, могут использовать все.

Как показал опыт, на телефоне «НЕ Самсунг» Device Checker *SAM* выдает вполне достоверные результаты – такие же, как рассмотренные выше утилиты-конкуренты. А единственное, что может вызвать затруднение у некоторых юзеров, – это англоязычный интерфейс приложения.

Device Checker *SAM* тестирует следующие компоненты и функции:

• Bluetooth.
• Сотовую связь.
• SD-карту.
• Микрофон.
• LCD (экран).
• Яркость и затемнение экрана.
• Тачскрин (TSP).
• Приемник.
• Вывод звука через динамики.
• Вывод звука через наушники.
• Камеры.
• Вспышку (фонарик).
• Датчики.
• Вибромотор.
• USB и зарядку.
• Wi-Fi.
• Аккумулятор.

Последний тест – информация об устройстве, оказался самым неинформативным. Видимо, он тоже предназначен только для Самсунгов.

PhDoctor

Утилита PhDoctor (Mobile Phone Checker / Tester & Info) имеет почти такой же набор функций, что и конкуренты. Но помимо стандартных тестов, в ней есть пара уникальных. Один из них – определение, является ли телефон Samsung «refurbished», то есть подвергался ли он ремонту на фабрике или в сервисном центре производителя (продавца) до того, как поступил в продажу. Второй – идентификация марки и модели аппарата по номеру IMEI через веб-ресурс www.imei.info

При работе с PhDoctor некоторые пользователи столкнутся с такой же проблемой, что и в Device Checker *SAM* – он тоже страдает отсутствием русского языка.

Прочие функции и возможности PhDoctor:

• Отображение сводной информации об устройстве (Device Detail). Отдельно о железе, софте и батарее.
• Отчет о телефоне (Phone Report) – базовый набор последовательных тестов микрофона, динамиков, тыловой и фронтальной камер, приемника, вибромотора, акселерометра, гороскопа, датчиков приближения и освещенности, компаса, сенсорного экрана, кнопок навигации («Домой», «Назад», «Последние приложения») и фонарика (вспышки).
• Тестирование сетевых подключений (Network Test) – Вай-фая и мобильной связи.
• Тестирование отдельных аппаратных функций (Hardware Test) – цветопередачи и яркости экрана, телефона, микрофона и остального, что входит в набор Phone Report.

Тестирование Android

Столь прямолинейное название точно не даст перепутать это приложение с чем-либо другим. Да, «Тестирование Android» именно это и делает. Но не только. Кроме 30-ти различных тестов, оно содержит инструменты сбора информации о системе и несколько полезных «приколюшек» – сканер QR-кодов, измеритель громкости звука, горизонтальный уровень и кнопку быстрого включения фонарика.

Интерфейс утилиты так же прост, как и название. Функциональные кнопки сгруппированы по назначению:

• «Инструменты». В состав этой группы входят те самые «приколюшки».
• В разделе «Информация об устройстве» собраны системный монитор, сведения о Wi-Fi, блютуз, процессоре, памяти, версии Андроид, аккумуляторе, камере, сети и установленных приложениях.
• Группа «Тестирование оборудования» содержит следующие средства диагностики: «Цвет монитора», «Сенсорный экран», «Мультитач», «Камера», «Отпечаток пальца», «Динамик и вибрация», «Микрофон», «NFC» и «Местонахождение». Тест «Сенсорный экран» выполнен по типу приложения для рисования.

• «Тестирование датчиков» включает инструменты: «Шагомер», «Датчик температуры», «Компас», «Датчик освещенности», «Акселерометр», «Датчик приближения», «Датчик давления», «Определитель силы тяжести» и «Датчик влажности».
• В разделе «Другой» из полезного есть только кнопка выбора языка. Впрочем, при установке приложение само выбирает язык, который назначен основным в операционной системе. В моем случае это русский.

«Тестирование Android» может запускаться на смартфонах, планшетах и смарт-часах. Производитель заявляет, что оно оптимизировано для Android 9.0 и некоторых устройств марки Samsung, LG, Huawei, HTC, Google Pixel, Sony Xperia и Nokia.

Phone Doctor For Android

Phone Doctor For Android имеет несколько унылый дизайн. И первое, что видит пользователь после его запуска, – такой же унылый рекламный баннер. Русским языком здесь тоже, увы, не пахнет. Похоже, у многих это отбивает желание юзать программу дальше, но если присмотреться к ее функционалу, то всё не так уж и печально.

Функции «Доктора №2» поделены на 4 группы: «Датчики» (Sensors), «Железо» (Hardware), «Хранилище и оперативная память» (Storage Information) и «Сеть и Wi-Fi» (Network & WiFi).

• В первом разделе содержатся средства диагностики датчиков освещенности, встряхивания, ускорения, приближения, давления и магнитного поля.
• В разделе про железо собраны инструменты мониторинга и тестирования батареи, процессора (только спецификации), вибромотора, камеры, дисплея, динамиков, наушников и микрофона. Здесь же находятся сведения о системе.
• Раздел «Storage Information» отображает объемы свободной и используемой оперативной памяти, а также свободное и занятое место в системном хранилище и на съемных носителях (если подключены).
• Сетевой раздел содержит сведения о параметрах активного подключения и данные SIM-карты. Кстати, если в телефоне стоят 2 симки, программа увидит только первую.

AnTuTu Benchmark

Согласитесь, без AnTuTu Benchmark обзор приложений для диагностики Андроид-гаджетов был бы неполным. Ведь это, пожалуй, самое популярное в мире средство сравнительного тестирования производительности мобильных устройств.

«Бенчмаркер» оценивает:

• Быстродействие памяти.
• Быстродействие процессора и графического ускорителя.
• Удобство использования девайса (скорость прокрутки текста и т. п.).
• Скорость обработки данных и изображений.
• Безопасность обработки данных.

По итогам каждого теста смартфон получает баллы (иногда их называют «попугаями»), которые затем суммируются и формируют общий показатель AnTuTu. Этим показателем и принято мериться.

Кроме того, AnTuTu Benchmark собирает общие сведения о системе и отдельных ее составляющих – сенсорах, экране, батарее, тачскрине, HTML 5 в браузере, а также проводит стресс-тесты на стабильность.

***

Какое из восьми приложений самое лучшее? Наверное, то где больше функций и удобней интерфейс. Чаще всего так и есть, но бывают исключения. Ведь не существует программ, которые корректно работают абсолютно на всех устройствах. Поэтому лучшим для вас будет то, что больше всего «по душе» и «по зубам» вашему смартфону.

Бенчмарки для смартфонов — что это и можно ли им доверять? | Смартфоны | Блог

Без тестирования производительности уже долгие годы не обходится практически ни один обзор смартфонов, поэтому не удивительно, что бенчмарки, предназначенные для этой задачи, пользуются популярностью не только среди энтузиастов, но и среди самых обычных пользователей, которые могут даже не знать, на каком железе работает их мобильное устройство.

Результаты бенчмарков, как правило, просты и понятны — во многих случаях итоги представлены в виде общего количества баллов, по которым, как предполагается, и нужно делать выводы о производительности девайса. Но все ли так просто, и действительно ли бенчмарки всегда отражают реальную картину, позволяющую оценить мощность смартфона и его конкурентов? И есть ли хитрости, на которые могут пойти производители смартфонов? Давайте попробуем разобраться в этом.

Как появились бенчмарки?

Есть мнение, что на мобильных устройствах бенчмарки (англ. benchmark) появились по той причине, что смартфоны с момента появления первой модели пытаются копировать функционал ПК, а на компьютерах оценка производительности всегда была актуальна благодаря большому количеству доступного на рынке железа, возможности смены отдельных компонентов, а также разгону процессора и памяти. На смартфонах же и в 2020 году пока приходится ограничиваться разгоном некоторых процессоров, установкой кастомных прошивок и получением прав суперпользователя, да и то не на всех девайсах, а модульные аппараты пока не прижились.

Для большего понимания того, где появились первые мобильные бенчмарки, немного углубимся в историю. Первым смартфоном, который увидел свет еще в 1992 году и начал массово продаваться, принято считать IBM Simon — это даже несмотря на то, что в то время термина смартфон еще не существовало. Тем не менее, IBM Simon уже тогда обладал сенсорным дисплеем, софтом для работы с электронной почтой и несколькими предустановленными играми.

А вот первое упоминание термина Smartphone мир услышал на презентации аппарата Ericsson R380s, работающего на операционной системе Symbian 5.1.

Случилось это в 2000 году, тогда же, когда вышла ОС для коммуникаторов Windows Mobile. Именно появление Symbian и Windows Mobile со временем дало пользователям возможность легкой установки множества сторонних приложений, среди которых были и бенчмарки, которых за время существования операционных систем накопилось более десятка. Тем не менее, на их показатели не слишком ориентировались при выборе устройства, хотя тесты производительности и применялись некоторыми пользователями.

Отсутствие популярности бенчмарков как на Symbian, так и в меньшей степени на Windows Mobile, можно объяснить тем, что смартфоны и коммуникаторы во времена расцвета этих двух операционных систем были менее востребованными, чем сейчас, но также меньше было производителей, как и версий процессоров. После появления Android OS в 2008 году ситуация в корне изменилась — мобильный софт начал обретать невиданную ранее популярность, чему в значительной мере посодействовала также IOS и первый Iphone, появившийся годом ранее. Смартфоны стали удобнее, и с каждым годом их производительность заметно вырастала, поэтому не удивительно, что для оценки их мощности было создано множество тестов, часть из которых уже успела устареть и окончательно утратила свою актуальность. К примеру, вспомнит ли кто-нибудь о существовавших ранее тестах Quadrant или Epic Citadel? Едва ли, а когда-то на них ориентировалось большое количество обозревателей смартфонов.

Что тестируют бенчмарки?

Методика тестирования у всех бенчмарков отличается, поэтому ни в коем случае нельзя сравнивать показатели из разных приложений, как и не совсем правильным будет сравнить результаты, полученные на разных операционных системах (точнее, учитывая особенности рынка на 2020 год, на IOS и Android). Наиболее популярные параметры для тестирования указаны ниже:

• Производительность процессора.
• Тестирование двухмерной и трехмерной графики.
• Производительность внутренней (пользовательской) и оперативной памяти.
• Скорость чтения и записи с карты памяти.
• Производительность при работе с базами данных.
• Прочие тесты — троттлинг, нагрев, автономность, воспроизведение видео и аудио и прочее.

Результаты могут быть отображены как в условных баллах (или, как иногда в шутку говорят, в попугаях), так и в мегафлопсах, гигафлопсах, мегабитах, мегабайтах, в количестве запросов в секунду (QPS), в кадрах в секунду (FPS) и в других единицах измерения.

Что не так с бенчмарками?

Периодически в сети появляются новости о том, что известные производители смартфонов накручивают рейтинги в бенчмарках, а иногда в мошенничестве обвиняют даже производителей процессоров. Главная претензия заключается в том, что в бенчмарках, учитывая непродолжительное время тестирования, смартфон начинает работать на пределе своих возможностей, тогда как при решении остальных задач фактическая производительность снижается.

Но действительно ли такую особенность можно считать обманом? Мнения у пользователей по этому поводу разделились, так как с одной стороны кажется, что смартфоны пытаются сделать более привлекательными в глазах покупателей, а с другой — не все видят в этом что-то плохое, да и вовсе не нужно, чтобы железо всегда работало в полную силу. Мало какие задачи требует этого, а еще в таком режиме смартфон не может работать долгое время — это неизбежно приведет к перегреву и повышенному расходу заряда.

Идем дальше. Смартфоны, выдающие примерно равный результат в бенчмарках, вовсе не обязательно будут одинаково работать при решении повседневных задач — для примера можно привести процессоры Unisoc SC9863 и Snapdragon 439. Первый в Antutu восьмой версии набирает более 100000 баллов, а второй — в среднем 90000. Но в играх, да и в других задачах, процессор от Qualcomm превосходит своего конкурента в разы, показывая заметно большее количество кадров в секунду и лучшие результаты во всех аспектах работы. Еще одна странность в том, что в седьмом Antutu чип Snapdragon 439 все-таки набирает на 5000 баллов больше, то есть, видимо, используются уже другие алгоритмы подсчета. Но в итоге следует вывод, что количество не всегда переходит в качество.

И здесь обнаруживается еще одна особенность бенчмарков — это частый выход новых версий приложений, в которых результаты производительности могут существенно отличаться от таковых в предыдущих версиях. Это создает некоторую путаницу, ведь для объективного сравнения смартфонов нужно, чтобы тесты запускались в одинаковых версиях.

С бенчмарками, тестирующими время работы устройства, тоже все не так однозначно. Казалось бы, можно просто на всех смартфонах выставить 50 или 100 % яркости, и таким образом сравнивать показатели. Но особенность в том, что максимальный уровень яркости у всех девайсов разный. При тестировании дисплея могут обнаружиться другие особенности вроде уменьшения или увеличения яркости в зависимости от отображаемой информации или от яркости внешнего освещения. Поэтому без специального оборудования, которое бы измеряло яркость и позволило бы выставить на всех смартфонах одинаковый уровень подсветки, тесты не будут являться объективными.

Также странным выглядит и удаление из магазина Google Play, пожалуй, самого популярного бенчмарка Antutu, разработчики которого не раз обвинялись в нарушении политики конфиденциальности и в мошенничестве. Но это скорее единичный случай, который еще ни о чем не говорит.

Так стоит ли доверять бенчмаркам?

Хорошие результаты в бенчмарках еще не гарантируют, что смартфон будет радовать вас своей работой, но в большинстве случаев подобный софт поможет понять, насколько мощным может быть смартфон, и при отсутствии других данных это будет полезной информацией. Но достаточно ли этого? Если нужен просто мощный аппарат, то да, особенно если он выдает в Antutu несколько сотен тысяч баллов.

Несмотря на различные скандалы, связанные с бенчмарками, с этим софтом не все так однозначно — некоторые тесты помогают выяснить, склонен ли смартфон к троттлингу (значительному снижению производительности при нагрузках), а также они отображают скорость памяти, температуру аккумулятора и прочие полезные данные, поэтому ставить крест на всех бенчмарках не стоит. Часть из них наверняка будет востребована еще очень долгое время.

Список наиболее популярных бенчмарков

• Antutu — benchmark для теста всех основных параметров.
• Geekbench 5 — комплексное тестирование производительности в одноядерном и многоядерном режимах. В будущем, возможно, будет добавлен тест времени работы, как это было в Geekbench 4.
• Androbench — подробное тестирование памяти.
• 3DMark — оценка производительности графического и центрального процессоров.
• PCMark — тестирование производительности и времени разрядки аккумуляторов смартфонов и планшетов.
• CPU Throttling Test — полная нагрузка процессора для выявления снижения производительности. На новых мощных моделях смартфонов может не обнаружиться троттлинг, вероятно из-за того, что приложение не обновлялось с 2018 года и не учитывает особенности некоторых аппаратов.

Топ-10 приложений для проверки батареи смартфона | Смартфоны | Блог

Если ваш смартфон стал быстро садиться, а его батареи хватает всего на несколько часов, самое время протестировать гаджет на изношенность аккумулятора. Для этого не нужно сдавать его в техсервис. Достаточно воспользоваться любым из предложенных ниже приложений для проверки батарей.

Nova Battery Tester

С помощью этого приложения вы сможете протестировать емкость аккумулятора как на телефоне, так и на планшете. Программа содержит несколько режимов тестинга: быстрый, стандартный и долгий режим. Самые реальные показатели дает стандартное и долгое тестирование. Быстрый режим показывает результаты с ощутимой погрешностью. Полный анализ батареи на «Nova Battery Tester» занимает от 1 до 1,5 часов.

При первом подключении утилита требует выхода в интернет для внесения данных о токе потребления вашего устройства и других характеристик, скачиваемых приложением из собственной онлайн-базы.

Программа бесплатна, русифицирована, имеет простой и понятный интерфейс. В ней нет ничего лишнего, она не виснет и отлично справляется с поставленной перед нею задачей.

Совместимость: Android.

Battery HD Pro

Это приложение не только оценивает состояние аккумулятора, но и имеет массу других связанных функций. Оно показывает, как много времени у вас осталось для телефонных разговоров, просмотра видео и выхода в интернет до того, как в батарее закончится питание. Все эти данные программа анализирует в режиме реального времени, исходя из уровня зарядки аккумулятора.

Возможности утилиты:

• калибровка, тесты;
• оценка состояния батареи, ее нагрева, напряжения;
• индикаторы остатка времени до конца заряда в активном и спящем режиме.

Продолжительности калибровки в «Battery HD Pro» – 1–1,5 часа. Интерфейс – русский/английский. Достоинства приложения – точность, много пользовательских настроек, абсолютно бесплатный функционал. Платная версия утилиты отличается от бесплатной только отсутствием рекламы. В остальном они идентичны.

Совместимость: Android, iOS.

Battery Life

Программа для измерения максимальной емкости аккумулятора тестирует систему и производит просчеты в процентном соотношении от 0 до 100. Утилита предоставляет подробный отчет о состоянии батареи:

• уровень заряда;
• температура;
• емкость;
• количество циклов.

Приложение также показывает уровень потребления энергии различными гаджетами, играми и прочими программами, установленными на телефон. В нем есть несколько предустановленных режимов для экономии заряда и ряд функций, позволяющих корректировать настройки для увеличения времени работы аккумулятора. Достоинства «Battery Life» – точность измерений, минимальная нагрузка на систему, быстрая подзарядка.

Совместимость: Android, iOS.

AccuBattery

Программа измеряет емкость батареи, показывает ее загрузку и данные об использовании, позволяет оптимизировать энергорасход и продлевает срок службы аккумулятора.

Дополнительный функционал:

• информация об оставшемся времени работы батареи в спящем и активном режиме;
• данные о величине расходования ресурсов приложениями;
• оповещения о заряде;
• расчет уровня износа в процессе каждой зарядки.

Вся информация в «AccuBattery» обрабатывается в режиме реального времени. В расчетах учитывается активность экрана – включен он или выключен. С помощью этого приложения вы сможете использовать режим энергоэкономии, отслеживать программы, которые «пожирают» энергию гаджета и получать детализированную статистику. Достоинства программы – отсутствие рекламы, много функционала, простой и понятный интерфейс.

Совместимость: Android.

Power Battery

Это не просто приложение, а целый комплекс по диагностике и уходу за батареей. Здесь есть все: набор тестов для оценки и улучшения производительности элементов питания, встроенные режимы экономии и служба очистки памяти.

Возможности программы:

• точное определение оставшегося времени работы аккумулятора;
• оценка затрат питания приложениями, установленными на телефоне;
• возможность удаления ненужных программ и мусора, влияющего на расход питания батареи;
• функционал по оптимизации памяти, улучшющий скорость устройства;
• индефикатор аппаратного и программного обеспечения;
• счетчики оставшегося времени на звонки, игры, прослушивание аудио и видео контента;
• оценка состояния аккумулятора: его износ, температура, емкость, напряжение;
• возможность создания энергосберегающего режима с учетом личных предпочтений пользователя.

Многие функции в «Power Battery» могут использоваться в автоматическом режиме. При их активизации приложение самостоятельно отключает энергозатратные программы, переводит телефон в режим экономии и очищает память от ненужного мусора. У программы есть свое собственное сообщество, где общаются ее пользователи. Она обладает большим функционалом и предоставляет его абсолютно бесплатно.

Совместимость: Android.

Battery Alarm

Хорошее приложение со стандартным набором тестов, настроек и дополнительным пользовательским функционалом. С помощью этой программы вы сможете оценивать состояние батареи в режиме реального времени, оптимизировать ее работу и расход электроэнергии.

Функционал приложения:

• базовая информация: состояние, температура и напряжение батареи;
• контроль за временем зарядки – предупредительный сигнал по завершении и автовыключение;
• энергосберегающие настройки;
• продуманный режим уведомлений.

«Battery Alarm» не дает нагрузку на систему, работает даже в спящем режиме, имеет небольшой размер и очень простую графику. Достоинства – нет рекламы. Недостатки – англоязычный интерфейс.

Совместимость: Android, iOS.

GSam Battery Monitor

Приложение отображает подробную информацию о состоянии аккумулятора и его работоспособности, позволяет управлять энергоресурсами телефона и увеличивает его время работы за счет отключения ненужных программ. В «GSam Battery» есть множество информационных виджетов:

• % оставшегося заряда;
• время полного расхода батареи в активном и пассивном режиме;
• температура и напряжение аккумулятора;
• статистические данные о расходовании энергоресурсов за предыдущие дни.

Эта программа дает точный подсчет и вычисляет даже скрытые приложения, увеличивающие расход батареи в несколько раз. Плюсы – эффективно выполняет свои задачи. Минусы – потребляет много электроэнергии.

Совместимость: Android.

Это приложение достаточно точно оценивает состояние аккумулятора, его емкость и нагрев, анализирует статистику разряда/заряда в режиме реального времени и отображает информацию в виде графиков.

Особенности виджета:

• низкий расход энергии;
• простая графика;
• непрерывный мониторинг;
• гибкие настройки.

Приложение позволяет осуществлять калибровку батареи как в ручном, так и в автоматическом режиме. Основной набор функций программы предоставляется бесплатно, но есть и платные улучшения.

Совместимость: Android.

Battery Doctor

Утилита оценивает ресурс батареи и продлевает ее жизнеспособность. Она увеличивает время заряда аккумулятора, оценивает источники и объем расходования энергоресурсов.

Что может приложение:

• дает точную оценку оставшегося времени использования гаджета по текущему уровню заряда;
• предоставляет возможность отслеживать программы с большим расходом энергии;
• дает советы по экономии питания;
• контролирует процесс подзарядки.

Программа самостоятельно выключает приложения с большим расходом энергии, улучшает срок службы батареи и ускоряет работу устройства. Особенности утилиты – русский язык, удобный интерфейс, точность вычислений.

Совместимость: Android, iOS.

Ampere

Отличительные особенности «Ampere» – это отсутствие лишнего функционала и простой интерфейс. Приложение показывает подробную информацию о состоянии батареи, оценивает уровень ее заряда, температуру и напряжение.

Также утилита анализирует скорость подзарядки и отображает время до ее окончания. Благодаря такому функционалу программу можно использовать не только для тестирования батареи, но и для оценки качества зарядных устройств – чем выше скорость, тем лучше оборудование.

Совместимость: Android.

через компьютер, необходимые программы, проверка на ошибки

Существует 2 способа, как протестировать телефон Андроид на наличие ошибок в работе аппаратной части: с помощью встроенных средств диагностики или приложений из Play Market. Далее, подробно о каждом методе, преимуществах и недостатках отдельных программ.

Встроенные средства диагностики

В смартфонах на базе Android есть скрытое инженерное меню, где собрана базовая информация о телефоне, конфигурации сети и батареи. Чтобы в него попасть:

1. Откройте приложение «Телефон».
2. Тапните на «Клавиатуру» или ее иконку.
3. Введите комбинацию *#*#4636#*#*.
4. Автоматически откроется окно «Проверка».

Здесь доступна информация о:

1. Телефоне — IMEI, уровень сигнала, тип сети для передачи голоса, данных.
2. Батареи — типе, уровне зарядки, напряжении и температуре.
3. Статистике приложений — время последнего и общего использования.
4. Wi-Fi-сети — конфигурации подключения, API и настройкам.

Обратите внимание! Количество вкладок и информации об устройстве отличается в зависимости от установленного на телефон пользовательского интерфейса (MIUI, OneUI, ColorOS).

Модели от Samsung оборудованы расширенным инженерным меню с тестами системы. Его активируют комбинацией *#0*# через приложение «Телефон».

Приложения для диагностики телефона на Андроид

Все из нижеперечисленных проектов доступны в официальном магазине приложений от Google. Для их установки:

1. Откройте «Play Market».
2. Введите название софта в строку поиска.
3. Выберите приложение в окне выдачи.
4. Нажмите «Установить».

Чтобы не скачать софт с похожим названием, в начале описания будет указан официальный разработчик программы.

Repair System

Решение от Real Fans Booster, которое кроме диагностики предлагает:

• ускорить смартфон;
• функцию удаления ПО;
• оптимизировать расход батареи;
• освободить от мусора внутреннюю и оперативную память.

Чтобы получить доступ к диагностике устройства:

1. Откройте приложение.
2. Перейдите во вкладку «Tools» — «Device Testing».

Всего доступно 6 тестов:

1. «Wi-Fi and Mobile Data Connection» — cообщает об активном подключении к сети Wi-Fi или мобильной передаче данных по 3G/4G.
2. «RGB» — выводит на экран красный, зеленый и синий цвета.
3. «Speaker» — проверка работы мультимедийного динамика.
4. «Black Screen» — дисплей становится черным, для проверки выгоревших пикселей или засветов матрицы.
5. «Touch Screen» — определяет точность и максимальное количество одновременных касаний экрана.
6. «Haptic Feedback» — включает виброотдачу.

наличие инструментов для оптимизации аппарата;

для тестов не нужно давать разрешение на доступ к системе смартфона.

реклама после перехода между вкладками;

мало инструментов для диагностики, половина бесполезна.

Phone Check

Разработка inPocket Software для получения подробных данных о телефоне. После запуска, пользователь попадает на главную страницу, где может открыть:

1. «Отслеживание» — вкладка, где собрана информация о нагрузке ядер процессора, объеме занятой/свободной оперативной и постоянной памяти, зарядке батареи, качестве сигнала.
2. «Тест» — включает 11 последовательных инструментов для диагностики, часть из которых можно отключить.
3. «Отчет» — подробная информация о смартфоне на основе проведенной диагностики.

набор тестов;

лаконичный интерфейс;

отсутствие рекламных вставок.

машинный перевод текста.

Phone Doctor Plus

Приложение от iDea Mobile Tech, которое собирает подробные сведения о работе устройства. Инструменты для диагностики собраны в отдельной вкладке и поделены на:

1. «Внешние» — проверяет работу тачскрина, дисплея, средств вывода звука, кнопок и камеры.
2. «Сенсоры» — тестирует устройство на наличие акселерометра, гироскопа, компаса, датчика приближения и освещенности.
3. «Внутренние» — проводит диагностику процессора, вибромотора, спецификаций устройства, функций вызова, внутренней и оперативной памяти.
4. «Wireless» — определяет работу GPS, сотовой связи, Wi-Fi и Bluetooth.

Собранные данные попадают на главную страницу, где демонстрируют нагрузку процессора, оперативной памяти, отмечает непроверенные или неисправные элементы системы.

нет рекламы;

максимальный набор тестов;

сообщения о неисправной работе элементов смартфона;

наличие инструментов для оптимизации батареи, удаления кэша.

машинный перевод текста в интерфейсе;

неточное отображение данных о работе процессора, информации о заряде батареи.

AIDA64

Аналог программы для диагностики телефона Андроид через компьютер. Софт собирает подробную информацию о смартфоне, включая сведения о:

• системе;
• центральном процессоре;
• экране;
• беспроводных сетях;
• аккумуляторе;
• операционной системе;
• камерах и видео ядре;
• температуре устройства;
• установленных датчиках;
• рабочих приложениях;
• мультимедийных кодеках;
• расположении папок и файлов, где находятся системные данные.

подробная информация о смартфоне;

требует 2 разрешения для доступа к системе.

рекламные интеграции в базовой версии;

без знания английского тяжело разобраться в наличии датчиков.

Диагностика смартфона на Android понадобится после покупки, падения устройства или смены прошивки. Она позволяет выявить нерабочие датчики, определить остаток оперативной памяти или перегрев процессора.

Сергей Семичёв

Автор сайта

Задать вопрос

Топ-10 мобильных приложений для осуществления диагностики мобильной ОС Android

При покупке телефона у многих пользователей возникает интерес: «Насколько мощно работает гаджет?». Внешнюю оболочку оценить не трудно, а о качестве «начинки» приходится только догадываться. Самый простой метод продиагностировать состояние телефона – установить соответствующие приложения из Play Market. О них и пойдет речь ниже.

№1: Phone Doctor Plus

Приложение отображает общую информацию об устройстве на главном экране. В базу внедрено 20 тестов, которые запускаются одним кликом. Преимущества программы:

• прогнозирует срок работы батареи;
• быстрая проверка 30 элементов АО;
• детальный показ состояния памяти и ОС в целом.

Недочеты: не анализирует сбои в камере, работает исправно только с системными приложениями. Пользователи отмечают, что иногда виснет при загрузке.

№2: AIDA64

Сначала AIDA64 выпускалась только для ПК, теперь её можно установить на смартфон. Функционал весьма широкий. Программа отображает все данные о дисплее, батарее, памяти, прошивке и пр. В этом и заключается основное преимущество ПО. Недостаток: невзрачный «сыроватый» дизайн.

№3: Phone Tester

На главном экране сразу отображается список тестов. Дает детальный отчет об интернет-соединении, операторе, кодах провайдеров, спутнике, батарее. С помощью Phone Tester можно диагностировать экран с помощью мультитач-теста. Недостатки: много рекламы, не «распознает» микрочипы.

№4: TestM

Принцип работы приложения ничем не отличается от предыдущих. Основные преимущества:

• показывает уведомление о наличии проблем каждый раз после падения девайса;
• можно удостовериться в правильности «диагноза» сервисного центра.

Недочеты: много рекламы, потребляет много энергии.

№5: AnTuTu Tester

Приложением пользуется более 10 млн людей по всему миру. Преимущества обновленного ПО:

• внедрена 3D-обстановка тестирования;
• добавлены UX-элементы;
• добавлено CPU тестирование;
• приложение стало кроссплатформенным.

Недостатки проги: требуется установка дополнительного 3D-пакета.

№6: Sensor Box

Приложение считывает сенсорные характеристики девайса. Дизайн приятный, есть графики изменений, детальная информация об использовании аппаратного обеспечения – это несомненный плюс. Недочеты: иногда «вылетает» звук, не поддерживает русский язык.

№7: Carista OBD2 Pro

Это приложение-помощник для диагностики автомобиля с помощью устройства Android. Программа информирует, по какой причине зажигается тот или иной датчик, тестирует внутреннюю электронику, состояние подушки безопасности и пр. Главный плюс приложения: это оптимальный подручный инструмент для тех, кто желает быть в курсе технического состояния авто. Недочеты: за разблокировку некоторых функций нужно платить.

№8: Linpack

Это приложение категории branchmark, используемое для измерения процессорной производительности. Программа пока не успела зарекомендовать себя в магазине, но функционирует вполне исправно. Это большой плюс. Есть один недочет: так как разработка еще «сыровата», приложение частенько вылетает.

№9: Neocore

С помощью Neocore можно протестировать графический процессор. Результаты отображаются на FPS. Основные преимущества: функционирует исправно (без багов), показывает детальную информацию о состоянии выбранных составляющих ОС. Минусы приложения: работает не на каждом устройстве.

№10: Vellamo

Принцип работы аналогичен Neocore (разработчик – одна и та же компания). Приложение содействует в измерении производительности web-серфинга на ОС Андроид по рендерингу, джаваскрипту, пользовательским взаимодействиям. Анализирует качество соединения с интернетом. Это большой плюс для пользователя. Недостатки: в Play Market программы нет, нужно скачивать со сторонних источников.

ТОП-15 лучших инструментов тестирования мобильных приложений в 2020 году для Android и iOS

Список и сравнение лучших инструментов тестирования мобильных приложений и платформ автоматизации:

Вы ищете способы вывести свою стратегию тестирования мобильных приложений на новый уровень? Для этого существует бесчисленное множество способов, но у вас мало времени и денег.

Всегда есть возможности для улучшения, даже если вы считаете себя экспертом в тестировании мобильных приложений. Вам нужно знать, какие стратегии применять и, что наиболее важно, какие инструменты использовать.

В этом посте мы рассмотрим более 50 лучших инструментов для мобильного тестирования, чтобы повысить охват, эффективность и точность вашего мобильного тестирования Android и iOS.

Мобильный домен быстро растет. Мобильные приложения в настоящее время включают все типы, от видео до мобильных банковских приложений. Все мы знаем, что тестирование мобильного приложения — довольно сложный процесс.

Существует множество платформ и операционных систем, типов сценариев тестирования, а также множество сетевых подключений и операторов мобильной связи.

Android и iOS — самые популярные мобильные операционные системы. Существуют миллионы приложений, разработанных для этих платформ, которые необходимо протестировать.

Что такое тестирование мобильных приложений?

Тестирование мобильных приложений — это процесс, при котором приложения, разработанные и разработанные для мобильных устройств (смартфонов, планшетных ПК или телефонов), проверяются на функциональность, согласованность и удобство использования.

Мобильное тестирование подразделяется на следующие категории:

• Функциональное тестирование: Базовый тип тестирования, используемый для проверки функциональности приложения в соответствии со спецификацией требований
• Тестирование производительности: Выполнено для тестирования клиента производительность приложений, производительность сервера и производительность сети
• Тестирование памяти: Мобильные устройства поставляются с ограниченной памятью по сравнению с компьютерами, этот тип тестирования выполняется для проверки оптимизированного использования памяти приложением
• Тестирование прерывания: Используется для проверки прерываний из-за входящего звонка или SMS, предупреждения о нехватке памяти, предупреждения о низком заряде батареи и т. д. во время работы приложения
• Тестирование установки : Тестирование установки используется для проверки легкости и плавности процесса установки, включая обновление и удаление
• Тесты на удобство использования ng: Как всегда, он использовался для проверки эффективности, результативности и удовлетворенности приложений.

Категории инструментов тестирования мобильной автоматизации:

1. Лучшие инструменты для тестирования мобильных приложений
2. Облачные инструменты и услуги для тестирования мобильных приложений
3. Инструменты для распространения мобильных приложений и отчетов о сбоях для разработчиков
4. Инструменты для тестирования производительности мобильных устройств
5. Мобильные эмуляторы для тестирования веб-сайтов в Интернете на мобильных устройствах
6. Инструмент для мобильной оптимизации A / B-тестирования
7. Инструмент для регистрации мобильных дефектов и управления тестированием
8. Услуги по тестированию мобильных приложений и поставщики услуг

50+ лучших инструментов для тестирования мобильных устройств в 2020 г.

Тестирование мобильных приложений может быть ручным или автоматическим.Для этого используется несколько инструментов автоматизации тестирования мобильных устройств, но некоторые из них перечислены ниже в зависимости от их популярности и использования.

Ну вот …

# 1) TestComplete Mobile

• С TestComplete вы можете создавать и запускать повторяемые и надежные тесты пользовательского интерфейса для собственных или гибридных мобильных приложений. TestComplete поддерживает устройства Android и iOS. .
• Автоматизируйте тесты пользовательского интерфейса на реальных мобильных устройствах, виртуальных машинах или эмуляторах.С TestComplete вам не нужно делать джейлбрейк телефона или планшета.
• Используйте действия записи и воспроизведения без скриптов для создания автоматизированных тестовых скриптов или выберите один из языков программирования, таких как Python, VBScript, JScript или JavaScript.

Ссылка для загрузки: TestComplete Mobile

# 2) 21 — Создание и аналитика AI-тестов для iOS и Android

21 — это сложная самообучающаяся платформа автоматизации и аналитики для iOS и Android. Приложения для Android.

21 предлагает:

• Быстрая и интеллектуальная разработка — Создание с помощью ИИ дает пользователям возможность создавать автоматизированные функциональные тесты и тесты пользовательского интерфейса менее чем за 5 минут.
• Результаты, которым вы доверяете — Система бесшовных алгоритмических локаторов обеспечивает стабильные результаты во всех средах. Никаких локаторов не требуется.
• Устранение необходимости обслуживания и нестабильных результатов — самообучающееся обслуживание автономно обновляет тесты и гарантирует, что ваша команда может сосредоточиться на разработке новых функций, полагаясь на результаты тестов.
• Релиз с уверенностью — Производственная интеграция раскрывает данные, необходимые для закрытия цикла обратной связи, анализа фактического покрытия и указания областей в приложении, которые позволят максимизировать рентабельность инвестиций. Используйте данные при выпуске.

21 полностью SaaS, не требует установки или устройств для создания или выполнения тестов. Он предлагает беспрепятственный доступ к десяткам устройств.

Ссылка для скачивания: 21

# 3) Apptim — Полностью протестируйте свое мобильное приложение в каждой сборке (Android и iOS)

Apptim позволяет разработчикам мобильных приложений и тестировщикам легко тестировать свои приложения и анализировать их производительность чтобы предотвратить появление критических проблем.Измеряйте время рендеринга приложений, энергопотребление, использование ресурсов, сбои при захвате и многое другое на устройствах Android и iOS.

• Тестирование собственных приложений: Apptim оценивает производительность собственных мобильных приложений для Android и iOS при их запуске на реальных устройствах.
• Отчеты о производительности и ошибках: После каждого сеанса тестирования инструмент создает отчет с метриками производительности и ошибками, которые могут быть обнаружены во время сеанса тестирования с Apptim.
• Готовая интеграция с JIRA: Публикуйте и отслеживайте ошибки прямо в этом инструменте управления проектами.
• Простота использования: Пользовательский интерфейс Apptim элегантен и интуитивно понятен, что делает его простым инструментом в использовании. Кроме того, на веб-сайте вы можете найти подробную документацию, которая поможет вам на первых этапах работы с инструментом, и на каждом этапе вам будет доступна поддержка.
• Сравните два сеанса тестирования: Если вы повторите тест для определенной функции после того, как новая версия вашего приложения будет готова, вы можете сравнить результаты, чтобы увидеть, есть ли какие-либо большие различия в производительности.

Ссылка для скачивания: Apptim

# 4) Test IO — решение ваших потребностей мобильного тестирования

test IO — это ведущая SaaS-платформа для массового тестирования программного обеспечения: непрерывное тестирование Интернета и мобильных устройств приложения опытными людьми-тестерами с использованием реальных устройств. Мы понимаем трудности, с которыми вы можете столкнуться при тщательном тестировании качественных мобильных приложений, поэтому позвольте нам помочь.

• Тестирование на реальных устройствах — Расширьте зону покрытия до сотен устройств, платформ и реальных людей в реальных условиях.Убедитесь, что ваше программное обеспечение работает на iOS, Android и всех версиях ОС.
• Получите обратную связь от реальных людей — Наши профессиональные тестировщики свежо и непредвзято смотрят на ваш продукт. Тестировщики найдут ошибки, которые ваша внутренняя команда может не уловить.
• Освободить быстрее — Человек не означает медленный. Устраните узкое место в области контроля качества с помощью гибкого тестирования по запросу, которое масштабируется в соответствии с вашими потребностями.

Ссылка для скачивания: Test IO — Solving Your Mobile Testing Needs

# 5) Kobiton (облако устройств iOS и Android)

• Kobiton — это облачная платформа для мобильных устройств, которая обеспечивает доступ к реальным устройствам для запуска ручных и автоматизированных тестов в собственных, веб-и гибридных приложениях Android / iOS
• Создано на основе фреймворка с открытым исходным кодом Appium
• Постоянное добавление последних обновлений оборудования и ОС в лабораторию устройства
• Тестирование на всех устройствах без модификации скриптов
• Автоматически генерируемые журналы активности, команды, снимки экрана и метаданные позволяют быстрее выявлять проблемы.
• Предоплаченные минуты тестирования, срок действия которых никогда не истекает.

Дополнительная информация: подпишитесь на бесплатную пробную версию без обязательств

# 6) Robotium (Android)

• Robotium — это библиотека с открытым исходным кодом, разработанная специально для тестирования пользовательского интерфейса Android
• Это среда автоматизации тестирования Android, обеспечивающая поддержку собственных и гибридных приложений.
• Он используется для автоматического тестирования приложений Android в режиме черного ящика с помощью TestDroid Recorder и использует JavaScript для подготовки тестовых скриптов.
• С тестовыми скриптами он также позволяет писать функцию , сценарии приемочных испытаний системы и пользователей
• Системные требования : Android SDK, Eclipse для сборки тестового проекта, ADT (Android Development Kit), JDK (Java Development Kit), последний файл Robotium Jar

Ссылка для скачивания: Robotium

# 7) Appium (Android и iOS)

• Appium также является открытым исходным кодом l для автоматизации собственных, мобильных и веб-приложений, а также гибридных приложений на платформе iOS и Android
• Это хорошо для приложений, написанных на Android или iOS SDK
• Appium поддерживает Safari на iOS и все другие встроенные браузерные приложения на Android
• Нет необходимости изменять какой-либо код приложения для тестирования, так как он подходит для работы на Android или iOS с помощью устройства или эмулятора
• Этот инструмент используется для автоматического функционального тестирования мобильных приложений Android и iOS

Ссылка для скачивания: Appium

# 8) MonkeyTalk (Android и iOS)

• MonkeyTalk автоматизирует функциональные интерактивные тесты для приложений Android и iOS
• Это инструмент с открытым исходным кодом, состоящий из трех компонентов, таких как IDE, скрипты, и агенты
• IDE создает тестовые сценарии с использованием записи и воспроизведения, агент — это библиотека инструментов тестирования, связанная с приложением, а сценарии включают ключевые слова, синтаксис и механизмы выполнения Java
• Все, от небольших «дымовых тестов» до жестких тестов на основе данных для нативных, гибридных и веб-приложений.

Системные требования:

• ПК, на котором запущена среда MonkeyTalk, и устройство, на котором запущено приложение тест должен быть в той же сети Wi-Fi
• Eclipse
• Исходный код приложения
• Android SDK

Ссылка для скачивания: MonkeyTalk

# 9) iOS UI Automation (iOS)

• iOS UI Automation — это среда автоматизации тестирования Apple с открытым исходным кодом специально для приложений iOS
• Помогает автоматизировать тесты интерфейса с помощью тестовых сценариев
• Интерфейс программирования JavaScript используется для указания действий, которые должны выполняться на пользовательском интерфейсе устройства
• Он плохо работает с другие инструменты, методология и структура, поскольку это проприетарный инструмент.
• Это помогает сократить процедурные усилия и время, необходимое для разработка программного обеспечения

Системные требования:

• iOS SDK (4.0+) установлен (рекомендуется последняя версия)
• 4.x simulator / device

Дополнительная информация: iOS UI Automation

# 10) UI Automator (Android)

• UI Automator is платформа с открытым исходным кодом, которая позволяет тестировать пользовательский интерфейс с использованием автоматизированных функциональных тестовых примеров.
• Может работать с приложением на одном или нескольких устройствах.
• API UI Automator упакован в файл UI Automator.jar в каталоге / platform /, этот API включает интерфейсы классов и исключения.
• Инфраструктура UI Automator использует сценарии, написанные на JavaScript.

Системные требования:

• последняя сборка Android Studio
• , устройство или эмулятор под управлением Android 4.3 или выше
• базовое понимание JUnit

Дополнительная информация: UI ​​Automator

# 11) Драйвер iOS (iOS)

• Этот инструмент представляет собой инструмент с открытым исходным кодом, способный полностью интегрироваться с selenium grid и автоматизирует собственные и гибридные мобильные приложения iOS с помощью Selenium / WebDriver API
• Этот инструмент эффективно работает на эмуляторе, а не на устройствах, некоторые из последних версий работают на устройствах, но они сравнительно медленнее, чем на эмуляторе
• Нет необходимости для изменения любого кода приложения или загрузки любого дополнительного приложения для тестирования приложения на устройстве

Системные требования:

iOS-драйвер построен на двух разных фреймворках от Apple.

• Для нативных приложений он использует платформу UIAutomation от Apple.doc. Вам нужен Xcode с IOS SDK> 5.0. Чтобы проверить: $ xcodebuild –showsdks

• Для мобильного Интернета или UIWebviews в гибридных приложениях (бета) используется протокол удаленной отладки WebKit. Для этого требуется ios 6+ и safari6 +. Если у вас его нет, встроенная часть драйвера iOS по-прежнему будет работать, но вы не сможете тестировать мобильные веб-страницы в Safari или взаимодействовать с UIWebviews с помощью селекторов dom

Ссылка для скачивания: iOS Драйвер

# 12) Ranorex Studio

Ranorex Studio — это универсальное решение для тестирования мобильных приложений.Ranorex Studio, которую используют более 4000 компаний по всему миру, проста для новичков с помощью бескодового интерфейса и полезных мастеров, но мощна для экспертов по автоматизации с полной IDE. Поддерживает тестирование iOS и Android, включая собственные мобильные приложения и мобильные веб-приложения.

Функции включают:

• Надежная идентификация объекта, даже для веб-элементов с динамическими идентификаторами.
• Общий репозиторий объектов и повторно используемые модули кода для эффективного создания тестов и сокращения затрат на обслуживание.
• Тестирование на реальных устройствах без взлома
• Параллельное выполнение тестов на нескольких устройствах или использование Appium WebDriver для мобильных веб-тестов
• Настраиваемый отчет о тестировании с видеоотчетами о выполнении теста — посмотрите, что произошло в тестовом прогоне без повторного запуска тест!
• Интегрируется с такими инструментами, как Jira, Jenkins, TestRail, Git, Travis CI и другими.

# 13) KeepItFunctional (iOS)

• KeepItFunctional (KIF) — это платформа тестирования интеграции iOS, используемая для функционального тестирования, которая создает и выполняет тестовые примеры с использованием стандартной цели тестирования XCTest
• Это среда с открытым исходным кодом разработан для тестирования пользовательского интерфейса мобильного приложения и позволяет легко автоматизировать тестирование приложений iOS.

Системные требования:

• iOS 5.1 и выше (включая iOS 8)
• статическая библиотека libKIF прямо в приложение
• framework

Ссылка для скачивания: KIF

# 14) Selendroid (Selenium для Android)

• Selendroid также является фреймворком с открытым исходным кодом, который одновременно взаимодействует с несколькими устройствами и эмуляторами.
• Он управляется пользовательским интерфейсом как собственных, так и гибридных приложений, а также мобильного Интернета, поэтому тест должен быть написан через клиентский API Selenium 2
• Тестовый код Selendroid: на основе Selenium 2 и WebDriver API

Системные требования:

• Selendroid можно использовать на Mac, Linux и Windows
• Java SDK (минимум 1.6) должен быть установлен и настроен JAVA_HOME (ВАЖНО: если JAVA_HOME указывает на среду выполнения Java, Selendroid выдаст ошибки, поскольку такие инструменты, как jarsigner , недоступны)
• Необходимо установить последнюю версию Android-Sdk и ANDROID_HOME set
• Если вы запускаете Selendroid на 64-битной машине Linux, установите:

sudo dpkg –add-architecture i386
sudo apt-get update
sudo apt-get install libc6: i386 libncurses5: i386 libstdc ++ 6: i386

• Должно существовать хотя бы одно виртуальное устройство Android или к компьютеру должно быть подключено аппаратное устройство Android

Ссылка для скачивания: Selendroid

# 15) eggPlant (Android и iOS)

• баклажан — это коммерческий продукт для автоматизированного тестирования с графическим интерфейсом пользователя, разработанный TestPlant и используемый для тестирования приложений Android и iOS. nd называется eggOn
• Он полезен для автоматизации пользовательского интерфейса и функциональности, тестирования на основе изображений, мобильного тестирования, тестирования сети, веб-тестирования и кроссбраузерного тестирования
• Один сценарий для всех устройств и платформ, полный код устройства является дополнительным функций этого инструмента, а также нет необходимости вносить какие-либо изменения в код приложения для тестирования тестируемого приложения

Системные требования:

• Процессор: 1.5 ГГц или выше
• ОЗУ: 1 ГБ или более
• Операционная система: Linux, Mac OS X, Windows XP. Windows 7, Windows 8 или 10.

Несколько дополнительных инструментов

# 16) iPhoney (iOS)

• iPhoney предоставляет среду просмотра веб-страниц с точностью до пикселей
• Он используется как эмулятор, но это не совсем эмулятор
• Позволяет тестировать изображения и код в идеальной форме с разрешением 320 на 480 пикселей на базе Apple-Safari
• Обычные функции, такие как портретный, ландшафтный режимы, полноэкранный режим и масштабирование
• Системные требования : Mac OS Х 10.4.7 или более поздняя версия

Ссылка для загрузки: iPhoney

# 17) Silk Mobile от Borland (Android и iOS)

• Silk Mobile — это автоматизированный инструмент функционального тестирования, разработанный Borland
• Этот инструмент используется для автоматизации функционального тестирования мобильных устройств на реальных устройствах и мобильных эмуляторах.
• Silk Mobile поддерживает тестирование на Android, iOS, BlackBerry, Windows Mobile, Symbian и HTML5.
• Поддерживает как среду с открытым исходным кодом, так и коммерческую среду.
• Организация нуждается в визуальные сценарии или

4 приложения для проверки правильности работы вашего Android-устройства

Возникли проблемы с вашим устройством Android? Вот несколько приложений, которые помогут вам диагностировать проблемы со смартфоном с помощью проверок.

Внутри вашего смартфона огромное количество компонентов. Если один из этих компонентов работает некорректно, это может испортить вам весь опыт.

Но как точно определить, что не так с вашим устройством? Может показаться, что акселерометр немного не работает, или просмотр веб-страниц по мобильным данным или Wi-Fi кажется вялым.Как насчет того, чтобы вы купили подержанное устройство Android и хотите проверить, все ли работает нормально?

Какой бы ни была проблема, есть приложение, которое поможет вам выяснить, что не так с вашим телефоном Android.Даже если у вас нет конкретной проблемы, хорошо провести проверку смартфона, чтобы убедиться, что все работает нормально.

1.Проверка телефона (и тест)

близко

Изображение 1 из 3

Изображение 2 из 3

Изображение 3 из 3

Phone Check (и Test) — одно из лучших приложений для проверки оборудования Android, которое вы можете получить.Приложение работает наподобие настольного приложения CPU-Z, предоставляя вам полное изложение аппаратных характеристик вашего телефона и добавляя широкий спектр опций проверки оборудования.

Варианты проверки оборудования включают:

• Проверка и предложения нехватки памяти
• Проверка аккумулятора и проверка гнезда для зарядки
• Wi-Fi и проверка радио
• Аудио тесты для динамиков, микрофонов, разъема для наушников и кнопок регулировки громкости
• Тесты дисплея, такие как битые пиксели и согласованность цвета
• GPS-слежение и тестирование местоположения
• Тепловая нагрузка
• Проверки нагрузки ЦП, памяти и хранилища

К счастью, приложение простое в использовании.Опция Monitor обеспечивает базовый обзор текущего состояния телефона, включая нагрузку на ЦП, заряд аккумулятора и общее состояние, а также текущие сетевые подключения.

Затем у вас появится меню Guided Test , раздел, в котором можно выполнить серию тестов.Перейдите вниз по списку и выберите нужные проверки и тест (которые связаны с проблемой вашего смартфона) или оставьте все включенным для полной общесистемной проверки. (Мы показали больше способов исправить устройство Android, которое не включается.)

Приложение Phone Check предлагает включить Wi-Fi, Bluetooth и NFC, убедиться, что у вас заряд батареи не менее 30 процентов, и провести тест с использованием заряда батареи (а не розетки).Когда будете готовы, нажмите кнопку Test Phone и посмотрите, как разворачивается волшебство тестирования смартфона Android.

Скачать: Проверка телефона (и тест) (бесплатно)

2.Телефон Доктора Плюс

Android Testing

Android Test Framework

Давайте проанализируем предоставленные классы!

Тесты

Есть два семейства тестовых наборов

 TestCases для теста  Activity  и  Account Sync 
 

Обеспечивает контекст и инструментарий

 TestCases для тестирования  Провайдеры ,  Services ,  Загрузчики  и  Приложения 
 

Предоставляет Context и разрешений утверждает

TestCases

Тестовые наборы

Контрольно-измерительные приборы

• SyncBaseInstrumentation — Запуск / отмена синхронизации

  

syncProvider (Uri uri, String accountName, String Authority)
 
 

cancelSyncsandDisableAutoSync ()
 
  

• ActivityUnitTestCase — Изолированный тест

  setApplication (Приложение-приложение)
startActivity (намерение, Bundle savedInstanceState, объект lastNonConfigurationInstance)
setActivityContext (контекст ActivityContext)
   Inner Mock Activity : класс  MockParent расширяет Activity  

• ActivityInstrumentationTestCase2 — Функциональный тест

  getActivity ()
setActivityIntent (намерение i)  

Тестовые наборы

Контрольно-измерительные приборы

 Функциональный тест активности, но запускается один раз для всех методов тестирования в TestCase.( ActivityUnitTestCase  и  ActivityInstrumentationTestCase  запускают активность каждый раз при вызове setUp ()) 

Тестовые наборы

Тесты Android

• ApplicationTestCase — запуск и завершение работы приложения

  createApplication ()
terminateApplication ()
getSystemContext ()  

• LoaderTestCase — получить данные синхронно из загрузчика

  getLoaderResultSynchronously (final Loader  loader)  

• ServiceTestCase — запуск, привязка, остановка служб

  startService (намерение)
bindService (намерение)
shutdownService ()  

Тестовые наборы

Тесты Android

 

Протестируйте изолированный поставщик, используя MockContext   и MockContentResolver  .
 
 Данные не сохраняются в том же месте, как обычно! 
 

Его также можно использовать из других TestCases

  newResolverWithContentProviderFromSql (Context targetContext, String filenamePrefix, Class  providerClass, String Authority, String databaseName, int databaseVersion, String sql)  

Моки

Мы можем найти различные макеты

• MockApplication
• MockContentProvider
• MockContentResolver
• MockContext
• MockCursor
• MockDialogInterface
• MockPackageManager
• MockResources

 Однако большинство из них на самом деле бесполезны: это всего лишь скелет классов, которые генерируют исключение UnsupportedOperationException...
 

 
  ... Исключено  MockContentResolver 
 
 

Моки

MockContentResolver

ContentResolver, который позволяет вам подключать ваших провайдеров!

  addProvider (имя строки, поставщик ContentProvider)
notifyChange (Uri uri, наблюдатель ContentObserver, логическое значение syncToNetwork)  

 В случае ContentProviderTestCase2 подключен только один провайдер.
 

Моки

Есть два класса, которые используют преимущества ContextWrapper для имитации контекстов

 ContextWrapper - это контекст, который делегирует выполнение всего метода другому контексту.Создайте подкласс для ... Mock Context!
 

Моки

 
 Запретить тестам разговаривать с устройством: 
 

 
  checkUriPermission ()  разрешение на возврат предоставлено 
 
  getFilesDir ()  файл возврата ("/ dev / null") 
 
  getSystemService ()  return null 
 
 

Класс хранит список широковещательных намерений, которые мы пытались отправить.

И он также предоставляет MockAccountManager !

  getAndClearBroadcastIntents ()  

Моки

• RenamingDelegatingContext

Выполняет операции с базой данных и файлом с переименованной базой данных / именем файла!

  providerWithRenamedContext (Класс  contentProvider, Контекст c, String filePrefix)
makeExistingFilesAndDbsAccessible ()  

Утверждения

ViewAsserts

Объекты Assert View и ViewGroup

Тест:

• Наличие вида на экране
• Расположение вида на экране
• Центровка
• ViewGroup содержит представление или нет

  assertGroupContains (родительский элемент ViewGroup, дочерний элемент View)
assertLeftAligned (сначала просмотр, затем просмотр)
assertHasScreenCoordinates (происхождение представления, представление представления, int x, int y)
assertOnScreen (просмотр исходной точки, просмотр просмотра)  

Утверждения

Другие утверждения

Утверждать объекты Java

Тест:

• Наследование
• Равенство
• Проверка регулярного выражения
• Порядок сбора содержимого
• Содержание коллекции

  assertEmpty (карта  Карта)
assertContentsInOrder (Iterable  actual, Object... ожидается)
assertMatchesRegex (Ожидаемая строка Регекс, Фактическая строка)
assertEquals (int [] ожидается, int [] актуально)
assertAssignableFrom (класс  ожидается, объект фактический)  

Утилиты

TouchUtils

Набор статических методов для генерации Touch Events

• Применить в InstrumentationTestCases
• Управление просмотром
• Различные типы: перетаскивание, касание, долгое нажатие, прокрутка
• Найти вид

  scrollToTop (тест ActivityInstrumentationTestCase, ViewGroup v)
dragViewToBottom (тест ActivityInstrumentationTestCase, View v)
tapView (тест InstrumentationTestCase, View v)
longClickView (тест ActivityInstrumentationTestCase, View v)
getStartLocation (Просмотр v, int gravity, int [] xy)  

Аннотации

• Некоторые позволяют классифицировать тесты

  @SmallTest, @MediumTest, @LargeTest, @Smoke 
  

  @FlakyTest (допуск = 2)  

• И тот, который заставляет тест выполняться в потоке пользовательского интерфейса

Аннотации

В источниках есть другие классы, пока не входящие в состав sdk.

Некоторые из них выглядят многообещающими!

  @TimedTest, @BandwidthTest, @RepetitiveTest  

.