Как провести тестирование в реальных условиях

Полевые испытания будут проходить в два основных этапа:

  1. Планирование полевых испытаний
  2. Как запустить полевое испытание

Планирование полевых испытаний

Планирование Field Trial включает следующие этапы:

  1. Привлекать пользователей

    • Определите пользователей для полевых испытаний.
    • Собирать контактные данные и адреса доставки.
  2. Создайте страницу справки со следующей информацией:

    • Сведения о проекте
    • Известные проблемы и ошибки
    • Ссылки для скачивания Google Home app (GHA) и вашего приложения(или приложений).
    • Инструкции по настройке, обучающие видео
    • Что можно сделать
    • Инструкции по сбросу настроек устройства до заводских
    • Как устранить неполадки
    • Ссылка на опрос

Как запустить пробную версию

Первый этап запуска Field Trial – это настройка на Google Home Developer Console и отправка на проверку соответствия правилам Google. После одобрения Google вы сможете продолжить Field Trial.

Как настроить и отправить на проверку

Перейти в Developer Console

  1. Выберите Matter > Полевые испытания.

  2. Выберите версию интеграции из списка Готовность к полевым испытаниям, которая будет рассматриваться в Field Trial, а затем нажмите Отправить.

    Готовность к полевым испытаниям

  3. Во всплывающем диалоговом окне введите адреса электронной почты пользователей, которые будут тестировать вашу интеграцию. Вы также можете нажать Открыть шаблон, чтобы создать копию опроса Field Trial и настроить ее для своего продукта. Когда все будет готово, нажмите Отправить.

Ваш план Field Trial теперь указан в разделе Отправлено на проверку и отправлен в Google для проверки на соответствие правилам. Field Trial запускается автоматически после одобрения.

При проверке на соответствие правилам мы обращаем внимание на название устройства или продукта, изображения устройства и ссылки на видео.

Как управлять тестированием

После того как Field Trial будет одобрен и появится в разделе Начато:

  1. Установите официальный канал связи с пользователями по электронной почте или в чате.

  2. Отправьте устройства тестировщикам.

  3. Отправьте полевым тестировщикам ссылку на страницу справки и опрос.

  4. Поддерживайте тестировщиков:

    • Отвечать на вопросы и помогать решать проблемы, возникающие в полевых условиях.
    • Если у пользователей возникнут проблемы, предложите им поделиться журналами, сообщить об ошибках и отправить отзыв через GHA.
  5. Отслеживайте панели управления и журналы с помощью значка Google Cloud Monitoring dashboard (доступен по ссылке Посмотреть на странице Developer Console Управление проектами):

    • Отслеживайте успешность настройки, в том числе инициализации, регистрации и выполнения запросов.
    • Отслеживайте показатели вовлеченности, такие как количество активных пользователей за день (DAU) или за неделю (WAU), или собственные показатели.
    • Отслеживайте ошибки в журналах.

Как изменить список тестировщиков

Список тестировщиков можно изменить для Field Trial, которая уже началась.

В разделе Начато нажмите Изменить тестировщиков рядом с версией интеграции. Откроется диалоговое окно, в котором можно изменить список тестировщиков. Нажмите Сохранить, чтобы сохранить изменения.

Как остановить полевое испытание

Чтобы остановить Field Trial:

Перейти в Developer Console

  1. Выберите Matter > Полевые испытания.
  2. Выберите Field Trial в разделе Запущенные, который вы хотите остановить.
  3. Нажмите кнопку Остановить.

Field Trialдолжна появиться в разделе Завершенные.

Как перезапустить полевое испытание

Чтобы перезапустить устройство Field Trial:

Перейти в Developer Console

  1. Выберите Matter > Полевые испытания.
  2. Нажмите на значок Field Trial в разделе Завершенные рядом с нужной промоакцией.
  3. Нажмите кнопку Перезапустить.

Тег Field Trial должен появиться в разделе Начало.

Статусы в консоли

На этапе Field Trial могут встречаться следующие статусы консоли:

Section Статус Описание Требования Что нужно сделать
Field Trial готово к проверке Готово Эту версию integration можно отправить наField Trialпроверку. Отмененные integrationзаявки также помечаются как "Готово". integrationдолжен быть версионирован. Отправить эту версию integration на проверкуField Trial.
Отправлено на проверку. На рассмотрении Эта версия integration находится на рассмотрении. Запрос на передачу данных успешно отправлен.

Дождитесь одобрения версии, чтобы начать Field Trial.

или

При необходимости отмените запрос.

Отправлено на проверку. Отклонено Эта версия integration не соответствует критериям проверки на соблюдение правил, поэтому Field Trialне может быть начата. Не выполнены критерии Field Trial.

Исправьте ошибки в существующем integrationили создайте новую версию integration , которая соответствует Field Trialкритериям, а затем свяжитесь с менеджером аккаунта и отправьте ее на Field Trialпроверку.

или

Если вы не согласны с результатами проверки, вы можете оспорить их, обратившись к менеджеру аккаунта.

Начато Начато Эта версия integration была одобрена, и тестировщики могут начать тестирование. Field Trial одобрен.

Отправьте информацию приглашенным тестировщикам.

или

Остановить полевое испытание.

Завершен Завершено Field Trial для этой версии было остановлено, и тестировщики больше не могут в нем участвовать. Выполнено: Field Trial. При необходимости выберите Перезапустить Полевые испытания.