Метрики панели мониторинга качества

Этот набор панелей мониторинга и оповещений помогает вам заблаговременно поддерживать высококачественную интеграцию с экосистемой Google Home. Google стремится поддерживать партнеров в развитии высококачественной экосистемы для всех клиентов.

Панель управления состоит из трех разделов, каждый из которых охватывает ключевой аспект, влияющий на качество общей интеграции.

1. Google to Partner Metrics — измеряет качество запросов от Google к вашей облачной серверной части.

2. Состояние системы — партнер Google Metrics — измеряет качество вызовов из вашей системы в Google.

3. Состояние устройства — Точность состояния — Измеряет точность состояний, хранящихся в системах Google, которые используются для обработки запросов пользователей.

Когда показатели не достигают целевых значений, они выделяются красным цветом, указывая на проблему, которая может повлиять на пользовательский опыт. Ниже представлена ​​подробная информация о каждом целевом показателе и о том, почему он важен для ваших пользователей.

Перейдите на панель управления.

Показатели Google для партнеров

Показатель успешности запросов/выполнения >= 99,5% измеряет, как часто команды пользователей выполняются правильно, что помогает избежать ответов Ассистента типа «Я не могу связаться с устройством» или неправильного подтверждения команды, которая не была выполнена.

Что определяет "успех"?

Транзакция считается успешной, если платформа Google Home получает действительный ответ, указывающий на то, что запланированное действие было выполнено или запрошенное состояние было получено.

Ответы, содержащие неблокирующие исключения (например, статус SUCCESS , сопровождаемый исключением lowBattery ), считаются успешными транзакциями. Команда достигла устройства, и намерение было удовлетворено, несмотря на предупреждение.

Что определяет понятие «неудача»?

Ошибки, обнаруженные в кодах ошибок общей платформы и помеченные как требующие вмешательства партнера , считаются «сбоями» при расчете показателей успешности запросов и выполнения.

Показатель задержки запроса/выполнения (стр. 90) <= 1000 мс измеряет время ожидания запрошенного действия и помогает гарантировать, что пользователям не придется слишком долго ждать, например, несколько секунд, пока выключится свет.

Метрики задержки

Задержка — это критически важный показатель того, насколько быстро ваша интеграция реагирует на действия конечного пользователя. Панель мониторинга отслеживает задержку 90-го процентиля (P90), которая отражает опыт ваших «самых медленных» пользователей (например, P90 800 мс означает, что 90% запросов подтверждаются за 800 мс или меньше).

Для обеспечения технической точности Google измеряет задержку по-разному при проверке состояния и при выполнении команд устройству.

1. Задержка запроса (вопросительный)

Этот параметр измеряет время обмена данными Cloud-to-cloud , когда Google запрашивает текущее состояние устройства.

• Начало: Google отправляет запрос action.devices.QUERY на ваш URL-адрес выполнения.
• Окно измерения: время, необходимое вашему облаку для получения, обработки и передачи полного HTTP-ответа обратно в Google.
• В заключение: Google получает и подтверждает получение окончательного ответа от вашего сервиса.

2. ВЫПОЛНИТЬ Задержка (Действие)

Этот параметр измеряет время подтверждения команды, когда Google отправляет запрос на управление устройству.

• Начало: Google отправляет запрос action.devices.EXECUTE на ваш URL-адрес выполнения.
• Окно измерения: время, необходимое вашему облаку для получения команды и отправки подтверждающего ответа.
• В итоге Google получает ответ со статусом SUCCESS , PENDING или OFFLINE .
• Техническая область применения: Этот показатель измеряет время подтверждения ответа (Response Ack) между облаком Google и вашим облаком. Он не измеряет время, необходимое физическому оборудованию (например, лампочке) для завершения изменения физического состояния, поскольку это часто связано с задержкой в ​​локальной сети за пределами пути между облаками.

Состояние системы — партнер Google по метрикам.

Поддержание уровня успешности >= 99,5% помогает гарантировать корректность состояния устройств в Google Home, добавление и удаление устройств, запуск автоматизаций и отображение событий истории на вкладке «Действия» в Google Home app (GHA) .

Показатель успешности рассчитывается на основе кодов HTTP-ответа, возвращаемых Google при отправке обновлений состояния вашего облака. Чтобы гарантировать, что партнеры не будут подвергаться санкциям из-за проблем с инфраструктурой Google, этот показатель исключает внутренние ошибки Google из общего числа сбоев.

Что определяет "успех"?

• 2xx (Успех): Обновление состояния было успешно получено и обработано Home Graph.

Что определяет понятие «неудача»?

• 4xx (Ошибка партнера): Эти коды означают сбои и указывают на проблему с запросом, отправленным из вашего облака. К распространенным кодам относятся:
  • Ошибка 400 Bad Request: Сервер не смог обработать запрос из-за неверного синтаксиса. Распространенные причины включают некорректный JSON или использование null вместо "" для строкового значения.
  • Ошибка 404 Not Found: Запрошенный ресурс не найден. Как правило, это означает, что Google не может найти запрошенное устройство. Это также может означать, что учетная запись пользователя не связана или получен недействительный agentUserId . Убедитесь, что agentUserId соответствует значению, указанному в ответе SYNC, и что вы правильно обрабатываете намерения DISCONNECT .
  • Ошибка 429: Ресурсы исчерпаны: Ваша интеграция превысила выделенную квоту. Инструкции по управлению квотой см. в разделе «Шаг 1» выше на панели управления.

Состояние устройства — точность определения состояния

Достижение или превышение точности определения состояния >= 99,5% помогает гарантировать, что пользователи будут видеть правильные результаты при просмотре состояний устройства или использовании функций ИИ, таких как Ask Home. Если точность определения состояния низкая, автоматизация может не запускаться, а записи истории могут не отображаться на вкладке «Действия» в GHA в нужное время. Для получения дополнительной информации см. раздел «Сообщить о состоянии» .

Панель мониторинга качества отслеживает это ежечасно, используя два отдельных показателя: общую точность и наименьшее сочетание типа/признака .

1. Компоненты точности

Этот показатель рассчитывается на основе "выборок", позволяющих Google проверить заявленное состояние на соответствие известному результату намерения пользователя.

2. Показатели на панели управления (почасовой расчет)

Панель мониторинга рассчитывает точность на основе 1-часового интервала . Если за час получено менее 100 выборок (S_Total < 100), точность для этого часа устанавливается как N/A .

Вид 1: Общая точность (средний показатель по миру)

Это отражает общую точность вашей интеграции по всем типам и характеристикам устройств в совокупности. Это взвешенное среднее значение состояния всей вашей экосистемы.

• Расчет : Общая точность состояния по всем устройствам / Общая точность состояния по всем устройствам.

Вариант 2: Наименьшее сочетание типа/характеристики

Это позволяет выявить наиболее ненадежную категорию устройств в вашей интеграции. Это предотвращает ситуацию, когда устройства с высоким качеством и большим объемом данных скрывают устройства с низким качеством и малым объемом данных. Например, если у вас большой объем светильников с точностью определения состояния выше 99,5%, но малое количество выключателей с низкой точностью определения состояния, это укажет на необходимость улучшения работы выключателей, которые могут быть потеряны при расчете среднего значения.

• Расчет : Минимум точности по состоянию / Суммарная точность по состоянию для всех комбинаций признаков/устройств.