1. Прежде чем начать
Данный практический семинар предназначен для партнеров и разработчиков Google Home, использующих облачные интеграции, с целью повышения качества экосистемы и улучшения пользовательского опыта.
Что вы узнаете
Панель мониторинга Google Home Vitals служит центральным источником достоверной информации для разработчиков и партнеров, позволяя отслеживать работоспособность их интеграций с Google Home. В экосистеме, где пользовательский опыт определяется задержкой и надежностью, Google Home Vitals представляет собой портал самообслуживания, содержащий всю необходимую углубленную аналитику для перехода от реактивного устранения неполадок к проактивному управлению качеством.
- Как рассчитывается ваш показатель качества интеграции
- Как читать и использовать панель управления
- Как отлаживать метрики низкого качества
Что вам понадобится
- У вас есть интеграция с Google Home Cloud?
Настраивать
Как перейти на панель мониторинга Google Home Vitals:
- Открытая платформа Google Cloud
- Мониторинг > Панель мониторинга
- Нажмите на панель управления "Google Home Vitals (Cloud)".
2. Как читать панель управления
Расчет показателя качества – стандарт «Хорошо» против стандарта «Плохо».
Панель управления объясняет разбивку оценок качества. Оценки качества присваиваются на основе типа устройства. Для того чтобы интеграция с определенным типом устройства считалась ХОРОШЕЙ , она должна соответствовать четырем одновременным критериям:
- Глобальный показатель успешности: Общий показатель успешности звонков от партнеров в Google должен быть >=99,5%.
Примечание: Несоответствие глобальному показателю успешности (>=99,5%) автоматически приводит к низкой оценке всего проекта, независимо от производительности отдельных устройств. - Надежность команд: показатели успешности запросов и выполнения должны быть >=99,5% для каждого типа устройств.
- Задержка отклика: задержка 90-го процентиля для операций QUERY и EXECUTE должна быть <=1000 мс для каждого типа устройств.
- Целостность государства: Точность государства должна быть >=99,5%.
Почему эти показатели важны
- Глобальный показатель успешности: Интеграционные запросы от партнеров к Google на уровне интеграции измеряют качество запросов из вашего облака в Google. Показатель успешности >= 99,5% гарантирует, что Google Home использует корректные состояния устройств. Например, это включает в себя проверку добавления и удаления устройств, запуск автоматизаций и отображение событий истории на вкладке «Действия» в приложении Google Home.
- Надежность команд: показатели успешности запросов и выполнения измеряются на уровне типа устройства. Показатель успешности >=99,5% гарантирует корректное выполнение команд пользователя (т.е. предотвращает ответы Ассистента типа «Я не могу связаться с устройством» или неправильное подтверждение команды, которая не была выполнена).
- Задержка отклика: задержки запросов и выполнения также измеряются на уровне типа устройства; задержка <=1000 мс для каждого типа устройства гарантирует, что пользователю не придется слишком долго ждать выполнения желаемого действия (например, несколько секунд, пока выключится свет).
- Целостность состояния: Точность состояния. Оцените точность состояния, хранящегося в системах Google и используемого для обработки запросов пользователей. Если эти показатели низкие, пользователи могут видеть некорректные результаты для ваших устройств при просмотре состояния устройства или использовании функций ИИ, таких как Ask Home. Автоматизация может не срабатывать, а записи истории могут не отображаться в разделе «Активность» в нужное время.
Как читать панель управления
Начните с раздела «Метрики оценки качества», который служит основным индикатором состояния вашей интеграции. Оценка «ХОРОШО» на уровне устройства зависит от соответствия всех метрик в этом разделе критериям успеха «ЗЕЛЕНЫЙ». Подробные технические требования и определения метрик доступны в документации Центра разработчиков .
В разделе «Оценка качества» в верхней части панели мониторинга Google Home Vitals отображаются показатели, используемые для расчета оценки качества интеграции.
Легенда
- ЗЕЛЕНЫЙ (ХОРОШО): показатель соответствует пороговому значению качества.
- КРАСНЫЙ (ПЛОХОЕ): показатель не соответствует пороговому значению качества.
Пример
В приведенном ниже примере видно, что тип устройства AC_UNIT соответствует критериям качества в разделах «Успешность запросов» и «Выполнение», а также «Задержка запроса», но не проходит проверку по показателю «Задержка выполнения» (красный). Это означает, что команды выполняются успешно, но задержка выполнения на 36 мс слишком велика. В разделе «Состояние системы» показан показатель неуспешности 98,92% для агрегированных методов в рамках интеграции, что означает наличие возможностей для улучшения точности передачи информации о состоянии устройств пользователей в Google Home. Это означает, что 1,08% вызовов (DeleteAgentUser, Query, ReportStateAndNotification, RequestSyncDevices или Sync) возвращают коды ответов, не равные 2xx или 5xx (например, ошибки 404). Последний показатель, используемый для оценки качества выполнения/неуспешности для типа устройства AC_UNIT, — это точность состояния. В этом примере мы видим показатель успешности 77,43%, что означает, что пользователи, вероятно, получают неточные результаты для устройств. С учетом этих трех показателей общий балл для AC_UNIT низкий и ниже порогового значения качества.
Каждый из этих расчетов качества соответствует разделу отладки, расположенному ниже. Разверните свернутые шаги для дальнейшей отладки.
Для отладки показателей успешности запросов/выполнения и задержек перейдите к разделу «Шаг 1: Проверка облачных вызовов».
Чтобы отладить показатели успешности обращений партнеров в Google, перейдите к шагу 2: Проверка обращений в Google.
Для отладки точности состояния для каждого типа устройств перейдите к шагу 3: Повышение точности состояния.
3. Шаг отладки 1: Проверка облачных вызовов
Шаг 1: Обзор
В этом разделе основное внимание уделяется облачным вызовам — метрикам, измеряющим качество связи между Google и вашей облачной инфраструктурой (также известным как метрики Google-партнер). Сюда входят такие команды, как Query и Execute .
Мы отслеживаем показатели успешности и задержки для операций QUERY и EXECUTE (которые учитываются при оценке качества в зависимости от типа устройства).
Приведенный ниже обзор показывает совокупные показатели успешности запросов и выполнения, а также ошибки на уровне интеграции. Шаги 1a-1d показывают разбивку этих показателей на уровне типа/характеристики устройства. 
Шаги 1a и 1b показывают динамику количества запросов на выполнение, количества ошибок с течением времени и конкретные статусы ошибок.
Шаг 1a: Проверка ошибок запроса
Шаг 1b: Просмотр ошибок выполнения
На шагах 1c и 1d показано распределение 90-го и 50-го процентилей для этих показателей как на уровне интеграции, так и на уровне типа устройства.
Шаг 1c: Проверка задержки запроса
Шаг 1d: Проверка задержки выполнения
4. Шаг 2 отладки: проверка вызовов к Google.
Шаг 2: Обзор
После отладки вызовов от Google к партнеру, на втором этапе рассматривается отладка вызовов от облака партнера к Google. В этом разделе рассматриваются метрики на уровне интеграции с партнером, а не на уровне типа устройства — это включает коды ответов, такие как 400 Bad Request, 404 Not Found и 429 Resource Exhausted.
Шаг 2а: Проблемы с отладочной квотой
Google Home ограничивает выделение и использование ресурсов и устанавливает соответствующие квоты для каждого проекта. Google применяет ограничение по умолчанию в 6000 запросов за 60 секунд к совокупности ваших запросов, удалений, отчетов о состоянии и вызовов API синхронизации асинхронных запросов для каждой интеграции между облачными средами.
Превышение квоты может негативно повлиять на точность отчетов о состоянии, поскольку незавершение обновления состояния может привести к несоответствию. Ниже приведены диаграммы с подробным описанием ошибок синхронизации отчетов и запросов, разбивкой количества и ошибок по методам API, а также процентом использования квоты. Если на этих диаграммах наблюдается неожиданное увеличение трафика, проверьте интеграцию, чтобы определить, не приводит ли какое-либо изменение к увеличению трафика, направляемого в API Home Graph.
В некоторых сценариях, например, при естественном росте трафика с течением времени (например, рост соответствует увеличению количества устройств, запуску нового типа устройств или другому ожидаемому запуску), может быть целесообразно увеличить квоту для вашей интеграции. Чтобы запросить увеличение квоты, следуйте инструкциям в нашей документации для разработчиков .
5. Шаг 3 отладки: повышение точности состояния
Шаг 3: Обзор
После отладки шагов 1 и 2, шаг 3 охватывает проверку точности состояния отчета — состояний устройств, хранящихся в системах Google и используемых для обработки запросов пользователей. Разбивка по характеристикам и типам устройств показана ниже. Шаги 3a и 3b охватывают две распространенные ошибки в состоянии отчета: ошибки отсутствия полей и ошибки неточности.
Шаг 3а: Ошибки «Отсутствующее поле»
Ошибки типа «Отсутствующее поле» возникают, когда набор полей полезной нагрузки различается между ответом на запрос и запросом состояния для данного устройства. Набор полей в полезной нагрузке каждого устройства должен быть одинаковым. Это может произойти, если логика расчета полезной нагрузки различается между ответом на запрос и запросом состояния. Используйте приведенные ниже диаграммы, чтобы отследить, какие типы и характеристики устройств имеют несоответствующие ответы на запрос и запрос состояния.
Шаг 3b: Ошибки типа «Неточность»
Неточные ошибки возникают, когда набор полей полезной нагрузки совпадает в ответе на запрос QUERY и в запросе на получение информации о состоянии для данного устройства, но значения состояния различаются. Это может произойти, если отчет о состоянии пропущен или если логика расчета состояния различается между запросом QUERY и отчетом о состоянии. Используйте приведенные ниже диаграммы, чтобы отследить, какие типы и характеристики устройств имеют несовпадающие ответы на запросы QUERY и запросы на получение информации о состоянии.
6. Другая документация и ресурсы
- Чтобы отправить отзыв или сообщить о проблемах с этой панелью управления, создайте заявку в нашем общедоступном трекере проблем.
- Для подачи апелляционной жалобы используйте форму апелляции по показателям качества .
- Чтобы регулярно отслеживать качество интеграции, настройте оповещения Google Cloud Platform, чтобы получать уведомления, когда ваши показатели падают ниже допустимого порога. Это гарантирует, что вы первыми узнаете о возникновении проблемы.
- Для получения дополнительной информации, пожалуйста, ознакомьтесь с документацией для разработчиков по ссылке: https://developers.home.google.com/tools/analytics/home-vitals