1. Zanim zaczniesz
Te ćwiczenia są przeznaczone dla partnerów i deweloperów Google Home, którzy korzystają z integracji z chmurą, aby poprawić jakość ekosystemu i wygodę użytkowników.
Czego się nauczysz
Panel Google Home Vitals to główne źródło informacji dla deweloperów i partnerów, które pozwala im monitorować stan operacyjny integracji z Google Home. W ekosystemie, w którym na wygodę użytkowników wpływają opóźnienia i niezawodność, Google Home Vitals to portal samoobsługowy zawierający wszystkie szczegółowe analizy niezbędne do przejścia od reaktywnego rozwiązywania problemów do proaktywnego zarządzania jakością.
- Jak obliczany jest wynik jakości integracji
- Jak odczytywać dane w panelu i z nich korzystać
- Jak debugować wskaźniki niskiej jakości
Czego potrzebujesz
- mają integrację z Google Home Cloud,
Konfiguracja
Aby przejść do panelu Google Home Vitals:
- Otwórz Google Cloud Platform
- Monitorowanie > Panel
- Kliknij panel „Google Home Vitals (Cloud)”.
2. Jak odczytywać panel
Obliczanie wyniku jakości – standard „dobry” a „słaby”
Panel zawiera szczegółowe informacje o ocenie jakości. Wyniki jakości są przypisywane z dokładnością do typu urządzenia. Aby integracja typu urządzenia została uznana za DOBRĄ, musi spełniać 4 kryteria jednocześnie:
- Globalny wskaźnik sukcesu: ogólny wskaźnik sukcesu połączeń partnera z Google musi wynosić co najmniej 99,5%.
Uwaga: niespełnienie globalnego wskaźnika sukcesu (co najmniej 99,5%) powoduje automatyczną ocenę SŁABY w całym projekcie, niezależnie od skuteczności poszczególnych urządzeń. - Niezawodność poleceń: w przypadku każdego typu urządzenia odsetek udanych zapytań i wykonań musi wynosić co najmniej 99,5%.
- Opóźnienie odpowiedzi: 90 percentyl opóźnienia w przypadku zapytań QUERY i poleceń EXECUTE musi być mniejszy lub równy 1000 ms dla każdego typu urządzenia.
- Integralność stanu: dokładność stanu musi wynosić co najmniej 99,5%.
Dlaczego te dane są ważne
- Global Success Rate (Globalny wskaźnik sukcesu): połączenia partnera z Google na poziomie integracji mierzą stan połączeń z Twojej chmury do Google. Współczynnik sukcesu na poziomie co najmniej 99,5% zapewnia, że Google Home używa prawidłowych stanów urządzenia. Obejmują one m.in. dodawanie i usuwanie urządzeń, wywoływanie automatyzacji oraz wyświetlanie zdarzeń w historii na karcie Aktywność w aplikacji Google Home.
- Niezawodność poleceń: wskaźniki powodzenia zapytań i poleceń EXECUTE są mierzone na poziomie typu urządzenia.Wskaźnik sukcesu na poziomie ≥99,5% zapewnia prawidłowe wykonywanie poleceń użytkownika (tzn.unika odpowiedzi Asystenta, takich jak „Nie mogę się połączyć z urządzeniem”, lub nieprawidłowego potwierdzania polecenia, które nie zostało wykonane).
- Szybkość reakcji: opóźnienia zapytań i wykonywania są mierzone na poziomie typu urządzenia.Opóźnienie ≤ 1000 ms na typ urządzenia zapewnia, że użytkownik nie musi zbyt długo czekać na wykonanie żądanego działania (np. kilka sekund na wyłączenie światła).
- Integralność stanu: dokładność stanu – mierzy dokładność stanu przechowywanego w systemach Google i używanego do obsługi zapytań użytkowników. Jeśli te liczby są niskie, użytkownicy mogą widzieć nieprawidłowe wyniki dotyczące Twoich urządzeń, gdy sprawdzają ich stan lub korzystają z funkcji AI, takich jak Zapytaj Home. Automatyzacje mogą nie uruchamiać się, a wpisy historii mogą nie pojawiać się na karcie Aktywność we właściwym czasie.
Jak odczytywać panel
Zacznij od sekcji Dane wyniku jakości, która jest głównym wskaźnikiem stanu integracji. Ocena DOBRA na poziomie urządzenia zależy od spełnienia przez wszystkie dane w tej sekcji kryteriów sukcesu w kolorze ZIELONYM. Szczegółowe wymagania techniczne i definicje wskaźników znajdziesz w dokumentacji Centrum dla Deweloperów.
Sekcja „Wynik jakości danych” u góry panelu danych Google Home zawiera dane używane do obliczania wyniku jakości integracji.
Legenda
- ZIELONY (DOBRY): wskaźnik osiąga próg jakości.
- CZERWONY (SŁABA): dane nie spełniają progu jakości.
Przykład
W przykładzie poniżej widać, że typ urządzenia AC_UNIT spełnia kryteria jakości w sekcjach Szybkość odpowiedzi na zapytanie i wykonania oraz Opóźnienie zapytania, ale nie spełnia kryteriów w sekcji Opóźnienie wykonania (czerwony pasek). Oznacza to, że polecenia są wykonywane z odpowiednią szybkością, ale opóźnienie EXECUTE jest o 36 ms za duże. Sekcja Stan systemu pokazuje 98,92% błędów w przypadku zagregowanych metod w ramach integracji, co oznacza, że można wprowadzić ulepszenia, aby zapewnić dokładność stanów urządzeń użytkowników w Google Home. Oznacza to, że 1,08% wywołań (DeleteAgentUser, Query, ReportStateAndNotification, RequestSyncDevices lub Sync) zwraca kody odpowiedzi inne niż 2xx lub 5xx (np. błędy 404). Ostatnim wskaźnikiem używanym do pomiaru jakości w przypadku typu urządzenia AC_UNIT jest dokładność stanu. W tym przykładzie widzimy, że wskaźnik sukcesu wynosi 77,43%, co oznacza, że użytkownicy prawdopodobnie widzą niedokładne wyniki dotyczące urządzeń. W przypadku tych 3 rodzajów danych ogólny wynik dla AC_UNIT to SŁABY, czyli poniżej progu jakości.
Każde z tych obliczeń jakości odpowiada sekcji debugowania poniżej. Rozwiń zwinięte kroki, aby przeprowadzić dalsze debugowanie.
Aby debugować współczynniki powodzenia i opóźnienia zapytań QUERY/EXECUTE, przejdź do sekcji „Krok 1. Sprawdź wywołania Cloud”.
Aby debugować współczynniki powodzenia połączeń od partnera do Google, przejdź do sekcji „Krok 2. Sprawdź połączenia z Google”.
Aby debugować dokładność stanu dla każdego typu urządzenia, przejdź do sekcji „Krok 3. Zwiększanie dokładności stanu”.
3. Krok 1. Sprawdź wywołania Cloud Calls
Krok 1. Przegląd
Ta sekcja jest poświęcona wywołaniom w chmurze – wskaźnikom, które mierzą stan komunikacji między Google a backendem w chmurze (znanym też jako wskaźniki Google – partner). Obejmuje to polecenia takie jak Zapytanie i Wykonaj.
Śledzimy wskaźniki sukcesu i opóźnienia w przypadku zapytań QUERY i poleceń EXECUTE (które wpływają na wyniki jakości dla typu urządzenia).
Poniższe podsumowanie przedstawia zbiorcze wskaźniki sukcesu i błędy zapytań QUERY i wykonań EXECUTE na poziomie integracji. Kroki 1a–1d pokazują podział tych danych na poziomie typu urządzenia lub cechy. 
Kroki 1a i 1b pokazują trend liczby żądań realizacji, liczbę błędów w czasie i konkretne stany błędów.
Krok 1a. Sprawdź błędy zapytań
Krok 1b. Sprawdź błędy wykonania
Kroki 1c i 1d pokazują podział 90 i 50 centyla tych danych na poziomie integracji i typu urządzenia.
Krok 1c. Sprawdź opóźnienie zapytania
Krok 1d. Sprawdź opóźnienie wykonania
4. Krok 2. Debugowanie: sprawdzanie wywołań Google
Krok 2. Przegląd
Po debugowaniu połączeń z Google do partnera ten drugi krok obejmuje debugowanie połączeń z chmury partnera do Google. Ta sekcja obejmuje dane na poziomie integracji z partnerem, a nie na poziomie typu urządzenia. Obejmuje ona kody odpowiedzi, takie jak 400 Bad Request, 404 Not Found i 429 Resource Exhausted.
Krok 2a. Debugowanie problemów z limitami
Google Home ogranicza przydzielanie i wykorzystywanie zasobów oraz egzekwuje odpowiednie limity w przypadku poszczególnych projektów. Google stosuje domyślny limit 6000 żądań na 60 sekund w przypadku łącznej liczby wywołań interfejsu API zapytań, usuwania, raportowania stanu i synchronizacji żądań asynchronicznych w ramach każdej integracji typu „chmura do chmury”.
Problemy z limitem mogą negatywnie wpływać na dokładność stanu raportu, ponieważ nieudana aktualizacja stanu może spowodować niezgodność. Poniżej znajdziesz wykresy z zestawieniem stanu raportu i błędów synchronizacji żądań, podziałem metod interfejsu API na liczbę i błędy oraz odsetkiem wykorzystania limitu. Jeśli na tych wykresach widać nieoczekiwany wzrost ruchu, sprawdź integrację, aby ustalić, czy jakaś zmiana powoduje wysyłanie większej ilości ruchu do interfejsu Home Graph API.
W niektórych przypadkach, np. gdy ruch rośnie naturalnie z upływem czasu (np. wzrost jest zgodny ze wzrostem liczby urządzeń, wprowadzeniem nowego typu urządzenia lub innym oczekiwanym wydarzeniem), zwiększenie limitu dla integracji może być odpowiednie. Aby poprosić o zwiększenie limitu, wykonaj czynności opisane w naszej dokumentacji dla deweloperów.
5. Debugowanie – krok 3. Poprawianie dokładności stanu
Krok 3. Omówienie
Po debugowaniu kroków 1 i 2 krok 3 obejmuje dokładność Report State, czyli stanów urządzeń przechowywanych w systemach Google, które są używane do obsługi zapytań użytkowników. Poniżej znajdziesz zestawienia według cechy i typu urządzenia. Kroki 3a i 3b obejmują 2 częste błędy w przypadku stanu raportu: błędy brakującego pola i błędy niedokładności.
Krok 3a. Błędy „Brak pola”
Błędy „Missing Field” (Brakujące pole) występują, gdy zestaw pól ładunku różni się między odpowiedzią QUERY a zgłoszonym żądaniem stanu dla danego urządzenia. Zestaw pól w ładunku każdego urządzenia musi być taki sam. Może to być spowodowane różnicami w logice obliczania ładunku między odpowiedzią na zapytanie a odpowiedzią dotyczącą stanu raportu. Na wykresach poniżej możesz sprawdzić, które typy urządzeń i cechy mają niezgodne odpowiedzi na zapytania QUERY i raporty o stanie.
Krok 3b. Błędy „Niedokładne”
Błędy nieprawidłowe występują, gdy zestaw pól ładunku jest taki sam w odpowiedzi QUERY i w zgłoszeniu stanu danego urządzenia, ale wartości stanu są różne. Może to być spowodowane pominięciem raportu o stanie lub różnicami w logice obliczania stanu między zapytaniem a raportem o stanie. Na wykresach poniżej możesz sprawdzić, które typy urządzeń i cechy mają niezgodne odpowiedzi na zapytania QUERY i raporty o stanie.
6. Inna dokumentacja i materiały
- Aby przesłać opinię lub zgłosić problemy dotyczące tego panelu, zgłoś problem w naszym publicznym narzędziu Śledzenie problemów.
- Aby przesłać prośbę o odwołanie, zgłoś problem za pomocą formularza odwołania dotyczącego wskaźnika jakości.
- Aby regularnie sprawdzać jakość integracji, skonfiguruj alerty Google Cloud Platform, które będą Cię powiadamiać, gdy Twoje dane spadną poniżej dopuszczalnego progu. Dzięki temu będziesz pierwszą osobą, która dowie się o problemie.
- Więcej informacji znajdziesz w dokumentacji dla deweloperów: https://developers.home.google.com/tools/analytics/home-vitals