1. Sebelum memulai
Codelab ini dirancang untuk Partner dan Developer Google Home dengan Integrasi Cloud untuk meningkatkan kualitas ekosistem dan pengalaman pengguna.
Yang akan Anda pelajari
Dasbor Vitals Google Home berfungsi sebagai sumber tepercaya terpusat bagi developer dan partner untuk memantau kondisi operasional integrasi Google Home mereka. Dalam ekosistem yang pengalaman penggunanya ditentukan oleh latensi dan keandalan, Google Home Vitals adalah portal layanan mandiri yang berisi semua analisis mendalam yang diperlukan untuk beralih dari pemecahan masalah reaktif ke pengelolaan kualitas proaktif.
- Cara penghitungan skor integrasi berkualitas
- Cara membaca dan menggunakan dasbor
- Cara men-debug metrik berkualitas buruk
Yang Anda butuhkan
- Memiliki Integrasi Cloud Google Home
Penyiapan
Cara membuka Dasbor Vitals Google Home:
- Buka Google Cloud Platform
- Monitoring > Dasbor
- Klik Dasbor "Google Home Vitals (Cloud)"
2. Cara Membaca Dasbor
Penghitungan Skor Kualitas – Standar "Baik" vs. "Buruk"
Dasbor menjelaskan perincian untuk pemberian skor kualitas. Skor kualitas ditetapkan pada perincian jenis perangkat. Agar integrasi jenis perangkat dianggap BAIK, integrasi tersebut harus memenuhi empat kriteria serentak:
- Tingkat Keberhasilan Global: Tingkat keberhasilan panggilan Partner-to-Google secara keseluruhan harus >=99,5%.
Catatan: Jika Tingkat Keberhasilan Global tidak terpenuhi (>=99,5%), rating BURUK akan otomatis diberikan di seluruh project, terlepas dari performa masing-masing perangkat. - Keandalan Perintah: Rasio keberhasilan QUERY dan EXECUTE harus >=99,5% untuk setiap jenis perangkat.
- Latensi Responsif: Latensi persentil ke-90 untuk QUERY dan EXECUTE harus <=1000 md untuk setiap jenis perangkat.
- Integritas Negara Bagian: Akurasi Negara Bagian harus >=99,5%.
Mengapa Metrik ini Penting
- Rasio Keberhasilan Global: Panggilan partner ke Google di tingkat integrasi mengukur kualitas panggilan dari cloud Anda ke Google. Tingkat keberhasilan >= 99,5% memastikan Google Home menggunakan status perangkat yang benar. Beberapa contohnya termasuk memastikan bahwa perangkat ditambahkan dan dihapus, otomatisasi dipicu, dan peristiwa histori muncul di tab Aktivitas aplikasi Google Home.
- Keandalan Perintah: Tingkat keberhasilan QUERY dan EXECUTE diukur pada tingkat jenis perangkat. Tingkat keberhasilan >=99, 5% memastikan perintah pengguna Anda dipenuhi dengan benar (yaitu menghindari respons Asisten seperti "Saya tidak dapat menjangkau perangkat" atau salah mengonfirmasi perintah yang tidak dipenuhi).
- Latensi Responsif: Latensi QUERY dan EXECUTE juga diukur di tingkat jenis perangkat. Latensi <=1000 md per jenis perangkat memastikan pengguna Anda tidak perlu menunggu terlalu lama untuk melakukan tindakan yang diinginkan (yaitu menunggu beberapa detik agar lampu mati).
- Integritas Status: Akurasi Status Mengukur akurasi status yang disimpan dalam sistem Google dan digunakan untuk menayangkan kueri pengguna. Jika angka ini rendah, pengguna mungkin melihat hasil yang salah untuk perangkat Anda saat mereka melihat status perangkat Anda atau menggunakan fitur AI seperti Tanya Home. Otomatisasi mungkin tidak berjalan dan entri histori mungkin tidak muncul di Aktivitas pada waktu yang tepat.
Cara Membaca Dasbor
Mulai di bagian Metrik Skor Kualitas, yang berfungsi sebagai indikator kesehatan utama untuk integrasi Anda. Rating tingkat perangkat BAIK bergantung pada semua metrik di bagian ini yang memenuhi kriteria keberhasilan HIJAU. Persyaratan teknis dan definisi metrik yang mendetail tersedia di dokumentasi Pusat Developer.
Bagian "Skor Metrik Kualitas" di bagian atas dasbor Vitals Google Home mencerminkan metrik yang digunakan untuk menghitung skor kualitas integrasi Anda.
Legenda
- HIJAU (BAIK): metrik memenuhi nilai minimum kualitas.
- MERAH (BURUK): metrik tidak memenuhi batas kualitas.
Contoh
Dalam contoh di bawah, Anda dapat melihat bahwa jenis perangkat AC_UNIT memenuhi kriteria kualitas di bagian Tingkat Keberhasilan QUERY dan EKSEKUSI serta bagian Latensi QUERY, tetapi gagal di bagian Latensi EKSEKUSI (merah). Artinya, perintah berhasil dengan tingkat kelulusan, tetapi latensi EKSEKUSI 36 md terlalu lambat. Bagian Kesehatan Sistem menunjukkan tingkat kegagalan 98,92% untuk metode gabungan di seluruh integrasi, yang berarti ada ruang untuk peningkatan guna memastikan akurasi status perangkat pengguna ke Google Home. Artinya, 1,08% panggilan (DeleteAgentUser, Query, ReportStateAndNotification, RequestSyncDevices, atau Sync) menampilkan kode respons yang tidak sama dengan 2xx atau 5xx (mis. error 404). Metrik terakhir yang digunakan untuk mengukur kualitas lulus/gagal untuk jenis perangkat AC_UNIT adalah akurasi status. Dalam contoh ini, kita melihat tingkat keberhasilan 77,43%, yang berarti pengguna kemungkinan melihat hasil yang tidak akurat untuk perangkat. Dengan ketiga metrik ini, skor keseluruhan untuk AC_UNIT adalah BURUK dan di bawah nilai minimum kualitas.
Setiap penghitungan kualitas ini sesuai dengan bagian penelusuran bug di bawah. Buka langkah-langkah yang diciutkan untuk proses debug lebih lanjut.
Untuk men-debug tingkat keberhasilan dan latensi QUERY/EXECUTE, buka "Langkah 1: Validasi Panggilan Cloud".
Untuk men-debug rasio keberhasilan Partner ke Google, buka "Langkah 2: Validasi Panggilan ke Google".
Untuk men-debug Akurasi Status untuk setiap jenis perangkat, buka "Langkah 3: Meningkatkan Akurasi Status".
3. Langkah Pen-debug-an 1: Validasi Panggilan Cloud
Langkah 1: Ringkasan
Bagian ini berfokus pada Cloud Calls — metrik yang mengukur kualitas komunikasi dari Google ke backend cloud Anda (juga dikenal sebagai metrik Google-ke-Partner). Hal ini mencakup perintah seperti Query, Execute.
Kami melacak tingkat keberhasilan dan latensi untuk QUERY dan EXECUTE (yang menjadi faktor dalam skor kualitas jenis perangkat Anda).
Ringkasan di bawah menunjukkan error dan tingkat keberhasilan QUERY, EXECUTE gabungan di tingkat integrasi. Langkah 1a-1d menunjukkan perincian untuk metrik ini di tingkat jenis/karakteristik perangkat. 
Langkah 1a dan 1b menunjukkan tren jumlah permintaan pemenuhan, jumlah error dari waktu ke waktu, dan status error tertentu.
Langkah 1a: Tinjau Error Kueri
Langkah 1b: Tinjau Error Eksekusi
Langkah 1c dan 1d menunjukkan perincian persentil ke-90 dan ke-50 untuk metrik ini di tingkat integrasi dan tingkat jenis perangkat.
Langkah 1c: Tinjau Latensi Kueri
Langkah 1d: Tinjau Latensi Eksekusi
4. Langkah Penelusuran Masalah 2: Validasi Panggilan ke Google
Langkah 2: Ringkasan
Setelah men-debug panggilan dari Google ke partner, langkah kedua ini mencakup men-debug panggilan dari cloud partner ke Google. Bagian ini mencakup metrik di tingkat integrasi partner, bukan tingkat jenis perangkat – ini mencakup kode respons seperti 400 Bad Request, 404 Not Found, dan 429 Resource Exhausted.
Langkah 2a: Debug Masalah Kuota
Google Home membatasi alokasi dan penggunaan resource, serta menerapkan kuota yang sesuai berdasarkan per project. Google menerapkan batas default 6.000 permintaan per 60 detik ke gabungan panggilan API kueri, penghapusan, Status Laporan, dan sinkronisasi permintaan asinkron Anda, berdasarkan per integrasi Cloud-to-Cloud.
Masalah terkait kuota dapat berdampak negatif pada Akurasi Status Laporan karena kegagalan menyelesaikan update status dapat menyebabkan ketidakcocokan. Di bawah ini adalah diagram dengan perincian yang secara khusus menunjukkan Status Laporan dan Error Sinkronisasi Permintaan, perincian metode API berdasarkan jumlah dan error, serta persentase penggunaan kuota. Jika diagram ini menunjukkan peningkatan traffic yang tidak terduga, tinjau integrasi Anda untuk menentukan apakah ada perubahan yang menyebabkan lebih banyak traffic dikirim ke Home Graph API.
Dalam beberapa skenario, seperti pertumbuhan traffic alami dari waktu ke waktu (misalnya, pertumbuhan konsisten dengan peningkatan jumlah perangkat, peluncuran jenis perangkat baru, atau beberapa peluncuran lain yang diharapkan), peningkatan kuota untuk integrasi Anda mungkin tepat. Untuk meminta peningkatan kuota, ikuti langkah-langkah di dokumentasi developer kami.
5. Langkah Debugging 3: Meningkatkan Akurasi Status
Langkah 3: Ringkasan
Setelah men-debug Langkah 1 dan Langkah 2, Langkah 3 mencakup akurasi Status Laporan – status perangkat yang disimpan dalam sistem Google, yang digunakan untuk menayangkan kueri pengguna. Pengelompokan menurut sifat dan jenis perangkat ditampilkan di bawah. Langkah 3a dan 3b mencakup dua error umum untuk Report State, yaitu error Kolom Tidak Ada dan error Tidak Akurat.
Langkah 3a: Error "Kolom Tidak Ada"
Error "Kolom Tidak Ada" terjadi jika kumpulan kolom payload berbeda antara respons QUERY dan permintaan status yang dilaporkan untuk perangkat tertentu. Kumpulan kolom dalam payload setiap perangkat harus sama. Hal ini dapat disebabkan jika logika untuk menghitung payload berbeda antara respons status QUERY dan laporannya. Gunakan diagram di bawah untuk melacak jenis perangkat dan karakteristik yang memiliki respons status QUERY dan laporan yang tidak cocok.
Langkah 3b: Error "Tidak Akurat"
Error tidak akurat terjadi jika kumpulan kolom payload sama antara respons QUERY dan permintaan status yang dilaporkan untuk perangkat tertentu, tetapi nilai statusnya berbeda. Hal ini dapat disebabkan jika laporan status terlewat atau jika logika untuk menghitung status berbeda antara QUERY dan laporan status. Gunakan diagram di bawah untuk melacak jenis perangkat dan karakteristik yang memiliki respons status QUERY dan laporan yang tidak cocok.
6. Dokumentasi & referensi lainnya
- Untuk mengirim masukan atau melaporkan masalah terkait dasbor ini, laporkan masalah di Issue Tracker publik kami.
- Untuk mengajukan permintaan banding, ajukan masalah menggunakan formulir Banding Metrik Kualitas kami.
- Untuk terus memantau kualitas integrasi Anda secara rutin, konfigurasi pemberitahuan Google Cloud Platform untuk mendapatkan notifikasi saat metrik Anda berada di bawah nilai minimum yang dapat diterima. Hal ini memastikan Anda adalah orang pertama yang mengetahui jika ada masalah.
- Untuk semua informasi lainnya, lihat info selengkapnya di dokumentasi developer – https://developers.home.google.com/tools/analytics/home-vitals