Google Home Vitals डैशबोर्ड पर, अपने प्रॉडक्ट की क्वालिटी को मेज़र करने का तरीका

1. शुरू करने से पहले

इस कोडलैब को Google Home के पार्टनर और डेवलपर के लिए डिज़ाइन किया गया है. इसमें क्लाउड इंटिग्रेशन के बारे में बताया गया है, ताकि वे अपने प्लैटफ़ॉर्म की क्वालिटी और उपयोगकर्ता अनुभव को बेहतर बना सकें.

आपको क्या सीखने को मिलेगा

Google Home Vitals Dashboard, डेवलपर और पार्टनर के लिए एक भरोसेमंद सोर्स के तौर पर काम करता है. इससे वे Google Home इंटिग्रेशन की परफ़ॉर्मेंस को मॉनिटर कर सकते हैं. ऐसे नेटवर्क में जहां उपयोगकर्ता अनुभव को लेटेन्सी और भरोसेमंद तरीके से काम करने की क्षमता के आधार पर तय किया जाता है वहां Google Home Vitals, एक ऐसा सेल्फ-सर्विस पोर्टल है जिसमें सभी ज़रूरी डीप-डाइव ऐनलिटिक्स शामिल होते हैं. इनकी मदद से, समस्याओं को ठीक करने के लिए तुरंत कार्रवाई करने के बजाय, क्वालिटी मैनेजमेंट के लिए पहले से ही ज़रूरी कदम उठाए जा सकते हैं.

• आपके क्वालिटी इंटिग्रेशन स्कोर का हिसाब कैसे लगाया जाता है
• डैशबोर्ड को पढ़ने और इस्तेमाल करने का तरीका
• खराब क्वालिटी वाली मेट्रिक को डीबग करने का तरीका

आपको किन चीज़ों की ज़रूरत होगी

• Google Home के साथ क्लाउड इंटिग्रेशन की सुविधा उपलब्ध हो

सेटअप

Google Home Vitals डैशबोर्ड पर जाने का तरीका:

1. Google Cloud Platform खोलें
2. मॉनिटर करना > डैशबोर्ड
3. "Google Home Vitals (Cloud)" डैशबोर्ड पर क्लिक करें

2. डैशबोर्ड को पढ़ने का तरीका

क्वालिटी स्कोर का कैलकुलेशन – "अच्छा" बनाम "खराब" स्टैंडर्ड

डैशबोर्ड में, क्वालिटी स्कोरिंग के बारे में जानकारी दी गई है. क्वालिटी स्कोर, डिवाइस टाइप के हिसाब से असाइन किए जाते हैं. किसी डिवाइस टाइप के इंटिग्रेशन को GOOD माना जाने के लिए, उसे एक साथ चार शर्तें पूरी करनी होंगी:

1. ग्लोबल सक्सेस रेट: पार्टनर से Google को किए गए सभी कॉल का सक्सेस रेट >=99.5% होना चाहिए.
   ध्यान दें: ग्लोबल सक्सेस रेट (>=99.5%) पूरा न होने पर, पूरे प्रोजेक्ट के लिए अपने-आप खराब रेटिंग मिल जाती है. भले ही, डिवाइस की परफ़ॉर्मेंस कैसी भी हो.
2. निर्देशों के सही तरीके से काम करने की दर: हर डिवाइस टाइप के लिए, QUERY और EXECUTE के सफल होने की दर >=99.5% होनी चाहिए.
3. रिस्पॉन्सिव होने में लगने वाला समय: हर डिवाइस टाइप के लिए, QUERY और EXECUTE के लिए 90वें पर्सेंटाइल की लेटेन्सी <=1000 मि॰से॰ होनी चाहिए.
4. राज्य की जानकारी सही होना: राज्य की जानकारी 99.5% या इससे ज़्यादा सटीक होनी चाहिए.

ये मेट्रिक क्यों ज़रूरी हैं

1. ग्लोबल सक्सेस रेट: इंटिग्रेशन लेवल पर पार्टनर से Google को किए गए कॉल से, यह पता चलता है कि आपके क्लाउड से Google को किए गए कॉल सही तरीके से काम कर रहे हैं या नहीं. सक्सेस रेट 99.5% या इससे ज़्यादा होने पर, यह पक्का होता है कि Google Home, डिवाइस की सही स्थितियां इस्तेमाल कर रहा है. कुछ उदाहरणों में यह पक्का करना शामिल है कि डिवाइस जोड़े और हटाए गए हों, ऑटोमेशन ट्रिगर हुए हों, और Google Home ऐप्लिकेशन के गतिविधि टैब में इतिहास के इवेंट दिख रहे हों.
2. निर्देशों के सही तरीके से काम करने की दर: QUERY और EXECUTE के सक्सेस रेट को डिवाइस टाइप के लेवल पर मापा जाता है. अगर यह सक्सेस रेट >=99.5% है, तो इसका मतलब है कि उपयोगकर्ता के निर्देश सही तरीके से पूरे किए जा रहे हैं. जैसे, Assistant के जवाबों में "डिवाइस से कनेक्ट नहीं किया जा सकता" जैसे जवाब नहीं मिल रहे हैं या किसी ऐसे निर्देश की पुष्टि नहीं की जा रही है जिसे पूरा नहीं किया गया है.
3. जवाब मिलने में लगने वाला समय: QUERY और EXECUTE में लगने वाले समय को डिवाइस टाइप के लेवल पर भी मेज़र किया जाता है.हर डिवाइस टाइप के लिए <=1000 मि॰से॰ का समय यह पक्का करता है कि उपयोगकर्ता को अपनी पसंद की कार्रवाई करने के लिए ज़्यादा इंतज़ार न करना पड़े. जैसे, लाइट बंद करने के लिए कुछ सेकंड इंतज़ार करना.
4. राज्य की जानकारी सटीक होना: इससे यह पता चलता है कि Google के सिस्टम में सेव किया गया राज्य सटीक है या नहीं. साथ ही, यह भी पता चलता है कि उपयोगकर्ता की क्वेरी के जवाब देने के लिए, इस राज्य की जानकारी का इस्तेमाल किया गया है या नहीं. अगर ये संख्याएं कम हैं, तो डिवाइस की स्थिति देखने या Home से पूछें जैसी एआई सुविधाओं का इस्तेमाल करने पर, लोगों को आपके डिवाइसों के लिए गलत नतीजे दिख सकते हैं. ऐसा हो सकता है कि ऑटोमेशन ट्रिगर न हों और गतिविधि के इतिहास की एंट्री सही समय पर न दिखें.

डैशबोर्ड को पढ़ने का तरीका

क्वालिटी स्कोर मेट्रिक सेक्शन से शुरू करें. यह आपके इंटिग्रेशन के लिए, सेहत की मुख्य जानकारी देने वाले इंडिकेटर के तौर पर काम करता है. डिवाइस-लेवल की अच्छी रेटिंग पाने के लिए, ज़रूरी है कि इस सेक्शन में मौजूद सभी मेट्रिक, सफलता के लिए तय की गई हरी शर्तों को पूरा करती हों. तकनीकी ज़रूरी शर्तों और मेट्रिक की परिभाषाओं के बारे में ज़्यादा जानकारी, डेवलपर सेंटर के दस्तावेज़ में उपलब्ध है.

Google Home Vitals डैशबोर्ड में सबसे ऊपर मौजूद "क्वालिटी मेट्रिक स्कोर" सेक्शन में, उन मेट्रिक के बारे में बताया जाता है जिनका इस्तेमाल आपके इंटिग्रेशन के क्वालिटी स्कोर का हिसाब लगाने के लिए किया जाता है.

लेजेंड

• हरा (अच्छा): मेट्रिक, क्वालिटी थ्रेशोल्ड को पूरा करती है.
• लाल (खराब): मेट्रिक, क्वालिटी के थ्रेशोल्ड को पूरा नहीं करती है.

उदाहरण

यहां दिए गए उदाहरण में, देखा जा सकता है कि AC_UNIT डिवाइस टाइप, क्वेरी और निर्देश पूरे होने की दर के साथ-साथ क्वेरी में लगने वाले समय के सेक्शन में क्वालिटी के मानदंड को पूरा करता है. हालांकि, निर्देश पूरे होने में लगने वाले समय के बार (लाल) में यह मानदंड पूरा नहीं होता. इसका मतलब है कि कमांड सही तरीके से काम कर रही हैं, लेकिन EXECUTE में 36 मि॰से॰ की देरी हो रही है. सिस्टम की परफ़ॉर्मेंस सेक्शन में, इंटिग्रेशन के सभी तरीकों के लिए 98.92% की गड़बड़ी दर दिखती है. इसका मतलब है कि Google Home को उपयोगकर्ताओं के डिवाइसों की सटीक जानकारी देने के लिए, इसमें सुधार किया जा सकता है. इसका मतलब है कि 1.08% कॉल (DeleteAgentUser, Query, ReportStateAndNotification, RequestSyncDevices या Sync) ऐसे रिस्पॉन्स कोड दिखा रहे हैं जो 2xx या 5xx के बराबर नहीं हैं. उदाहरण के लिए, 404 गड़बड़ियां). AC_UNIT डिवाइस टाइप के लिए, पास/फ़ेल क्वालिटी का आकलन करने के लिए इस्तेमाल की गई आखिरी मेट्रिक, राज्य की सटीक जानकारी है. इस उदाहरण में, हमें 77.43% की सक्सेस रेट दिखती है. इसका मतलब है कि उपयोगकर्ताओं को डिवाइसों के लिए गलत नतीजे दिख रहे हैं. इन तीन मेट्रिक के आधार पर, AC_UNIT का कुल स्कोर POOR है और यह क्वालिटी थ्रेशोल्ड से नीचे है.

क्वालिटी के लिए किए गए हर कैलकुलेशन के बारे में, यहां दिए गए डीबग करने से जुड़े सेक्शन में बताया गया है. डीबग करने के लिए, छोटे किए गए चरणों को बड़ा करें.

QUERY/EXECUTE की सफलता दर और इंतज़ार के समय को डीबग करने के लिए, "पहला चरण: क्लाउड कॉल की पुष्टि करें" पर जाएं.

Partner to Google के कॉल पूरे होने की दर से जुड़ी गड़बड़ियों को ठीक करने के लिए, "दूसरा चरण: Google को किए गए कॉल की पुष्टि करना" पर जाएं.

हर तरह के डिवाइस के लिए, स्टेट की सटीक जानकारी को डीबग करने के लिए, "तीसरा चरण: स्टेट की सटीक जानकारी को बेहतर बनाएं" पर जाएं.

3. डीबग करने का पहला चरण: क्लाउड कॉल की पुष्टि करना

पहला चरण: खास जानकारी

इस सेक्शन में, क्लाउड कॉल पर फ़ोकस किया गया है. ये मेट्रिक, Google से आपके क्लाउड बैकएंड तक होने वाले कम्यूनिकेशन की स्थिति को मेज़र करती हैं. इन्हें Google-to-Partner मेट्रिक भी कहा जाता है. इसमें क्वेरी और लागू करें जैसे निर्देश शामिल हैं.

हम QUERY और EXECUTE के लिए, टास्क पूरा होने की दर और इंतज़ार के समय को ट्रैक करते हैं. इससे आपके डिवाइस टाइप के क्वालिटी स्कोर तय होते हैं.

नीचे दी गई खास जानकारी में, इंटिग्रेशन लेवल पर QUERY और EXECUTE के सफल होने की कुल दर और गड़बड़ियां दिखाई गई हैं. पहले चरण के 1a से 1d तक, डिवाइस टाइप/ट्रेट लेवल पर इन मेट्रिक का ब्रेकडाउन दिखाया गया है.

पहले चरण के पहले और दूसरे सेक्शन में, अनुरोध पूरा करने के अनुरोधों की संख्या, समय के साथ गड़बड़ियों की संख्या, और गड़बड़ी की खास स्थितियां दिखाई गई हैं.

पहला चरण (क): क्वेरी से जुड़ी गड़बड़ियों की समीक्षा करना

पहले चरण का दूसरा हिस्सा: एक्ज़ीक्यूट करने से जुड़ी गड़बड़ियों की समीक्षा करना

पहले चरण के 1c और 1d में, इंटिग्रेशन लेवल और डिवाइस टाइप लेवल, दोनों के लिए इन मेट्रिक के 90वें और 50वें पर्सेंटाइल का ब्रेकडाउन दिखाया गया है.

पहले चरण का तीसरा हिस्सा: क्वेरी में लगने वाला समय देखना

पहला चरण (घ): अनुरोध पूरा होने में लगने वाला समय देखना

4. डीबग करने का दूसरा चरण: Google को किए गए कॉल की पुष्टि करना

दूसरा चरण: खास जानकारी

Google से पार्टनर को किए गए कॉल को डीबग करने के बाद, इस दूसरे चरण में पार्टनर क्लाउड से Google को किए गए कॉल को डीबग करने के बारे में बताया गया है. इस सेक्शन में, डिवाइस टाइप लेवल पर नहीं, बल्कि पार्टनर इंटिग्रेशन लेवल पर मेट्रिक शामिल होती हैं. इनमें रिस्पॉन्स कोड भी शामिल होते हैं. जैसे, 400 Bad Request, 404 Not Found, और 429 Resource Exhausted.

दूसरा चरण: कोटा से जुड़ी समस्याओं को ठीक करना

Google Home, संसाधन के बंटवारे और इस्तेमाल को सीमित करता है. साथ ही, हर प्रोजेक्ट के हिसाब से सही कोटा लागू करता है. Google, क्लाउड-टू-क्लाउड इंटिग्रेशन के आधार पर, आपकी क्वेरी, मिटाने, रिपोर्ट की स्थिति, और एसिंक्रोनस अनुरोध सिंक करने के लिए एपीआई कॉल के एग्रीगेट पर, हर 60 सेकंड में 6,000 अनुरोधों की डिफ़ॉल्ट सीमा लागू करता है.

कोटा से जुड़ी समस्याओं की वजह से, रिपोर्ट के स्टेटस की सटीक जानकारी पर बुरा असर पड़ सकता है. ऐसा इसलिए, क्योंकि स्टेटस अपडेट पूरा न होने पर, स्टेटस में अंतर आ सकता है. यहां दिए गए चार्ट में, रिपोर्ट की स्थिति और अनुरोध सिंक करने से जुड़ी गड़बड़ियों के बारे में खास जानकारी दी गई है. साथ ही, एपीआई के तरीके के हिसाब से, गड़बड़ियों की संख्या और उनकी जानकारी दी गई है. इसके अलावा, कोटा इस्तेमाल करने का प्रतिशत भी बताया गया है. अगर इन चार्ट में ट्रैफ़िक में अचानक बढ़ोतरी दिख रही है, तो अपने इंटिग्रेशन की समीक्षा करें. इससे यह पता चलेगा कि क्या किसी बदलाव की वजह से, Home Graph API को ज़्यादा ट्रैफ़िक भेजा जा रहा है.

कुछ स्थितियों में, आपके इंटिग्रेशन के लिए कोटा बढ़ाना सही हो सकता है. जैसे, समय के साथ ट्रैफ़िक में अपने-आप बढ़ोतरी होना. उदाहरण के लिए, डिवाइसों की संख्या में बढ़ोतरी, नए डिवाइस टाइप का लॉन्च या कोई अन्य अनुमानित लॉन्च. कोटा बढ़ाने का अनुरोध करने के लिए, हमारे डेवलपर दस्तावेज़ में दिया गया तरीका अपनाएं.

5. डीबग करने का तीसरा चरण: स्थिति की जानकारी को ज़्यादा सटीक बनाना

तीसरा चरण: खास जानकारी

पहले और दूसरे चरण की गड़बड़ियों को ठीक करने के बाद, तीसरे चरण में रिपोर्ट की स्थिति की जांच की जाती है. यह Google के सिस्टम में सेव की गई डिवाइस की स्थितियां होती हैं. इनका इस्तेमाल, उपयोगकर्ता की क्वेरी के जवाब देने के लिए किया जाता है. यहां, डिवाइस टाइप और एट्रिब्यूट के हिसाब से ब्रेकडाउन दिखाया गया है. तीसरे चरण के 3a और 3b में, रिपोर्ट की स्थिति से जुड़ी दो सामान्य गड़बड़ियों के बारे में बताया गया है. ये गड़बड़ियां हैं: फ़ील्ड मौजूद न होने की गड़बड़ियां और गलत जानकारी वाली गड़बड़ियां.

तीसरा चरण: "फ़ील्ड मौजूद नहीं है" गड़बड़ियाँ

"फ़ील्ड मौजूद नहीं है" गड़बड़ियां तब होती हैं, जब किसी डिवाइस के लिए QUERY रिस्पॉन्स और रिपोर्ट किए गए स्टेटस के अनुरोध के बीच पेलोड फ़ील्ड का सेट अलग-अलग होता है. हर डिवाइस के पेलोड में मौजूद फ़ील्ड का सेट एक जैसा होना चाहिए. ऐसा तब हो सकता है, जब पेलोड की गिनती करने का लॉजिक, क्वेरी और रिपोर्ट की स्थिति के रिस्पॉन्स के बीच अलग-अलग हो. नीचे दिए गए चार्ट का इस्तेमाल करके, यह पता लगाएं कि किस तरह के डिवाइसों और उनकी विशेषताओं के लिए, QUERY और report state के जवाब मेल नहीं खाते.

तीसरा चरण: "गलत जानकारी" वाली गड़बड़ियाँ

जब किसी डिवाइस के लिए, QUERY रिस्पॉन्स और रिपोर्ट की गई स्थिति के अनुरोध के बीच पेलोड फ़ील्ड का सेट एक जैसा होता है, लेकिन स्थिति की वैल्यू अलग-अलग होती हैं, तब गलत गड़बड़ियां होती हैं. ऐसा तब हो सकता है, जब राज्य की रिपोर्ट न मिले या QUERY और राज्य की रिपोर्ट के बीच, राज्य का हिसाब लगाने का लॉजिक अलग-अलग हो. नीचे दिए गए चार्ट का इस्तेमाल करके, यह पता लगाएं कि किस तरह के डिवाइसों और उनकी विशेषताओं के लिए, QUERY और report state के जवाब मेल नहीं खाते.

6. अन्य दस्तावेज़ और संसाधन

• इस डैशबोर्ड के बारे में सुझाव/राय देने या किसी समस्या की शिकायत करने के लिए, हमारे सार्वजनिक समस्या ट्रैकर में समस्या की शिकायत दर्ज करें.
• अपील का अनुरोध करने के लिए, क्वालिटी मेट्रिक के ख़िलाफ़ अपील करने का फ़ॉर्म का इस्तेमाल करके, समस्या की जानकारी दें.
• अपने इंटिग्रेशन की क्वालिटी के बारे में नियमित रूप से जानने के लिए, Google Cloud Platform की सूचनाएं कॉन्फ़िगर करें. इससे, जब आपकी मेट्रिक स्वीकार्य थ्रेशोल्ड से नीचे गिरेंगी, तब आपको सूचनाएं मिलेंगी. इससे यह पक्का होता है कि समस्या होने पर, आपको सबसे पहले इसकी सूचना मिले.
• अन्य सभी जानकारी के लिए, कृपया डेवलपर के दस्तावेज़ में ज़्यादा जानकारी देखें – https://developers.home.google.com/tools/analytics/home-vitals