अनुवादित लेकिन एआई के लिए अदृश्य? एक 5-स्तरीय तकनीकी एसईओ जाँच

आपकी वेबसाइट का अनुवाद हो चुका है। गूगल पर आपके फ़्रेंच पेज दिख रहे हैं, ट्रैफ़िक सामान्य है, और सर्च कंसोल में भी कोई समस्या नहीं है। फिर पेरिस से कोई व्यक्ति चैटजीपीटी से आपकी श्रेणी में किसी वेबसाइट की सिफ़ारिश पूछता है, और आपकी वेबसाइट का नाम उत्तर में नहीं आता।

मैं बहुभाषी वेबसाइटों का ऑडिट करके अपना जीवन यापन करता हूँ, और यह समस्या अक्सर सामने आती है, इसलिए मैंने इसे मापने का निर्णय लिया। सितंबर 2026 में मैंने 97 बहुभाषी वेबसाइटों और 174 भाषा संस्करणों का परीक्षण किया, यह देखने के लिए कि जब कोई एआई सहायक का क्रॉलर अनुवादित पृष्ठ का अनुरोध करता है तो उसे क्या प्रतिक्रिया मिलती है।

मुझे 5 अलग-अलग स्तरों पर समस्याएं मिलीं। मेरे अध्ययन में सबसे खराब विफलताओं में से कुछ उन साइटों से आईं जो पहले स्तर को पार कर चुकी थीं।

बॉट को क्या मिलता है

जब आप कोई पेज खोलते हैं, तो आपका ब्राउज़र दो काम करता है। यह आपके सर्वर द्वारा भेजे गए पेज को डाउनलोड करता है, फिर यह उन स्क्रिप्ट को चलाता है जो आपके द्वारा देखे जाने वाले पेज को पूरा करती हैं।

गूगल , बिंग और एप्पल का कहना है कि उनके क्रॉलर स्क्रिप्ट चलाते हैं। चैटजीपीटी, क्लाउड और परप्लेक्सिटी के पीछे के बॉट्स सहित बाकी सभी इस बारे में कुछ नहीं कहते हैं, और मुख्य सार्वजनिक प्रमाण दिसंबर 2024 का एक अध्ययन है जो केवल 3 वेबसाइटों को कवर करता है ।

इसलिए अन्य एआई क्रॉलर के लिए कोई आधिकारिक जवाब नहीं है। यहां तक ​​कि बिंग, जिसका क्रॉलर स्क्रिप्ट चलाता है, भी साइट मालिकों को सलाह देता है कि वे "महत्वपूर्ण सामग्री को क्लाइंट-साइड रेंडरिंग के पीछे न छिपाएं"। जब तक अन्य एआई कंपनियां अपने क्रॉलर के काम करने के तरीके के बारे में स्पष्टीकरण नहीं देतीं, तब तक इस सलाह का पालन करना उचित है।

लेयर 1: क्या अनुवाद पेज में ही मौजूद है?

किसी वेबसाइट का अनुवाद करने के दो तरीके हैं। या तो आपका सर्वर पेज को पहले से ही फ्रेंच में भेजता है, या फिर वह अंग्रेजी पेज भेजता है और ब्राउज़र तक पहुंचने पर एक स्क्रिप्ट शब्दों को आपस में बदल देती है।

किसी आगंतुक को दोनों एक जैसे दिखते हैं। लेकिन स्क्रिप्ट न चलाने वाले क्रॉलर को केवल पहला वाला ही दिखाई देता है।

यह परीक्षण आप स्वयं आसानी से कर सकते हैं; इसके लिए किसी उपकरण की आवश्यकता नहीं है और इसमें केवल 10 सेकंड लगते हैं। अपना फ़्रेंच पृष्ठ खोलें, उस पर दाएँ क्लिक करें और "पृष्ठ स्रोत देखें" चुनें। यदि फ़्रेंच पाठ वहाँ नहीं है, तो स्क्रिप्ट न चलाने वाला क्रॉलर भी उसे नहीं देख पाएगा।

आंकड़ों ने मुझे चौंका दिया। मेरे द्वारा मापे गए औसत पृष्ठ पर पहले से ही 84.6% पाठ बिना स्क्रिप्ट के उपलब्ध है, इसलिए बहुभाषी साइटों को खोखले ढांचे मानने वाली बात गलत साबित होती है। इसके विपरीत, गंभीर मामले कुछ खास जगहों पर ही देखने को मिलते हैं: लगभग हर 7 पृष्ठों में से 1 पृष्ठ पर 30% से कम पाठ उपलब्ध है, और ई-कॉमर्स और यात्रा साइटों का प्रदर्शन सॉफ्टवेयर, मीडिया या संस्थागत साइटों की तुलना में कहीं अधिक खराब रहा।

पर Weglot सबडोमेन, सबडायरेक्टरी और वर्डप्रेस सेटअप में, अनुवाद सर्वर पर होता है, इसलिए यह विज़िटर तक पहुँचने से पहले ही पेज सोर्स में लिखा जाता है। वर्डप्रेस पर, इसका मतलब है कि /fr/about/ जैसे भाषा URL आपके बैकएंड में अतिरिक्त पेज बनाए बिना अनुवादित सामग्री लौटाते हैं।

अपवाद है Weglot जावास्क्रिप्ट इंटीग्रेशन , जो कस्टम सेटअप के लिए मौजूद है और इसके साथ एक दस्तावेजित कमी भी है: वे अनुवाद पेज सोर्स में नहीं होते हैं। यदि AI की दृश्यता आपके लिए महत्वपूर्ण है, तो सबडोमेन, सबडायरेक्टरी या CMS के साथ इंटीग्रेशन सबसे अच्छा विकल्प है।

मैंने जाँचा weglot .com के फ्रेंच होमपेज को एक संदर्भ बिंदु के रूप में लें: 97.6% टेक्स्ट और 17 hreflang टैग किसी भी स्क्रिप्ट के चलने से पहले ही मौजूद थे।

दूसरा चरण: क्या आपकी साइट के सामने कुछ ऐसा है जो बॉट्स को दूर भगा रहा है?

यदि आपकी वेबसाइट कंटेंट डिलीवरी नेटवर्क (CDN) या क्लाउडफ्लेयर जैसी सुरक्षा सेवा के पीछे चल रही है, तो यह आपके सर्वर तक पहुंचने से पहले हर अनुरोध की जांच करती है और किसी भी आगंतुक को, जिसे वह खतरा मानती है, यहां तक ​​कि बॉट्स को भी ब्लॉक कर सकती है। यह हमलों को झेलकर आपकी वेबसाइट की गति बढ़ाती है, लेकिन यह भी तय करती है कि किन आगंतुकों को रोकना है।

मेरे अध्ययन में, मैंने जिन साइटों का परीक्षण किया, उनमें से 11.6% ने Google के क्रॉलर को एक सामान्य पृष्ठ दिखाया और AI क्रॉलरों को त्रुटि संदेश दिया, जिसमें केवल बॉट का नाम अलग था। इन 11 मामलों में से 9 में, साइट की robots.txt फ़ाइल (वह सार्वजनिक फ़ाइल जिसमें बॉट्स को बताया जाता है कि वे क्या पढ़ सकते हैं) ने उसी क्रॉलर को एक्सेस करने की अनुमति दी जिसे उसकी सुरक्षा सेवा रोक रही थी। इन 11 में से 8 सार्वजनिक संस्थान, विश्वविद्यालय या पर्यटन बोर्ड थे, ऐसे संगठन जो आमतौर पर चाहते हैं कि उनकी जानकारी पढ़ी जाए।

आपका सीएमएस, सर्च कंसोल और एनालिटिक्स इनमें से किसी भी समस्या को उजागर नहीं करेंगे, क्योंकि यह पेज आपके और गूगल दोनों के लिए सामान्य रूप से लोड होता है।

तीसरा चरण: क्या आप गलत रोबोट को ब्लॉक कर रहे हैं?

हर एआई कंपनी अलग-अलग कामों के लिए कई बॉट चलाती है। ओपनएआई प्रशिक्षण के लिए जीपीटीबॉट और खोज के लिए ओएआई-सर्चबॉट का दस्तावेजीकरण करता है ।

GPTBot को ब्लॉक करने से आपका कंटेंट भविष्य में मॉडल ट्रेनिंग से बाहर हो जाएगा, लेकिन इससे ChatGPT के सर्च जवाबों से आपका नाम नहीं हटेगा। OAI-SearchBot को ब्लॉक करने से ऐसा हो जाएगा, इसलिए जांच लें कि आपकी robots.txt फ़ाइल में इनमें से कौन सा नाम है।

मेरे नमूने में, 27.7% साइटों ने robots.txt में कम से कम 1 एआई बॉट का नाम दिया और 11.7% ने अपने भाषा पृष्ठों पर कम से कम 1 को अवरुद्ध किया, जबकि किसी भी साइट ने Google या Bing को अवरुद्ध नहीं किया।

चरण 4: क्या कोई बॉट आपकी अन्य भाषाओं का पता लगा सकता है?

आपका फ्रेंच पेज एकदम सही होने के बावजूद भी पहुंच से बाहर हो सकता है, क्योंकि क्रॉलर को पहले उसे ढूंढना होता है, जो वह पेज सोर्स में दिए गए लिंक का अनुसरण करके करता है।

मेरे द्वारा मापे गए भाषा संस्करणों में से 42.4% के लिए, मूल पृष्ठ से अनुवादित पृष्ठ तक पहुँचने का एकमात्र मार्ग hreflang टैग था, जो खोज इंजनों को बताता है कि कौन सा पृष्ठ किसका फ्रेंच संस्करण है। कोई सामान्य लिंक मौजूद नहीं था, क्योंकि भाषा मेनू एक स्क्रिप्ट है।

ये वेबसाइटें आज इसलिए काम कर रही हैं क्योंकि इनके hreflang टैग पेज सोर्स में मौजूद हैं। लेकिन अगर आप इन्हें किसी स्क्रिप्ट में डाल देते हैं, जैसा कि कुछ ट्रांसलेशन विजेट भाषा मेनू जोड़ते समय करते हैं, तो उन पेजों तक पहुँचने का एकमात्र रास्ता, यानी बॉट का रास्ता, बंद हो जाता है। मेरे उदाहरण में, 10 में से 4 अनुवादित पेज ऐसे ही थे।

Weglot यह आपके पेजों में इन टैग्स को अपने आप जोड़ देता है, बिना किसी को कोड में बदलाव किए। इसके SEO डॉक्यूमेंटेशन में बताया गया है कि यह हर तरह के सेटअप के लिए कैसे काम करता है।

स्तर 5: क्या गलत भाषा का प्रयोग किया जा रहा है?

कुछ वेबसाइटें ब्राउज़र द्वारा भेजी गई सेटिंग से भाषा चुनती हैं। यह तब तक ठीक है, जब तक वेबसाइट एक पंक्ति का नोट भी जोड़ देती है जिसमें लिखा हो, "यह पृष्ठ आगंतुक की भाषा के आधार पर बदलता है"।

इसके बिना, गति के लिए संग्रहीत एक प्रतिलिपि अगले आगंतुक को दी जा सकती है, चाहे उनकी भाषा कुछ भी हो। मेरे नमूने में शामिल 10 साइटों ने आगंतुक की भाषा के अनुसार अपने पृष्ठ बदले, जिनमें से केवल 1 ने ही इसका स्पष्ट रूप से उल्लेख किया।

जाँच

इन्हें क्रम से करें: प्रत्येक चरण तभी काम करेगा जब उससे पहले वाला चरण पूरा हो जाएगा।

1. अनुवादित पृष्ठ का स्रोत देखें। अनुवादित पाठ उसमें होना चाहिए। यदि वह नहीं है, तो पहले रुकें और उसे ठीक करें।
2. पेज के सोर्स की भाषा जांचें। /fr/ पेज के सोर्स में फ्रेंच भाषा होनी चाहिए, अंग्रेजी नहीं।
3. अलग-अलग बॉट्स से एक ही पेज के लिए अनुरोध करें। कोई भी टूल जो आपको क्रॉलर का नाम सेट करने की अनुमति देता है, काम करेगा। Google का क्रॉलर और AI क्रॉलर, सभी को लगभग एक ही आकार का एक ही पेज मिलना चाहिए।
4. प्रत्येक भाषा के लिए robots.txt फ़ाइल पढ़ें। सुनिश्चित करें कि आप जिस बॉट को अनुमति दे रहे हैं, वह वही है जिसे आप अनुमति देना चाहते थे, और केवल होमपेज ही नहीं, बल्कि भाषा फ़ोल्डरों की भी जाँच करें।
5. अपनी होमपेज को बिना कुकीज़ वाली एक निजी विंडो में खोलें। आपकी अन्य भाषाएँ सामान्य लिंक के रूप में उपलब्ध होनी चाहिए, न कि केवल स्क्रिप्ट की आवश्यकता वाले मेनू के माध्यम से।
6. अपने साइटमैप की तुलना वास्तविकता से करें। साइटमैप में भाषा संबंधी यूआरएल तब तक कोई मायने नहीं रखते जब तक कि वे पेज अंग्रेजी में ही खुलते हैं।
7. अपने सर्वर के विज़िट रिकॉर्ड (लॉग) में एआई क्रॉलर की जाँच करें। यह देखने के बजाय कि वे कितनी बार आए, इस बात पर ध्यान दें कि प्रत्येक क्रॉलर को क्या उत्तर मिला।

सर्च कंसोल का यूआरएल इंस्पेक्शन गूगल द्वारा प्रदर्शित दृश्य दिखाता है, और गूगल स्क्रिप्ट चलाता है, इसलिए स्क्रिप्ट द्वारा अनुवादित पृष्ठ वहां पूरी तरह से अनुवादित दिखाई देता है। यह आपको यह समस्या नहीं दिखा सकता, इसीलिए चेक 1 मौजूद है।

मैंने इसे कैसे मापा

मैंने सॉफ्टवेयर, यात्रा, ई-कॉमर्स, मीडिया, शिक्षा, संस्थागत और गैर-लाभकारी साइटों सहित 97 बहुभाषी साइटों और 174 भाषा संस्करणों का अध्ययन किया।

प्रत्येक साइट के लिए, मैंने प्रत्येक पृष्ठ पर दो बार अनुरोध भेजा: एक बार स्क्रिप्ट चलाने वाले ब्राउज़र के रूप में, और एक बार स्क्रिप्ट न चलाने वाले बॉट के रूप में। फिर मैंने 6 अलग-अलग क्रॉलर नामों के तहत वही अनुरोध भेजा और प्रत्येक साइट के robots.txt नियमों में भाषा पथों की जाँच की। पूर्वाग्रह से बचने के लिए, मैंने किसी भी अपरिचित साइट का परीक्षण करने से पहले, प्रत्येक साइट को वर्गीकृत करने का तरीका लिख ​​लिया और समय-चिह्नित कर लिया।

इस अध्ययन की दो सीमाएँ हैं। मेरे अनुरोध सामान्य कनेक्शन से आए थे, न कि एआई कंपनियों के अपने सर्वरों से। इसलिए मैंने केवल वही डेटा मापा जो खुद को GPTBot कहने वाले बॉट को मिलता है, जो वास्तविक GPTBot को मिलने वाले डेटा से भिन्न हो सकता है। मैंने क्रॉलर द्वारा प्राप्त डेटा को भी मापा, न कि यह कि एआई सहायक इन साइटों का कितनी बार उल्लेख करते हैं। इसके लिए एक अलग अध्ययन की आवश्यकता होगी।

कहां से शुरू करें

अगर आप इस सप्ताह सिर्फ एक काम करें, तो अपने सबसे महत्वपूर्ण अनुवादित पृष्ठ का स्रोत देखें। अगर अनुवादित पाठ वहां नहीं है, तो आपको अपना उत्तर मिल गया है, और इसका समाधान यह है कि आप अपने अनुवादों को ब्राउज़र के बजाय सर्वर से उपलब्ध कराएं।

यदि यह वहां मौजूद है, तो लेयर 2 पर जाएं, क्योंकि वहीं मुझे वे खामियां मिलीं जिन्हें मानक जांच नहीं पकड़ पाती हैं।

अनुवादित होना और पठनीय होना एक ही बात नहीं है, लेकिन आप एक दोपहर में इन दोनों के बीच के अंतर को माप सकते हैं।

सुनिश्चित करें कि एआई क्रॉलर आपके द्वारा प्रकाशित सभी भाषाओं को पढ़ सकें। मेरे अध्ययन में, लगभग 7 अनुवादित पृष्ठों में से 1 पृष्ठ का 30% से भी कम हिस्सा उन क्रॉलरों को मिला जो स्क्रिप्ट नहीं चलाते हैं। Weglot आपके सबडोमेन, सबडायरेक्टरी और वर्डप्रेस सेटअप के अनुसार, आपके अनुवाद सर्वर से सर्व किए जाते हैं और hreflang टैग स्वचालित रूप से जुड़ जाते हैं, इसलिए हर भाषा पहले अनुरोध से ही पेज सोर्स में मौजूद होती है। अपना 14-दिवसीय निःशुल्क परीक्षण शुरू करें , फिर अपने अनुवादित पृष्ठों पर चेक 1 चलाएँ।