Semalt: कसरी Darodar रोबोट रोक्न ।txt
Robots.txt फाईल एक विशिष्ट टेक्स्ट फाइल हो जसमा वेब क्रोलर वा बट्स कसरी साइट क्रल गर्नुपर्दछ भन्ने बारे निर्देशनहरू समावेश गर्दछ। तिनीहरूको अनुप्रयोग खोज ईन्जिन बटहरूमा स्पष्ट छ जुन असंख्य अप्टिमाइज गरिएका वेबसाइटहरूमा सामान्य छन्। रोबोट बहिष्कार प्रोटोकल (REP) को एक हिस्साको रूपमा, robots.txt फाइलले अनुक्रमणिका वेबसाइट सामग्रीको आवश्यक पक्षको साथसाथै अनुरूप प्रयोगकर्ता अनुरोधहरूलाई प्रमाणिकरण गर्न सर्वर सक्षम गर्दछ।
जूलिया वाश्नेभा, Semalt वरिष्ठ ग्राहक सफलता प्रबन्धक, व्याख्या गर्ने खोज ईन्जिन अप्टिमाइजेसन (SEO) को एक पक्ष हो भनेर वर्णन गर्दछ, जुन तपाईंको आलामा अन्य डोमेनबाट ट्राफिक प्राप्त गर्न समावेश गर्दछ। लि follow्क जुस स्थानान्तरण गर्नका लागि "फलो" लिंकहरूको लागि, तपाइँको वेबसाइटले होस्टिंग स्पेसमा एक रोबोट.टी.टी.एस. फाइल समावेश गर्नु आवश्यक छ सर्वरले तपाइँको साइटसँग कसरी अन्तर्क्रिया गर्छ भनेर निर्देशकको रूपमा कार्य गर्न। यस संग्रहबाट, निर्देशनहरू अनुमति दिईन्छ वा अनुमति दिईन्छ केही विशिष्ट प्रयोगकर्ता एजेंटहरू कसरी व्यवहार गर्छन्।
रोबोट.टक्स्ट फाइलको आधारभूत ढाँचा
एक robots.txt फाइलमा दुई आवश्यक लाइनहरू छन्:
प्रयोगकर्ता-एजेन्ट: [उपयोगकर्ता-एजेन्ट नाम]
अस्वीकृत गर्नुहोस्: [URL स्ट्रिंग क्रल हुनु हुँदैन]
एक पूर्ण रोबोट.टक्सट फाइलमा यी दुई लाइनहरू हुनुपर्दछ। जहाँसम्म, ती मध्ये केही प्रयोगकर्ता-एजेन्ट र निर्देशका बहु लाइनहरू समावेश गर्न सक्दछ। यी आदेशहरूमा पक्षहरू हुन सक्छन् जस्तै अनुमति, अस्वीकृति वा क्रल-ढिलाइहरू। त्यहाँ सामान्यतया एक रेखा ब्रेक हुन्छ जुन निर्देशनको प्रत्येक सेटलाई अलग गर्दछ। प्रत्येक लाई अनुमति दिन्छ वा अनुमति नदिने निर्देशन लाईन ब्रेक द्वारा विभाजित गरिएको छ, विशेष गरी रोबोट्स। ttxt बहु लाइनहरूको साथ।
उदाहरणहरू
उदाहरण को लागी, एक robots.txt फाइल को लागी कोड हुन सक्छ:
प्रयोगकर्ता-एजेन्ट: darodar
अस्वीकृत गर्नुहोस्: / प्लगइन
अस्वीकृत गर्नुहोस्: / API
अस्वीकृत: / _ टिप्पणीहरू
यस अवस्थामा यो ब्लक रोबोट्स। txt फाईल हो जुन डरोदर वेब क्रलरलाई तपाईंको वेबसाईटमा पहुँच गर्नबाट रोक्दछ। माथिको सिन्ट्याक्समा कोडले वेबसाइटका पक्षहरूलाई ब्लक गर्दछ जस्तै प्लगइनहरू, एपीआई, र टिप्पणीहरू सेक्सन। यस ज्ञानबाट, यो सम्भव छ रोबोटको टेक्स्ट फाईल प्रभावकारी ढ .्गले कार्यान्वयन गर्दा धेरै फाइदाहरू प्राप्त गर्न। Robots.txt फाइलहरू असंख्य प्रकार्यहरू प्रदर्शन गर्न सक्षम हुन सक्दछ। उदाहरण को लागी, तिनीहरू तयार हुन सक्छन्:
१. वेब पृष्ठमा सबै वेब क्रलर सामग्रीलाई अनुमति दिनुहोस्। उदाहरणका लागि;
प्रयोगकर्ता-एजेन्ट: *
अस्वीकृत गर्नुहोस्:
यस अवस्थामा, सबै उपयोगकर्ता सामग्री को उपयोग गर्न को लागी कुनै वेब क्रलर द्वारा वेबसाइटमा जान अनुरोध गरिएको छ।
२. कुनै खास फोल्डरबाट विशेष वेब सामग्री रोक्नुहोस्। उदाहरण को लागी;
प्रयोगकर्ता-एजेन्ट: गुगलबोट
अस्वीकृत गर्नुहोस्: / उदाहरण-सबफोल्डर /
यो वाक्यविन्यास प्रयोगकर्ता-एजेन्ट नाम Googlebot Google मा सम्बन्धित छ। यसले स्ट्रिंग www.ourexample.com/example-subfolder/ मा कुनै पनि वेब पृष्ठ पहुँच गर्न बोटलाई प्रतिबन्ध गर्दछ।
Specific. निर्दिष्ट वेब पृष्ठबाट एक विशिष्ट वेब क्रलरलाई ब्लक गर्नुहोस्। उदाहरण को लागी;
प्रयोगकर्ता-एजेन्ट: बिंगबोट
अस्वीकृत गर्नुहोस्: /example-subfolder/blocked-page.html
प्रयोगकर्ता एजेंट बिंग बोट बिंग वेब क्रॉलरको हो। यस प्रकारको रोबोट्स.टी.टी.एस्. फाइलले बिंग वेब क्रलरलाई एक निश्चित पृष्ठमा स्ट्रि www. www.ourexample.com/example-subfolder/blocked- पृष्ठको साथ पहुँच गर्न रोक्दछ।
महत्वपूर्ण जानकारी
- प्रत्येक प्रयोगकर्ताले तपाईको रोबट्स.टक्स्ट फाइल प्रयोग गर्दैन। केही प्रयोगकर्ताहरूले यसलाई बेवास्ता गर्ने निर्णय गर्न सक्दछन्। धेरै जसो वेब क्रलरहरूमा ट्रोजन र मालवेयर सामेल छन्।
- रोबोट.टक्सट फाइल देख्नका लागि यो शीर्ष-स्तर वेबसाइट निर्देशिकामा उपलब्ध हुनुपर्दछ।
- वर्ण "रोबोट्स। टेक्स्ट" केस संवेदनशील छन्। नतिजाको रूपमा तपाईले कुनै पनि हिसाबले त्यसलाई परिवर्तन गर्नु हुँदैन केही पक्षहरूको पूँजीकरण सहित।
- "/Robots.txt" सार्वजनिक डोमेन हो। कुनै पनि यूआरएलको सामग्रीमा थपेर यो जानकारी फेला पार्न सक्नेछ। तपाईंले आवश्यक विवरण वा पृष्ठहरू सूचकांकमा राख्नु हुँदैन जुन तपाईं निजी राख्न चाहनुहुन्छ।