আপনার ওয়েবসাইটের রুটটিতে সংরক্ষিত একটি robots.txt ফাইল ওয়েব ইঞ্জিনগুলিকে সার্চ ইঞ্জিন মাকড়সাগুলিকে বলবে যে কোন ডিরেক্টরি এবং ফাইলগুলিকে ক্রল করার অনুমতি দেওয়া হয়। Robots.txt ফাইলটি ব্যবহার করা সহজ, তবে আপনার মনে রাখা কিছু বিষয় রয়েছে:
- ব্ল্যাকহ্যাট ওয়েব রোবটগুলি আপনার robots.txt ফাইলকে উপেক্ষা করবে। সবচেয়ে সাধারণ ধরনের ম্যালওয়ার বট এবং রোবটগুলি ফসলের ইমেল ঠিকানাগুলি সন্ধান করছে।
- কিছু নতুন প্রোগ্রামার রোবট লিখবে যা robots.txt ফাইলটি উপেক্ষা করে। এই সাধারণত ভুল দ্বারা সম্পন্ন করা হয়।
- যে কেউ আপনার robots.txt ফাইল দেখতে পারেন। তাদের সর্বদা robots.txt বলা হয় এবং সর্বদা ওয়েবসাইটের রুটে সংরক্ষণ করা হয়।
- অবশেষে, যদি কেউ এমন কোনও ফাইল বা ডিরেক্টরি লিঙ্ক করে যা আপনার robots.txt ফাইলটি তাদের পৃষ্ঠার থেকে বাদ দেওয়া না হয় তবে তাদের সার্চ ইঞ্জিনগুলি যে কোনওভাবে খুঁজে পেতে পারে।
গুরুত্বপূর্ণ কিছু গোপন করতে robots.txt ফাইল ব্যবহার করবেন না। পরিবর্তে, আপনি নিরাপদ পাসওয়ার্ডগুলির পিছনে গুরুত্বপূর্ণ তথ্য রাখুন বা সম্পূর্ণভাবে ওয়েবটিকে ছেড়ে দিন।
কিভাবে এই নমুনা ফাইল ব্যবহার করবেন
আপনি যা করতে চান তার নিকটতম নমুনা থেকে পাঠ্যটি অনুলিপি করুন এবং এটি আপনার robots.txt ফাইলে আটকে দিন। আপনার পছন্দের কনফিগারেশন মিলতে রোবট, ডিরেক্টরি, এবং ফাইলের নাম পরিবর্তন করুন।
দুটি বেসিক Robots.txt ফাইল
ব্যবহারিক দূত: *নিষিদ্ধ: / এই ফাইলটি যে কোন রোবট ( ব্যবহারিক দূত: *) যে এটি অ্যাক্সেস করা উচিত সাইটের প্রতিটি পৃষ্ঠায় উপেক্ষা করা উচিত ( নিষিদ্ধ: /). ব্যবহারিক দূত: *নামঞ্জুর করুন: এই ফাইলটি যে কোন রোবট ( ব্যবহারিক দূত: *) যেটি অ্যাক্সেস করে তা সাইটের প্রতিটি পৃষ্ঠায় দেখার অনুমতি দেওয়া হয় ( নামঞ্জুর করুন:). আপনি আপনার robots.txt ফাইলটিকে ফাঁকা রেখে বা আপনার সাইটে এক না রেখে এটিও করতে পারেন। ব্যবহারিক দূত: *নিষিদ্ধ: / cgi-bin /নিষিদ্ধ: / temp / এই ফাইলটি যে কোন রোবট ( ব্যবহারিক দূত: *) যে এটি অ্যাক্সেস করা উচিত ডিরেক্টরি / cgi-bin / এবং / temp / ( নিষিদ্ধ: / cgi-bin / নিষিদ্ধ: / temp /). ব্যবহারিক দূত: *নিষিদ্ধ: / jenns- স্টাফ.htmনিষিদ্ধ: /private.php এই ফাইলটি যে কোন রোবট ( ব্যবহারিক দূত: *) যে এটি অ্যাক্সেস করা উচিত ফাইল / jenns- স্টাফ.htm এবং /private.php উপেক্ষা করা উচিত ( নিষিদ্ধ: / jenns- স্টাফ.htm নিষিদ্ধ: / Private.php). ব্যবহারকারী এজেন্ট: Lycos / x.xনিষিদ্ধ: / এই ফাইলটি বলে যে লাইকোস বট ( ব্যবহারকারী এজেন্ট: Lycos / x.x) সাইটে যে কোন জায়গায় প্রবেশ অনুমতি দেওয়া হয় না ( ব্যবহারিক দূত: *নিষিদ্ধ: /ব্যবহারকারী এজেন্ট: গুগলবোটনামঞ্জুর করুন: এই ফাইলটি প্রথমে আমরা যেমন করেছিলাম তেমন সমস্ত রোবটকে অক্ষম করে এবং তারপর স্পষ্টভাবে Googlebot ( ব্যবহারকারী এজেন্ট: গুগলবোট) সবকিছু অ্যাক্সেস আছে ( যদিও ব্যবহারকারী-এজেন্টের মত একটি অত্যন্ত সমন্বিত ইউজার-এজেন্ট লাইনটি ব্যবহার করা ভালো তবে * আপনি যতটা পছন্দ করেন ততই নির্দিষ্ট হতে পারেন। মনে রাখবেন যে রোবট যাতে ফাইল পড়তে। তাই যদি প্রথম লাইনগুলি বলে যে সমস্ত রোবট সবকিছু থেকে অবরুদ্ধ, এবং তারপরে ফাইলটিতে পরে এটি বলে যে সমস্ত রোবটকে সবকিছুতে অ্যাক্সেসের অনুমতি দেওয়া হয়েছে, রোবটগুলিতে সবকিছু অ্যাক্সেস থাকবে। আপনি যদি আপনার robots.txt ফাইলটি সঠিকভাবে লিখেছেন কিনা তা নিশ্চিত না হন তবে আপনি আপনার robots.txt ফাইলটি পরীক্ষা করতে বা একটি নতুন লিখতে Google এর ওয়েবমাস্টার সরঞ্জাম ব্যবহার করতে পারেন। রোবট থেকে নির্দিষ্ট ডিরেক্টরি রক্ষা করুন
রোবট থেকে নির্দিষ্ট পৃষ্ঠা রক্ষা করুন
আপনার সাইট অ্যাক্সেস থেকে একটি নির্দিষ্ট রোবট প্রতিরোধ করুন
শুধুমাত্র একটি নির্দিষ্ট রোবট এক্সেস অনুমতি দিন
একাধিক লাইন একত্রিত করুন সঠিকভাবে আপনি চান ব্যতিক্রমগুলি পেতে
