بعد از اینکه اقدام به معرفی سایت وردپرس به گوگل کردید، دومین مرحله‌ای که در گوگل وبمستر باید انجام دهید ساخت فایل robots.txt برای وردپرس است تا امکان بررسی سایت را به گوگل بدهید. ساخت robots.txt برای وردپرس این امکان را به شما خواهد داد تا دسترسی ربات‌های جستجوگر مانند گوگل به سایت را مشخص کنید.
به عنوان مثال از این طریق می‌توانید مشخص کنید که گوگل هنگام خزش کردن سایت به چه پوشه‌هایی از هاست دسترسی خواهد داشت. آیا اجازه برای ایندکس کردن فایل با فرمت خاصی مثل pdf یا png را دارد یا خیر؟! در این آموزش به نحوه ساخت robots.txt برای وردپرس پرداخته و در نهایت نیز یک فایل بهینه و استاندارد robots.txt برای سایت‌های وردپرسی را درج می‌کنیم.
آموزش ساخت robots.txt برای وردپرس
موتورهای جستجوگر از طریق spider ،robot یا crawler شروع به بررسی و آنالیز سایت می‌کنند. این موارد صرفا نام هایی هستند که ما برای ربات‌های جستجوگر که کار بررسی سایت را بر عهده دارند انتخاب کرده‌ایم و همگی آنها یک وظیفه دارند و آن هم چیزی نیست جز بررسی و ایندکس صفحات مختلف سایت!
هر زمان که این ربات‌ها وارد سایت می‌شوند شروع به آنالیز کلیه صفحات کرده و به ترتیب هر لینکی که بر سر راه آنها قرار داشته باشد را بررسی کرده و لینک‌های بیشماری را پست سر هم می‌گذارند تا همه آنها را بررسی کرده و از سایت خارج شوند.
با این کار گوگل به کلیه پوشه‌ها و مسیرهایی که دسترسی برای آن محدود نشده باشد سرک کشیده و محتوای آن را در خود ایندکس خواهد کرد. همین مسئله باعث به وجود امدن robots.txt شد تا به وسیله آن بتوان دسترسی ربات‌ها را به بخش‌های مختلف سایت مدیریت و کنترل کرد. همانطور که در بالا هم اشاره شد با استفاده از دستوراتی که در این فایل می‌توانید تعیین کنید امکان دسترسی به بخش‌های مختلف سایت با فایل robots.txt فراهم خواهد بود. در تصویر زیر دو مقایسه برای سایتی که از robots.txt استفاده میکند و سایتی که فاقد آن است صورت گرفته است.
همانطور که در تصویر می‌بینید سایتی که فاقد فایل robotx.txt است دسترسی به کلیه پوشه‌ها و فایل‌های موجود در آن برای تمام crawler ها در دسترس است. کافی است یک بار این سایت بررسی شده و در جایی لینکی از این دایرکتوری‌ها وجود داشته باشد تا سریعا ربات وارد آن مسیر شده و کلیه فایل‌های موجود در آن را بررسی و ایندکس کند.
اما سایتی که دارای فایل robots.txt می‌باشد، دسترسی پوشه‌ها و فایل‌ها را برای ربات تعیین کرده است. در این حالت وقتی ربات فایل robots.txt را بررسی میکند به مسیرهایی می‌رسد که اجازه بررسی آنها به وی داده نشده است. بنابراین مسیرهای ورود ممنوع را بررسی نخواهد کرد.
برای ساخت فایل robots.txt وارد هاست خود شده و به File manager بروید. سپس به مسیر public_html مراجعه کنید. حال در این مسیر باید فایل robotx.txt خود را بسازید. برای این منظور به کمک برنامه Notepad یا هر برنامه ویرایشگر متن، یک فایل خالی با همین نام و با همین فرمت بسازید و آن را در مسیر اصلی هاست یعنی در public_html آپلود کنید. حال باید به کمک دستوراتی که برای این فایل وجود دارد مشخص کنید که دسترسی به چه بخش‌هایی برای ربات‌های جستجوگر فراهم است.
دستورات کامل فایل robots.txt
فایل robots.txt وردپرس به صورت کلی از دو دستور اصلی پیروی میکند و قادر به استفاده از این دو دستور در فایل هستید و سایر دستوراتی که در آن وارد شوند بی معنی هستند.
- User-agent: این دستور به این معنا است که نام ربات مورد نظر برای دسترسی به مسیر و دستورات تعیین شده را وارد کنید. به عنوان مثال اگر قصد دارید دسترسی ربات تصاویر گوگل را محدود کنید باید نام این ربات را وارد کنید. برای تعریف دستورات که بین ربات‌ها مشترک هستند نیز می‌توانید از کاراکتر * استفاده کنید.
- Disallow: از این دستور هم میتوان برای تعریف مسیرهایی که crawler امکان دسترسی و بررسی آنها را ندارد استفاده کنید.
حال به بررسی دقیق تر دستورات می پردازیم.
دستور User-agent
با این دستور میتوان قوانین را برای ربات‌ها تعیین کرد. این قوانین می‌توانند برای یک ربات خاص یا برای کلیه ربات‌های جستجوگرها استفاده شوند. به عنوان مثال اگر دارای یک پوشه در هاست خود باشید که قصد دارید دسترسی تمام ربات‌ها به این پوشه فراهم نباشد باید در مقابل دستور user-agent از کاراکتر * استفاده کنید که نشان دهد قوانینی که در خط بعدی تعیین می‌شوند برای کلیه ربات‌ها تعریف شده است. حال برای اینکه دسترسی را محدود کنید کافی است از دستور Disallow استفاده کرده و مسیر پوشه را در مقابل آن قرار دهید.
در نمونه زیر من قصد دارم دسترسی به پوشه download را برای کلیه ربات‌ها محدود کنم. بنابراین باید از دستور زیر در فایل robots.txt استفاده کرد.
User-agent: * Disallow: /download/
اما اگر تصمیم داشتید تا برای یک ربات این دستور را تعیین کنید کافی است به جای * نام ربات دلخواه را مشابه ربات جستجوگر تصاویر گوگل وارد کنید.
User-agent: Googlebot-image Disallow: /download/
لیست دستورات robots.txt
برای غیر فعال کردن دسترسی به یک فایل کافی است آدرس مستقیم فایل را به صورت پوشه بندی مانند نمونه زیر تعریف کنید.
Disallow: /seo.pdf Disallow: /files/project.docs Disallow: /files/tutorial.mp4
برای غیرفعال کردن دسترسی به فایل‌هایی با فرمت خاص کافی است مشابه نمونه زیر فرمت‌ها را تعریف کنید.
Disallow: /*.pdf$ Disallow: /*.gif$ Disallow: /*.docs$
تعریف نقشه سایت برای ربات
یکی از دستورات مفید در فایل robots.txt وردپرس تعریف مسیر نقشه سایت در وردپرس است. اما پیش از آن اگر تاکنون از این دستور استفاده نکرده‌اید پیشنهاد می‌کنم حتما این دستور را به انتهای فایل robots.txt اضافه کنید.
Sitemap: https://shahrwp.com/sitemap_index.xml
پیشنهاد می کنیم مقاله آموزش ساخت نقشه سایت در وردپرس را مطالعه کنید.
نمونه فایل robots.txt برای وردپرس
به دلیل درخواست زیاد کاربران برای ساخت این فایل در زیر نمونه‌ای از این فایل را می‌بینید که در صورت نیاز می‌توانید از آن استفاده کنید؛ اما دقت داشته باشید در صورتی که مسیرها و فایل‌های ذکر شده در سایت شما وجود ندارد آنها را از robots.txt پاک کنید.
User-Agent: * Allow: /?display=wide Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html Disallow: /refer/ Allow: /wp-content/plugins/*.css Allow: /wp-content/plugins/*.css?ver=* Allow: /wp-content/plugins/*.js Allow: /wp-content/plugins/*.js?ver=* Allow: /wp-content/plugins/*.png Sitemap: https://https://shahrwp.com/sitemap_index.xml
جمع بندی:امیدواریم این آموزش برای شما مفید بوده و به کمک آن توانسته باشید فایل robots.txt را برای سایت خود بسازید.
