فایل robots.txt چیست و چگونه عمل می کند؟

ربات های وب (که به نام های سرگردانان وب، خزندگان یا عنکبوت ها نیز شناخته می شوند) به برنامه هایی می گویند که به صورت خودکار سراسر وب را می گردند و جستجو می کنند. موتورهای جستجویی نظیر گوگل از آنها برای محتوای درون وب استفاده می کنند و اسپمرها برای به دست آوردن ایمیل آدرس ها. آنها کارایی های بی شماری دارد.

توضیحات واضح در مورد فایل robots.txt

دارندگان سایت ها از robots.txt جهت معرفی ساختار سایتشان به ربات های سراسر وب استفاده می کنند.

یک مثال در ارتباط با چگونگی کارکرد این فایل: یک ربات جستجوگر مثل ربات گوگل قصد ورود به سایت شما را دارد تا موارد مورد نظرش چون خطاها، صفحات، محتوا، تصاویر و غیره را ایندکس کند. در صورتی که صفحه ورودی شما http://www.example.com/welcome.html باشد، ربات مورد نظر ابتدا و پیش از هر نوع بررسی سایت شما نشانی http://www.example.com/robots.txt را چک خواهد کرد. و در نهایت به این دستورات بر خواهد خورد:

عبارت User-agent: * به معنای این است که این سایت و این دستور برای همۀ ربات ها یکسان است. و قسمت Disallow: / حاوی این پیام است که هیچ رباتی نباید هیچ قسمتی از این سایت را بررسی و مشاهده نماید.

دو نوع نگرش نسبت به استفاده کنندگان از robots.txt وجود دارد:

1.       ربات ها می توانند robots.txt شما را نادیده بگیرند! به خصوص آنکه ربات های مخرب، کارشان اسکن نمودن سراسر وب برای یافتن نقص های امنیتی، ایمیل آدرس ها و غیره است، کوچکترین توجهی به محتویات robots.txt ندارند.

2.       فایل robots.txt یک فایل در دسترس عموم می باشد. هرکسی می تواند ببیند که شما کدام قسمت را تمایل ندارید که ربات های دیگر ببینند.

*پس برای مخفی نمودن اطلاعاتتان با استفاده از robots.txt تلاش نکنید.

نحوۀ ساخت یک فایل robots.txt

کجا آن را قرار دهیم؟

پاسخ کوتاه: در بالاترین سطح دایرکتوری سرور سایتتان

پاسخ کامل: زمانیکه یک روبات به دنبال فایل robots.txt برای نشانی URL شما می گردد، به دنبال اولین اسلش پس از اکستنشن شما می رود و به صورت اتوماتیک عبارت robots.txt را قرار می دهد.

برای مثال اگر داشته باشیم: http://www.example.com/shop/index.html، ربات مورد نظر /shop/index.html را حذف نموده و /robots.txt را جایگزین و در انتهای URL قرار می دهد.

به همین خاطر شما به عنوان دارنده سایت می بایست این فایل را در مکان صحیح و جایی قرار دهید که در نتایج جستجو دیده شده و عمل نماید. معمولا این فایل را در جایی مشابه همان صفحه اصلی سایت (index.html) یا همان صفحۀ به اصطلاح خوشامدگویی قرار می دهند.

*فراموش نکنید که تمام حروف این فایل کوچک نوشته می شوند: صحیح: robots.txt ؛ غلط: Robots.TXT

چه چیزی در آن بنویسیم؟

فایل robots.txt یک فایل متنی است که از یک یا تعداد بیشتری از دستورات ساخته شده است. به صورت معمول شامل یک دستور شبیه به این می شود:

در مثال فوق شاهد 3 دایرکتوری محروم شده هستید که با استفاده از این 3 دستور، پیامی به ربات های سراسر وب ارسال می کند که به معنی عدم دسترسی ایشان به فایل های مشخص شده است.

توجه داشته باشید که برای محروم نمودن ربات ها به یک URL خاص، باید در هر خط مجزا یک دستور جدید را وارد نمایید. شما نمی توانید دستور Disallow: /cgi-bin/ /tmp/ را در یک خط وارد نمایید. همچنین نباید در مقابل یک دستور، خط را خالی بگذارید چراکه برای ربات این تصور می شود که دستور مورد نظر برای تمام وبسایت شما قابل اجرا است.

ضمنا شما نمی توانید به صورت منظم و نامنظم دستورات داخل فایل را با یکدیگر ادغام نمایید. برای مثال علامت "*" در فیلد User-agent به معنای آن است که دستورات وارد شده در مقابل این عبارت برای تمامی ربات ها لازم الاجراست. به طور مشخص و عینی شما نمی توانید دستوراتی چون User-agent: *bot*", "Disallow: /tmp/*" or "Disallow: *.gif را در کنار همدیگر وارد نمایید.

بررسی دقیق نمایید که چه چیزهایی را نمی خواهید ربات ها ببینند. هرچیزی را که نمی خواهید آنها ببینند را به راحتی می توانید از دیدشان مخفی کنید. به مثال های زیر توجه بفرمایید:

خط فرمان به تمام ربات ها برای عدم دسترسی به کل سایت شما

خط فرمان به تمام ربات ها برای دسترسی به کل سایت شما

برای اجرای دستور فوق همچنین می توانید یک فایل robots.txt بدون متن بسازید و هیچوقت به سراغش نروید.

خط فرمان به تمام ربات ها برای عدم دسترسی به بخشی از سایت شما

خط فرمان به یک ربات خاص برای عدم دسترسی اش به کل سایت (برای مثال نام ربات "BadBot" است)

خط فرمان به تنها یک ربات خاص جهت دسترسی به کل سایت شما و عدم دسترسی سایر ربات ها:

خط فرمان به تمام ربات ها برای عدم دسترسی به تمام فایل ها به جز برخی از آنها:

یا برای مشخص نمودن دقیق یک نشانی و یا فایل می توانید از این دستورات استفاده کنید و نشانی دقیق را در باکس robots.txt وارد نمایید.

وبمستر تولز به زبان ساده

ابتدا قبل از هر چیزی اگر اکانت در گوگل ندارید یکی بسازید.

وارد صفحۀ وبمستر تولز گوگل بشوید و طبق دستورات زیر عمل کنید:

پس از ورود به این سرویس بر روی دکمه ...Add a site کلیک کنید در نوار کشوی که باز می شود آدرس وب سایت خورد را به صورت http://www.yoursite.com وارد کنید . و سپس دکمه Continue را جهت ثبت وب سایت کلیک کنید.

حال آدرس سایت نمایش داده خواهد شد که نیاز به تایید دارد. برای تایید سایت بر روی گزینه Verify this site کلیک کنید تا وارد صفحه Verify ownership شوید در قسمت Verification method سه روش را در اختیار شما قرار میدهد تا به صورت دلخواه انتخاب کنید.

روش اول اضافه کردن کد html به کدهای html سایت است مانند توضیحاتی که در بخش Show me an example آمده است.

روش دوم اضافه کردن فایل html در روت وب سایت است ابتدا آن صفحه را دانلود میکنید و سپس در روت وب سایت آپلود میکنید. پس از آپلود باید بتوانید نشانی کامل فایل را که پس از آدرس دامنه تان می آید ببینید. (مثال: http://example.com/uvrjvrbrtbtsz2540ne524b242w5b4h523n4)

روش سوم اضافه کردن کد به dns وب سایت است که البته دو روش اول ساده تر و کاربردی هستند.

بعد انجام هریک از این روشها بر روی Verify کلیک کنید تا در صورت انجام درست مراحل وب سایت تائیید گردد.

ورود بخش مدیریت یک وب سایت

بر روی نام وب سایت مورد نظر که از قبل ثبت گریده کلیک کنید تا وارد بخش مدیریت آن شود.

در این صفحه اطلاعات کلی از آخرین وضعیت سایت نمایش داده می شود.این اطلاعاتی در مورد وضعیت sitemap ها، وضعیت بازبینی سایت توسط موتور گوگل و وضعیت کلمات کلیدی جستجو شده برای ورود به سایتتان است.

در منوی سمت چپ صفحه لیست کشوی می بینید که به وسیله آن به سایر قسمت های مدیریت دسترسی پیدا خواهید کرد.

توضیحات منوی تنظیمات سایت Site configuration

مدیریت Sitemap

یا نقشه وب سایت، شما وقتی یک صفحه را در وب سایت خود می سازید می توانید با چند استاندارد آدرس این صفحات را به گوگل و سایر موتورهای جستجوگر معرفی کنید به مجموعه ای از این آدرس های که در قالبی خاص تعریف میگردند نقشه سایت یا سایت مپ می‏گویند.

گوگل این امکان را می هد که نقشه سایت را به صورت استاندارد Feed "خوراک" و XML ثبت کنید.

ثبت نقشه سایت در گوگل می تواند خیلی سریع تر صفحات وب سایت شما را در گوگل ذخیره کند و به دیگران این امکان را می دهد، آدرسهایی که ممکن است لینکی به آنها داده نشده باشه را پیدا کنند. همچنین تغییرات صفحات را خیلی سریعتر شناسایی خواهد کرد. استفاده از این سرویس خیلی موثر است پس از ثبت نقشه سایت می توانید در قسمت SITEMAP STATS مجموع صفحات وب سایت شما و میزان صفحات ذخیره شده در گوگل را نمایش می دهد.

مدیریت دسترسی خزنده به قسمتهای سایت (Crawler access)

برای جلوگیری از دیده شدن قسمت های از وب سایت مانند فولدرها و صفحات به دلایلی مانند جلوگیری از هک شدن وب سایت و همینطور عدم افشای بعضی از مطالب می توان از فایلی به نام robots.txt استفاده کرد که این فایل فرمت خاصی دارد که این امکان را می دهد که ربات های موتورهای جستجوگر را مدیریت کرد که به کدامیک از صفحات و فولدرها دسترسی داشته باشند.

تمام موتور جستجو گر از این فایل پشتیبانی می کنند گوگل در این بخش این اجازه را می دهد که کنترل بیشتری بر روی دسترسی ها داشته باشید. امکان حذف آدرسها در تب Remove URL یکی از این موارد است همچنین در تب Generate robots.txt به تولید فایل robots.txt پرداخت و آن را در موتور های جستجوی مختلف گوگل مورد آزمایش قرار داد.

مدیریت SiteLinks

در صورتی که معماری سایت به درستی پیاده سازی شده باشد و دارای بازدیدکننده بالا و همچنین PageRank بالایی باشد در این صورت ممکن است که گوگل لینک ها یا به عبارتی منوهای وب سایت شما را به صورت خاص و تفکیک شده نمایش دهد که این امتیازی بسیار عالی از سوی گوگل به وب سایت شما میباشد.

تنظیمات تغیر آدرس وب سایت Change of address

اگر قصد تغییر آدرس دامنه وبسایتتان را دارید از این قسمت میتوانید برای مطلع کردن گوگل از این تغییر استفاده کنید تا با سرعت بیشتری صفحات جدید وب سایت شما را ذخیره کند.

تنظیمات کلی (Settings)

در صفحه تنظیمات اولین مورد Geographic target است که در این قسمت می توانید موقعیت جغرافیایی یا کشور هدف را انتخاب کنید. با این انتخاب سایت شما فقط در جستجو هایی که از آن کشور انجام می شود قرار خواهد گرفت.

مورد دوم Preferred domain است که می توانید به گوگل بگویید آدرس سایت شما را با www نمایش بدهد یا نه و یا اینکه با توجه به لینک ها این کار را انجام دهد.

مورد سوم تنظیم تعداد دفعات مراجعه خرنده گوگل به وب سایت در قسمت Crawl rate است. ممکن است که به علت بزرگ بودن سایت و مشکلات سرور نتوانید پاسخ گوی درخواستهای اضافی باشید که در این صورت این مقدار باید کم شود و در صورتی که از عدم شناسایی به موقع تغییرات وب سایت ناراضی هستید مقدار آن را افزایش دهید.

توضیحات منوی Your site on the web

کلمات کلیدی در جستجو نمایش داده شده search queries

در این قسمت کلمات کلیدی که در موتور جستجوگر موجب مراجعه به سایت شما شده است به همراه موقعیت آن کلمات کلیدی از وب سایت شما در صفحات گوگل نمایش داده می شود. علاوه بر آن میزان کلیک ها و CTR ها را هم نمایش میدهد.گر کلمه کلیدی از وب سایت شما خیلی مهم واقع شود و آمار بازدید زیادی داشته باشد ستاره دار خواهد شد.

با استفاده از این کلمات می توان نیاز کاربران را به درستی درک کرد و از این کلمات برای بهینه تر کردن وب سایت خود بهره ببرید و در صورت استفاده از تبلیغات کلیکی گوگل هدفمندتر به امر تبلیغات بپردازید.

لینک ها به سایت شما Links to your site

در این قسمت آدرس صفحاتی از وب سایت شما را که لینکهایی ارزشمند از سایت های دیگر به آن داده شده است لیست شده و نمایش داده میشود شما می توانید می توان متن لینکی که برای لینک دادن استفاده شده است و آدرس وب سایت های لینک دهنده را مشاهده کرد.

از ویژگی برای بهینه کردن وب سایت و لینک های خارجی میتوان استفاده کرد.

لینک های داخلی Internal Links

لیست صفحاتی که در داخل سایت به یکدیگر لینک داده شده اند به همراه تعداد لینکها و صفحات لینک داده شده وجود دارد.

توضیحات منوی امکانات عیب شناسی Diagnostics

خطاهای خزنده Crawl errors

در این قسمت خزنده یا همان ربات گوگل وقتی وارد سایت شما می شود تا اطلاعات آن را ارزیابی کند و با خود ببرد خطاهایی که در این هنگام کنکاش درون سایت مواجه می شود را نمایش میدهد. این خطاها به چهار دسته Web ،Mobile-Chtml ،Mobile-Xhtml تقسیم بندی گردیده است. اگر مشکلی در صفحات وب سایت شما رخ دهد گزارش کاملی در این قسمت در اختیار شماست و این گزارشات را جدی بگیرید ! چون حساسیت گوگل به این خطاها بالاست.

در قسمت "Restricted by robots.txt" لیست صفحاتی که توسط robot.txt پاک گردیده اند را نمایش میدهد.

گزارش وضعیت خزنده Crawl stats

در این صفحه شما گزارشی از وضعیت صفحات کنکاش شده توسط خزنده یا همان ربات موتور جستجوگر بر روی سایت را دارید که شامل صفحات کنکاش شده درهرروز ،میانگین مدت زمان صرف شده برای دریافت صفحات ، کیلوبایت صفحات دانلود شده در هر روز است.

پیشنهاد‌های کدهای اچ تی ام ال HTML suggestions

در این قسمت هنگامی خزنده سایت به سایت شما مراجعه میکند اگر مسئله ی را با محتوایی صفحات سایت شما بیابد به صورت لیست از صفحات که دارای مشکل هستند را ارائه میدهد که حل این ریز مشکلات موجود در صفحات کمک بسزای در ذخیره کردن صفحات شما در موتور جستجوگر خواهد نمود.

این بخش شامل سه قسمت است که هر قسمت خود شامل سه مورد Duplicate meta , Long meta , Short meta است:

قسمت اول Meta description می باشد که اگر توضیحاتی تکراری در صفحات وب سایت داشته باشید در Duplicate meta description نمایش داده خواهد شد و اگر توضیحات صفحاتان بلندتر از حد مجاز باشد در Long meta descriptions نمایش داده خواهد شد که باید کوتاه تر گردند و اگر توضیحات صفحاتتان کوتاه باشد در Short meta descriptions نمایش داده خواهد شد که باید بلندتر گردند.

سایر قسمت ها نیز به همین صورت می‎باشند.

چگونه از کپی شدن مطالبمان با کمک گوگل جلوگیری کنیم؟

با حضور الگوریتم گوگل پاندا بود که قدم اصلی در حفظ و صیانت از حقوق تولیدکنندگان محتوا در اینترنت برداشته شد. سایت های اسپمینگ جریمه شدند و فرم هایی از جانب گوگل در اختیار تولیدکنندگان قرار گرفت که آنها نیز بتوانند اگر تخلفی از دید گوگل جا ماند، گزارش کنند و از طریق گزارش دستی، آن چند درصد جزیی خطا نیز برطرف گردد.

موارد حقوقی همیشه قابل توجه و با اهمیت بوده اند اما بسیار کمتر به آن‏ها توجه می‏کنیم و از پیچ و خمشان آگاهیم. شاید هم این، خطای بسیاری از ما و همکاران ماست که در این امور تفحص و تحقیق می‏کنند اما همین محتوا را با کاربران فارسی زبان به اشتراک نمی‏گذارند. ما در اینجا این مسائل را باز می‏کنیم و در جهت تضییع نشدن حقوقتان در موضوع کپی رایت، اطلاعات ناب و درجۀ اولی در اختیارتان قرار می دهیم. با ما همراه باشید...

به گوگل خوش آمدید...

از شما بابت استفاده از خدمات و محصولات‏مان سپاسگزاریم. این خدمات توسط شرکت گوگل ارائه شده اند. گوگل واقع در ایالات متحدۀ امریکا، کالیفرنیا 94043، مانتین ویو است.

با استفاده از خدمات ما، شما قوانین حقوقی ما را می‏پذیرید. لطفا دقیق مطالعه نمایید.

ما در اینجا، با توجه به موضوع مقاله، به توضیحات مکفی در ارتباط با مسالۀ حقوقی حمایت از تولیدکنندگان محتوا می‏پردازیم.

گوگل در این زمینه و در بخش "حقوق خصوصی و حفاظت از کپی رایت" می‏گوید:

سیاست حفظ حقوق خصوصی گوگل توضیح می‏دهد که چگونه از اطلاعات و حریم شخصی شما حفاظت می‏کند. با استفاده از سرویس‏های ما، می‏پذیرید که گوگل می‏تواند از بخشی از اطلاعات شما بر اساس سیاست‏های حقوقی اش استفاده کند.

ما بر اساس ابزار U.S. Digital Millennium Copyright Act، پیگیر ادعاهای افرادیکه حقوقشان تضییع شده هستیم و در صورت صحت ادعا، حساب متخلفین را مسدود خواهیم کرد.

ما مالکیت معنوی و حقوقی آنلاین افراد را به رسمیت می شناسیم. اگر شما فکر می‏کنید که کسی در حال نقض حقوق شماست و قصد اطلاع رسانی به ما را دارید؛ می توانید اطلاعات مورد نظر خود در این باره را به ما گزارش دهید.

ثبت گزارش در هر یک از سرویس های گوگل، ممکن است جهت بررسی تا یک هفته نیز زمان ببرد و حتا پس از رسیدگی به شکایت شما، از طریق ایمیل، اس ام اس یا فکس مطلع نخواهید شد اما گوگل پس از تکمیل این فرم برای شما یک ایمیل تاییدیه ارسال می کند. شما خودتان باید روزانه بخش مورد شکایت را بررسی نمایید و رسیدن به حقوقتان را پیگیری کنید.

همچنین برای پیشرفت وب فارسی و همچنین رشد بیشتر محتوا و عدم کپی برداری سایت های متقلب از سایرین، می‏توانید با تکمیل این فرم در بخش جستجوی وب، گزارش مورد نظر را به گوگل بفرستید. این موضوع همچنین باعث خواهد شد که محتواهای مورد نظرتان را در چندین و چند سایت ندیده و هر روز شاهد محتوایی نو و جدید باشیم.

مراحل ثبت یک گزارش خرید و فروش بک لینک غیر طبیعی به صورت تصویری:

حدود یکسال گذشت؛ تولبار پیج رنک به کجا رسید؟

تقریبا یک ماه دیگر می شود یک سال از زمانیکه شاهد آخرین آپدیت تولبار پیج رنک گوگل بودیم. +  +

این ذات تکنولوژی است که حتا بهترین سرویس ها بیایند و در اوج به یک باره ناپدید شوند. همانطور که بخش فیدخوان گوگل -گوگل ریدر- آمد و پس از مدت ها دیگر نبود. و همانطور که از ابتدای سال 2014 پیش بینی هایی از همه سو بر کاهش اعتبار و جمعیت فیسبوک می شود. پیش بینی هایی که حتا اگر تبلیغاتی باشند و نوید افول فیسبوک در سالهای 2017 تا 2020 را بدهند، باز هم این امکان وجود دارد و همیشه حتا بهترین ها هم پایدار نخواهند بود.

در مثالی دیگر و ملموس تر برای ایرانیان، اتاق های گفتگوی نرم افزار پیام رسان یاهو را شاهد بودیم که دیگر نشانی از اتاق های یاهو نیست.

اما از این بحث ها که بگذریم، به موضوع پیج رنک و تلاش های اکثر وبمستران جهت طراحی و به روز رسانی برای چند ربات گوگل و نه مخاطبین، باز می‏گردیم.

تکلیف کسانی که سالها برای گوگل سایت ایجاد کردند تا گوگل با سخت گیری فراوان و بر اساس ضوابط و قوانینش که آن را الگوریتم می خوانند، نمره ای به نام دامنه و صفحات سایت مورد نظر بدهند چه خواهد شد؟ اکنون که پیج رنک نیست و الگوریتمی بس منضبط تر به نام مرغ مگس خوار آمده تا تمامی وبسایتهایی که به وضوح کپی کاری  می کنند را جریمه کند، چه بر آنانی خواهد آمد که نه همۀ تلاش خود را برای گوگل کرده اند و نه تقلب و فریب در کارشان بوده است؟

این موضوع خیلی پیچیده نیست. پیشتر در مقاله با عنوان "تاثیر محتوای تکراری بر سئو"، به صورت کلی تر به این موضوع نگاهی داشتیم. 

پس از خداحافظی اعلام نشده و شاید موقت پیج رنک و آغاز فعالیت قدرتمند الگوریتم مرغ مگس خوار، وبمستران به 2 دسته کلی تقسیم خواهند شد. 1- آنانی که متقلب و فریب دهنده بودند؛ 2- آنانی که محتوای جدید، مفید و غیر تکراری تولید کردند! انتشار الگوریتم مرغ مگس خوار، تاکیدی است بر اهمیت گوگل به محتوای جدید و غیر تکراری (کپی نشده) و همچنین جریمۀ کپی کاران و متقلبین. همچنین جریمه کنندۀ پاپ آپهای مزاحم و تبلیغاتی و مواردی از این دست که در مقالات مختلف در ارتباط با آخرین آپدیت الگوریتم گوگل توضیح داده شده و در آینده نیز در این باره مقالاتی برای علاقه مندان منتشر خواهد شد.

در این صورت افرادی که به موازات سئوی سفید، به نظر کاربران و مخاطبین دیگر نیز احترام می گذارند و کار جدیدی را ارائه می‏دهند، مورد توجه خزنده‏های تحت فرمان الگوریتم دسامبر 2013 قرار گرفته و سایرین منهای جریمه‏های متفاوت که در مقالۀ "واکنش دستی" در گوگل وبمستر چیست؟ (Manual Actions) توضیح دادیم، شامل جریمه‏های دیگری نظیر عدم نمایش وبسایت‏شان در نتایج جستجوهای گوگل خواهند شد.

در پایان یادآور می شویم که حتا اگر پیج رنک گوگل، تصمیم بگیرد پس از 1 سال خود را به روز نماید، باز هم تولیدکنندگان محتوا نه تنها در اولویت هستند که در بیشتر اوقات، تنها سایت ها و وبلاگ هایی نمایش داده خواهند شد که محتوایی را برای اولین بار منتشر می کنند؛ آنهم اکنون که مرغ مگس خوار، بزرگترین ضد اسپمر در حیطۀ خود شناخته می‏شود. ادغام این الگوریتم و پیج رنک، تولد و حمایتی بی سابقه از تولید کنندگان و مرگ و پایانی برای سارقین زحمات دیگران اعم از ربات و انسان خواهد بود. همانطور که زمان مرگ این جریان وقتی که شناسایی تگ‏ها هوشمند (و بی اعتبار از نظری دیگر) شدند، فرا رسید.

الکسا، سئو و تولبار اختصاصی

در تعریفی کلی، در دنیای اینترنت، الکسا را اینطور معرفی کرده اند:

شرکت الکسا اینترنت، واقع در کالیفرنیا و از شرکت های زیر مجموعۀ شرکت عظیم آمازون می‏باشد که وظیفه اش ارائۀ سرویسی تحت عنوان اطلاعات ترافیک وب عنوان شده است.

ما در این جستار، به بررسی قسمت هایی از الکسا به خصوص تولبار الکسا می‏پردازیم.

نحوۀ امتیاز دهی و یا رنکینگ سایت الکسا، بر مبنای یک تولبار ساده است که کاربران مرورگرهای اینترنت اکسپلورر، فایرفاکس و گوگل کروم می توانند آن را نصب و امکانات آن استفاده کنند. امکاناتی که تولبار الکسا به استفاده کنندگانش می‏دهد، به طور کلی در 4 دسته بندی قرار می‏گیرند:

اعتبار ترافیک الکسا: می توانید ببینید که یک وبسایت چقدر معروف و مورد توجه است.

پیوندهای مربوطه: نزدیک ترین وبسایتی که مربوط به آنچه که در حال دیدن هستید را به شما معرفی می‏کند.

راه بازگشت: می توانید چگونگی یک وبسایت را در گذشته ببینید.

تحلیل جستجو: امکان این را دارید که ببینید چه عباراتی، در نتایج جستجوها به سایت شما ترافیک می‏فرستند.

کاربران و به خصوص وبمسترانی که این تولبار را بر روی مرورگر خود نصب کنند، از این 4 دسته و سایر امکانات خوب الکسا به رایگان بهره خواهند برد.

اصولا بسیاری از کاربران از نصب هرگونه تولباری بر روی مرورگرهایشان خودداری می‏کنند. چراکه تولبارهای بسیار زیادی تنها برای تبلیغات بر روی مرورگرها نصب می‏شوند، بسیار آزاردهنده و گاها مخرب هستند. حتا همین تولبار الکسا با اعتباری که کسب نموده تا سال 2005 تنها 10 میلیون بار دانلود شده است. همچنین این تولبار توسط سپر مدافع شرکت مایکروسافت برای اینترنت اکسپلورر نسخۀ 7، به عنوان مالور، نشانه گذاری شد.

با همۀ این اوصاف، تولبار الکسا در حیطۀ کاری خود به عنوان خالق امتیاز دهی و شماره بندی وبسایت های دنیا بر اساس دسته بندی گوناگون شناخته و به خوبی استفاده می گردد. تولباری که در کمک کردن به سئو، موتورهای جستجو و بهینه سازی وبسایت ها نقشی اساسی ایفا کرده و همچنان به این نقش به صورت پررنگ و بی رقیب ادامه می دهد.

راهکارهایی برای بهینه سازی و سئوی سایت برای موبایل

با گسترش تلفن های همراه هوشمند در بازار، این بازار سهم بیشتری را اکنون به خود اختصاص داده است. حالا این بسیار مهم است که وبسایت‏ها یک نسخۀ موبایل هم برای صفحاتشان داشته باشند؛ یک نسخۀ خاص که صفحاتش کوچک‏تر و سریع لود شود. همچنین جایگزینی پاسخگو برای کاربران تلفن همراه در مقابل نسخه‏های سنتی و قدیمی باشد. 

آیا در چشمان گوگل، تفاوتی میان طراحی واکنش‏گرا و نسخ قدیمی موبایل سایت‏ها وجود دارد و در سئو موثر است؟ خوشبختانه بله! مهندس ارشد گوگل -مت کاتس- در یک ویدیویی که از وی منتشر شده، نگاهی به این موضوع داشته است.

 

در ابتدا، بسیاری از مردم می‏پرسند که اصولا طراحی واکنش‏گرا چیست. خب این یک موضوع کمابیش جدید است و حتا بسیاری از وبمستران اطلاعات دقیقی از این نوع طراحی ندارند.

به گفتۀ مت کاتس "طراحی واکنش‏گرا تنها بدین معنی است که همانطور که یک سایت با یک مرورگر دسکتاپی (کامپیوتری) کار می‏کنند، همانطور می‏توانید به نسخۀ موبایل دسترسی داشته باشید. تنها، صفحات و همه آنچه که در وب می‏بینید تغییر سایز داده و سایز صفحه بر اساس صفحۀ مانیتور تلفن هوشمند شما تغییر خواهد کرد.

 

اما کدام؟ طراحی واکنش گرا یا موبایل سایت؟

قطعا این دو برای گوگل متفاوت است و جستجوگر آن نیز نسخه های واکنش‏گرا (قالب بندی با صفحۀ دسکتاپ، موبایل هوشمند و تبلت ها) را به نسخه های موبایل سایت، تبلت سایت و نسخه های دسکتاپی بیشتر ترجیح می‏دهد.

به معنای دیگر ، هرچه وبسایت و محتوای شما به صورت بهینه برای دستگاه های موبایل طراحی شده باشد، رتبه بالاتری برای کاربران آن دستگاه دارد. این موضوع به خوبی حس می شود که نمایش سایت های بهینه نشده و ضعیف در دستگاه های موبایل پارامتر مناسبی برای گوگل محسوب نمی‎شود.

برای ایجاد یک سایت واکنش‏گرا، نیاز است تا با داشتن دانش کدنویسی CSS تنها با چند خط کد، سایت خود را واکنشگرا نمایید. چراکه تفاوتی میان کدنویسی میان سایتهای دسکتاپی با سایت‏های واکنش‏گرا نیست و با یک نوع کد نوشته می‏شوند.

تنها باید مسیر جستجو و خزیدن ربات‏های گوگل را برای سایت واکنش‏گرای خود باز بگذارید. برای انجام این امر نیاز است تا محدود کننده های فایل Robots.txt را از میان برداشته و کدهای مورد نظر را در قالب سایت بگنجانید تا ربات‏ها ضمن جستجوی بدون محدودیت در میان سایت شما، به راحتی سایت اصلی را از سایت واکنش‏گرا تشخیص دهند.

هنوز فکر می کنید وقت سئو و بهینه سازی وبسایت برای تلفن های هوشمند نرسیده است؟

خطای 404 از نگاهی دیگر

گوگل محتوای مختلف را از طریق لینک های یک صفحه به صفحۀ دیگر پیدا می‏کند. عموما یک پیام خطای "یافت نشد" (معمولا یک پیام با کد HTTP 404) زمانیکه گوگل تلاش می کند تا صفحه ای را ایندکس کند، و صفحۀ سایت به ربات جستجوگر برگشت می‏زند نمایش داده می شود، چراکه در هر صورت شما یا لینکی را پاک نموده و یا بدون جهت دادن به صفحه ای جدید تغییر نام داده اید. شاید هم به خاطر اینکه در تایپ لینک مورد نظر خطا داشته اید!

عموما خطای 404 ضربه ای به رنکینک سایت شما در گوگل نمی‏زند و شما با امنیت می‏توانید آنها را نادیده بگیرید. به صورت معمول، آنها به علت خطای تایپی نمایش داده می‏شوند. (مثلا برای لینک هایی که به صورت اتوماتیک توسط سیستم مدیریت محتوای وبمستر تولید می شوند)

برای دیدن اینکه لینکهای غیرمعتبر از کجا می آیند، در اکانت وبمستر تولز خود بر روی URL کلیک کنید. در قسمت error dialog بر روی تب linked from these page کلیک کنید.

اگر لینک ها از سایت شخصی تان می آیند آنها را اصلاح یا حذف کید. و اگر از یک سایت خارجی می آیند می توانید از این اطلاعات برای بهبود شرایط وبسایتتان اقدام کنید. برای مثال، اشتباه املایی در یک سایت معتبر (www.example.com/awsome به جای www.example.com/awesome) ممکن است به سادگی رخ دهد. در اینجا به جای نمایش خطای 404 می توانید از تغییر مسیر 301 برای URL اشتباه استفاده کنید تا آن را به نشانی URL جدید هدایت نمایید. شما همچنین می توانید کاربران و مخاطبین سایت خود را زمانیکه با صفحۀ 404 مواجه می شوند کمک کنید تا بتوانند آنچه را که می خواهند در سایت شما بیابند. این بسیار بهتر از این است که کاربر تنها در صفحه ای با پیغام "404؛ پیدا نشد" مواجه شود.

شما همچنین می توانید با وبمستر سایت مورد نظر تماس گرفته و با ارسال لینک اشتباه، از وی بخواهید تا آن را حذف و یا اصلاح و به روز رسانی کند.

404ها به صورت کاملا طبیعی قسمتی از یک سایت را تشکیل می دهند. (و در بسیاری از مواقع مفید هم هستند) شما به احتمال زیاد هرگز قادر به کنترل تمام لینکهای سایت خود نیستید و امکان کنترل همۀ ارورهای 404 که در وبمسترتولزتان لیست شده را ندارید. به جای آن، تنها مطالب با درجۀ بالا را چک کنید و در صورت امکان اصلاح نمایید؛ سپس آنها را منتقل کنید.

ساخت صفحات زیبا و کاربردی 404

یک صفحۀ 404 چیزی است که کاربر زمانیکه با یک صفحۀ بی محتوا و بدون خروجی در سایت شما به دلایل مختلف نظیر کلیک نمودن روی یک لینک ناقص، یک صفحه ای که حذف شده و یا خطای املایی مواجه می گردد. یک صفحۀ 404 زمانی فراخوانی می شود که درخواست یک صفحه که وجود ندارد به سرور ارسال شود. در این زمان وب سرورها، یک پیام با کد 404 HTTP به عامل کاربر باز می گرداند که به کاربر اطلاع دهد که صفحۀ درخواستی مورد نظر وجود ندارد.

اگر شما به سرور دسترسی دارید، به شما پیشنهاد می کنیم تا یک صفحۀ اختصاصی 404 خلق کنید. یک صفحۀ خوب و اختصاصی 404 به مردم کمک می کند تا اطلاعاتی را که به دنبالشان می گردند به راحتی پیدا کنند. 

به علت اینکه یک صفحۀ 404 می تواند یک صفحۀ HTML استاندارد باشد، شما می توانید هرطور که می خواهید آن را اختصاصی سازی نمایید. در اینجا پیشنهاداتی برای ایجاد و خلق یک صفحۀ کاربری 404 که می تواند یاری رسان بازدیدکنندگان سایت شما باشد و به ایشان برای یافتن آنچه که به دنبالش هستند کمک کند، را ارائه می کنیم:

به روشنی به بازدیدکنندگان بگویید که صفحه ای که را که به دنبالش هستند، پیدا نمی‏شود. این موضوع را با لحنی دوستانه و صمیمی بگویید.

مطمئن شوید که برای صفحۀ 404 خود همانطور وقت و انرژی می گذارید که برای سایر قسمت های سایتتان.

در نظر داشته باشید که می توانید سلسله لینک هایی از محبوبیت ترین مقالات یا پست هایتان و حتا لینک صفحۀ اول سایت را در این صفحه بگنجانید.

فکر تهیۀ نمودن راهی برای کاربران جهت گزارش یک لینک خراب باشید.

لازم به توضیح نیست که هرچقدر هم صفحۀ طراحی شدۀ 404 شما زیبا و کاربردی باشد، شما احتمالا تمایلی به نمایش آن در نتایج جستجو گوگل ندارید. به منظور جلوگیری از ایندکس شدن صفحات 404 توسط گوگل و سایر موتورهای جستجو، اطمینان حاصل نمایید که وب‏سرورتان زمانیکه یک صفحۀ گمشده درخواست می شود، کد 404 را به درستی نمایش دهد.

از ابزار Enhance 404 widget جهت قرار دادن یک باکس جستجو در صفحۀ 404تان استفاده کنید و به کاربران جهت کمک برای یافتن اطلاعات مورد نیازشان راهنمایی کلی ارائه کنید.

از ابزار Change of Address  جهت اطلاع رسانی به گوگل در مورد انتقال سایتتان استفاده کنید.

عدم دسترسی گوگل به سایت

دلایل زیادی وجود دارد که دسترسی ربات گوگل به صفحات و یا کل یک سایت محدود و یا کاملا قطع شده باشد. یکی از این دلایل می تواند تنظیمات DNS دامین یا ایجاد مشکلاتی در سرور سایت باشد. این قبیل اتفاقات می‏تواند به Seoی سایت شما آسیب بزند و در موارد بسیاری، موتور جستجوگر و ربات گوگل نتواند صفحات سایت را ایندکس کند.

برای یافتن اینکه آیا در تنظیمات DNSتان مشکلی وجود دارد یا خیر، گوگل در سلسلۀ ابزارهای وبمستر (Webmaster/tools...) به شما کمک خواهد کرد. برای پیدا کردن وجود یک مشکل در بخش DNS سایت خود به صفحه وبمسترتولز خود بروید و از مسیر Crawl، می توانید گزارشی از 90 روز قبل تا کنون را توسط این ابزار و این بخش مشاهده کنید.

جان مولر در این ارتباط می‏گوید:

این قبیل اتفاقات ممکن است در مدت کوتاهی بر سئو سایت شما تاثیر گذار باشد ولی در دراز مدت به جایگاه قبلی خود باز خواهید گشت. زمانیکه دسترسی روبات های گوگل به صفحات سایت شما ممکن شده و به بازخوانی مجدد و ایندکس آنها بپردازند دوباره جایگاه خود را در نتایج گوگل کسب خواهید کرد. ولی این امر نیازمند گذشت زمان خواهد بود. البته توجه داشته باشید که برگشت به جایگاه قبلی در صورتی رخ خواهد داد که تغییری اساسی در الگوریتم های گوگل در این زمان ایجاد نشده باشد.

این سخنان بدان معناست که سرور هر سایتی ممکن است حتا با توجه به آپتایم 99 درصدی، در مواقعی (حتی دقایقی) با قطعی مواجه شود و یا با تنظیمات اشتباه و دسترسی‏ها و محدودیت‏ها با استفاده از فایل robots.txt، موجب بروز خسارتی چون عدم ایندکس شدن صفحات سایت توسط ربات گوگل گردد که با استفاده از یکی دیگر از امکانات وبمسترتولز یعنی بخش Crawl Errors نیز تا حد قابل توجهی حل شدنیست.

برای رفع این موضوع به بخش Crawl و زیرمنوی Crawl Errors بروید و لیست صفحاتی که به دلیل عدم وجودشان، خطا گرفته و ایندکس نشده اند را در دو نسخۀ وب و گوشی هوشمند، مشاهده نمایید. در 95 درصد از مواقع، این صفحات، صفحاتی هستند که دیگر وجود ندارند و همان خطای معروف 404 را با خود به یدک می کشند.

2 راه برای رفع این مساله وجود دارد: 1- نشانی های مورد نظر را محتوادار نموده و سپس Mark as fixed کنیم. 2- و یا از طریق حذف لینک ها به 3 روش (که توضیح آن از حوصلۀ این جستار خارج است) از وجود لینک های اضافی در سایت خود جلوگیری کنیم.

سپس می توانید از طریق گزینۀ Fetch as Google تا 500 دفعه، دستور دوباره ایندکس شدن صفحۀ اصلی و یا تمام صفحات سایت را وارد کنید تا مجددا گوگل، سایت شما را بازبینی و ایندکس نماید.

چه لینک هایی از نظر گوگل غیر واقعی هستند؟

با توجه به تعدد پرسشهای کاربران محترم، امروز مقاله ای را تحت عنوان ذکر شده خدمتتان ارائه می کنیم. 

همانطور که پیشتر اشاره کردیم، گوگل پس از ارائۀ الگوریتم پنگوئن و سپس پنگوئن 2، ضد اسپم خود را تا جای ممکن فعال و بخشی را تحت عنوان واکنش دستی که توسط کارمندان

 گوگل مدیریت می شود ارتقا داد و موضوع بک لینک ها و بک لینک فروشی نیز حداقل در این حالتی که جا افتاده بود حذف و غیر کارآمد شد.

برای بازدید گرفتن و رسیدن به جایگاه مطلوب خود در گوگل، راه هایی را نظیر نوشتن به عنوان میهمان و فعالیت حرفه ای (و نه اسپم گونه) هم در مقالات پیشین بدان اشاره شد و هم بیشتر در این ارتباط خواهیم نوشت.

امروز اما، در خدمتتان هستیم و در ارتباط با بک لینک های غیر واقعی و در واقع تقلبی گفتگو می کنیم.

مدت تقریبا قابل توجهی است که فروختن بک لینک به یک بیزینس بدون دردسر و البته با کلاه گذاشتن بر سر ربات های گوگل تبدیل شده است. بدین معنی که فرض بفرمایید اگر یک زمانی وبمستران و بلاگرهای ایرانی تنها از روی عشق و علاقه و ایجاد رابطه ای چند سویه بدون توجه به موضوعاتی چون سئو، پیج رنک، رتبه و جایگاه گرفتن در نتایج گوگل، یکدیگر را لینک می کردند، امروز اما شرایط به گونۀ دیگریست. سایتهایی به وجود آمدند که پشت سرشان ممکن بود صد یا هزار عدد وبلاگ و سایت با یک سری محتوای تکراری، بی خاصیت و غیر مفید وجود داشته باشند.

مدیران این تارنماها، پس از مدتی که از گوگل رنک می گرفتند، لینک تمامی سایتهایشان را به یک صفحۀ استاتیک و ساده منتقل می کردند و برای درج تبلیغ شما (یا همان بک لینک معروف غیر واقعی) بر اساس رنکی که از خود گوگل گرفته بودند، اقدام به فریب گوگل نموده و بر اساس همان رنک دریافت شده به سایر مدیران سایت ها و وبلاگ ها تعرفه می دادند؛ و این مدیران ساده اندیش و بدون اطلاع بودند که کمترین تجربه ای در زمینۀ سئو و بک لینک نداشتند و گرفتار مسائل و سختی های سئو می شدند. چراکه اگر کوچکترین اطلاعی از موضوع سئو می داشتند، این هزینه، امید و وقتشان را بر روی سئوی حرفه ای سایتشان می گذاشتند تا برایشان نتیجه بخش باشد.

امروزه اما همانطور که گفته شد گوگل این نوع سایت ها و وبلاگ ها را جریمه خواهد کرد.

طبق مقاله ای که توسط بخش وبمسترتولز نوشته شده، نگاهی داریم به لینک های غیر واقعی و مشکلاتی که برای یک کاربر غیر وارد ممکن است به وجود آید. هر نوع پیوندی که تنها به صرف و هدف افزایش پیج رنک سایت و یا بهبود رتبه بندی شما در نتایج گوگل ایجاد میشود بعنوان لینک غیر طبیعی شناخته خواهد شد و برخلاف راهنمایی ها و اصول وبمستر گوگل است. که شامل لینک های ورودی به سایت و خروجی از آن میشود.

بک لینک های غیر طبیعی مخرب هستند

یک مثال و راه حل: وبسایت یا وبلاگی تنها به قصد بک لینک شدن و فروختن بک لینک ایجاد می شود و مطالبی غیر مفید بر روی خروجی آن درج می شود. در صورتیکه این تارنما و تارنماهای مشابه، پس از مدتی از آغاز فعالیت شروع به لینک دادن به یک سایت خاص کنند، نه تنها بک لینک ها (که شکلی شبیه به یک سایت معمولی دارند) جریمه می شوند (طبق آخرین آپدیت الگوریتم گوگل) که سایت لینک داده شده نیز در معرض خطر ربات های جستجوگر گوگل قرار خواهند گرفت.

راه حل

در یک واژه Disavow کردن این لینک ها و این سایت ها را می توان پیشنهاد نمود.

اما Disavow links چیست؟ و چگونه عمل می کند؟

وبمستر می تواند برای اطلاع دادن به ربات های جستجوگر در این مورد که آن لینک مورد نظر، مخرب است و سایت وی تمایلی به لینک شدن سایت خود ندارد، با تکمیل نمودن فرمی این مساله را به اطلاع ربات های گوگل می رساند و خود را از گزند لینک های مخرب حفظ می کند.

نحوۀ عملکرد Disavow links در وبمسترتولز

به صفحۀ اصلی وبمسترتولز بروید و بر روی سایت مورد نظرتان کلیک کنید.

در قسمت داشبورد، روی Search Traffic کلیک کنید و سپس Links to Your Site را برگزینید.

زیر عبارت Who links the most، بر روی More کلیک کنید.

روی Download more sample links کلیک کنید. اگر روی Download latest links کلیک کنید نیز آخرین تاریخ ها را نیز مشاهده خواهید کرد.

زمانیکه در حال دیدن لینک های سایت خود در وبمسترتولز هستید، ممکن است بخواهید هر دو نسخۀ دومین با www و بدون www را تایید کنید. برای گوگل این دو کاملا متفاوت هستند. نگاهی به اطلاعات هر دو بیندازید. (اطلاعات بیشتر)

به ترتیب زیر می توانید لینک های مورد نظر را Disavow کنید.

به صفحۀ diwavow links tool page بروید.

سایت خود را انتخاب کنید.

بر روی Disavow links کلیک کنید.

بر روی Choose file کلیک کنید.

نکته: بارگذاری یک فایل جدید باعث از بین رفتن بارگذاری های پیشین و جایگذاری فایل جدید با فایل قدیمی خواهد شد.

تاثیر محتوای تکراری بر سئو

بسیاری از ادمین ها و بلاگرها تصور می کنند که اگر یک متنی تولید کردند، برای آنکه متنشان توسط افراد بیشتری خوانده شود و ربات های جستجوگر گوگل را بیشتر جذب کنند، آن را در چندین نشانی دیگر کپی می کنند. حال آنکه امروزه باید بدانیم که حتا نشانی هایی که بعضا با www و همچنین بدون این 3 حرف، فعال هستند نیز در خطر جدی ایندکس نشدن و جریمه شدن هستند.

گوگل سخت تلاش می کند تا صفحاتی با اطلاعات متمایز از سایر صفحات وب، ایندکس کند و نشان دهد.

گوگل چندین راه برای پیشگیری از ایجاد لینکهای تکراری و همچنین راههایی جهت نشان دادن آنچه که شما می خواهید برایتان ایندکس شود را پیش پایتان می گذارد:

تلاش کنید تا لینکهای داخلی‏تان بدون نقص باشند. برای مثال به صفحاتی این چنینی لینک ندهید: http://www.example.com/page/  و  http://www.example.com/page and http://www.example.com/page/index.htm.

از وبمستر تولز برای آنکه به گوگل بگویید کدام قسمت از سایتتان را ایندکس کند استفاده کنید. شما می توانید به گوگل، دومین اصلی تان را معرفی کنید. برای مثال http://www.example.com or http://example.com).

کاربران از دیدن صفحات خالی خوششان نمی آید. پس تا جای ممکن از این اقدام جلوگیری نمایید. برای مثال: صفحاتی را که هنوز برای آن مطلبی ندارید، ایجاد و منتشر نکنید. اگر قصد ایجاد چنین صفحاتی را داشتید، از noindex meta tag جهت قفل نمودن این گونه صفحات از ایندکس شدن استفاده کنید. این بدین معناست که از کد nofollow و نظایر آن که در بسیاری از سی ام اس ها (که جدیدترین شان وردپرس است و به راحتی این کار را برای لینک ها انجام می دهد) تعریف شده، استفاده نمایید.

در موارد نادر، الگوریتم گوگل ممکن است یک URLی را از یک سایت انتخاب کند که در حال انتشار مطلب شما بدون اجازه تان است. اگر شما معتقدید که آن سایت در حالت کپی برداری مطلب شما بدون رعایت قوانین کپی رایت است، احتمالا باید با هاست سایت مربوطه تماس بگیرید و درخواست حذفش را بدهید. به علاوه، می توانید درخواست حذف آن صفحۀ خاص را از طریق صفحۀ "درخواست تکمیل فرم مخصوص به قوانین نقض شده" به گوگل بفرستید.

تمام این موارد برای حفاظت از حقوق افراد ذکر شد. اما چه اتفاقی برای سایتهایی که مطالب و محتوا و دسترنج دیگران را با یا بدون ذکر منبع (امروزه برای صفحۀ نتایج جستجوی گوگل تفاوتی نمی کند) بر روی سایت خودشان پیاده می کنند می افتد؟

پیش از اشاره به این مطلب باید دوباره خاطر نشان کرد که حتا صفحات داخلی یک سایت اگر مشابه هم نیز باشند، بر سئو و ایندکس سایتتان تاثیر خواهد گذاشت. به همین خاطر ابزار مختلفی را که وبمستر تولز در اختیار کاربران گذاشته نیز می توان بسیار کاربردی یافت. در این ارتباط در مقالات پیشین توضیحاتی را ارائه دادیم و در آینده نیز مقالاتی از این دست منتشر خواهد شد.

برویم سر بحث اصلی!

گوگل و رباتهای جستجوگرش پس ارائۀ الگوریتم مرغ مگس خوار، دقت فراوانی در گشتن به دنبال اولین صفحه ای هستند که با توجه به زمان و تاریخ ایندکس شدن، مطلب را درج کرده است و باقی صفحات را از بخش نتایج جستجو حذف خواهند کرد. البته در صورت درخواست کاربر، گوگل می تواند صفحات تکراری را نیز نشان دهد اما در حالت عادی این صفحات برای گوگل فاقد ارزش و محتوا هستند.