آموزش سئو قسمت دوم: موتور جستجو 

موتور جستجو چطور صفحات شما را پیدا می‌کند؟ چطور محتوای شما را کشف می‌کند؟ چطور آن‌ها را دسته‌بندی و بر چه اساسی به آن‌ها رتبه می‌دهد؟ در این مطلب به این سوالات پاسخ می‌دهیم.

همانطور که در قسمت اول گفتیم، موتورهای جستجو، ماشین‌هایی پاسخگو هستند. آن‌ها وجود دارند تا محتویات موجود در اینترنت را بر اساس خواسته‌های افرادی که به جستجو می‌پردازند، کشف، درک و دسته بندی کنند.

به منظور نشان دادن نتایج جستجو، محتوای شما باید برای موتورهای جستجو قابل رویت باشد. مسلما این موضوع اصلی‌ترین قطعه پازل سئو است. اگر سایت شما برای یک موتور جستجو قابل رویت نباشد، بنابراین هرگز در نتایج جستجو هم رویت نخواهید شد.

ما در این مقاله، چگونگی به نمایش درآمدن یک سایت یا صفحه را در موتور جستجو مرور می‌کنیم.

موتورهای جستجو چطور کار می‌کنند؟

موتورهای جستجو سه عملکرد اصلی دارند:

خزیدن یا Crawl: این عملکرد به معنای جستجوی تمامی محتویات موجود در اینترنت توسط موتور جستجو از بین کدها و محتویات هر URL است که توسط آن‌ها رویت می‌شود.

فهرست کردن یا Index: جمع‌آوری و دسته‌بندی هر یک از محتویاتی که در طول مرحله Crawl یافت می‌شود. زمانی که یک صفحه در بخش Index موتورهای جستجو قرار بگیرد، در مرحله‌ی به نمایش درآمدن در نتایج جستجو قرار می‌گیرد.

رتبه یا Rank: پرداختن و آماده کردن محتویات یافت شده بر اساس بهترین جواب برای فرد جستجوگر. به این معنی است که تمامی نتایج از بیشترین ربط به موضوع جستجو شده تا کمترین ربط، مرتب‌سازی می‌شوند.

خزیدن موتور جستجو چیست؟

خزیدن یا Crawling، پروسه‌ی اکتشافی است که در آن، موتورهای جستجو توسط تیمی از ربات‌ها که به خزنده‌ها یا عنکبوت‌ها شناخته می‌شوند، شروع به جستجوی محتویات جدید یا آپدیت آن‌ها می‌کنند. از صفحات وب گرفته تا یک عکس یا یک ویدیو، محتویات می‌توانند متفاوت باشند، اما باید بدانید که بدون در نظر گرفتن فرمت، محتویات توسط لینک‌های آن‌ها کشف می‌شوند.

ربات گوگل با بیرون کشیدن چند صفحه از وب، و سپس دنبال کردن لینک‌های موجود در آن صفحات وب، URLهای جدید پیدا می‌کنند. در این بین، خزنده‌ها یا عنکبوت‌های ربات قادر هستند محتویات جدید را پیدا و سپس آن‌ها را به فهرست یافته‌‌های خود که کافئین (Caffeine) نام دارد، اضافه کنند. کافئین دیتابیسی عظیم از URLهای کشف شده است که زمانی که فرد جستجوگر به دنبال اطلاعات است، از بین این دیتابیس، بهترین URLهای یافت شده، خارج و برای فرد به نمایش گذاشته می‌شوند.

فهرست موتورهای جستجو چیست؟

این عمل به معنی روند جمع‌آوری اطلاعات از درون فهرستی است که توسط خزنده‌های موتور جستجو انجام می‌شود. دیتابیسی عظیم از تمامی محتویاتی که آن‌ها پیدا می‌کنند و آن قدر دقت به خرج می‌دهند تا بهترین خدمت را برای فرد جستجوگر انجام دهند.

رتبه‌بندی موتور جستجو

هنگامی که شخصی یک جستجو انجام می‌دهد، موتور جستجو، فهرست (Index) خود را برای مرتبط‌ترین محتوای موجود، جستجو و تفکیک می‌کند و سپس این محتویات را برای حل سوال یا نیاز شخص جستجوگر رتبه‌بندی می‌کند. این رتبه‌بندی در نتایج جستجو بر اساس ارتباط میان محتوا و مورد جستجو شده توسط فرد جستجوگر، رتبه‌بندی یا Ranking نامیده می‌شود. به طور کلی، می‌توانید این طور برداشت کنید که هر چه رتبه یک سایت بالاتر باشد، یک موتور جستو بیشتر به این باور می‌رسد که این سایت برای پاسخ به فرد جستجوگر مناسب‌تر است.

البته امکان این وجود دارد که خزنده‌های موتور جستجو گر را برای برخی یا تمامی قسمت‌های یک سایت مسدود کرد، یا این که به گونه‌ای موتور جستجو را تنظیم کرد که از جمع‌آوری اطلاعات یک سایت در قسمت ایندکس خودداری کند. در حالی که دلایل مختلفی برای چنین کاری وجود دارد، اما اگر بخواهید محتویات شما توسط افراد جستجوگر در اینترنت دیده شود، باید اول مطمئن شوید که محتویاتی که تولید می‌کنید برای خزنده‌ها قابل دسترس و قابل فهرست بندی باشد. در غیر این صورت محتوای شما برای موتور جستجو، و مشخصا برای افراد جستجوگر کاملا نامرئی خواهد بود.

تا انتهای این مطلب، شما اطلاعات مورد نیاز برای کار با موتورهای جستجو را به دست خواهید آورد!

نکته: در سئو، تمامی موتورهای جستجو برابر نیستند

بسیاری از تازه کارها در تعجب هستند که چرا برخی از موتورهای جستجو اهمیت بیشتری نسبت به دیگر موتورها دارند. بسیاری از مردم می‌دانند که گوگل بزرگ‌ترین بازار در این زمینه را در اختیار دارد، اما چطور این موضوع اهمیت بیشتری نسبت به سایر موتورهای جستجو مانند بینگ، یاهو و دیگران دارد؟ حقیقت این است که با وجود بیش از ۳۰ موتور جستجوی بزرگ، جامعه‌ی سئو تنها تمرکز خود را روی گوگل می‌گذارد. چرا؟ پاسخ کوتاه سوال این است بخش عظیمی از مردم از گوگل برای جستجوهای خود استفاده می‌کنند. اگر گوگل ایمیج، نقشه گوگل و یوتیوب را هم در نظر بگیریم، بیش از ۹۰ درصد جستجوهای اینترنت با گوگل انجام می‌شود: چیزی نزدیک به ۲۰ برابر بیشتر از جمع آمار دو موتور جستجوی بینگ و یاهو.

آیا موتورهای جستجو می‌توانند صفحات شما را پیدا کنند؟

همانطور که گفتیم، باید مطئن شوید که پیش نیاز نمایش صفحات شما در نتایج جستجو خزنده‌های گوگل و فهرست بندی آن‌ها فراهم باشد. اگر در حال حاضر یک وبسایت دارید،‌ ایده‌ی خوبی است که ببینید چند صفحه از سایت شما در فهرست (index) موتورهای جستجو قرار گرفته است.

یکی از راه‌هایی که بررسی کنید آیا صفحات شما در گوگل فهرست شده است یا نه، این است صفحه گوگل را باز کنید و این آدرس را در آن جستجو کنید: site:yourdomain.com
ابتدا site: را بنویسید و سپس سایت خود را رو به روی آن وارد کنید:

site:startupet.com/blog/

انجام این عمل تمام صفحات سایت شما را که فهرست‌بندی شده‌اند نشان می‌دهد. معمولا تعداد نتایجی که بالای لینک‌ها به نمایش در می‌آید دقیق نیست، اما می‌توانید تا حدودی متوجه شوید که سایت شما در چه سطحی از فهرست بندی نتایج جستجوی گوگل قرار دارد.

اگر نیاز به نتایج دقیق‌تری دارید و می‌خواهید نتایج جستجوی گوگل و فهرست بندی آن‌ها را تحت نظر داشته باشید، می‌توانید در قسمت Google Search Console سایت گوگل ثبت نام کنید. با این ابزار قادر هستید تا نقشه‌ی سایت خود را در اختیار بگیرید و صفحاتی که در فهرست‌بندی گوگل قرار گرفته‌اند تحت نظر داشته باشید.

اما اگر سایت شما از این روش به نمایش در نیامد، ممکن است علت آن موارد زیر باشد:

• سایت شما جدید است و هنوز توسط ربات‌های خزنده‌ی گوگل بررسی نشده است.
• سایت شما به هیچ یک از وب‌سایت‌های خارجی پیوند نداشته است.
• سایت شما جهت‌یابی را برای ربات‌ها به منظور خزیدن موثر سخت کرده است.
• سایت شما شامل برخی کد‌های پایه به نام Crawler Directives است که موتورهای جستجو را مسدود می‌کند.
• سایت شما به علت استفاده از تاکتیک‌های نادرست و هرز توسط گوگل جریمه شده است

به خزنده های موتورهای جستجو بگویید چگونه سایت شما را بررسی کنند

اگر پس از انجام روش‌‌های گفته شده در قسمت قبل این مقاله متوجه شدید که برخی از صفحات سایت شما در فهرست خزنده های موتور جستجو گوگل قرار نگرفته‌اند یا برخی از صفحات غیر مهم فهرست‌بندی شده‌اند، یک سری تنظیمات وجود دارد که با انجام دادن آن‌ها می‌توانید ربات‌های گوگل را برای شناسایی آن محتویاتی که در نظر دارید هدایت کنید. این که به موتورهای جستجو بگویید چگونه و چه بخشی از سایت شما را توسط خزنده های موتور جستجو بررسی کنند، می‌تواند کنترل بهتری برای فهرست بندی صفحات در ایندکس گوگل به شما بدهد.

خیلی از مردم با خود فکر می‌کنند که حتما باید مطمئن شوند گوگل صفحات مهم آن‌ها را پیدا می‌کند، اما خیلی زود فراموش می‌کنند که صفحاتی هم وجود دارند که نیازی نیست توسط گوگل پیدا شود. این مورد می‌تواند شامل URLهای قدیمی با محتویات کم، URLهای تکراری، صفحات تبلیغاتی، صفحات تست و غیره باشد.

برای دور کردن ربات گوگل از برخی صفحات و قسمت‌های سایت، باید از Robots.txt استفاده کنید.

قابلیت Robots.txt

فایل‌های robot.txt در دایرکتوری ریشه سایت شما قرار دارند (yourdimain.com/robots.txt) و می‌توانند به شما بگویند که کدام قسمت سایت شما باید و کدام قسمت نباید توسط خزنده های موتور جستجو دیده شود.

ربات گوگل چگونه با فایل‌های robots.txt برخورد می‌کند؟

• اگر ربات موتور جستجو نتواند فایلی از robots.txt برای سایت شما پیدا کند، به خزیدن به سایت شما ادامه می‌دهد.
• اگر ربات موتور جستجو فایلی از robots.txt برای سایت شما پیدا کند، معمولا روی پیشنهادات ثابت قدم می‌ماند و به خزیدن در سایت ادامه می‌دهد.
• اگر ربات موتور جستجو در هنگام دسترسی به فایل‌های robots.txt با اروری مواجه شود و نتواند وجود یا عدم وجود این فایل را بررسی کند، به طور کلی سایت شما مورد توجه خزنده های موتور جستجو قرار نخواهد گرفت.

تنظیمات بودجه خزنده ها!

این طور برداشت نکنید که ربات‌های گوگل تک تک URLهای شما را بررسی می‌کنند. موتور جستجو اصطلاحی به نام بودجه خزنده یا Crawl Budget دارد که به معنای میانگین تعداد URLهایی از سایت شما است که ربات‌های گوگل آن‌ها را بررسی و سپس کار خود را با سایت تمام می‌کنند. پس بودجه خزنده این اطمینان را حاصل می‌کند تا ربات گوگل زمان خود را برای بررسی صفحات غیر مهم هدر ندهد. بودجه خزنده برای سایت‌های بزرگ که شامل ده‌ها هزار URL هستند بسیار حیاتی است، اما با این حال ایده‌ی بدی نیست که خزنده‌ها را از صفحاتی که اهمیتی ندارند دور کنید.

البته همه‌ی ربات‌ها از robots.txt پیروی نمی‌کنند. افرادی با اهداف منفی که قصد گول زدن موتور جستجو را دارند، ربات‌هایی می‌سازند که از این پروتکل پیروی نکند. در حقیقت، برخی‌ها با استفاده از فایل‌های robots.txt قادر هستند محتویات محرمانه شما را نیز پیدا کنند. اگر چه به نظر منطقی می‌رسد که خزنده‌های موتور جستجو را از صفحات محرمانه سایت خود مانند صفحه ورودی و صفحه ادمین مسدود کنید تا آن‌ها را وارد ایندکس یا فهرست موتور جستجو نکنند. قرار دادن اینگونه صفحات در فایل‌های robots.txt عمومی قابل دسترس، باعث می‌شود تا افرادی با اهداف مخرب بتوانند به راحتی آن‌ها را پیدا کنند. بنابراین بهترین کار این است که این صفحات را برای فهرست‌بندی مسدود کنید که به اصطلاح NoIndex گفته می‌شود.

چگونگی تعریف پارامترهای URL در موتور جستجوی گوگل

برخی از سایت‌ها که اکثرا شامل سایت‌‌های تجارت الکترونیکی می‌شوند، یک محصول یا یک محتوا را روی چندین URL مختلف قرار می‌دهند. اگر تا به حال به صورت آنلاین از فروشگاهی خرید کرده باشید، احتمالا با استفاده از فیلترهای مختلف به سراغ محصول مورد نظر خود رفته‌اید. برای مثال، شما کلمه کفش را در یک سایت فروشگاه آنلاین جستجو می‌کنید، سپس سایز، رنگ و ظاهر مورد نظر خود را با استفاده از فیلترهای موجود انتخاب می‌کنید. با انتخاب هر یک از آن‌ها، URL این محصول تغییر می‌کند. برای مثال:

https://www.example.com/products/women/dresses/green.htm

https://www.example.com/products/women?category=dresses&color=green

اما گوگل چطور متوجه می‌شود که کدام URL را باید برای فردی که این محصول را از طریق موتور جستجو سرچ کرده است نشان دهد؟ می‌توان گفت گوگل در نشان دادن URL مناسب به فرد جستجوگر بسیار وارد و باهوش است، اما با این حال شما می‌توانید با استفاده از قابلیت‌های URL Parameters در ابزار Google Search Console سایت گوگل، به موتور جستجو بگویید که دقیقا می‌خواهید کدام یک از صفحات را به آن نشان دهید.

اگر با استفاده از این قابلیت به خزنده های موتور جستجو گوگل بگویید که این صفحه خاص را بررسی و فهرست نکنند، اساسا شما این صفحه و محتوای آن را از گوگل مخفی کرده‌اید که در نهایت هرگز این صفحات در نتایج جستجوی گوگل به نمایش در نخواهند آمد.

آیا خزنده‌ها می‌توانند تمامی محتوای مهم شما را پیدا کنند؟

حالا که برخی از تکنیک‌های مورد نیاز برای دور کردن خزنده های موتور جستجو از محتویات غیر مهم را یاد گرفته‌اید، بیایید یاد بگیریم که چطور ربات گوگل را تنظیم کنیم تا صفحات مهم شما را پیدا کند.

گاهی اوقات موتور جستجو قادر خواهد بود تا بخشی از سایت شما را توسط خزنده‌ها پیدا کند، اما بعضی از صفحات یا قسمت‌ها به دلایلی، ممکن است مبهم و پنهان باقی بمانند. بسیار مهم است که مطمئن شوید موتور جستجو قادر باشد تمامی محتوایی را که می‌خواهید فهرست شود، کشف کند.

برای انجام این کار باید چند سوال از خود بپرسید:

آیا محتوای شما پشت فرم‌های ورودی (Login Forms) قرار دارد؟

اگر سایت شما نیاز به این دارد که کاربران ابتدا حتما با نام کاربری و رمز عبور وارد شوند، یا یک سری فرم را پر کنند یا به نظرسنجی‌ها پاسخ دهند تا بتوانند به محتوای آن دسترسی پیدا کنند، موتورهای جستجو این صفحات را نخواهند دید. یک خزنده قطعا وارد صفحات لاگین نخواهد شد.

آیا بخش‌های مختلف سایت شما به قسمت جستجوی سایت متکی است؟

ربات‌ها قادر نیستند از فرم‌های جستجوی درون سایت استفاده کنند. برخی از اشخاص بر این باور هستند که اگر یک کادر جستجو در سایت خود قرار دهند، موتور جستجو قادر خواهد بود تا هر چیزی را که بازدید کنندگان جستجو می‌کنند، پیدا کنند.

آیا متن پنهانی در محتوای غیر متنی دارید؟

مدیاهایی از جمله عکس، ویدیو، گیف و دیگر موارد که غیر متنی هستند، نباید به عنوان عناصری برای متن‌های مهم که نیاز دارید در ایندکس گوگل قرار بگیرند استفاده شوند. با این که موتورهای جستجو در پیدا کردن عکس‌ها بهتر شده‌اند، هیچ ضمانتی وجود ندارد که قادر باشند متون روی یک عکس را بخوانند و بفهمند. بهترین کار این است که متن مورد نظر را با استفاده از HTML به این گونه مدیاها اضافه کنید.

آیا موتورهای جستجو قادر هستند از راهنمای سایت شما پیروی کنند؟

همانطور که یک خزنده یا crawler برای کشف سایت شما نیاز به لینک از سایر سایت‌ها دارد، نیاز به لینک‌های راهرویی درون سایت دارد که صفحه به صفحه بتواند سایت شما را بررسی کند. ممکن است شما صفحه‌ای داشته باشید که می‌خواهید موتور جستجو آن را پیدا و دسته‌بندی کند، اما لینک آن در هیچ یک از صفحات دیگری وجود ندارد، بنابراین مطمئن باشید که این صفحه از چشمان این خزنده‌ها دور خواهد ماند.

 بسیاری از سایت‌ها این اشتباه بحرانی در ساختار ناوبری سایت خود را به گونه‌ای انجام می‌دهند که صفحات مهم برای موتور جستجو غیرقابل دسترس و مانع از توانایی آن برای فهرست کردن این صحفات برای نتایج جستجو می‌شود. بنابراین باید متوجه شوید که لینک‌های موجود در یک صفحه، همانند راهروهایی هستند که خزنده‌ها را به دیگر صفحات منتقل می‌کنند. لینک کردن را فراموش نکنید!

اشتباهات متداول در جهت‌یابی‌های سایت که می‌تواند خزنده‌ها را از دیدن تمام بخش‌‌های سایت دور کند:

• داشتن ناوبری متفاوت روی موبایل به نسبت ناوبری روی نسخه دسکتاپ.

• هر نوع ناوبری که آیتم‌های موجود در مِنو با استفاده از HTML پیاده نشده‌اند؛ مانند ناوبری‌های جاوا اسکریپت فعال. با این که خزنده های موتور جستجو گوگل جاوا اسکریپت را بهتر درک می‌کنند، اما باید توجه داشته باشید که با این وجود هنوز این کار به صورت کامل انجام نمی‌شود. بهترین راه برای مطمئن شدن از این که محتوایی در سایت شما پیدا شود، درک شود و توسط گوگل فهرست بندی شود، این است که آن‌ها را در قالب HTML قرار دهید.
• شخصی‌سازی، نشان دادن ناوبری خاص برای یک سری از بازدیدکنندگان خاص (مانند کاربران پریمیوم یا VIP) نسبت به دیگر کاربران عادی، باعث پنهان شدن محتوا از دید خزنده های موتور جستجو می‌شود.
• لینک نکردن یک صفحه اصلی در وبسایت از طریق ناوبری. همیشه به یاد داشته باشید که لینک‌های موجود در یک صفحه، همان راه‌هایی هستند که خزنده‌ها را به دیگر صفحات هدایت می‌کند.

عمدتا، به این دلایل است که داشتن یک ناوبری مشخص و ساختار URL درست برای موفقیت در سئو و دیده شدن در موتور جستجو بسیار ضروری است.

آیا معماری اطلاعاتیِ تر و تمیزی دارید؟

معماری اطلاعات، عمل مرتب‌سازی و لایه‌گذاری محتوا روی یک سایت به منظور بهبود یافتن اطلاعات و محتوا برای کاربران است. بهترین نوع معماری اطلاعات، معماری اطلاعات بصری است، به این معنا که نیاز نیست کاربران برای چرخیدن و پیدا کردن مطالب مختلف در سایت به سختی فکر کنند و تنها با یک نگاه به همه چیز پی ببرند. با این کار نه تنها به کاربران کمک کرده‌اید، بلکه به موتور جستجو هم کمک کرده‌اید تا بهتر دیده شوید.

آیا از نقشه سایت بهره می‌برید؟

نقشه سایت دقیقا همان چیزی است که از نام آن مشخص است: فهرستی از URLها روی سایت که خزنده‌های موتور جستجو بتوانند از آن‌ها برای پیدا کردن و فهرست بندی محتوای شما استفاده کنند. یکی از راحت‌ترین راه‌ها که مطمئن شوید گوگل مهم‌ترین صفحات شما را پیدا می‌کند این است که فایلی تدارک ببینید که کاملا با استانداردهای گوگل همخوانی داشته باشد و از طریق ابزار Google Search Console ارایه شده باشد. با این که داشتن یک نقشه سایت نمی‌تواند جای داشتن یک ناوبری خوب روی سایت را بگیرد، اما با این حال می‌تواند به خزنده‌ها کمک کند تا به مهم‌ترین صفحاتی که نیاز دارید، دسترسی پیدا کنند.

همچنین مطمئن شوید که فقط URLهایی روی صفحات داشته باشید که می‌خواهید توسط موتور جستجو فهرست‌بندی شوند و مطمئن شوید که خزنده‌ها (crawler) نسبت به مسیرها ثابت قدم باشند. برای مثال، در نقشه سایت خود یک URL که آن را توسط robots.txt بلاک کرده‌اید یا یک کپی از آن در جای دیگر دارید استفاده نکنید.

در عین حال اگر سایت شما هیچ لینک دیگری از دیگر سایت‌ها درون خود ندارد، هنوز می‌توانید از طریق XML نقشه ‌‌سایت در Google Search Console توسط موتور جستجو فهرست بندی شوید.

آیا خزنده‌ها در هنگام ورود به URLهای سایت شما با ارور مواجه می‌شوند؟

در پروسه خزیدن ربات‌های گوگل در URLهای سایت شما، یک خزنده (crawler) ممکن است با ارورهایی مواجه شود که در نهایت باعث قرار نگرفتن در صفحات نتایج موتور جستجو شود. می‌توانید با مراجعه به قسمت Crawl Errors در ابزار Google Seach Console، گزارش‌های ثبت شده در URLها را مشاهده کنید. این گزارش‌ها ارورهای سرور و ارورهای یافت نشده را به شما نشان خواهند داد. همچنین در فایل‌های سرور لاگ‌ها نیز می‌توانید این ارورها را مشاهده کنید، اما به خاطر این که دسترسی و محاسبه فایل‌های سرور لاگ تاکتیکی پیشرفته‌تر است، کمی برای افراد تازه‌کار مناسب نیست.

قبل از این که برای رفع ارورها دست به هر کاری بزنید، بسیار مهم است که ارورهای سرور و ارورهای Not Found را به خوبی بشناسید:

• ارور کدهای 4xx: زمانی که خزنده های موتور جستجو به دلیل ارور نرم‌افزار نمی‌توانند به محتوای شما دست پیدا کنند.

ارورهایی با کد 4xx ارورهای کلاینت‌ها هستند، به این معنا که URLهای مورد نظر شما حاوی ترکیب‌های کدنویسی نادرست هستند یا نمی‌توانند تکمیل شده باشند. یکی از عمومی‌ترین ارورهای 4xx* ارور 404 – not found است. این اشتباه ممکن است به خاطر URL اشتباه یا تغییر مسیر نقض شده باشد. هنگامی که یک موتور جستجو با ارور 404 مواجه شود، قادر نیست به URL دسترسی پیدا کند. همچنین کاربرانی که با ارور 404 رو به رو شوند به سرعت لینک یا سایت شما را ترک خواهند کرد.

• ارور کدهای 5xx: زمانی که خزنده‌های موتور جستجو به دلیل ارور سرور نمی‌توانند به محتوای شما دست پیدا کنند.

ارورهایی با کد 5xx، ارورهای سرور هستند، به این معنا که سرور صفحات یک سایت قادر نیستند درخواست فرد جستجوگر یا موتور جستجو را تکمیل کنند. در قسمت Crawl Error ابزار Google Search Console، یک تب اختصاصی برای این ارورها در نظر گرفته شده است. این مشکل زمانی به وجود می‌آید که درخواست برای دسترسی به یک URL تایم اوت می‌شود. هنگامی که ربات گوگل با این اتفاق رو به رو شود، این صفحه را رها خواهد کرد.

خوشبختانه راهی وجود دارد تا هم به فرد جستجوگر و هم به موتورهای جستجو بگویید که این صفحه‌ی شما منتقل شده است؛ این کار با استفاده از تغییر مسیر دائمی ۳۰۱ انجام می‌شود.

فرض کنید شما صفحه example.com/young-dogs را به صفحه  example.com/puppies/ انتقال داده‌اید. موتورهای جستجو و کاربران نیاز به یک پل میان URL قدیمی و جدید دارند. این پل، تغییر مسیر ۳۰۱ است.

موقعیت کد ۳۰۱ به تنهایی به معنای این است که صفحه مورد نظر برای همیشه به مکانی جدید منتقل شده است. البته توجه داشته باشید که اگر صفحه شما به خاطر جستجوی زیاد رتبه بالایی گرفته باشد و شما با استفاده از ۳۰۱ محتوای آن را نیز تغییر داده باشید، ممکن است جایگاه خود در رتبه بندی موتور جستجو را از دست بدهید چرا که محتوایی که اختصاصا به خاطر جستجوی زیاد در موتور جستجو در صفحه گوگل به رتبه بالایی دست پیدا کرده بود دیگر وجود ندارد. ۳۰۱ها بسیار قوی هستند، چرا که URLهای شما را مسئولانه جا به جا می‌کنند.

همچنین شما گزینه تغییر مسیر یک صفحه با دستور ۳۰۲ را نیز در اختیار دارید، اما از این گزینه تنها برای جا به جایی موقت استفاده می‌شود. ۳۰۲ها به نوعی یک مسیر انحرافی هستند. زمانی از آن استفاده می‌کنید که بخواهید ترافیک را دور بزنید؛ در واقع یک راه موقت است و قرار نیست همیشه از آن استفاده کنید.

مراقب تغییر مسیرهای زنجیروار باشید

می‌تواند برای یک ربات گوگل سخت باشد که از بین چندین تغییر مسیر عبور کند. گوگل نام آن را تغییر مسیر زنجیری گذاشته است و توصیه می‌کند که تا حد ممکن آن را محدود کنید. برای مثال اگر بار اول از لینک شماره یک به لینک شماره دو منتقل شدید و سپس تصمیم گرفتید تا به لینک شماره ۳ بروید، بهترین کار این است که لینک شماره ۲ را پاک کنید از لینک اول به لینک ۳ منتقل شوید.

زمانی که نسبت به مرتب سازی سایت خود برای خزنده‌های گوگل مطمئن شدید، نوبتی هم باشد نوبت فهرست بندی (index) موتور جستجو است.

فهرست بندی: موتورهای جستجو چگونه صفحات شما را تفسیر و جمع‌آوری می‌کنند؟

زمانی که مطمئن شدید سایت شما توسط ربات‌های گوگل خزیده می‌شود، مرحله بعدی کار این است که مطمئن شوید صفحات شما در کتابخانه گوگل دسته‌بندی می‌شود. بله، این که صفحات شما توسط موتور جستجو خزیده و کشف شود لزوما به این معنی نیست که آن‌ها برای نمایش در نتایج گوگل دسته‌بندی می‌شوند. ما تا اینجا یاد گرفتیم که موتور جستجو چگونه صفحات شما را کشف می‌کند. حال موضوع ایندکس یا دسته‌بندی این است که صفحات کشف شده کجا جمع‌‌آوری می‌شوند. بعد از این که یک خزنده صفحه شما را پیدا کرد، موتور جستجو آن را همانند یک مرورگر رِندر می‌کند. در هنگام این پروسه، موتور جستجو محتویات موجود در این صفحه را آنالیز و تمامی این اطلاعات را در ایدکس خود جمع‌آوری می‌کند.

آیا می‌توانم ببینم چگونه یک خزنده گوگل صفحات من را می‌بیند؟

بله، نسخه کش صفحات شما، نشانه‌گر آخرین باری است که موتور جستجوی گوگل آن صفحه را خزیده است. گوگل صفحات را در فرکانس‌های متفاوتی بررسی می‌کند. سایت‌ها ثابت‌ و شناخته شده‌تری که به صورت دائم مطلب جدید می‌گذارند، به مراتب بیشتر از سایت‌های دیگر بررسی و خزیده می‌شوند. شما می‌توانید نسخه کش سایت خود را در صفحه جستجوی گوگل و با کلیک روی پیکانی که در کنار URL قرار گرفته است مشاهده کنید.

همچنین قادر هستید نسخه فقط متنی سایت خود را نیز مشاهده کنید. این کار به شما کمک می‌کند تا مشخص کنید که آیا محتوای مهم شما خزیده و به طور موثر ذخیره شده است یا نه.

آیا صفحات از ایندکس موتور جستجو پاک می‌شوند؟

بله، صفحات شما می‌توانند از ایندکس پاک شوند! این اتفاق به چند دلیل ممکن است رخ دهد:

• موتور جستجو در هنگام بازگشت به یک صفحه با ارور not found  (4xx) یا رور سرور (5xx) رو به رو شود.
• URL صفحه مورد نظر شامل متا تگ مسدود ساز باشد. صاحبان سایت می‌توانند با اضافه کردن اینگونه تگ‌ها باعث جلوگیری وارد شدن صفحات به ایندکس موتور جستجو شوند.
• URL مورد نظر به علت نقض قوانین دستورالعمل وب‌مستر موتور جستجو جریمه شده و نتیجه آن، حذف سایت یا صفحه مورد نظر از ایندکس شده است.
• URL مورد نظر به علت نیاز نام کاربری و رمز عبور قبل از مشاهده کاربران، برای موتور جستجو غیر قابل دسترس شده است.

اگر بر این باور هستید که صفحه‌ای از وبسایت شما که پیش از این در ایندکس گوگل وجود داشته و حالا دیگر قابل رویت نیست، می‌توانید با ابزار URL Insepction موقعیت این صفحه را بررسی کنید یا از ابزار Fetch as Google استفاده کنید که دارای یک Request Indexing است.

تمامی این ابزارها با جستجو در گوگل قابل دسترس هستند.

به موتور جستجو بگویید که چگونه سایت شما را فهرست‌ کند

• متا تگ‌های ربات‌ها: متاتگ‌ها، دستورالعمل‌هایی هستند که می‌توانید با توجه به اینکه چطور می‌خواهید صفحه شما دیده شود، آن‌ها را به موتورهای جستجو بدهید.

مثلا شما می‌توانید به خزنده‌های موتور جستجو بگویید: «این صفحه را در نتایج جستجو ایندکس نکن» یا دیگر دستورات. این دستورالعمل‌ها توسط Robots Meta Tagها در قسمت <head> صفحات HTML شما اجرایی می‌شوند.

در ادامه با عمومی‌ترین دستورالعمل‌های متاتگ‌ها و زمان استفاده از آن‌ها آشنا می‌شویم:

• Index/noindex: با این دستور به موتور جستجو می‌گویید که آیا صفحه مورد نظر باید خزیده و سپس فهرست شود یا نه. با استفاده از noindex این توانایی را دارید که به خزنده‌ها بگویید صفحه‌ای که می‌خواهید را از نتایج جستجو حذف کنند. به طور پیش فرض، موتور جستجو بر این باور است که می‌تواند تمامی صفحات شما را ایندکس کند.

• Follow/nofollow: این دستور به موتور جستجو می‌گوید که آیا لینک مورد نظر در یک صفحه باید دنبال شود یا نه. با دستور Follow اجازه می‌دهید تا ربات‌های موتور جستجو بتوانند از لینک‌های روی صفحه عبور کنند و به URLهای آن‌ها دسترسی داشته باشند و برعکس، اگر از دستور Nofollow استفاده کنید، این ربات‌ها وارد لینک‌ها نخواهند شد. به طور پیش فرض، تمامی صفحات از دستور Follow پیروی می‌کنند. معمولا از nofollow در کنار noindex زمانی استفاده می‌شود که بخواهید صفحه‌ای را برای خزیدن توسط ربات‌های گوگل و ایندکس آن مسدود کنید.

• Noarchive: این دستور باعث محدودسازی موتور جستجو به منظور ذخیره ‌سازی کش یک صفحه می‌شود. پیش از این کارایی کش‌ها را خواندیم. حال اگر سایت‌هایی نظیر فروشگاه‌های آنلاین دارید که دائما قیمت محصولات تغییر می‌کند، با استفاده از noarchive می‌توانید صفحات ذخیره شده کش را مسدود کنید تا مشتریان با قیمت‌های قدیمی رو به رو نشوند.

در پایین نمونه استفاده از دستورات noindex  و nofollow را مشاهده می‌کنیم:

<!DOCTYPE html>

<html>

<head>

<meta name="robots" content="noindex, nofollow" />

</head>

<body>...</body>

</html>

رتبه‌بندی: چگونه موتور جستجو URLها را رتبه‌بندی می‌کند؟

یک موتور جستجو چگونه مطمئن می‌شود زمانی که یک شخص سوال یا خواسته‌ی خود را در نوار جستجو تایپ می‌کند، مرتبط‌ترین نتیجه را به او نشان دهد؟ این پروسه به رتبه‌بندی «Ranking» می‌شود؛ مرتب‌سازی نتایج جستجو از مرتبط‌ترین تا غیرمرتبط‌ترین لینک‌ها برای مورد جستجو شده.

برای تعیین نتایج مرتبط، موتور جستجو از الگوریتم‌ها، پروسه‌ها یا فرمول‌های خاص خود استفاده می‌کند. در سال‌‌های اخیر، این الگوریتم‌ها تغییرات زیادی به منظور افزایش کیفیت نتایج جستجو داشته‌اند. به طور مثال، گوگل هر روز الگوریتم خود را تنظیم و بهبود می‌بخشد. برخی از آپدیت‌های گوگل کوچک و حاشیه‌ای هستند و برخی دیگر هسته‌ای و بزرگ.

چرا این الگوریتم‌ها باید دائما تغییر کنند؟ آیا گوگل با این کار سعی دارد ما را دائما فعال و آماده نگه دارد؟ در حالی که گوگل همیشه دلایل آپدیت الگوریتم‌های خود را توضیح نمی‌دهد، اما این را می‌دانیم که همیشه هدف گوگل این است تا نتایجی که به دست ما می‌رساند را بهبود ببخشد.

موتورهای جستجو چه می‌خواهند؟

موتورهای جستجو همیشه یک چیزی را می‌خواستند: فراهم کردن مناسب‌ترین جواب‌ها در مفید‌ترین فرمت‌ها برای جستجوی کاربران. اما اگر این موضوع درست باشد، پس چرا در طول سال‌های اخیر سئو به مسئله‌ای مهم تبدیل شده و موتور جستجو وابستگی زیادی به آن برای به دست آوردن بهترین نتایج دارد؟

به این موضوع همانند یادگیری زبانی جدید توسط یک نفر فکر کنید. در ابتدا، آن شخص معانی پشت زبان و رابطه آن‌ها میان کلمات و عبارت‌ها را به طور ناقص متوجه می‌شود. اما در نهایت، با گذشت زمان و تمرین، آن شخص به اندازه‌ای زبان را متوجه می‌شود که جملات را درک کند و حتی قادر باشد به عبارت‌های مبهم یا سوالات مختلف جواب بدهد.

زمانی که موتور جستجو به تازگی شروع به یادگیری زبان ما می‌کرد، بسیار راحت‌تر بود که با استفاده از تاکتیک‌ها و ترفند‌ها، برخلاف دستورالعمل کیفیتی عمل و سیستم آن را تغییر داد. برای مثال، در آن‌ سال‌ها وقتی می‌خواستیم کلمه کلیدی مانند «جک‌های بامزه» را در رتبه بالایی از موتور جستجو قرار دهیم، تنها کافی بود این کلمه را چندین بار در صفحه یک سایت بنویسیم و آن را بولد کنیم و منتظر بمانیم تا رتبه خوبی در موتور جستجو کسب کند.

اما این تاکتیک تجربه بسیار بدی برای کاربران بود. بسیاری از سایت‌ها با استفاده از این ترفند تلاش می‌کردند تا کاربران را گول بزنند. شاید این ترفند در گذشته کاربرد داشت، اما این چیزی نبود که یک موتور جستجو می‌خواست.

لینک‌‌ها چه نقشی در سئو بازی می‌کنند؟

زمانی که در مورد لینک‌ها صحبت می‌کنیم، ممکن است دو منظور داشته باشیم: بک لینک‌ها (Backlinks) و اینترنال لینک‌ها (Internal links). بک لینک‌ها، به لینک‌هایی از دیگر وب سایت‌ها گفته می‌شود که به سایت شما اشاره دارند، در حالی که لینک‌های داخلی، لینک‌هایی درون سایت خود شما هستند که به صفحات سایت‌ شما منتهی می‌شوند.

لینک‌ها نقش تاریخی در سئو بازی کرده‌اند. در ابتدایی‌ترین راه خود، موتور جستجو نیاز به کمک داشت تا متوجه شود کدام URLها بیشتر از همه قابل اعتماد هستند تا بتوانند آن‌ها را رتبه‌بندی کنند. موتورهای جستجو با محاسبه تعداد لینک‌ها، به این کار می‌پرداخت.

بک‌لینک‌ها نیز بسیار شبیه به بازاریابی یا صحبت‌های دهان به دهان هستند. برای مثال کافه‌ای در یک نقطه شهر بهترین قهوه را سرو می‌کند. مشتریان با معرفی این کافه به دوستان خود، و دوستان آن‌ها با معرفی این کافه به دوستان‌شان، نفر به نفر این کافه را به صورت دهان به دهان تبلیغ می‌کنند. بک لینک هم به همین صورت کار می‌کند. اما موتور جستجو چگونه متوجه می‌شود که این بک لینک‌ها واقعی و مفید هستند؟

به همین دلیل است که گوگل PageRank را خلق کرد. PageRank که بخشی از الگوریتم هسته گوگل محسوب می‌شود، یک الگوریتم تحلیلگر است که بر اساس نام یکی از موسسین گوگل یعنی لری پیج نام گذاری شده است. PageRank اهمیت یک صفحه وب را بر اساس محاسبه کیفیت و کمیت لینک‌ها تخمین می‌زند. اساس فرض این الگوریتم این است که هر چه یک صفحه وب مرتبط‌تر، مهم‌تر و قابل اعتماد‌تر باشد، لینک‌های بیشتری نیز در سایت‌های مختلف به دست می‌آورد.

هر چه که به صورت طبیعی (نه تبلیغاتی و غیره) توسط دیگر سایت‌ها به سایت شما اشاره شود یا از لینک شما به عنوان منبع استفاده شود، رتبه بیشتری نیز توسط گوگل کسب می‌کنید.

نقشی که محتوا در سئو بازی می‌کند

بی‌معنی خواهد بود که اگر لینک‌هایی که مردم روی آن کلیک می‌کنند، آن‌ها را به چیز خاصی نرساند. آن چیز، محتوا است! محتوا عنصری فراتر از یک کلمه‌ است؛ محتوا می‌تواند هر چیزی باشد که توسط فرد جستجو‌گر استفاده می‌شود. یک محتوای ویدیویی، یک عکس و صد البته متون مختلف، از جمله محتوایات درون اینترنت به شمار می‌روند. اگر موتور جستجو یک ماشین پاسخگو باشد، این محتویات هستند که پاسخ‌های یک موتور جستجو را فراهم می‌کنند تا به دست کاربر برساند.

هر زمانی که یک جستجو صورت می‌گیرد، هزاران نتیجه در پی خواهد داشت. پس موتورهای جستجو چگونه تصمیم می‌گیرند که کدام صفحات به ترتیب برای کاربر ارزش بیشتری دارند؟ بخش مهمی از این که صفحه شما چگونه رتبه خوبی کسب می‌کند، رابطه محتویات آن صفحه با خواسته‌ی فرد جستجوگر است. به نوعی دیگر، باید پرسید آیا صفحه‌ای از سایت شما با کلمه‌ای که یک شخص جستجو کرده‌ است، رابطه دارد و آیا نیاز آن فرد را برآورده می‌کند یا نه؟

به دلیل این تمرکز روی رضایت‌بخشی کاربران، بنچمارک خاصی برای چگونگی یا میزان محتوایی که تولید می‌کنید ندارد یا این که یک کلمه کلیدی چند بار در متن تکرار شده باشد در الگوریتم گوگل مشخص نیست. تک تک این موارد زمانی که یک صفحه عملکرد خوبی در جستجو داشته باشد می‌توانند نقش موثری ایفا کنند، اما همیشه تمرکز باید روی کاربرانی باشد که می‌خواهند از محتوای صفحات سایت شما استفاده کنند.

امروزه، با وجود صدها یا هزاران نشانه رتبه‌بندی، سه نکته کلیدی همیشه در بالاترین رده‌ی اصول رتبه‌بندی در نتایج جستجو قرار دارند: لینک‌هایی که به سایت شما ختم می‌شوند، محتویات موجود در صفحات سایت شما و در نهایت RankBrain.

RankBrain چیست؟

رنک برین ماشین یادگیری الگوریتم هسته‌ای گوگل است. ماشین یادگیری یک برنامه کامپیوتری است که لحظه به لحظه برای به دست آوردن اطلاعات، خود را بهبود می‌بخشد. به نوعی دیگر، این ماشین همیشه در حال یاد گیری است و به دلیل این که همیشه یاد می‌گیرد، نتایج جستجو نیز دائما در حال بهبود هستند.

برای مثال، اگر رنک برین متوجه یک URL رنک پایین شود که سعی دارد نتایج بهتری را نسبت به URLهای رنک بالا برای مخاطبان خود تولید کند، می‌توانید شرط ببنید که رنک برین نتایج این سایت و URL آن را در موتور جستجو بهبود خواهد بخشید و آن را در رتبه بالاتری قرار خواهد داد.

این موضوع برای سئو چه معنایی دارد؟

به دلیل این که گوگل به منظور به دست آوردن بهترین و مفید‌ترین نتایج دائما از رنک برین بهره‌ برداری می‌کند، ما باید روی برآورده کردن خواسته‌های افراد جستجوگر فعالیت کنیم. بهترین اطلاعات و محتویات را خلق کنید و با این کار نظر رنک برین را به خود جلب خواهید کرد.

معیارهای تعامل

هنگامی که در مورد معیارهای تعامل صحبت می‌کنیم، منظور این است که کاربران چگونه با یافتن سایت شما از طریق موتور جستجو تعامل برقرار می‌کنند. این عمل شامل موارد زیر می‌شود:

• کلیک‌ها (بازدید از سایت توسط جستجو)
• گذراندن وقت روی صفحه (مقدار زمانی که یک بازدید کننده در صفحه شما می‌گذراند)
• نرخ دفع کاربر (به درصد کاربرانی که بعد از دیدن یک صفحه از سایت خارج می‌شوند. هر چه نرخ دفع کاربر پایین‌تر، شرایط جذابیت سایت شما بهتر)
• پوگو استیک (کلیک روی یک نتیجه جستجو و بازگشت سریع از آن صفحه و کلیک روی نتیجه‌ای دیگر)

در حالی که گوگل هیچگاه نشانه کاملا مشخصی از اینکه کدام یک تاثیر مستقیمی روی رتبه بندی جستجو دارند، اعلام نکرده است، اما این کمپانی مشخص کرده‌ است که قطعا میزان کلیک روی لینک تاثیر زیادی روی نتایج جستجو دارد. هر چه کلیک روی یک لینک در نتایج جستجو بیشتر باشد، گوگل اینطور برداشت می‌کند که آن لینک برای کاربران مفید‌تر است.

سیر تکاملی نتایج جستجو

در گذشته که موتورهای جستجو پیچیدگی این روزهای خود را نداشتند، اصطلاح 10 Blue Links به عنوان توضیحی سطحی برای ساختار نتایج صفحات موتور جستجو استفاده می‌شد. هر زمانی که یک جستجو انجام می‌شد، گوگل ۱۰ نتیجه ارگانیک برتر را به نمایش می‌گذاشت.

در آن زمان، قرار گرفتن در رتبه اول ۱۰ لینک آبی موتور جستجو گوگل، همانند یک جام مقدس برای صاحب آن سایت بود. اما بعد از آن اتفاقی افتاد؛ گوگل شروع به اضافه کردن نتایجی با فرمت‌های جدید در نتایج جستجوی خود کرد که آن را SERP Features یا قابلیت‌های صفحه نتایج موتور جستجو نام گذاری کرد. برخی از این قابلیت‌ها به شرح زیر هستند:

• تبلیغات پولی
• کادر‌های پاسخ بالای صفحه
• سوالات مشابه که رابطه مستقیم با پاسخ کادرهای بالای صفحه دارند
• نقشه محلی
• پنل اطلاعاتی
• ابرپیوند‌ها

از آن زمان تا امروز، گوگل همیشه ابزارها و قابلیت‌های جدید به موتور جستجو خود اضافه می‌کند. هرچند اضافه کردن این قابلیت‌ها به دو دلیل یک سری مشکلات را هم به وجود آورد. دلیل اول، بسیاری از این قابلیت‌ها باعث می‌شوند تا نتایج ارگانیک به پایین صفحه بروند. دلیل بعدی این که افراد کمتری روی نتایج ارگانیک کلیک می‌کنند چرا که در صفحه نتایج مورد نظر، می‌توانند جواب خود را پیدا کنند.

پس چرا گوگل این کار را انجام می‌دهد؟ همه چیز به تجربه جستجو باز می‌گردد. رفتار کاربران نشان داده است که برخی از خواسته‌ها با وجود محتویات مختلف در فرمت‌های متنوع بهتر برآورده می‌شود. وجود چندین نوع قابلیت مختلف در نتایج موتور جستجو گوگل به همین دلیل ترتیب داده شده است. بسیار مهم است که بدانید جواب‌هایی که جستجوگران به دنبال آن‌ها هستند می‌توانند در فرمت‌های وسیعی به آن‌ها نشان داده شوند.

به طور کلی، نیازی نیست ورودی و خروجی الگوریتم گوگل را بدانید؛ الگوریتیمی که یک راز باقی مانده است و هیچکس نمی‌داند دقیقا از چه روشی باید بهترین نتیجه را کسب کرد. اما تا این جای کار آگاهی کافی برای چگونگی یافته‌های موتور جستجو به دست آورده‌اید و باید بهترین محتوا را خلق کنید تا در گوگل موفق شوید، نه سعی بر گول زدن آن داشته باشید.