موتورهای جستجو چگونه کار می کنند؟

توسط: محسن درم بخت | منتشر شده در 1393/12/17 | بازدید : 8889 بار | زمان مطالعه : 12 دقیقه

موتورهای جستجو چگونه کار می کنند؟

موتورهای جستجو دو کارکرد اصلی و عمده دارند:
  1. خزیدن (crawl) در وب و نمایه (index) کردن یا فهرست کردن صفحات 
  2. در اختیار قراردادن فهرست رتبه بندی شده ای از سایت ها برای کاربران که بیشترین ربط را به درخواست کاربران دارند.

ـ خزیدن در وب و نمایه کردن

وب را مانند شبکه ای از ایستگاه ها در سیستم متروی یک شهر بزرگ در نظر بگیرید.
هر ایستگاه یک سند یکتاست (معمولا به صورت صفحه وب اما میتواند به صورت یک فایل پی دی اف یا یک تصویر یا فایل های دیگر نیز باشد). موتورهای جستجو نیازمند راهی برای خزیدن در تمام شهر و یافتن تمام ایستگاه ها از طریق بهترین مسیرهای در دسترس یعنی پیوندها یا لینک ها هستند.

با استفاده از ساختار لینک ها در وب می توان تمام صفحات را به هم متصل کرد.
لینک ها موجب می شوند موتورهای جستجو بتوانند با روبات های خودکار که «خزنده ها - crawlers» یا «عنکبوت ها - spiders» نامیده می شوند به میلیاردها سند موجود در وب دسترسی پیدا کنند.

موتورهای جستجو به محض یافتن این صفحات، کدی از آن ها را استخراج کرده و بخش های منتخب را در پایگاه داده های بزرگ خود برای زمانی که مورد درخواست واقع شوند، نگه داری می کنند. برای این منظور (یعنی حفظ میلیاردها صفحه ی وب که در کسری از ثانیه قابل دسترسی هستند)، شرکت های دارای موتور جستجو مراکز داده ای (data centers) خود را در سرتاسر دنیا مستقر کرده اند.
  
این تسهیلات ذخیره ای بزرگ از هزاران ماشین پردازنده برای پردازش حجم بالایی از اطلاعات با سرعت فوق العاده استفاده می کنند. زمانی که یک کاربر، جستجویی را در یکی از موتورهای بزرگ انجام می دهد، موتورهای جستجو نتایج را بی درنگ درخواست می کنند زیرا حتی یک یا دو ثانیه تأخیر موجب نارضایتی می شود. بنابراین موتورهای جستجو در تلاشند تا جایی که ممکن است سرعت فراهم آوردن پاسخ ها را بالا ببرند.

ـ فراهم آوردن پاسخ برای عبارات جستجو شده

موتورهای جستجو در واقع ماشین های پاسخ هستند. زمانی که یک کاربر یک جستجوی آنلاین انجام می دهد، موتور جستجو در بین میلیاردها سند وب جستجو کرده و دو کار را انجام می دهد: اولا تنها نتایجی را بازمی گرداند که به پرس و جوی کاربر مربوط باشد ثانیا نتایج را با توجه به میزان اعتبار و شهرت سایت های مربوط، رتیه بندی می کند. در واقع ربط (relevance) و اعتبار (authority) دو مؤلفه ی اصلی موتورهای جستجو برای انجام درخواست کاربر هستند.

موتورهای جستجو چطور شاخص های ربط(relevance) و اعتبار(authority) را تعیین می کنند؟
برای یک موتور جستجو میزان ربط (relevance) چیزی بیشتر از پیدا کردن صفحات با لغات درست(موجود در عبارت جستجو شده) است. در روزهای اول ایجاد موتورهای جستجو، چیزی بیشتر از همین گام ساده برای یافتن شاخص ربط وجود نداشت و در نتیجه نتایج جستجو ارزش آنچنانی نداشتند. اما با گذشت حدود 15 سال امروزه موتورها هوشمند شده و با در اختیار داشتن صدها فاکتور، نتایجی به مراتب مربوط تر و مفیدتر در اختیار قرار می دهند.
موتورهای جستجو نوعاً فرض می کنند هرچه یک سایت، صفحه یا مستندات فنی مشهورتر باشند، اطلاعات ارزشمندتری در آن ها یافت می شود. تقریباً ثابت شده که این فرض در کسب رضایت کاربران در نتایج جستجو موفقیت آمیز بوده است.
شهرت، اعتبار و شاخص ربط به صورت دستی تعیین نمی شوند بلکه موتورهای جستجو الگوریتم هایی برای جدا کردن گندم از غلاف (ربط- relevance) و درجه بندی گندم بر اساس کیفیت (شهرت-popularity) طراحی و استفاده می کنند.
این الگوریتم ها معمولا شامل صدها متغیر هستند. در ادبیات بازاریابی جستجو،  به این متغیرها «فاکتورهای رتبه بندی - ranking factors» گفته می شود.

چطور می توان در زمینه بازاریابی جستجو موفق بود؟


الگوریتم های پیچیده ی موتورهای جستجو ممکن است غیرقابل نفوذ به نظر برسند. در واقع، این موتورها آگاهی کمی از اینکه چطور نتایج بهتری کسب کرده یا ترافیک بیشتری به دست بیاوریم در اختیار قرار می دهند. آنچه این موتورها درباره ی بهینه سازی در اختیار قرار می دهند به شرح زیر است:

- اطلاعات سئو (seo) از رهنمودهای وبمستر گوگل
گوگل نکات زیر را برای کسب رتبه بهتر در نتایج جستجو پیشنهاد می کند:
صفحات وب را اصالتاً برای کاربران بسازید نه موتورهای جستجو؛ کاربران را فریب ندهید و محتوایی غیر از آنچه به کاربران نشان می دهید به موتورهای جستجو نشان ندهید. رفتاری که عمدتا به آن cloaking گفته می شود.
سایتی با سلسله مراتب و لینک های واضح بسازید. هر صفحه ای باید حداقل از طریق متن یک لینک ثابت قابل دسترسی باشد.
محتوایی غنی و مفید فراهم کرده و صفحه ای بسازید که دقیقا این محتوا را شرح دهد. مطمئن شوید که عنوان صفحه و خصیصه alt از تصاویر صحیح و توصیف گر باشد.
از کلمات کلیدی برای ایجاد آدرس های کاربرپسند استفاده کرده و سعی کنید به کمک redirect 301 یا خصیصه "rel="canonical از هر صفحه فقط یک نسخه در دسترس باشد.
- اطلاعات سئو (seo) از رهنمودهای وبمستر بینگ
مهندسان بینگ در مایکروسافت نکات زیر را برای کسب رتبه بهتر در نتایج جستجو پیشنهاد می کنند:
از داشتن آدرس هایی با کلمات کلیدی غنی در جای مناسب مطمئن شوید.
مطمئن شوید که محتوا و لینک ها در درون رسانه های غنی مانند Flash و JavaScript پنهان نشده باشند.
محتوایی غنی شده با کلمات کلیدی ایجاد کرده و این کلمات را با آنچه کاربران جستجو می کنند تطبیق دهید. به صورت مرتب محتوای تازه تولید کنید.
متنی که می خواهید نمایه شود را در درون عکس قرار ندهید. برای مثال اگر میخواهید نام و نشان شرکتتان نمایه شود مطمئن شوید این اطلاعات فقط در درون لوگوی شرکت نباشد.

علاوه بر این نکات، بیش از 15 سال تجربه پس از پیدایش موتورهای جستجو، بازاریاب های جستجو روش هایی برای استخراج اطلاعات در مورد نحوه ی رنکینگ صفحات وب یافته اند. به کمک این اطلاعات، بررسی اختراعات ثبت شده توسط موتورهای جستجو به ویژه گوگل و تجربیات و آزمون های زنده، متخصصان سئو و بازاریاب ها به مشتریان خود برای یافتن موقعیت بهتر مشاوره می دهند.

دوره‌های آنلاین برنامه‌نویسی لیست دوره‌ها