از اواسط دهه ۱۹۹۰ ميلادي كه نخستين موتورهاي جستجو اقدام به فهرست كردن وب نخستين كردند، مديران وب‌سايت‌ها و توليدكنندگان محتوا، شروع به بهينه‌سازي وب‌سايت‌ها براي موتورهاي جستجو نمودند.
در ابتدا تمام كارهايي كه مديران وب‌سايت‌ها بايد انجام مي‌دادند، ارسال آدرس صفحه به موتورهاي مختلفي كه يك «عنكبوت» جهت «خزش» آن صفحه مي‌فرستادند، استخراج لينك‌هاي صفحه به ساير صفحات از درون صفحه و بازگرداندن اطلاعات يافت‌شده در صفحه، جهت ايندكس‌شدن بود.
فرايند به اين صورت است كه عنكبوت موتور جستجو، يك صفحه را دانلود و آن را در سرور موتور جستجو ذخيره مي‌كند و يك برنامه ديگر موسوم به ايندكس‌كننده، اطلاعات مختلفي را دربارهٔ صفحه استخراج مي‌كند؛ اطلاعاتي از قبيل واژه‌هاي موجود و محل قرارگيري آن‌ها در صفحه و نيز وزن خاص واژه‌هاي به‌خصوص و تمام لينك‌هاي موجود در صفحه، كه سپس جهت خزش در زماني ديگر، در دستور كار قرار مي‌گيرد.
مديران سايت‌ها شروع به بازشناسي ارزش رتبه بالاي سايت خود و در ديد قرار گرفتن آن در نتايج موتورهاي جستجو نمودند كه اين امر، فرصتي را براي هكرهاي غيرمخرب و مخرب شاغل در بخش بهينه‌سازي موتور جستجو مهيا كرد.
نسخه‌هاي اوليه الگوريتم‌هاي جستجو به اطلاعات فراهم‌شده توسط مديران وب‌سايت‌ها، نظير متا تگ واژه‌هاي كليدي، يا فايل ايندكس موتورهاي جستجو، مانند اي‌ال‌آي‌وب اعتماد و اتكا مي‌كردند. متاتگ‌ها يك راهنمايي براي محتواي هر صفحه فراهم مي‌كنند.
با اين حال، استفاده از داده‌هاي متا در صفحات ايندكس، كمتر قابل اطمينان بود؛ زيرا انتخاب واژگان در يك متاتگ توسط وب‌سايت‌ها، بالقوه مي‌تواند يك نمايش غيردقيق از محتواي واقعي وب‌سايت باشد. داده‌هاي نادرست، ناقص و ناسازگار در متا تگ‌ها مي‌تواند موجب رتبه‌بندي‌شدن صفحه براي جستجوهاي غيرمرتبط گردد. توليدكنندگان محتواي شبكه، همچنين تعدادي از ويژگي‌هاي منبع اچ‌تي‌ام‌ال، يك صفحه را دست‌كاري كردند تا رتبه صفحه را در موتورهاي جستجو بهبود بدهند.
با تأكيد بر عواملي مانند تراكم واژه كليدي، كه به‌طور انحصاري تحت كنترل مدير وب‌سايت است، موتورهاي جستجوي اوليه از سوءاستفاده و دست‌كاري رتبه‌بندي رنج مي‌بردند.
ازآنجايي‌كه موفقيت و محبوبيت يك موتور جستجو از طريق توانايي آن در توليد نتايج مرتبط‌تر در قبال هر جستجوي صورت گرفته مشخص مي‌شود، كيفيت پايين يا نتايج نامرتبط مي‌تواند سبب سوق دادن كاربران به منابع جستجوي ديگر شود. موتورهاي جستجو با توسعه الگوريتمي رتبه‌بندي پيچيده‌تر به اين عمل پاسخ دادند؛ كه در آن عوامل بيشتري مورد توجه قرار مي‌گيرند و دست‌كاري را براي مديران شبكه، سخت‌تر مي‌سازند.
به‌منظور ارائه نتايج بهتر به كاربران خود، موتورهاي جستجو بايد انطباق يافته و از نتايج صفحاتي اطمينان يابند كه نتايج مرتبط‌تري دارند، نه نتايج مربوط به صفحاتي كه نامربوط بوده و توسط مديران شبكه بدون وجدان كاري و با استفاده از كلمات كليدي متعدد پرشده‌اند.
لري پيج و سرگئي برين، دو دانشجوي فارغ‌التحصيل دانشگاه استنفورد، يك موتور جستجو موسوم به بك‌روب را توسعه دادند كه جهت ارزيابي برجستگي صفحات وب، به يك الگوريتم رياضياتي تكيه داشت. عددي كه توسط الگوريتم محاسبه مي‌شد، يعني «رتبه صفحه»، تابعي است از مقدار و قدرت لينك‌هاي ورودي. رتبه صفحه، ميزان يك صفحه معين را كه توسط يك كاربر، كه به‌صورت تصادفي شبكه را جستجو مي‌كند، مورد دسترسي قرارگرفته، تخمين مي‌زند و لينك‌هاي يك صفحه به صفحه ديگر را دنبال مي‌كند.
درواقع، اين بدان معناست كه برخي لينك‌ها از ساير لينك‌ها قوي‌تر بوده، رتبه صفحه بالاتر احتمال ديده شدن صفحه توسط وب‌گردهاي تصادفي را افزايش مي‌دهد.