حاول برنامج Google Penguin لعام 2012 معاقبة مواقع الويب التي تستخدم تقنيات تلاعب لتحسين تصنيفها على محرك البحث. على الرغم من تقديم Google Penguin كخوارزمية تهدف إلى مكافحة البريد العشوائي على الويب ، إلا أنه يركز حقًا على الروابط غير المرغوب فيها [34] من خلال قياس جودة المواقع التي تأتي منها الروابط. تميز تحديث Google Hummingbird لعام 2013 بتغيير الخوارزمية المصمم لتحسين معالجة اللغة الطبيعية من Google والفهم الدلالي لصفحات الويب. يندرج نظام معالجة اللغة في Hummingbird تحت المصطلح المعترف به حديثًا "بحث المحادثة" حيث يولي النظام مزيدًا من الاهتمام لكل كلمة في الاستعلام من أجل مطابقة الصفحات بشكل أفضل مع معنى الاستعلام بدلاً من بضع كلمات. فيما يتعلق بالتغييرات التي تم إجراؤها على تحسين محرك البحث ، لناشري المحتوى وكتابه ، يهدف Hummingbird إلى حل المشكلات عن طريق التخلص من المحتوى غير ذي الصلة والرسائل غير المرغوب فيها ، مما يسمح لـ Google بإنتاج محتوى عالي الجودة والاعتماد عليهم ليكونوا مؤلفين "موثوقين" .
في أكتوبر 2019 ، أعلنت Google أنها ستبدأ في تطبيق نماذج BERT لاستعلامات البحث باللغة الإنجليزية في الولايات المتحدة. كانت تمثيلات التشفير ثنائية الاتجاه من المحولات (BERT) محاولة أخرى من قِبل Google لتحسين معالجة لغتها الطبيعية ولكن هذه المرة من أجل فهم استعلامات البحث الخاصة بمستخدميها بشكل أفضل. [36] فيما يتعلق بتحسين محرك البحث ، تهدف BERT إلى توصيل المستخدمين بسهولة أكبر بالمحتوى ذي الصلة وزيادة جودة حركة المرور القادمة إلى مواقع الويب التي يتم تصنيفها في صفحة نتائج محرك البحث.
طُرق
الفهرسة
تستخدم محركات البحث خوارزميات رياضية معقدة لتفسير المواقع التي يبحث عنها المستخدم. في هذا الرسم التخطيطي ، حيث تمثل كل فقاعة موقعًا على شبكة الإنترنت ، تقوم البرامج التي تسمى أحيانًا العناكب بفحص المواقع التي ترتبط بالمواقع الأخرى ، باستخدام أسهم تمثل هذه الارتباطات. يُفترض أن تكون مواقع الويب التي تحصل على مزيد من الروابط الداخلية ، أو روابط أقوى ، أكثر أهمية وما يبحث عنه المستخدم. في هذا المثال ، نظرًا لأن موقع الويب B هو المستلم للعديد من الروابط الواردة ، فإنه يحتل مرتبة أعلى في بحث الويب. والروابط "تنتقل عبر" ، مثل موقع الويب C ، على الرغم من أنه يحتوي على رابط وارد واحد فقط ، إلا أنه يحتوي على رابط وارد من موقع مشهور للغاية (B) بينما الموقع E ليس كذلك. ملاحظة: النسب المئوية مقربة.
تستخدم محركات البحث الرائدة ، مثل Google و Bing و Yahoo !، برامج الزحف للعثور على صفحات لنتائج البحث الخوارزمية الخاصة بهم. لا يلزم تقديم الصفحات المرتبطة من صفحات أخرى مفهرسة بمحرك البحث لأنه يتم العثور عليها تلقائيًا. ياهو! Directory و DMOZ ، وهما دليلين رئيسيين تم إغلاقهما في 2014 و 2017 على التوالي ، وكلاهما يتطلب تقديمًا يدويًا ومراجعة تحريرية بشرية. [37] تقدم Google Google Search Console ، والتي يمكن من أجلها إنشاء موجز Sitemap بتنسيق XML وإرساله مجانًا لضمان العثور على جميع الصفحات ، خاصة الصفحات التي لا يمكن اكتشافها عن طريق اتباع الروابط تلقائيًا [38] بالإضافة إلى وحدة التحكم في إرسال عناوين URL الخاصة بهم. [39] ] ياهو! كانت تدير سابقًا خدمة إرسال مدفوعة تضمن الزحف مقابل تكلفة النقرة ؛ [40] ومع ذلك ، تم إيقاف هذه الممارسة في عام 2009.
قد تنظر برامج زحف محركات البحث في عدد من العوامل المختلفة عند الزحف إلى أحد المواقع. لا تتم فهرسة كل صفحة بواسطة محركات البحث. قد تكون مسافة الصفحات من الدليل الجذر للموقع أيضًا عاملاً في تحديد ما إذا كان يتم الزحف إلى الصفحات أم لا. [41]
اليوم ، يبحث معظم الأشخاص على Google باستخدام جهاز محمول. [42] في تشرين الثاني (نوفمبر) 2016 ، أعلنت Google عن تغيير كبير في طريقة الزحف إلى مواقع الويب وبدأت في جعل فهرسها للجوال أولاً ، مما يعني أن إصدار الجوال من موقع ويب معين يصبح نقطة البداية لما يدرجه Google في فهرسهم. [43] في مايو 2019 ، قامت Google بتحديث محرك العرض الخاص بالزاحف الخاص بها ليكون أحدث إصدار من Chromium (74 وقت الإعلان). أشارت Google إلى أنها ستقوم بانتظام بتحديث محرك عرض Chromium إلى أحدث إصدار. في ديسمبر 2019 ، بدأت Google في تحديث سلسلة User-Agent الخاصة بالزاحف الخاص بها لتعكس أحدث إصدار من Chrome تستخدمه خدمة العرض الخاصة بهم. كان التأخير هو السماح لمشرفي المواقع بالوقت لتحديث التعليمات البرمجية الخاصة بهم والتي استجابت لسلاسل وكيل مستخدم bot معينة. أجرت Google التقييمات وشعرت بالثقة في أن التأثير سيكون طفيفًا. [45]
منع الزحف
المقال الرئيسي: معيار استبعاد الروبوتات
لتجنب المحتوى غير المرغوب فيه في فهارس البحث ، يمكن لمشرفي المواقع توجيه العناكب بعدم الزحف إلى ملفات أو أدلة معينة من خلال ملف robots.txt القياسي في الدليل الجذر للنطاق. بالإضافة إلى ذلك ، يمكن استبعاد إحدى الصفحات صراحةً من قاعدة بيانات محرك البحث باستخدام علامة وصفية خاصة بالروبوتات (عادةً <meta name = "robots" content = "noindex">). عندما يزور محرك بحث أحد المواقع ، يكون ملف robots.txt الموجود في الدليل الجذر هو أول ملف يتم الزحف إليه.
شاهد ايضا
أفضل تطبيقات هواوي
في أكتوبر 2019 ، أعلنت Google أنها ستبدأ في تطبيق نماذج BERT لاستعلامات البحث باللغة الإنجليزية في الولايات المتحدة. كانت تمثيلات التشفير ثنائية الاتجاه من المحولات (BERT) محاولة أخرى من قِبل Google لتحسين معالجة لغتها الطبيعية ولكن هذه المرة من أجل فهم استعلامات البحث الخاصة بمستخدميها بشكل أفضل. [36] فيما يتعلق بتحسين محرك البحث ، تهدف BERT إلى توصيل المستخدمين بسهولة أكبر بالمحتوى ذي الصلة وزيادة جودة حركة المرور القادمة إلى مواقع الويب التي يتم تصنيفها في صفحة نتائج محرك البحث.
طُرق
الفهرسة
تستخدم محركات البحث خوارزميات رياضية معقدة لتفسير المواقع التي يبحث عنها المستخدم. في هذا الرسم التخطيطي ، حيث تمثل كل فقاعة موقعًا على شبكة الإنترنت ، تقوم البرامج التي تسمى أحيانًا العناكب بفحص المواقع التي ترتبط بالمواقع الأخرى ، باستخدام أسهم تمثل هذه الارتباطات. يُفترض أن تكون مواقع الويب التي تحصل على مزيد من الروابط الداخلية ، أو روابط أقوى ، أكثر أهمية وما يبحث عنه المستخدم. في هذا المثال ، نظرًا لأن موقع الويب B هو المستلم للعديد من الروابط الواردة ، فإنه يحتل مرتبة أعلى في بحث الويب. والروابط "تنتقل عبر" ، مثل موقع الويب C ، على الرغم من أنه يحتوي على رابط وارد واحد فقط ، إلا أنه يحتوي على رابط وارد من موقع مشهور للغاية (B) بينما الموقع E ليس كذلك. ملاحظة: النسب المئوية مقربة.
تستخدم محركات البحث الرائدة ، مثل Google و Bing و Yahoo !، برامج الزحف للعثور على صفحات لنتائج البحث الخوارزمية الخاصة بهم. لا يلزم تقديم الصفحات المرتبطة من صفحات أخرى مفهرسة بمحرك البحث لأنه يتم العثور عليها تلقائيًا. ياهو! Directory و DMOZ ، وهما دليلين رئيسيين تم إغلاقهما في 2014 و 2017 على التوالي ، وكلاهما يتطلب تقديمًا يدويًا ومراجعة تحريرية بشرية. [37] تقدم Google Google Search Console ، والتي يمكن من أجلها إنشاء موجز Sitemap بتنسيق XML وإرساله مجانًا لضمان العثور على جميع الصفحات ، خاصة الصفحات التي لا يمكن اكتشافها عن طريق اتباع الروابط تلقائيًا [38] بالإضافة إلى وحدة التحكم في إرسال عناوين URL الخاصة بهم. [39] ] ياهو! كانت تدير سابقًا خدمة إرسال مدفوعة تضمن الزحف مقابل تكلفة النقرة ؛ [40] ومع ذلك ، تم إيقاف هذه الممارسة في عام 2009.
قد تنظر برامج زحف محركات البحث في عدد من العوامل المختلفة عند الزحف إلى أحد المواقع. لا تتم فهرسة كل صفحة بواسطة محركات البحث. قد تكون مسافة الصفحات من الدليل الجذر للموقع أيضًا عاملاً في تحديد ما إذا كان يتم الزحف إلى الصفحات أم لا. [41]
اليوم ، يبحث معظم الأشخاص على Google باستخدام جهاز محمول. [42] في تشرين الثاني (نوفمبر) 2016 ، أعلنت Google عن تغيير كبير في طريقة الزحف إلى مواقع الويب وبدأت في جعل فهرسها للجوال أولاً ، مما يعني أن إصدار الجوال من موقع ويب معين يصبح نقطة البداية لما يدرجه Google في فهرسهم. [43] في مايو 2019 ، قامت Google بتحديث محرك العرض الخاص بالزاحف الخاص بها ليكون أحدث إصدار من Chromium (74 وقت الإعلان). أشارت Google إلى أنها ستقوم بانتظام بتحديث محرك عرض Chromium إلى أحدث إصدار. في ديسمبر 2019 ، بدأت Google في تحديث سلسلة User-Agent الخاصة بالزاحف الخاص بها لتعكس أحدث إصدار من Chrome تستخدمه خدمة العرض الخاصة بهم. كان التأخير هو السماح لمشرفي المواقع بالوقت لتحديث التعليمات البرمجية الخاصة بهم والتي استجابت لسلاسل وكيل مستخدم bot معينة. أجرت Google التقييمات وشعرت بالثقة في أن التأثير سيكون طفيفًا. [45]
منع الزحف
المقال الرئيسي: معيار استبعاد الروبوتات
لتجنب المحتوى غير المرغوب فيه في فهارس البحث ، يمكن لمشرفي المواقع توجيه العناكب بعدم الزحف إلى ملفات أو أدلة معينة من خلال ملف robots.txt القياسي في الدليل الجذر للنطاق. بالإضافة إلى ذلك ، يمكن استبعاد إحدى الصفحات صراحةً من قاعدة بيانات محرك البحث باستخدام علامة وصفية خاصة بالروبوتات (عادةً <meta name = "robots" content = "noindex">). عندما يزور محرك بحث أحد المواقع ، يكون ملف robots.txt الموجود في الدليل الجذر هو أول ملف يتم الزحف إليه.
شاهد ايضا
أفضل تطبيقات هواوي
