لماذا لا تظهر لنا مواقع الإنترنت المظلم في نتائج البحث في غوغل ! إكتشف الإجابة

يشير الويب المظلم إلى المواقع التي تتطلب تفويضا محددا لكشفها ، أو تخفي ببساطة ال IP الذي يشغل الموقع باستخدام أجهزة تشفير مثل تور، وهي مرئية بشكل عام ولكن لا يمكن لمحركات البحث فهرستها لأسباب متعددة بما في ذلك القضايا الأخلاقية، والأمر ينطبق على  جزء كبير من المواقع على الويب المظلم الذي يحرض على المخدرات والنشاط غير المشروع.

المشكلة الحقيقية في طبقات التشفير والخصوصية ، هذه الأخيرة التي لا تسمح بأنظمة مثل Google spider للوصول إلى هذه المواقع وفهرستها على محركات البحث، نظرا لأن خوادم HTTP  في الويب العميق أو الويب المظلم تخبر محركات البحث (بما في ذلك غوغل (الشركة) ) بإزالة ملف مناسب و أقصد هنا ( ملف robots.txt )، أو من خلال التعرف على برامج زحف الويب Web Crawlers ومنعها من الدخول ، كما تحترم غوغل بشكل معقول حدود أذونات الزحف الموجودة في ملفات robots.txt لمواقع الويب.