有無最安全的防止網站被網絡上所有爬蟲發現的辦法？

我目前採用robots.txt+.htpasswd的辦法，直到有一天我在某搜索引擎site:發現居然被索引了HTTP驗證的字樣，正經的蜘蛛都這樣，不正規的不是和去他家客廳一樣簡單

robots.txt 靠的是自觉

加人机验证码