Hier volgen enkele stappen die u kunt nemen om het probleem op te lossen waarbij Googlebot wordt geblokkeerd door Cloudflare:
Controleer de firewallregels: Zorg ervoor dat uw firewallregels toegang van Googlebot toestaan. Cloudflare heeft verschillende firewallprofielen die u kunt gebruiken, dus controleer de instellingen en zorg ervoor dat Googlebot niet wordt geblokkeerd.
Proxy controleren: Als de Cloudflare-proxy is ingeschakeld, controleer dan de instellingen en zorg ervoor dat deze Googlebot niet blokkeert.
Toestaan dat de crawler de cache omzeilt: Zorg ervoor dat u Googlebot toestemming heeft gegeven de Cloudflare-cache te omzeilen. Door de cache zo te configureren dat deze altijd wordt overgeslagen voor Googlebot, kunt u cacheproblemen voorkomen die het crawlen en indexeren kunnen verstoren.
CAPTCHA's verifiëren: Controleer uw website op CAPTCHA's of andere problemen waardoor Googlebot mogelijk geen toegang krijgt tot de inhoud. Zorg ervoor dat deze niet al te beperkend zijn en dat Googlebot er doorheen kan zonder problemen te veroorzaken.
Neem contact op met de klantenondersteuning: Als u nog steeds problemen ondervindt nadat u deze stappen heeft doorgenomen, kunt u overwegen contact op te nemen met het Cloudflare-klantenondersteuningsteam. Zij kunnen aanvullende begeleiding en ondersteuning bieden bij het oplossen van het probleem. |