Nee, een robot. txt-bestand is niet vereist voor een website. Als een bot naar uw website komt en er geen heeft, zal hij uw website en indexpagina's gewoon doorzoeken zoals het normaal zou doen. … txt-bestand is alleen nodig als u meer controle wilt hebben over wat er wordt gecrawld.
Wat gebeurt er als je geen robots txt hebt?
robots. txt is volledig optioneel. Als je er een hebt, zullen crawlers die aan de normen voldoen dit respecteren, als je er geen hebt, is alles wat niet is toegestaan in HTML-META-elementen (Wikipedia) te crawlen. De site wordt zonder beperkingen geïndexeerd.
Kan ik robots txt verwijderen?
Je moet beide regels van je robots verwijderen. txt-bestand. Het robots-bestand bevindt zich in de hoofdmap van uw webhostingmap, deze is normaal gesproken te vinden in /public_html/ en u zou dit bestand moeten kunnen bewerken of verwijderen met: FTP met een FTP-client zoals FileZilla of WinSCP.
Is robots txt veilig?
De robots. txt file is zelf geen veiligheidsbedreiging, en het juiste gebruik ervan kan een goede gewoonte zijn om niet-veiligheidsredenen. Je moet er niet vanuit gaan dat alle webrobots de instructies van het bestand zullen opvolgen.
Waarom is robots txt slecht?
Gewoon een lijst met URL's toevoegen die bedoeld zijn om privé te zijn voor robots. txt-bestand is een van de slechtste manieren om URL's verborgen te houden en in de meeste gevallen resulteert het in precies het tegenovergestelde van het beoogde resultaat.
