Come bloccare l'accesso a libwww-perl in .net?

Question

stavo testando il mio sito web con strumenti on-line e uno degli strumenti mi ha dato questo avvertimento:

Il server appare per consentire l'accesso da User-agent libwww-perl. Gli script Botnet che cercano automaticamente le vulnerabilità nel software vengono talvolta identificati come libwww-perl utente-agente. Bloccando l'accesso da libwww-perl è possibile eliminare molti attacchi più semplici. Maggiori informazioni sul blocco dell'accesso a Libwww-perl e sul miglioramento della sicurezza del tuo sito web.

Il mio sito Web è un sito ASP.NET MVC 5 e ho semplicemente aggiunto queste righe al mio file "robots.txt".

User-agent: * 
Disallow:/

User-Agent: bingbot 
Allow:/

Tuttavia, lo strumento segnala ancora l'avviso. Qual è il problema? Sto bloccando tutti i bot e basta impostare bingbot per consentire.

Answer 1

A meno che non si dà l'URL o il nome dello strumento di scansione on-line Posso solo immaginare che ha provato a eseguire la scansione delle tue pagine durante l'invio di un User-Agent: libwww-perl - non se lo blocchi nel tuo file robots.txt.

Lo sfondo per questo è, robots.txt contiene regole per i motori di ricerca ben comportati, non per malware. Da http://www.robotstxt.org/robotstxt.html:

• i robot possono ignorare il file /robots.txt. Soprattutto i robot malware che lo scanner scansionano sul Web per vulnerabilità di sicurezza e gli indirizzi e-mail utilizzati dagli spammer non prestano attenzione.

presumo a "fissare" l'avviso è necessario negare tutte le richieste di qualsiasi pagina, immagine o file se le intestazioni HTTP contengono User-Agent: libwww-perl. Vedi this question on configuring IIS per rifiutare queste richieste senza modificare il tuo sito web.

Personalmente, non vorrei negare queste richieste in quanto non ne vale la pena. È facile cambiare l'User-Agent all'interno di uno strumento di scansione e la maggior parte già consente di imitare i browser più diffusi, quindi il guadagno di sicurezza sarebbe molto piccolo. D'altra parte, può esistere uno strumento valido/legittimo che non può essere utilizzato perché non falsa la sua identità.

Answer 2

tenta di aggiungere questo nel file:

User-agent: Libwww-perl 
Disallow:/

Answer 3

Aggiungi robot.txt alla propria applicazione e comprendono che file all'interno della directory principale della vostra applicazione. Aggiungo di seguito per il file robot.txt

User-agent: Libwww-perl 
Disallow:/

e per ulteriori informazioni Si prega di verificare le informazioni fornite qui di seguito ... http://www.iis.net/learn/application-frameworks/install-and-configure-php-applications-on-iis/translate-htaccess-content-to-iis-webconfig

Answer 4

Si può essere bloccato tramite una riscrittura di .htaccess:

RewriteCond %{HTTP_USER_AGENT} libwww-perl.* 
RewriteRule .* ? [F,L]