robots.txt

Включен анонимный доступ, используется папка public, хотелось бы запретить индексацию ботами, в частности гуглбот очень напрягает. Файл robots.txt не помогает, я так понимаю потому, что он его пытается найти по ftp://example.com/robots.txt , а он у нас получается в ftp://example.com/public/robots.txt

Собственно вопрос, как и куда поместить robots.txt что бы он был в корневой директории ftp-сервера и был доступен для анонимного пользователя наравне с папкой public.

Включен анонимный доступ, используется папка public, хотелось бы запретить индексацию ботами, в частности гуглбот очень напрягает. Файл robots.txt не помогает, я так понимаю потому, что он его пытается найти по ftp://example.com/robots.txt , а он у нас получается в ftp://example.com/public/robots.txt

Собственно вопрос, как и куда поместить robots.txt что бы он был в корневой директории ftp-сервера и был доступен для анонимного пользователя наравне с папкой public.

По идее роботы не должны индексировать ftp, поэтому robots.txt там вообще игнорится.

Покажите пожалуйста лог обращения гуглобота по ftp?

По идее роботы не должны индексировать ftp, поэтому robots.txt там вообще игнорится.

Покажите пожалуйста лог обращения гуглобота по ftp?

К сожалению логи со страницы "Передача файлов" я удалил, там было около 30 страниц с записями типа get, прошелся по всем файлам во всех подпапках без исключения. Закину чего-нибудь "новенькое" припрется "кушать" скину логи.

А во вкладке "подключение" примерно такое было:

Information Подключение 2012/11/14 07:33:03 anonymous FTP client [ftp] from [66.249.75.18] logged out the server with totally [0 bytes] uploaded and [0 bytes] downloaded.

Information Подключение 2012/11/14 07:33:02 anonymous FTP client [ftp] from [66.249.75.18] logged in through FTP.

Information Подключение 2012/11/14 07:32:55 anonymous FTP client [ftp] from [66.249.75.18] logged out the server with totally [0 bytes] uploaded and [0 bytes] downloaded.

Information Подключение 2012/11/14 07:32:54 anonymous FTP client [ftp] from [66.249.75.18] logged in through FTP.

Только вместо 0 bytes соответственно размер файлов которые он тянул. 33 гига книг в форматах pdf, djvu, chm, txt, doc и т.д. тянет всё.

Причем банить по ip вообще смысла нет, забанил один адрес, приперся с другого, в итоге когда в черном списке скопилось ~10 ip я забил.

можно попробовать блокировать файлом .htaccess подсети гугла

Но это почти то же что и вы блокировали по ip

Кстати не пробовали писать в гугловский суппорт?

можно попробовать блокировать файлом .htaccess подсети гугла

Но это почти то же что и вы блокировали по ip

 

Кстати не пробовали писать в гугловский суппорт?

Вот уж .htaccess тут ничем не поможет, это же ftp. Если не ошибаюсь .htaccess работает с апачем только и даже с nginx не работает ( ну вернее модуль какой-то нужно ставить или переводить содержимое .htaccess в инструкции для конфига, не в теме т.к. не сталкивался с nginx)

Банить гугл все же не правильно, а писать им какой смысл? Проблема то в том, что robots в корне нет, но как штатными средствами это сделать не понял, а лезть по ssh и разбираться где оно там все лежит и как работает лень, но видимо придется.