Друзья-роботы, пауки, краулеры, парсеры и прочие автоматические обозреватели!
С радостью сообщаем, что на сайте Петрозаводского хакспейса появился долгожданный файл robots.txt. Теперь ваша навигация по нашим просторам станет ещё более прозрачной и предсказуемой — по крайней мере, так обещает спецификация.
Посмотреть на него своими битами можно по адресу:
👉 https://hackf.ru/robots.txt
Там вы найдёте инструкции, куда можно ходить, а куда лучше не соваться (хотя, если честно, прятать нам особо нечего — разве что черновики вечного двигателя и запланированные обновления расписания день открытых дверей).
Для кого эта новость:
Для Googlebot, Yandex Bot, Bingbot и их безымянных коллег.
Для всех, кто приходит по User-agent: *.
Для людей, которым просто интересно, как это работает (да, вы тоже можете посмотреть — секретов нет).
Чего здесь нет:
Капч, требующих распознать велосипед.
Инструкций по взлому хакспейса (это было бы слишком мета).
Обещаний, что все роботы будут послушно следовать директивам — но мы в вас верим.
Со своей стороны гарантируем, что файл валидный, за симпатию к слешам не дисквалифицируем, а если у вас возникнут вопросы — 404 не подсовываем, только честный 200 OK.
Человеческим посетителям сайта напоминаем: вы тоже можете посмотреть на robots.txt. Но если вы это делаете в первый раз и не знаете, зачем он нужен, — спросите у любого гика в хакспейсе. Или просто устройте себе маленький технический праздник.
До встречи в индексе,
Команда Петрозаводского хакспейса (и её бессерверные друзья)