Знакомьтесь, краулеры — эти маленькие цифровые тараканы, которые могут превратить ваш сайт в руины. И особенно их страдают опенсорсные проекты. Почему? Потому что такие сайты часто открывают свои данные и хранят их в общедоступных репозиториях, но у них нет тех ресурсов, чтобы справиться с нападением огромного потока ботов.
