Задача отделить роботные запросы от человеческих действительно сложная. Мы применяем ряд различных подходов: начиная с простых эвристик, заканчивая ML-методами, чтобы выделить роботные запросы. Лучше понимать, роботные запросы перед нами или нет, очень помогает анализ инцидентов на протяжении большого количества времени.
В статье мы описали разработку сервиса SmartCaptcha, который любой владелец сайта может использовать у себя и по своей логике показывать капчу. В том числе SmartCaptcha используется Яндексом.
1) Мы только за то, чтобы появились еще алгоритмы по защите от автоматизации. Чем больше капчи, тем лучше. Но поверьте, это не простая задача!
2) Наша капча не используется в Сбербанк Онлайн, поэтому корреляция здесь случайная. В любом случае, капча не собирает никаких данных о пользователях, это исключено.
Нам бы очень хотлось разобраться в вашей ситуации. Если не сложно, оставьте, пожалуйста, больше информации о том, что происходит, в форме с указанием вашего ника и того, что вы с Хабра.
0. Не совсем так. Для того чтобы антиробот определил подозрительное действия, берется множество факторов и одной скорости работы недостаточно. В случае SmartCaptcha клиент сам решает, когда показывать Капчу, а когда нет.
1. 403 — это уже точно не капча, это другие инструменты борьбы с роботами
2. Тут уже на стороне тех сервисов, которые применяют такую меру
3. Наши коллеги из ТП активно развиваются и вкладываются в развитие своих сотрудников. Как раз недавно была писали об этом
Не совсем так. Для того чтобы оказаться подозрительным, учитывается много факторов. Кроме того, владелец сайта сам определяет, когда появляется капча. Это два разных механизма: 1) есть алгоритм, который принимает решение — показать челлендж в виде капчи или нет. Алгоритм может быть простой, типа «всегда показывать челлендж при заполнении формы» 2) капча — один из возможных челленджей.
Тут важно отметить, что в данном случае не идет речь о капче в контексте поискового портала Яндекса. Речь идет о капче как инструменте. И если для вас важно не снижать воронку, можно включить простую капчу.
SmartCaptcha, о которой я рассказывал в статье, встраивается разработчиками сервисов, и они выбирают сложность заданий исходя из своих потребностей и того, насколько критической является та или иная часть сервиса.
Важно разделять алгоритм для принятия решения о показе капчи и саму капчу. Алгоритм может быть простым, например, на любой форме смены пароля мы будем просить пройти капчу. Или же может быть сложным для поиска трафика от роботов, например, парсеров.
И каждый владелец сервиса может настраивать механики принятия решения. Но в любом случае спасибо за обратную связь, самые наши главные метрики про людей и только после контроля уровня дискомфорта наших пользователей мы делаем какие-то изменения для борьбы с роботами.
Сожалеем, что вы столкнулись с такими проблемами. Информация про то, из какой страны заходит пользователь — это один из факторов, которые использует наша ML-модель. Это далеко не единственный фактор, который мы используем для принятия решения.
Нам очень жаль, что вы столкнулись с такими проблемами. На подозрительные запросы мы действительно можем показать несколько челенджей в виде капчи подряд. Для того чтобы мы могли разобраться конкретно с вашей ситуацией, напишите в форму поддержки https://yandex.ru/support/smart-captcha/index.html#help С указанием вашего аккаунта и того, что вы с Хабра.
Интересная идея, мы на это смотрели и это пока дает очень мало. Но к глобальной идее «текст по символам не совпадает, но все-равно пропустим» мы еще вернемся и опечатки могут быть одним из факторов.
1. Сигналы используем, ML тоже. Конечное решение принимает как раз модель на базе Catboost в режиме бинарной классификации.
2. Мы думали над вариантом «крутилки» вместо галочки. Галочка лучше воспринимается пользователями, потому что сохраняет контроль над ситуацией. Когда что-то само по себе крутится и перезагружается — это пугает людей.
3. ip не является единственным сигналом для принятия решения, сейчас некоторые парсеры без проблем используют мобильные прокси.
Кстати, а почему Вы не пошли по пути динамического формирования кода интерактивных элементов, который можно было бы использовать в качестве «невидимой» пользователю капчи?
Невидимая капча — это примерно то, что и происходит на новой странице с «Я не робот». В идеале, конечно, делать такую проверку незаметно на сервисе, но сделать это в лоб не получится, т.к. логика достаточно тяжелая и «притормозит» работу самого сервиса. Но найти тут компромисс и по максимуму перенести проверку в фон — это то, что мы хотим дальше делать.
Мы не можем сделать белый список для какого-то среза и не показывать там капчу. Этим сразу начнут пользоваться роботы.
Но наша капча адаптирована для слабовидящих, и у нас есть специальный режим — аудиокапча, на который можно переключиться.
У нас есть специальная очередь картинок, где только латинские символы. Например, если пользоваться yandex.com, то картинок с кириллицей не должно быть. Если у вас интерфейс на английском, а картинки с кириллицей, то напишите, пожалуйста, в форму обратной связи. Посмотрим на это, такого не должно быть.
Да, мы хотим сделать процесс прохождения Капчи / парсинга сервиса максимально дорогим. У нас нет иллюзий, что real time защиту невозможно обойти, но мы хотим сделать это как можно сложнее, дороже и не таким массовым. И не забываем про удобство людей, для которых мы и делаем наши сервисы.
Задача отделить роботные запросы от человеческих действительно сложная.
Мы применяем ряд различных подходов: начиная с простых эвристик, заканчивая ML-методами, чтобы выделить роботные запросы. Лучше понимать, роботные запросы перед нами или нет, очень помогает анализ инцидентов на протяжении большого количества времени.
В статье мы описали разработку сервиса SmartCaptcha, который любой владелец сайта может использовать у себя и по своей логике показывать капчу. В том числе SmartCaptcha используется Яндексом.
403 — это уже точно не капча, это другие инструменты борьбы с роботами.
KPI как раз определяет владелец сервиса. Если для него остановить роботов критичней, чем конверсия, то есть возможность так и сделать. Наоборот тоже.
1) Мы только за то, чтобы появились еще алгоритмы по защите от автоматизации. Чем больше капчи, тем лучше. Но поверьте, это не простая задача!
2) Наша капча не используется в Сбербанк Онлайн, поэтому корреляция здесь случайная. В любом случае, капча не собирает никаких данных о пользователях, это исключено.
Как настраивать капчу, решают уже владельцы ресурса. Вы можете сами настроить, как капча будет работать при наличии подозрения на автоматизацию.
Нам бы очень хотлось разобраться в вашей ситуации. Если не сложно, оставьте, пожалуйста, больше информации о том, что происходит, в форме с указанием вашего ника и того, что вы с Хабра.
0. Не совсем так. Для того чтобы антиробот определил подозрительное действия, берется множество факторов и одной скорости работы недостаточно. В случае SmartCaptcha клиент сам решает, когда показывать Капчу, а когда нет.
1. 403 — это уже точно не капча, это другие инструменты борьбы с роботами
2. Тут уже на стороне тех сервисов, которые применяют такую меру
3. Наши коллеги из ТП активно развиваются и вкладываются в развитие своих сотрудников. Как раз недавно была писали об этом
Не совсем так. Для того чтобы оказаться подозрительным, учитывается много факторов. Кроме того, владелец сайта сам определяет, когда появляется капча. Это два разных механизма: 1) есть алгоритм, который принимает решение — показать челлендж в виде капчи или нет. Алгоритм может быть простой, типа «всегда показывать челлендж при заполнении формы» 2) капча — один из возможных челленджей.
Тут важно отметить, что в данном случае не идет речь о капче в контексте поискового портала Яндекса. Речь идет о капче как инструменте. И если для вас важно не снижать воронку, можно включить простую капчу.
SmartCaptcha, о которой я рассказывал в статье, встраивается разработчиками сервисов, и они выбирают сложность заданий исходя из своих потребностей и того, насколько критической является та или иная часть сервиса.
Важно разделять алгоритм для принятия решения о показе капчи и саму капчу. Алгоритм может быть простым, например, на любой форме смены пароля мы будем просить пройти капчу. Или же может быть сложным для поиска трафика от роботов, например, парсеров.
И каждый владелец сервиса может настраивать механики принятия решения. Но в любом случае спасибо за обратную связь, самые наши главные метрики про людей и только после контроля уровня дискомфорта наших пользователей мы делаем какие-то изменения для борьбы с роботами.
Здравствуйте!
Сожалеем, что вы столкнулись с такими проблемами.
Информация про то, из какой страны заходит пользователь — это один из факторов, которые использует наша ML-модель. Это далеко не единственный фактор, который мы используем для принятия решения.
Чтобы мы могли разобраться конкретно с вашей ситуацией, напишите нам в форму поддержки https://yandex.ru/support/smart-captcha/index.html#help (с указанием вашего ника и того, что вы с Хабра).
Добрый день!
Нам очень жаль, что вы столкнулись с такими проблемами.
На подозрительные запросы мы действительно можем показать несколько челенджей в виде капчи подряд.
Для того чтобы мы могли разобраться конкретно с вашей ситуацией, напишите в форму поддержки https://yandex.ru/support/smart-captcha/index.html#help
С указанием вашего аккаунта и того, что вы с Хабра.
2. Мы думали над вариантом «крутилки» вместо галочки. Галочка лучше воспринимается пользователями, потому что сохраняет контроль над ситуацией. Когда что-то само по себе крутится и перезагружается — это пугает людей.
3. ip не является единственным сигналом для принятия решения, сейчас некоторые парсеры без проблем используют мобильные прокси.
Невидимая капча — это примерно то, что и происходит на новой странице с «Я не робот». В идеале, конечно, делать такую проверку незаметно на сервисе, но сделать это в лоб не получится, т.к. логика достаточно тяжелая и «притормозит» работу самого сервиса. Но найти тут компромисс и по максимуму перенести проверку в фон — это то, что мы хотим дальше делать.
Но наша капча адаптирована для слабовидящих, и у нас есть специальный режим — аудиокапча, на который можно переключиться.