Что значит невалидный пароль
Что такое валидный email
Валидный email — это реально действующий электронный адрес.
Почему отправителю рассылок важно, чтобы email был валидным?
Какие адреса считаются валидными и невалидными
Слово «валидный» образовано от английского valid — действительный, годный, обоснованный.
Невалидные адреса — это:
Зачем нужна проверка валидности email
Невалидные адреса в базе рассылки способствуют тому, что письма рассылки попадают в спам и/или возвращаются. Чем больше таких писем, тем больше страдает репутация компании как отправителя.
Жёсткие возвраты (hard bounce) могут привести к блокировке отправителя в сервисе-рассыльщике. Они случаются по одной из следующих причин:
Мягкие возвраты (soft bounce) происходят из-за временных технических проблем, например, слишком большого текста письма или переполненной почты получателя. На платформах рассылок есть лимиты на soft bounce, после превышения которых отказ переходит в категорию жёсткого и ведёт к блокировке.
Чтобы такого не происходило, стоит регулярно проверять адреса базы на валидность.
В результате получаем:
Валидацию адресов проводят на этапе сбора и повторяют проверку минимум раз в полгода. Если база растёт, логично увеличить и частоту проверок.
Кому нужна проверка email-адресов на валидность
Особенно озаботиться проверкой базы стоит тем компаниям, которые:
Как проверить валидность почты
Проверить email на валидность можно с помощью специальных сервисов — валидаторов или верификаторов.
Что именно проверяют валидаторы?
Синтаксис адреса
В этой итерации проверяется формат написания и выявляются адреса с ошибками, корпоративные емейлы, дубликаты.
Домен и сервер
Проверяется наличие и корректность MX-записи в базе доменных имён. Эта запись вносится при регистрации сервера, чтобы почтовый агент мог пересылать письма на нужный сервер.
Если адрес пользователя зарегистрирован на домене без такой записи или же эта запись неверная, email будет признан невалидным.
Активность почтового ящика
Сервис-верификатор проверит, пользуется ли владелец адреса почтовым ящиком в данное время.
Сервисы для валидации email
Проверить email на валидность можно в онлайн-сервисах и программах, которые можно установить на компьютер.
Один из сервисов выявил невалидный адрес и указал его параметры
Онлайн-проверка валидности email
Сравним онлайн-сервисы, которые проверяют валидность адресов. Все они выполняют основные функции верификации: проверяют адреса на синтаксис, проверяют домены, находят одноразовые или неактивные емейлы. Различаются отдельными возможностями и тарифами.
Сервис | Что умеет | Бесплатно | Платно |
BriteVerify | Интегрируется через API | По запросу техподдержки | 0,01$ за один адрес |
Bouncer | Профессиональная техподдержка, гибкие тарифы | 100 проверок | От 20 до 500$ в месяц, индивидуальный тариф с персональным менеджером |
BulkEmailVerifier | Работает быстро и одновременно с несколькими списками в форматах CSV или TXT, отчёты в CSV | − | От 25$ за 3 тысячи адресов |
DataValidation | Сервис для профессионалов с развёрнутым API и автоматическим мониторингом списков | 500 проверок | Тариф зависит от количества контактов: от 0,007$, если нужно проверить до 10 тысяч адресов, до индивидуальных тарифов |
Email Checker | Проверяет онлайн по API, может корректировать адреса, удаляя недопустимые символы | − | 14$ за тысячу адресов |
Email List Verify | Дополнительно проводит необнаруживаемые проверки | 100 проверок | От 0,0003$ за адрес или от 139$ в месяц при величине списка в 5 тысяч адресов |
EmailMarker | Работает с форматами: CSV, TXT, XLS, XLSX. Круглосуточная техподдержка | 150 проверок | От 21$ в месяц |
ePochta Verifier Online | Быстрая проверка, неограниченное количество баз | 100 проверок | От 0,00005$ за 1 адрес |
Kickbox | API для верификации в реальном времени, | 100 проверок | От 0,008$ за 1 адрес |
MailboxValidator | Делит все контакты на три группы: валидные, условно-валидные и невалидные | 100 проверок в течение 30 дней | 149,95$ за 50 тысяч проверок |
MailGet List Cleaning | Проверяет списки в девять этапов, определяет hard bounce | − | От 159$ за 50 тысяч проверок |
Mailfloss | Интегрируется с MailChimp и другими сервисами, проверяет базу ежедневно | 7 дней | От 17$ в месяц |
Mailvalidator | Экспресс-проверка, интеграция через API, техподдержка в телеграме | Экспресс-проверка без выгрузки отчётов 5 списков адресов в течение месяца | Экспресс-проверка — 0,25₽ за адрес для списка до 10 тысяч контактов, полная проверка — плюс 0,18₽ |
MillionVerifier | Один из самых дешёвых валидаторов с техподдержкой во всех версиях | 10 адресов, плюс 200 адресов, если подтвердить номер телефона | От 50$ за 50 тысяч адресов |
NeverBounce | Проверяет в реальном времени, автоматически чистит базу | Тысяча проверок | От 0,008$ за адрес при проверке до 10 тысяч адресов |
Pabbly Email Verification | Находит адреса по ключевым словам, использует медленную отправку для более точных результатов | − | От 5$ за тысячу адресов |
QuickEmailVerification | Поддерживает форматы: CSV, TXT, XLS, XLSX, ODS. Даёт возможность без регистрации попробовать некоторые функции бесплатно | 100 проверок ежедневно | От 0,008$ за адрес при проверке базы от 500 до 3500 адресов |
SendPulse Verifier | Предлагает сразу несколько вариантов проверки, предоставляет подробный отчёт. | Один адрес в день или 100 адресов в месяц | От 0,28₽ за адрес |
Snov.io | Может идентифицировать платные и бесплатные домены, есть расширение для Chrome | 100 проверок | От 39$ в месяц |
TrueMail | Ориентирован на профессионалов, синхронизируется с CRM | Тысяча проверок | От 7$ за тысячу проверок |
Xverify | Использует технологию защиты от мошенничества, может проверять номера телефонов | 100 проверок | От 0,01$ за адрес для базы в 5 тысяч контактов |
ZeroBounce | Находит и добавляет в отчёт данные о пользователях, удаляет адреса с hard и soft bounce | 100 проверок | От 0,008$ за адрес для базы от 2 до 5 тысяч контактов |
SaaS-решения для проверки email
При необходимости можно установить программу для проверки email на компьютер. Сравним популярные SaaS-программы.
Программа | Что умеет | Сколько стоит лицензия |
ePochta Verifier | Загружает списки и выгружает отчёты в удобном для пользователя формате, анализирует работу домена | 2 400₽ |
High Speed Verifier | Проверяет до нескольких тысяч адресов в секунду | 1 500₽ в год, есть бесплатная версия с ограниченными возможностями |
MailList Validator | Проверяет до нескольких сотен адресов в секунду, импортирует адреса из любых источников, ищет адреса по гибким критериям | Бесплатно |
Как избежать попадания в базу невалидных адресов
Для поддержания чистоты базы следуйте простым правилам:
Подытожим
Репутация отправителя рассылок напрямую зависит от валидности его подписной базы. Чтобы реже попадать в спам и избежать блокировки за невалидные адреса в базе, регулярно проверяйте списки рассылок с помощью специальных онлайн-сервисов или специальных программ.
Узнавайте об обновлениях блога Email Soldiers первым
Спасибо!
Осталось подтвердить подписку — кликнуть по кнопке в письме, которое мы вам отправили.
Следите за обновлениями в соцсетях или получайте их от нашего телеграм-бота
Валидность сайта и её проверка
Страницы всех сайтов в интернете оформляются специальным кодом, прописанным по стандартизированным правилам HTML.
Что такое валидность?
Валидация — это проверка на соблюдение установленных норм, а в контексте, применяемом вебмастерами — корректности кода страниц: синтаксических ошибок, вложенности тэгов и т. п. Если все делать «правильно», код страницы не должен содержать неверные атрибуты, конструкции и ошибки. Валидация сайта позволяет выявить недостатки, которые следует исправить.
Выяснить, есть ли замечания или ошибки в коде веб-страницы, можно как онлайн, так и не имея доступа к Сети и пользуясь оффлайн-программами.
Что такое валидаторы кода
Валидатор кода — это программа, используя которую можно проверить HTML-код страниц и CSS-код на соответствие современным нормам. Она находит и фиксирует некорректные элементы, указывая на их местонахождение и формулируя, что именно оформлено неверно.
Основные «приметы» валидной верстки
Валидная вёрстка содержит код, полностью соответствующий требованиям W3C (World Wide Web Consortium), занимающейся разработкой технологических стандартов для всего Интернета.
Если код на страницах сайта верный, то во всех браузерах сайт отображается корректно (а не криво).
Отсутствуют подозрения о несправедливом «понижении» в выдаче и нет страниц, выкинутых из индекса.
Пример. Если, предположим, неправильно стоят теги
, (в частности, отсутствует закрывающий элемент), то поисковик не будет ничего исправлять — он будет интерпретировать так, как написано черным по белому в коде. В итоге могут возникнуть последствия, связанные уже с продвижением сайта.
Важна ли валидная верстка в продвижении сайта
В теории да, но на практике оказывается, что в топе висит множество сайтов с ошибками валидации, да и сайты с ошибками двигаются в общем неплохо. Проблемы с продвижением могут быть только если ваш сайт некорректно отображается на каком-то типе устройств или в каком-то браузере. Если же он выглядит отлично, но ошибки в валидации есть — на продвижение это не окажет никакого влияния.
Некоторые вебмастера целенаправленно исследовали этот вопрос, пытаясь выяснить, зависят ли результаты ранжирования от результатов валидации. Вебмастер Марк Даост отметил, что валидность кода не принципиальна. А Шаун Андерсон, напротив, пришел к выводу, что валидность как бальзам на душу сайту в плане позиций выдачи.
Еще один специалист, Майк Дэвидсон, также провел подобный эксперимент и пришел к выводу, что Google классифицирует страницы по качеству их написания. Например, незакрытый тег может привести к восприятию части контента как значение этого тега.
Этот вебмастер сделал очень важный вывод:
Зачем нужен валидный код
Валидный код позволяет правильно отображать страницы в браузерах (и стили для сайта CSS могут быть отображены неверно).
Причем вполне возможна ситуация, когда в одном браузере ваш сайт отображается так, как вы его настроили, а в другом — совершенно иначе. Изображение может быть перекошено, а контент может стать совершенно нечитабельным.
В итоге вы теряете трафик из этого браузера. К тому же, поведенческий фактор, являющийся одним из трёх самых важных факторов в SEO, значительно влияет на результаты выдачи.
Представьте, что на ваш сайт заходят посетители и тут же его закрывают из-за невозможности воспринять информацию — спасибо ошибкам в коде. Или они вообще возвращаются обратно в поисковик, потому что решение не найдено. Это всё сослужит плохую службу, ибо в итоге поведенческий фактор изменит позиции сайта в худшую сторону.
Как проверить сайт на валидность
Здесь перед Вами три варианта валидации:
Сервис указывает не только на ошибки html кода и их расположение, но и даёт советы по исправлению. Если код уже имеется в Сети, то можно произвести валидацию путём введения её URL-адреса в форму «Validate by URL» и нажатия кнопки Check. Валидатор HTML включит считывание кода и сообщит об итогах.
В этом видео наглядно объяснён процесс проверки с помощью валидатора:
Проверка локальных файлов
По этому же адресу http://validator.w3.org можно проверить код, выбрав вкладку «Validate by File Upload» и загрузив документ с прописанным код.
Выбираем путь к необходимому файлу и жмём Check. Далее всё происходит аналогично.
Использование формы для ввода кода
Иногда удобней вставить сразу код страницы и проверить его онлайн: выбираем вкладку «Validate by Direct Input» и отправляем весь код на сервер.
Проверка валидности кода CSS может быть пройдена также онлайн валидатором: https://jigsaw.w3.org/css-validator/
Здесь все на русском языке, для многих это действительно приятный сюрприз.
Снова можно выбрать — указать URL, загрузить свой файл или вставить код.
Осуществляется проверка сайта на ошибки, как и в случае с HTML, и — получаем ответ от сервера. Настроек проверки не имеется, однако можно изучить предлагаемый сгенерированный валидный код, расположенный после списка недостатков кода.
Изучаем полученный код и приводим исходный к нужному виду.
Расширения для браузеров
Для браузеров существуют всевозможные расширения для проверки валидации. Для Google Chrome есть проверяющий валидность кода плагин HTML Tidy Browser Extension, для Opera — расширение Validator, для Safari — Zappatic, для Firefor — HTML Validator.
Остановимся на последнем более детально. Он осуществляет ту же проверку, что и validator, только оффлайн. Взять его можно здесь http://users.skynet.be/mgueury/mozilla/
Подробное видео об установке HTML Validator и его использовании:
При загрузке любого URL расширение автоматически включается и считывает код. Результат виден в правом верхнем углу.
Выглядит результат как небольшая картинка с итогом валидации:
Щёлкнув по результату, можно открыть:
— исходный код;
— ошибки — в левом нижнем блоке (или сообщение о валидности);
— подсказки по исправлению ошибок — в правом нижнем.
Как исправить наиболее частые ошибки
Каким бы способом ни была проведена проверка кода, ошибки выходят списком. Также обязательно указана строка с недочётом.
В расширении для Firefox при нажатии на название ошибки в открытом окошке расширения вас автоматически перебрасывает на строку с невалидным кодом.
К этим же ошибкам указаны подсказки по их исправлению.
Приведу пару примеров.
1. No space between attributes.
…rel=»shortcut icon» href=»http://arbero.ru/favicon.ico» type=»image/x-icon»
Здесь исправления убираем «точку с запятой».
2. End tag for element «div» which is not open
Закрывающий тег div лишний. Убираем его.
Хотя, если честно, я бы не тратил много усилий на ошибки в коде. Лучше просто позаботьтесь о том, чтобы сайт корректно выглядел на всех устройствах и браузерах.
Анализ утёкших паролей Gmail, Yandex и Mail.Ru
Совсем недавно в публичный доступ попали базы паролей популярных почтовых сервисов [1,2,3] и сегодня мы их проанализируем и ответим на ряд вопросов о качестве паролей и возможном источнике (или источниках). Так же мы обсудим метрики качества отдельных паролей и всей выборки.
Не менее интересными являются некоторые аномалии и закономерности баз паролей, возможно, они смогут пролить свет на то, что могло служить источником данных и насколько данная выборка является опасной с точки зрения обычного пользователя.
Формально, мы рассмотрим следующие вопросы: насколько надежными являются пароли в базе и могли ли они быть собраны словарной атакой? Есть ли признаки фишинговых атак? Могла ли «утечка» данных быть единственным источником данных? Могла ли данная база быть аккумулирована в течение длительного периода или данные исключительно «свежие»?
Описание данных
Данные из всех трех баз представляют собой набор пар адрес-пароль, разделенные двоеточием. Никаких других «мета-данных» недоступно. Однако данные достаточно зашумленные т.е. в них присутствуют строки не являющимися ни адресами почты, ни допустимыми паролями.
Если мы исследуем особенности данных, то сможем выдвинуть (или опровергнуть) гипотезу о том, в результате какого процесса пароли могли быть получены.
Невалидные пароли и не-пароли
Самые простой критерий невалидности пароля — несоответствие длины пароля требованиям почтовых сервисов.
Полученные данные говорят, что пароли из выборки не могли быть получены в результате «внутренней» утечки, так как несколько тысяч паролей не являются валидными паролями в принципе из-за ограничений на длину пароля в шесть символов (а для современных паролей gmail в восемь символов).
Рассмотрим эти аномально длинные (более 60) и короткие пароли (менее 6) в деталях.
Примеры
Длинные пароли представляют собой куски HTML-кода, один из репрезентативных примеров:
Подобные примеры указывают, что одним из источников паролей мог быть фишинг. Запись в базе явно не была проверена человеком и получена автоматически, на фишинг так же указывает тот факт, что в пароле присутствует html-разметка, что довольно нетипично для кражи пароля через заражение.
Краткая выборка слишком коротких паролей:
Еще один индикатор того, что одним из источников мог быть фишинг — отсутствие логина и пароля в записях. Особенно интересно выглядит апостроф без указания пароля. Возможно, потенциальная жертва догадалась о фишинговой форме и попыталась проверить наличие SQL инъекции.
Что можно однозначно утверждать по проверенным данным? Автоматической валидации базы не происходило. Наиболее вероятные гипотезы: фишинг и заражение вирусом.
Для того, чтобы оценить качество всей выборки, мы удалим из неё заведомо неверные пароли длины меньше 6 и больше 60 и рассмотрим всё распределение в целом по нескольким параметрам.
Распределение длины паролей
Как видно из графика ниже, большая часть паролей имеет длину в 8 или менее символов. Что может указывать на то, что существенный пласт паролей потенциально неустойчив к различному виду атак переборных атак.
Распределение надёжности паролей
Тогда распределение надёжности имеет вид:
Как видно из графика большинство паролей попадают в категорию не-надежные. В качестве примера рассмотрим пароли нулевой надёжности, так как скорее всего это ещё один репрезентативный пример невалидных паролей.
Пароли нулевой надёжности
Как видно из примеров выше, данные пароли не являются валидными (и с точки зрения человека выглядят скорее ошибкой ввода, чем действительным паролем), так как почтовые сервисы не дают зарегистрировать ящик, если считают пароль слишком простым, например, повторением одного и того же символа шесть раз. А значит, что возможно ещё больший пласт паролей не является валидным согласно современным требованиям.
Возможно, что существенная часть базы собрана в течение длительного периода времени, когда требования к паролям были мягче? Иначе довольно сложно объяснить столь большую группу паролей, не соответствующих требованиям современных почтовых систем.
Словарная атака
В качестве дополнительного аргумента проведем следующий эксперимент: возьмём выборку релевантных словарей паролей из общего доступа, проведем атаку на доступные пароли по этим словарям и оценим какой процент паролей содержится в этой выборке словарей (автор буквально не уходил дальше первых трёх ссылок гугла по запросу [password dictionary]).
Из таблицы выше видно, что существенная доля паролей содержится в словарях, что так же указывает на то, что часть паролей могла быть получена в результате словарной атаки (или какой-то модификации перебора).
Топ паролей
Приведем подборку наиболее популярных паролей и заметим, что большая часть сейчас не является допустимыми паролями.
Выборка Gmail
Действия и данные, описанные и полученные в данной и следующей части, были произведены и переданы другом моего друга, пожелавшего остаться неизвестным.
Задача: проверить валидность (т.е. что пароль действительно подходит) паролей. Действие: по небольшой выборке из
150-200 попробовать получить доступ к ящикам. Из всей выборки в принципе валидными являются
2-3% (через несколько часов появления данных в открытом доступе), и фактически все являются деактивированными на момент проверки. Реально действующими являлись менее 1% ящиков и те заброшены владельцами по крайней мере в течение года.
Выборка Rambler
Несложно обнаружить в сети списки «действительно валидных» адресов, составленных широким кругом заинтересованных лиц (ака кулхацкеры).
Что интересно, среди них довольно большой процент адресов рамблера.
Rambler был предупрежден за несколько дней до публикации и был получен ответ, что необходимые меры безопасности будут приняты в ближайшее время.
Что интересно, процент валидных паролей существенно выше и до последнего времени rambler был вне медийного поля событий и не активизировал дополнительных систем безопасности.
Это позволило неизвестному антропологу утечки оценить последние моменты жизни почтовых ящиков. Несмотря на валидность паролей, все ящики являлись заброшенными в течение долгого времени (
1-1.5 года) и заканчивались одним из подобных писем:
Что является еще одним подтверждением гипотезы о фишинге и кумулятивной природе базы.
Анализ открытых источников
Вернемся к рассмотрению открытых источников. Активный поиск по паролям-логинам, привел нас к ряду раздач с геймерских форумов:
Оказывается, что часть списка уже в какой-то форме гуляла по сети.
Таким образом данные позволяют отвергнуть гипотезу о единственном источнике данных таком как «внутренняя утечка».
Основная часть используемого кода:
Заключение
Таким образом наиболее вероятной выглядит гипотеза, что данная выборка — компиляция различных источников (фишинг, заражение, словарно-переборные атаки, собрание популярных подборок) в течение длительного периода времени. Достаточная часть данных в принципе не является валидными паролями по формальным синтаксическим критериям, что также подтвердила экспериментальная проверка.
С точки зрения пользователя данное событие не несет существенной опасности и скорее выглядит попыткой создания инфоповода.
UPD. Еще одним свидетельством того, что слитые данные — компиляция различный источников является наличие подборки gmail аккаунтов с «+» фичей в базе, когда адрес имеет вид имя+домен\слово at gmail.com (за напоминание про эту фичу спасибо geka)
Топ-10 доменов из выборки (весь список тут)
176 xtube
132 daz
88 filedropper
66 daz3d
64 eharmony
63 friendster
62 savage
57 spam
54 bioware
52 savage2
…
11 paygr
11 comicbookdb
…
Про paygr: пользователь gkond писал, что
Нашел свой е-мейл в дампе. Пароль, которой рядом с ним указан автоматически сгенерировал мне сервис paygr.com, в далеком мае 2011 года.
при этом «paygr» встречается 11 раз в списке «+» gmail. Возможно их база также была скомпрометирована.