Что такое n грамма в seo

Анализ N-грамм в Excel

Как составить частотный словарь в Excel?

Для поисковой рекламы и SEO анализ n-грамм — один из самых эффективных методов. Однако долгое время n-gram анализ оставался в силу сложности реализации алгоритма доступен только крупным агентствам с программистами в штате, или продвинутым специалистам со знанием программирования.

Во всех кейсах создается отдельный лист с результатами подсчета, исходные данные никак не изменяются.

Простой анализ n-gram (анализ встречаемости)

Данный подход самый простой — берется N-грамма и для нее анализируется ее встречаемость в тексте.

Анализ частотности слов, или как посчитать в тексте уникальные слова и вывести списком с их встречаемостью

Как посчитать, сколько раз встречается слово в Excel-таблице? Если мы ищем лишь одно слово, может помочь формула СЧЁТЕСЛИ. Формула ниже посчитает количество строк, в которых встречается последовательность символов «слова» вне зависимости от их регистра.

Символ звездочки определяет, что перед и после указанной последовательности символов могут быть любые другие или их отсутствие. В связи с этим могут быть учтены строки со словами «словарь», «словарный» и т.д. Чтобы найти слова по точному совпадению, нужно добавить символ пробела в начало и конец всех ячеек столбца, и воспользоваться подсчетом с учетом пробелов:

Но и это решение не убережет нас от ситуаций, когда слово повторяется в строке 2 и более раз, если мы хотим посчитать все повторения. Т.к. формула считает именно строки.

Выделяем текст, выбираем слова, готово. Текст может быть как 5 строк, так и миллион строк — процедура займет секунды. Главное, чтобы уникальных слов в тексте было не больше 1048575 — иначе их не получится вывести на лист. Но такая ситуация — редкость.

Можно обратить внимание, что разные словоформы рассматриваются как отдельные слова, поэтому, если нужно проанализировать встречаемость без учета словоформ, текст нужно предварительно лемматизировать. Тогда вы составите не просто частотный словарь слов, а частотный словарь лемм.

Анализ встречаемости биграмм (2-gram)

Аналогично предыдущему, но берутся биграммы — последовательности из двух слов. Как посчитать в данном случае триграммы и т.д., кажется, уже понятно.

Анализ n-gram с частотностью

Когда текст состоит из фраз, и для каждой фразы известна определенная метрика (в поисковой рекламе это частотность), чтобы более достоверно измерить вес каждой словоформы или леммы, требуется производить анализ уже с учетом этой метрики.

N-gram анализ по нескольким метрикам

Данный подход будет полезен PPC-специалистам для аналитики расчетных метрик, таких как CTR, CPC, CPA, CR, AOV, ROAS и тому подобные. Поскольку для их расчета используются несколько метрик, можно произвести n-gram анализ этих метрик и посчитать расчетные показатели в разрезе n-грамм.

Ранжируем отдельные слова по метрикам эффективности.

Такая аналитика может дать много полезных инсайтов. Выявить высококонверсионные связки слов для последующего интенсивного биддинга на них, например. Или, наоборот, выявления низкоконверсионных связок для исключения их из рекламы, в то время как слова, из которых они составлены, в среднем по больнице не выделялись низкой конверсией.

Измеряем расчетные метрики эффективности словосочетаний по набору абсолютных метрик и их значений

Заключение

Примеры, приведенные выше, позволяют производить анализ не только поисковых запросов или ключевых слов, но и любого текста, который будет дан на вход, вне зависимости от его длины. Нужно только удалить лишние пробелы, перевести весь текст в нижний регистр и можно производить анализ.

Источник

Что такое N-граммы и с чем их едят?

Вы могли уже встречать термин N-грамма. Если вас пугало или вы хотели получше разобраться, что это, то этот пост для вас.

N-грамма — это просто последовательность из n элементов (звуков, слогов, слов или символов), идущих в каком-то тексте подряд. На практике чаще имеют в виду ряд слов (реже — символов). Последовательность из двух элементов называют биграмма, из трёх элементов — триграмма.

Например, вот N-граммы слов:

Вычислив частоту вхождения N-грамм в текстах корпуса, можно узнать кое-что о корпусе или отдельных текстах. Например, если сравнить тексты одного автора с текстами множества других, то можно выявить некоторые авторские “фишки”, обороты и идиомы, которые автор использует чаще всего. Причем он даже может делать это неосознанно.

Если исследовать большие языковые корпуса (например, Google Books или Википедию), то можно выявить закономерности более широкого плана. Например, устойчивые выражения в языке или даже некоторые общественные тренды, отражающиеся в частотностях N-грамм.

Частотности биграмм, состоящих из прилагательного «боевая» и любого существительного, в Google books в XX веке. Почти все «боевое» имеет общий всплеск частотности в первой половине 1940-х (годы ВОВ), а, например, «боевая организация» появляется и спадает раньше, в 1910-е – 1920-е. И это закономерно: «боевая организация» — революционная биграмма. Были боевые организации эсеров, большевиков и прочих революционных партий.

N-граммы часто используются в следующих задачах:

Интересное применение N-грамм демонстрирует Google в своем инструменте Google Ngram Viewer. Оцифровав коллекцию книг (Google Books), Google выдал нам инструмент для визуализации изменений в текстах с учетом времени. Здесь можно увидеть, как в книгах отражались важные мировые события, пики популярности исторических личностей (см. наше исследование про Ленина и Сталина) и художественных персонажей.

Источник

СОДЕРЖАНИЕ

Приложения

Примеры

На рисунке 1 показаны несколько примеров последовательностей и соответствующие последовательности 1, 2 и 3 грамма.

Приложения и соображения

Практики, которым больше интересны термины, состоящие из нескольких слов, могут предварительно обработать строки, чтобы удалить пробелы. Многие просто сжимают пробелы до одного пробела, сохраняя при этом знаки абзаца, потому что пробелы часто являются либо элементом стиля письма, либо вводят макет или представление, не требуемые методологией прогнозирования и вывода. Пунктуация также обычно сокращается или удаляется предварительной обработкой и часто используется для запуска функциональности.

Также используются ручные функции различного рода, например, переменные, которые представляют положение слова в предложении или общую тему дискурса. Кроме того, часто используются функции, основанные на структуре потенциального результата, такие как синтаксические соображения. Такие особенности также используются как часть функции правдоподобия, которая использует наблюдаемые данные. Традиционная лингвистическая теория может быть включена в эти функции (хотя на практике редко используются особенности, характерные для генеративных или других конкретных теорий грамматики, поскольку компьютерные лингвисты склонны быть «агностиками» по отношению к отдельным теориям грамматики).

Слова вне словарного запаса

Другие приложения

Компромисс между смещением и дисперсией

Техники сглаживания

Скип-грамм

Например, во вводимом тексте:

дождь в Испании падает в основном на равнину

набор 1-скип-2-грамм включает все биграммы (2-граммы), а также подпоследовательности

Источник

Улучшение внутренней оптимизации с помощью конкурентов

Анализ конкурентов — важный этап при продвижении сайтов. В этой статье я покажу, какую полезную информацию можно извлечь у конкурентов для улучшения внутренней оптимизации своего сайта.

В интернете достаточно много написано об анализе сайтов конкурентов и на нашем блоге в этом году уже была подобная статья. Однако это была переводная статья, в которой своим опытом делился зарубежный специалист. Сегодня я хочу поделиться с вами своими наработками на эту тему.

Семантическое ядро

Чтобы успешно развиваться и увеличивать видимость сайта в современных реалиях, необходимо постоянно расширять семантическое ядро. Одним из лучших способов расширения является сбор ключевых слов конкурентов.

Сегодня получить семантику конкурентов не составляет труда, т.к. существует множество сервисов, как платных, так и бесплатных.

— megaindex.ru — инструмент «Видимость сайта»

— xtool.ru — всем известный сервис, который также показывает ключевые слова, по которым сайт ранжируется

— spywords.ru — подходит для Яндекс и Google

— semrush.ru — ориентирован только под Google

— prodvigator.ua — украинский аналог spywords.ru

В дополнение к сервисам можно использовать и ручной метод, основанный на разбиении title и description на n-граммы, вследствие чего на выходе получается дополнительный список фраз.

N-грамма — последовательность из n элементов. На практике чаще встречается N-грамма как ряд слов. Последовательность из двух последовательных элементов часто называют биграмма, последовательность из трех элементов называется триграмма. Не менее четырех и выше элементов обозначаются как N-грамма, N заменяется на количество последовательных элементов.

Рассмотрим данную методику по шагам:

— Выгружаем title (description) конкурентов. Можно сделать с помощью программы Screaming Frog SEO.

— В текстовом редакторе чистим получившийся список от служебных частей речи, знаков препинания и прочего мусора. Я использую в текстовом редакторе sublime text функцию «поиск и замена» (горячая клавиша ctrl+H), применяя регулярные выражения:

— Выбираем нужную n-грамму и ставим частоту не менее одного. Самый оптимальный вариант — это триграммы и 4-граммы:

— Получаем следующий результат:

Столбец count показывает количество повторений n-грамм, столбец frequency —частоту n-граммы.

После того как мы получили список фраз, нужно его проанализировать и выбрать подходящие ключевые слова для расширения семантического ядра. Подробнее о семантическом ядре можно узнать в соответствующем разделе нашего блога.

Группировка запросов

Очень важно понимать, как группируется семантическое ядро у конкурентов, т.к. это помогает правильно распределить ключевые фразы на страницах сайта.

Для этого после того как мы сформировали полный список запросов, нам необходимо получить релевантные страницы и позиции конкурентов (можно с помощью сервиса seolib.ru), а потом сравнить со своей группировкой. Если видно, что конкурент занимает хорошие позиции и при этом его группировка отличается от нашей (например, у конкурента запросы распределены на разные страницы, а у нас такие же запросы сидят на одной), нужно обратить на это внимание и пересмотреть посадочные страницы на своем сайте.

Рассмотрим небольшой пример сравнения группировки условного сайта и его конкурента.

Как видно из таблицы, на сайте site.ru выбрана одна посадочная страница для всех ключевых слов. У конкурента по этим же запросам ранжируются разные страницы и занимают ТОПовые или близкие к ТОПу позиции. Исходя из этого, можно сделать вывод, что группировку на site.ru необходимо пересматривать, в частности необходимо создать отдельную страницу для ключевых фраз со словом «фасад».

Качество текстов

Первое и самое важное, на что следует обращать внимание при анализе текстов конкурентов, это не на количественную составляющую (количество вхождений, объем текста и т.д.), а на качественную или смысловую — насколько полезная информация, что предлагает конкурент и как он это делает.

Рассмотрим несколько примеров.

Допустим, вы занимаетесь доставкой цветов и на главной странице в тексте вы гарантируете их свежесть. Например, так:

Служба доставки цветов site.ru гарантирует сохранность букетов даже в холодное время года.

А вот пример у одного из конкурентов:

Заказывать ароматные композиции выгодно именно у нас, потому что мы гарантируем 100%‑ый возврат денег, если свежесть цветов вызывает сомнение.

У конкурента гарантия подкреплена деньгами, что более существенно, чем абстрактная гарантия.

Рассмотрим еще один пример — текст на странице категории «керамическая плитка» интернет-магазина:

Этот текст не несет никакой полезной смысловой нагрузки, сплошная вода. Скорее всего, человек, который пришел на сайт и принимает решение о покупке, хочет узнать преимущества товара и возможные комплектации, вместо этого он получает бессмысленный набор символов.

Теперь посмотрим на текст у конкурента:

Данный текст более полезен, т.к. лаконично сообщает о различиях плитки и помогает понять, как ее правильно выбрать.

Таким образом, сравнивая тексты конкурентов со своими, вы можете получить много полезной информации, которая поможет при составлении ТЗ копирайтерам.

Релевантность текстов

Продолжая тему качества текстов, нельзя не коснуться их релевантности. Сегодня для того чтобы текст был релевантным, недостаточно только вхождения ключевых слов. Чтобы увеличить релевантность страницы и при этом не сделать текст спамным, нужно использовать слова, связанные с тематикой.

При оценке релевантности текста запросу поисковая система анализирует не только наличие ключевых слов, но и дополнительные слова, определяя таким образом смысл текста. Например, если мы пишем текст про слона, то связанными словами можно считать: «хобот», «бивни», «природа», «зоопарк». Если текст про шахматную фигуру «слон», то такими словами будут: «фигура», «шах», «ферзь» и т.д.

Получить наиболее подходящий список слов под ваши запросы можно в текстах конкурентов. Для этого нужно проделать следующие шаги:

— Копируем все тексты из ТОП-10 по нужному ВЧ запросу в разные текстовые файлы.

— Из текстов удаляем служебные части речи, знаки пунктуации и цифры (рассматривали ранее).

— Выстраиваем слова в строку — используем функцию «поиск и замена» с регулярными выражениями. Заменяем пробел на \n.

— Далее необходимо привести все словоформы к нормальной словарной форме (леме). Для этого можно воспользоваться сервисом https://tools.k50project.ru/lemma/. В поле надо внести список слов из каждого файла по отдельности и нажать кнопку «лемметизировать и вывести в виде csv‑таблицы». В итоге должно получиться 10 файлов с лемметизированными словами.

— В каждом файле удаляем дубликаты слов.

— Объединяем слова из файлов в один список.

— Теперь нужно создать частотный словарь. Для этого полученный список добавляем в сервис https://tools.k50project.ru/lemma/ и нажимаем «построить частотный словарь в виде CSV».

— Наш список слов готов:

Если частота 10, значит, данное слово использовалось на всех 10-ти сайтах, если 8, то только у 8‑ми и т.д. Рекомендуем использовать наиболее частотные слова, однако и среди редко встречающихся слов можно найти интересные решения.

Вот таким простым способом вы можете получить список тематических слов для составления ТЗ копирайтерам.

Как видно, конкуренты являются очень важным источником информации, которая может помочь лучше оптимизировать ваши сайты. В данной статье я охватил далеко не все аспекты, и в будущем буду продолжать писать о том, что полезного и как можно извлечь у ваших конкурентов.

Источник

Лемматизатор текста

Сервис поможет быстро лемматизировать текст (привести к именительному падежу единственному числу) и собрать N-граммы. По результатам анализа вы сможете определить количество используемых слов на странице и уменьшить риск наложения фильтров от поисковых систем.

по промокоду IKSWEB

Описание сервиса

Лемматизация полезна при анализе текстовой релевантности, для унификации ключевых слов, определения уникальности мета-тегов и заголовков не только по формальному сходству, но и семантике и т.д.

Инструмент умеет определять рядом стоящие биграммы и выделить повторение слов в тексте. При частом использование запроса на странице вы рискуете попасть под санкции Яндекса и Google. Если это произойдёт, то позиции страницы/сайта будут снижены (могут быть удалены из поиска).

N-грамма — последовательность из N элементов. С семантической точки зрения, это может быть последовательность звуков, слогов, слов или букв. На практике чаще встречается N-грамма как ряд слов, устойчивые словосочетания называют коллокацией. Последовательность из двух последовательных элементов часто называют биграмма, последовательность из трёх элементов называется триграмма.

Вы можете бесплатно воспользоваться инструментов Лемматизатор текста и проверить текст вашего сайта на переспам.

Источник