Вес слова в документе
Существует несколько методов определения веса слов:
- Статистический подход. Основан на статистике появления слова(или основы слова) в тексте.
- Место появление слова. В зависимости от того где встретилось слово – в заголовке, в начале текста и т.д. определяется его вес.
- Оформление слова. Используются данные о выделении слов шрифтом или положением или другим доступным в формате документа способом.
Как правило, используется некоторый комбинированный вес на основании всех перечисленных признаков.
Наиболее используемые методы статистического взвешивания слов в документе:
- Количество появлений слова в данном документе – простейшая характеристика соответствия слова документу. Но больший вес получат слова в более длинных документах.
- Частота появления слова в документе (TF). Количество появлений нормализуется по суммарному количеству слов в документе. Но длинные документы начинают недооцениваться, так как в них средняя частота получается ниже, так как больше различных слов. Поэтому часто используют дополнительно нормализованную величину 0.5+0.5*(TF/ATF), где ATF – средняя частота терма в документе
- Логарифм частоты вхождения слова. Вес определяется как 1 + log(TF) или же, нормализованный для документов различной длины (1+log(TF))/(1+log(MTF)), где MTF -максимальная частота слова в документе.
Экспериментально доказано, что учет веса документа на основании статистических характеристик улучшает качество поиска
Необходимо заметить, что при составлении данной статистике из текста исключаются шумовые или стоп-слова, которые не несут смысловой нагрузки – предлоги, союзы и др. Для поисковых систем по данным конкретного формата будут свои стоп-слова, например теги HTML разметки, которые отвечают только за оформление слов и их положение на экране. Для английского языка широко известен список стоп-слов поисковой машины Smart. Также можно составлять список шумовых слов динамически или на основании предобработки массива документов.
Помимо этого, часто в процессе работы выделяются слова, которые встречаются в тексте неестественно часто. В таком случае это или шумовое слово или, так называемый, рекламный спам. В таком случае вес этого слова остается на уровне максимально возможного или же приравнивается нулю.