В любой системе всегда есть что улучшать. Зачастую это вопрос "красоты", но иногда — совершенная необходимость. В этой статье я покажу, как сделать в Joomla! 1.5 нормальный поиск с поддержкой морфологии русского языка.
Поисковые системы я разрабатываю не первый год. Даже не второй и не третий :) Поэтому имею собственное представление о правильном поиске — это создание полноценных индексов на основе документов со словами, приведёнными к канонической форме (для существительных — именительный падеж, единственное число). То есть отдельное храненое ПОДов (поисковых образов документов). Плюс к этому словари тематик для автоопределения смысла документов и измерения расстояний между кластерами тематик… Всё даже сложнее, но пока вернёмся к поиску в рассматриваемой CMS.
Поиск в Joomla! — компромисс между простотой реализации, возможностью искать в контенте сторонних компонентов и скоростью. Для любознательных скажу, что ведётся он методом прямого перебора текстовых полей через LIKE. Без индекса. Это хорошо, когда данных мало, а памяти (и кэша процессора в частности) — много, однако для больших объёмов нужен, конечно, совсем другой подход. Но сегодня мы рассмотрим другую проблему — поиск с помощью SQL-запроса с LIKE-условием плохо работает для языков с обилием словоформ, русского в частности.
Существует два распространённых решения проблемы учёта русской морфологии при реализации поиска:
Первый способ не получится прикрутить к Joomla! в силу особенностей реализации поиска в ней, отмеченных выше: отсутствие отдельных поисковых индексов. Поэтому наш выбор падает на стемминг.
Воспользуемся широко распространённым стеммером Портера для русского языка. Так как в Joomla! 1.5 текстовые данные хранятся в UTF-8, в коде стеммера придётся заменить вызовы некоторых стандартных функций работы со строками на методы класса JString, применяемого в Joomla! для абстракции от того, как реализована поддержка UTF-8 в php на сервере. После внесения изменений, получаем такой код:
<?php class Lingua_Stem_Ru { var $VERSION = "0.02"; var $Stem_Caching = 0; var $Stem_Cache = array(); var $VOWEL = '/аеиоуыэюя/'; var $PERFECTIVEGROUND = '/((ив|ивши|ившись|ыв|ывши|ывшись)|((?<=[ая])(в|вши|вшись)))$/'; var $REFLEXIVE = '/(с[яь])$/'; var $ADJECTIVE = '/(ее|ие|ые|ое|ими|ыми|ей|ий|ый|ой|ем|им|ым|ом|его|ого|еых|ую|юю|ая|яя|ою|ею)$/'; var $PARTICIPLE = '/((ивш|ывш|ующ)|((?<=[ая])(ем|нн|вш|ющ|щ)))$/'; var $VERB = '/((ила|ыла|ена|ейте|уйте|ите|или|ыли|ей|уй|ил|ыл|им|ым|ены|ить|ыть|ишь|ую|ю)|((?<=[ая])(ла|на|ете|йте|ли|й|л|ем|н|ло|но|ет|ют|ны|ть|ешь|нно)))$/'; var $NOUN = '/(а|ев|ов|ие|ье|е|иями|ями|ами|еи|ии|и|ией|ей|ой|ий|й|и|ы|ь|ию|ью|ю|ия|ья|я)$/'; var $RVRE = '/^(.*?[аеиоуыэюя])(.*)$/'; var $DERIVATIONAL = '/[^аеиоуыэюя][аеиоуыэюя]+[^аеиоуыэюя]+[аеиоуыэюя].*(?<=о)сть?$/'; function s(&$s, $re, $to) { $orig = $s; $s = preg_replace($re, $to, $s); return $orig !== $s; } function m($s, $re) { return preg_match($re, $s); } function stem_word($word) { $word = JString::strtolower($word); $word = str_replace("ё","е",$word); # Check against cache of stemmed words if ($this->Stem_Caching && isset($this->Stem_Cache[$word])) { return $this->Stem_Cache[$word]; } $stem = $word; do { if (!preg_match($this->RVRE, $word, $p)) break; $start = $p[1]; $RV = $p[2]; if (!$RV) break; # Step 1 if (!$this->s($RV, $this->PERFECTIVEGROUND, '')) { $this->s($RV, $this->REFLEXIVE, ''); if ($this->s($RV, $this->ADJECTIVE, '')) { $this->s($RV, $this->PARTICIPLE, ''); } else { if (!$this->s($RV, $this->VERB, '')) $this->s($RV, $this->NOUN, ''); } } # Step 2 $this->s($RV, '/и$/', ''); # Step 3 if ($this->m($RV, $this->DERIVATIONAL)) $this->s($RV, '/ость?$/', ''); # Step 4 if (!$this->s($RV, '/ь$/', '')) { $this->s($RV, '/ейше?/', ''); $this->s($RV, '/нн$/', 'н'); } $stem = $start.$RV; } while(false); if ($this->Stem_Caching) $this->Stem_Cache[$word] = $stem; return $stem; } function stem_caching($parm_ref) { $caching_level = @$parm_ref['-level']; if ($caching_level) { if (!$this->m($caching_level, '/^[012]$/')) { die(__CLASS__ . "::stem_caching() - Legal values are '0','1' or '2'. '$caching_level' is not a legal value"); } $this->Stem_Caching = $caching_level; } return $this->Stem_Caching; } function clear_stem_cache() { $this->Stem_Cache = array(); } } ?>
Создаём директорию helpers
в components/com_search
. Сохраняем в неё файл с указанным выше содержимым под именем rus_stemmer.php
Теперь нужно сделать так, чтобы от слов поискового запроса отбрасывались окончания словоформ перед тем, как будет сформирован запрос к базе данных. Другими словами, нужно вставить вызов стеммера в код компонента Joomla!
Открываем файл components/com_search/models/search.php
, находим реализацию метода setSearch()
класса SearchModelSearch
. Изменяем код метода на следующий:
function setSearch($keyword, $match = 'all', $ordering = 'newest') { if(isset($keyword)) { /* Наши изменения *******************************************/ // Указываем, где лежит код стеммера require_once(JPATH_COMPONENT.DS.'helpers'.DS.'rus_stemmer.php' ); // Создаём экземплярчик класса стеммера $stemmer = new Lingua_Stem_Ru(); // Разбиваем запрос на отдельные слова $words = explode(' ',$keyword); // (!) &$word - к каждому элементу массива обращаемся по указателю, иначе будет изменяться лишь *копия* элемента массива foreach ($words as &$word) { // Отсекаем окончание словоформы $word = $stemmer->stem_word($word); } // Указатель нам больше не нужен - подчищаем за собой unset($word); // Склеиваем обрезанные слова в поисковый запрос $newKeyword = implode(' ',$words); // Для поиска устанавливаем получившийся запрос $this->setState('keyword', $newKeyword); // Для отображения в поле ввода оставляем немодифицированный запрос $this->setState('original_keyword',$keyword); /* /Наши изменения *******************************************/ } if(isset($match)) { $this->setState('match', $match); } if(isset($ordering)) { $this->setState('ordering', $ordering); } }
Конечно, правильнее было бы не патчить ключевой компонент системы, а оформить подключение стеммера в качестве плагина. Но для этого необходимо наличие события вроде onSearchKeywordsPrepare и возможности модифицировать запрос в плагине. Этого пока нет, так что приходится патчить :(
Осталось сделать так, чтобы по завершении поиска пользователю показывался исходный запрос. Не просто же так мы храним его в переменной original_keyword
! Для этого в файле components/com_search/views/search/view.html.php
в самом конце заменяем одну строчку:
$this->assign('ordering', $state->get('ordering')); // Наша строчка ********************************************************* $this->assign('searchword', $state->get('original_keyword')); // /Наша строчка ********************************************************* $this->assign('searchphrase', $state->get('match')); $this->assign('searchareas', $areas); $this->assign('total', $total); $this->assign('error', $error); $this->assign('action', $uri->toString()); parent::display($tpl); } }
Всё, наслаждаемся правильным поиском с учётом русской морфологии. Теперь важно не забывать патчить файлы после установки очередной сборки Joomla!