Просто про веб технологии » Development

ZendFramework Day 12 ноября 2011

Yaroslav Vorozhko — Thu, 13 Oct 2011 12:58:03 +0000

12 ноября, в Киеве, пройдет конференция “Zend Framework Day” – посвященная популярному PHP фреймворку Zend Framework. Среди докладчиков непосредственные разработчики компонент Zend Framework. Событие соберет лучших PHP и Zend Framework специалистов из Украины, России, Белоруссии и других стран СНГ.

С текущим списком тем и докладчиков можно ознакомиться на странице.

Событие будет интересно не только тем, кто использует Zend Framework, но и всем веб-разработчикам и PHP программистам в частности.

Место проведения — отель “Казацкий”, г. Киев, ул. Михайловская 1/3 (Площадь Независимости).

Со стоимостю участия и другой необходимой информацией вы можете ознакомиться на странице.

Для участия в конференции необходимо пройти регистрацию на странице, а затем произвести оплату из личного кабинета.

Сайт конференции – http://frameworksdays.com/event/zend-framework-day-2011
Наши новости в twitter – http://twitter.com/fwdays
Наша страница в facebook – http://facebook.com/fwdays

© Yaroslav Vorozhko for Просто про веб технологии, 2011. | Permalink | No comment | Add to del.icio.us
Post tags: Events, Zend Framework

Увеличиваем производительность Sphinx BuildExcerpts

Yaroslav Vorozhko — Sun, 07 Aug 2011 09:41:04 +0000

English version of this post.

Начиная с версии 2.0.1 в Sphinx появилась возможность параллельного построения поисковых сниппетов. Под параллельным построением имеется ввиду, что процесс обработки массива текста предназначенного для построения сниппетов будет распределен по нескольким CPU. Приведенная ниже реализация лучше всего подойдет системам в которых требуется генерировать сниппеты для сотен мегабайт текста.

Для распараллеливания процессов в Sphinx предусмотрена опция dist_threads, которая указывает searchd на сколько CPUs разбивать задачу. dist_threads используется как для обработки поисковых запросов в распределенных индексах, так и для обработки сниппетов, которые мы рассмотрим ниже.

Рассмотрим функцию SphinxAPI BuildExcerpt. По умолчанию функция BuildExcerpt в качестве первого параметра принимает массив текста для обработки,
но к сожалению такой вызов функции не использует параллельную обработку.

Но, начиная с версии 2.0.1, для BuildExcerpt был разработана новая опция load_files. load_files указывает Sphinx, что первый параметр функции BuildExcerpt должен содержать имена файлов, в которых должен находиться текст для обработки. Опция load_files совместно с опцией dist_threads позволяет Sphinx распаралеливать процесс построения сниппетов.

К сожалению у данной реализации есть узкое место - это необходимость использовать файловую систему. Так как, прежде чем генерировать сниппеты на основе файлов, надо эти файлы создать, а для жестких дисков это достаточно медленная операция. Поэтому, правильное решение, это создавать файлы в памяти, т.к. запись в память происходит в тысячи раз быстрее, чем на жесткий диск.

Для создания файлов в оперативной памяти в ядро Linux начиная с версии 2.4. включена файловой системой tmpfs, который мы и воспользуемся.

Файловая система

Для этого создадим директорию будущей системы и смонтируем ее.

PLAIN TEXT

CODE:

mkdir /space
mount -t tmpfs -o size=1G,nr_inodes=10k,mode=0700 tmpfs /space

В данном примере права на запись будут только у владельца директории /space, а максимальный размер файловой системы будет установлен в 1Gb.

Модифицируем BuildExcerpts

PLAIN TEXT

CODE:

function buildExcerptFile($documents, $options = array())
{
foreach($documents as $doc){
$file = "/space/".'snip_'.md5($doc).'_'.time();
file_put_contents($file, $doc);
$files[] = $file;
}
$client = new SphinxClient();
$client->setServer('localhost', 9312);
$res = $client->BuildExcerpts( $files, 'index', $keywords,
array(
'around'=>10,
'limit' => 300,
'load_files' => 1
)
);
foreach($files as $file){
unlink($file);
}
return $res;
}

Функция работает в три этапа:

Первый. Записываем все документы в файлы, причем имена файлов выбираются так, чтоб не получилось коллизий.
Второе. Вызываем функцию Sphinx BuildExcerpt, первым параметром передаем массив файлов вместо массива текста. А в третьем параметре указываем опцию load_files = 1
Третий. Удаляем созданные файлы для очистки памяти.

Sphinx.conf

В разделе searchd добавляем следующую строку:

PLAIN TEXT

CODE:

dist_threads = 2

dist_thread лучше делать равным количеству CPU в системе.

На моих тестовых данных, данная реализация работает в два раза быстрее «стандартного» вызова BuildExcerpts на системе с двумя CPU. Средний размер документа 1-3 Mb, количество документов для одной было равным 100, т.е. один вызов обрабатывал в среднем 200 Mb текста.

© Yaroslav Vorozhko for Просто про веб технологии, 2011. | Permalink | No comment | Add to del.icio.us
Post tags: Performance, Search excerpts, Sphinx Search

Мастер-класс по Sphinx

Yaroslav Vorozhko — Wed, 01 Jun 2011 08:28:48 +0000

В субботу, 18-го июня в Киеве пройдет мастер-класс СОЗДАТЕЛЯ движка полнотекстового поиска Sphinx Андрея Аксенова "Как готовить Sphinx".

Мастер-класс будет интересен разработчикам, руководителям и владельцам проектов, которые сталкиваются с проблемой поиска при высоких нагрузках.

Sphinx используют такие монстры, как CraigsList, DailyMotion, Meetup, HupPages, HabraHabr и еще десятки высоконагруженных сайтов. Андрей Аксенов выступал на многочисленных конференциях в России: "DevPoint 1-2", "РИТ", "DevConf 2011", "HighLoad ++". Организатор конференции пользователей Sphinx в Москве. Автор нашумевшего доклада “Как прекратить писать”.

Дополнительная информация и подробный план мастер-класса можно посмотреть на сайте http://www.smartme.com.ua/sphinx-workshop/

© Yaroslav Vorozhko for Просто про веб технологии, 2011. | Permalink | No comment | Add to del.icio.us
Post tags: Master-class, Sphinx Search

WordPress Sphinx Search plugin version 3.0

Yaroslav Vorozhko — Fri, 08 Apr 2011 07:40:20 +0000

Мы рады представить новую третью версию плагина поиска для WordPress.

Стоит отметить что мы разработали целый набор новых инструментов который поможет не только улучшить поиск, но так же и улучшить поисковую оптимизацию всего вебсайта.

Кратко о плагине:

поиск с помощью Sphinx Search;
поддержка Google like запросов;
виджеты релевантных, последних и ТОП поисковых запросов;
набор инструментов по управлению поисковыми фразами;
мастер автоматической установки Sphinx Search;
статистика поисковых фраз;
все компоненты используют Sphinx Search, количество SQL запросов сведено к минимуму.

Больше информации на официальной странице плагина.

Как увеличить производительность Sphinx Real Time индексов в 5-10 раз?

Yaroslav Vorozhko — Fri, 25 Mar 2011 14:05:05 +0000

На презентации доклада о Sphinx Real Time индексах на HighLoad++ я показал RT индексы не с лучшей стороны. По сути в докладе я показал, что RT индексы уступают обычным индексам минимум в 5 раз по производительности.

Соответсвенно обсуждение этой проблемы подтолкнуло меня провести эксперименты в поисках оптимальной настройки Sphinx для RT индексов. Задача была обойти или хотя бы достичь производительности обычных индексов.

Результаты и подробности исследования читайте на блоге компании Ivinco целиком посвященному Sphinx Search.

27го ноября, Киев. Совместная конференция ZFConf Ukraine & MageConf

Yaroslav Vorozhko — Tue, 09 Nov 2010 11:11:23 +0000

27го ноября в Киеве пройдет бесплатная, международная совместная конференция ZFConf Ukraine & MageConf.

Конференция пройдет 27 ноября, в Киеве
Титульный спонсор конференции – компания Magento
Место: КиевЭкспоПлаза, ул. Салютная 2б, 3 павильон
Время: 27 ноября 2010 г. (с 11:00 до 19:00)
Длительность: 1 полный день
Формат: доклады в три потока и обсуждения на флипчарте (в перерывах)
Язык докладов: русский
Стоимость участия: бесплатно
Потоки: Zend Framework, PHP, Magento.

Доклады и Докладчики:

1. Встречайте Zend Framework 2.0
Александр Веремьев / Zend Framework Core команда (Zend Technologies)

2. Эволюция ZF: архитектура, шаблоны, рефакторинг
Виктор Фараздаги / Component Maintainer и Contributor ZF 2.0 (4C)

3. Юнит тестирование в Zend Framework 2.0
Ростислав Михайлив / Chief Developer / Software Architect (Gadu-Gadu)

4. Хранение, обработка и отдача статики с использованием \Zend \File. Опыт социальной сети starlook.ru
Кирилл Мокевнин / Senior developer (undev)

5. Чуть сложнее чем Singleton: аннотации, IOC, АОП
Кирилл Чебунин / Senior PHP Developer (Альпари)

6. Doctrine 2
Валерий Рабиевский / Team leader (stfalcon.com)

Список еще будет обновляться, вы также можете подать заявку на доклад, если вам есть чем поделиться поделиться с общественностью.
Также были бы рады услышать ваши комментарии по текущим темам.

Следите за обновлениями на http://zfconf.org.ua

© Yaroslav Vorozhko for Просто про веб технологии, 2010. | Permalink | No comment | Add to del.icio.us
Post tags: Conference, kiev, MageConf, Magento, Zend Framework

Отчет о Sphinx Search User Conference 2010

Yaroslav Vorozhko — Sat, 30 Oct 2010 10:29:29 +0000

Занимаясь разработкой Sphinx Search приложений последние три года, я не смог упустить возможности посетить первую Sphinx Search User Conference.

Но, на конференцию я поехал не только как участник, а также как докладчик.
Тема моего выступления была "Sphinx Search Real Time индексы и их сравнение с обычными индексами".

Конференция была организована в одном из корпусов МГУ(Московского Государственного Университета),
участники заняли места за партами, а докладчики сменяли друг друга за лекторской трибуной.

Московской Государственный Университет

Открыл конференцию и провел первый доклад конечно же Андрей Аксенов.
Рассказав про общие понятия Sphinx Search, Андрей таким образом подготовил аудиторию к более сложным темам.

Андрей рассказывает про новый тип стрингов

Следом за Андреем выступил Слава Крюков с докладом о построении высокомасштабируемых систем на базе Sphinx Search.
Доклад Славы был очень глубоким и интересным, поэтому к нему было больше всего вопросов во время кофе-брейка.

Следующим интересным докладом, был доклад главного гостя конференции Пети Зайцева, который рассказал про применение Sphinx совместно с MySQL и без него.

Вторая часть конференции прошла под эгидой применения Sphinx Search в интернет магазинах.
И закрывал конференцию мой доклад о Real Time индексах Sphinx Search.

В конце конференции был проведен круглый стол с разработчиками Sphinx и докладчиками.
Было много интересных вопросов и пожеланий, Андрей провел несколько конкурсов где раздал много футболок с большим глазом на спине. :)

Круглый стол с разработчиками Sphinx и докладчиками

Конференцию считаю прошедшей удачно!
Спасибо Андрей!

Моя презентация Sphinx Search RT indexes

© Yaroslav Vorozhko for Просто про веб технологии, 2010. | Permalink | No comment | Add to del.icio.us
Post tags: Conference, Moscow, Real time, Sphinx Search

Скрипт миграции обычных индексов на real time индексы Sphinx Search

Yaroslav Vorozhko — Wed, 22 Sep 2010 13:59:48 +0000

Скрипт предназначен для заполнения и обнволения real time индексов. Скрипт выполняет похожую работу, которую делал sphinx indexer для обычных индексов.

Поэтому конфигурационный файл sources.ini практически повторяет конфигурацию блока source из sphinx.conf.

Возможности

Заполнять индекс данными
Дописывать в индекс новые данные
Обновлять в индексе существующие данные
Выполнять pre и post sql запросы
Поддерживает ranged запросы

Установка

Скачайте архив из launchpad.net

Распакуйте его в любую директорию вашего веб сервера.

Откройте sources.ini, в этом файле уже определен один раздел, используйте его как пример.

Определять можно столько разделов, сколько потребуется.

Каждый раздел описывает один источник данных для одного real time индекса.

Для поддержки добавления новых данных в индекс без перезаписи старых, необходимо использовать счетчик id для источника данных.

Вы должны будете выполнить следующие шаги:

Создать таблицу для счетчиков
Добавить счетчики в таблицу
Изменить sql_query для поддержки $start и $end
Изменить sql_query_range для выборки минимального и максимального id используя таблицу счетчик
Изменить sql_query_post_index для обновления таблицы счетчика

Подробнее про счетчик вы можете прочитать в документации к Sphinx Search

Теперь когда мы закончили с конфигурацией, можно начать заполнение индекса.

Для этого просто запустить indexer.php

PLAIN TEXT

CODE:

php indexer.php

Спасибо!

Желаю удачи!

© Yaroslav Vorozhko for Просто про веб технологии, 2010. | Permalink | No comment | Add to del.icio.us
Post tags: indexes, migration, Real time, Sphinx Search

Тестирование производительности Обычных, Real Time и Смешанных индексов Sphinx Search

Yaroslav Vorozhko — Tue, 21 Sep 2010 09:10:02 +0000

Немного определенй

Обычный индекс - это индекс, который имеет блок source в конфигурационном файле Sphinx и заполняется путем вызова утилиты indexer.
Real time (RT) - не имеет блока source, а содержит только определение полей и атрибутов. Заполнение RT индекса уже не является обязанностью утилит Sphinx, а ложиться на плечи разработчика приложения.
Смешанный индекс - это индекс, который образуется путем создания распределенного индекса из обычного индекса и RT индекса.

Пример смешанного индекса:

PLAIN TEXT

CODE:

index distributed
{
type = distributed
local = plain_main_index
local = real_time_increment_index
}

В данном примере мы через один распределенный индекс можем обращаться одновременно к RT и обычным индексам.

Измерение производительности

Я провел несколько сравнительных тестов над всеми типами индексов, а именно:

Сравнил использования HDD каждым из типов
Сравнил скорость поиска по одиночному запросу
Сравнил скорость поиска по мулти запросам

Все тесты проходили на четырех различных наборах данных. Данные были взяты из wikipedia и распределены на четыри части по:
10 тыс., 100 тыс., 1 млн. и 2 млн. записей.

Сравнение HDD

Я сравнил использование hdd, только для обычных и RT индексов.

Красное поле RT индексы.
Синее поле обычные индексы.

Как видно из диаграммы, RT индексы для 1 млн. и 2 млн. данных используют примерно на 20% больше места.
Но, Я считаю, что RT индексы все таки по этому показателю лучше, так как для обычных индексов при переиндексации требуется в 2 раза больше места чем сам индекс. Соответственно используя RT мы сможем экономнее использовать hdd на сервере.

Сравнение скорости поиска по одинчоному запросу

Для запросов я создал словарь из 1000 самых популярных слов из каждого индекса. И по этим словам выполнил запросы.

Красное поле RT индексы.
Синее поле обычные индексы.
Желтое поле смешанные индексы.

Из диаграммы мы видим, что на небольших индексах скорость поиска практически одинаковая.
В то время как на больших данных RT индексы существенно проигрывают обычным индексам, а смешанные индексы заняли положение посередине.

Сравнение скорости поиска по мулти запросам

Словарь я использовал тот же, что и для предыдущего теста, только поиск исполнял сразу по пять запросов паралельно.

Красное поле RT индексы.
Синее поле обычные индексы.
Желтое поле смешанные индексы.

Тут мы видим практически туже самую картину. На больших объемах RT индексы сильно проигрывают обычным индексам.
Но, стоит отметить, что производительность мультизапросов примерно в 5 раз лучше чем у одинчоных запросов.

Из этого можно сделать несколько выводов:

RT индексы работают быстро только на малых масивах данных
Для поддержки высокой производительности приложение стоит проектировать с поддержкой мульти запросов
RT индексы могуть стать хорошей заменой инкрементному индексу

Благодарю за внимание.
Желаю удачи!

© Yaroslav Vorozhko for Просто про веб технологии, 2010. | Permalink | No comment | Add to del.icio.us
Post tags: Diagrams, Performance, Plain index, Real time, Sphinx Search, tests

Переходить ли на Sphinx Search real time индексы

Yaroslav Vorozhko — Mon, 20 Sep 2010 16:09:15 +0000

Проблема обычных индексов

Основаня проблема обычных индексов заключается в скорости обновления.
Для того, чтобы обновить индекс необходимо его полностью перестраивать.

Для больших массивов данных, используется метод main + delta индексы.
Где main содержит основную часть данных, а delta - только последние изменения.

Таким образом, чтоб поддерживать индекс "свежим" необходимо перестраивать delta индекс, каждые 3-5 минут.
Но, чем больше становится delta индекс, тем дольше идет перестроение, поэтому delta индекс рекомендуется сбрасывать в
main индекс раз в сутки или неделю в зависимости от частоты обновления данных.

Отсюда возникает две проблемы:

Из-за частой переиндексации система всегда нагружена.
Данные попадают в индекс только спустя 3-5-10 минут.

Real time индексы

В версии 1.10 Sphinx включил поддержку нового типа индексов - real time индексы.
Основное преимущество и отличие от обычных индексов - это возможность обновить запись в индексе на "лету".
Также - это поддержка mysql протокола, что позволяет использовать существующие инструменты(mysql client, mysqldump) для работы с real time индексами.
Для обычных индексов доступ по mysql протоколу также поддерживается, но только в режиме чтения.
И - это SphinxQL, язык запросов основанный на SQL, поддерживающие такие операции как SELECT, DELETE, INSERT, REPLACE.

Но, в данный момент сущесвтует проблема с производительность в RT индексах на больших объемах данных.
Хотя, на малых объемах, скажем до 500.000 документов содержащих статьи из wikipedia, скорость работы не уступает обычным индексам.

Из этого можно сделать вывод, что простота работы и высокая скорость поиска на небольших объемах данных выгодно отличет real time
индексы от обычных индексов для delta (инкрементного) индекса.

Вывод
Real time индексы можно использовать как инкрементный delta индекс в Sphinx.
Это снизит нагрузку на сервер, и упростит обновление данных в инкрементном индексе.
А поддержка смешанных индексов позволит очень просто подключить RT индексы к работающему приложению.

Пример смешанного индекса.

PLAIN TEXT

CODE:

index distributed
{
type = distributed
local = plain_main_index
local = real_time_increment_index
}

В данном примере мы через один распределенный индекс обращаемся одновременно к RT и обычным индексам.

Как мы видим миграция на RT индексы может быть сделана очень просто, начать можно с малого не трогая при этом основу работающей системы.

Всем желаю удачи в этом непростом, но интересном деле!

© Yaroslav Vorozhko for Просто про веб технологии, 2010. | Permalink | 2 comments | Add to del.icio.us
Post tags: live update, migration, Real time, Sphinx Search