Просто про веб технологии » Tips And Tricks http://pro100pro.com Про PHP, MySQL, Sphinx и Zend Framework, про архитектуру и производителность, про высокие нагрузки и масштабирование Thu, 13 Oct 2011 12:58:03 +0000 en hourly 1 http://wordpress.org/?v=3.2.1 Увеличиваем производительность Sphinx BuildExcerpts http://pro100pro.com/uvelichivaem-proizvoditelnost-sphinx-buildexcerpts http://pro100pro.com/uvelichivaem-proizvoditelnost-sphinx-buildexcerpts#comments Sun, 07 Aug 2011 09:41:04 +0000 Yaroslav Vorozhko http://pro100pro.com/?p=568 English version of this post.

Начиная с версии 2.0.1 в Sphinx появилась возможность параллельного построения поисковых сниппетов. Под параллельным построением имеется ввиду, что процесс обработки массива текста предназначенного для построения сниппетов будет распределен по нескольким CPU. Приведенная ниже реализация лучше всего подойдет системам в которых требуется генерировать сниппеты для сотен мегабайт текста.

Для распараллеливания процессов в Sphinx предусмотрена опция dist_threads, которая указывает searchd на сколько CPUs разбивать задачу. dist_threads используется как для обработки поисковых запросов в распределенных индексах, так и для обработки сниппетов, которые мы рассмотрим ниже.

Рассмотрим функцию SphinxAPI BuildExcerpt. По умолчанию функция BuildExcerpt в качестве первого параметра принимает массив текста для обработки,
но к сожалению такой вызов функции не использует параллельную обработку.

Но, начиная с версии 2.0.1, для BuildExcerpt был разработана новая опция load_files. load_files указывает Sphinx, что первый параметр функции BuildExcerpt должен содержать имена файлов, в которых должен находиться текст для обработки. Опция load_files совместно с опцией dist_threads позволяет Sphinx распаралеливать процесс построения сниппетов.

К сожалению у данной реализации есть узкое место - это необходимость использовать файловую систему. Так как, прежде чем генерировать сниппеты на основе файлов, надо эти файлы создать, а для жестких дисков это достаточно медленная операция. Поэтому, правильное решение, это создавать файлы в памяти, т.к. запись в память происходит в тысячи раз быстрее, чем на жесткий диск.

Для создания файлов в оперативной памяти в ядро Linux начиная с версии 2.4. включена файловой системой tmpfs, который мы и воспользуемся.

Файловая система

Для этого создадим директорию будущей системы и смонтируем ее.

PLAIN TEXT
CODE:
  1. mkdir /space
  2. mount -t tmpfs -o size=1G,nr_inodes=10k,mode=0700 tmpfs /space

В данном примере права на запись будут только у владельца директории /space, а максимальный размер файловой системы будет установлен в 1Gb.

Модифицируем BuildExcerpts

PLAIN TEXT
CODE:
  1. function buildExcerptFile($documents, $options = array())
  2. {
  3.     foreach($documents as $doc){
  4.             $file = "/space/".'snip_'.md5($doc).'_'.time();
  5.             file_put_contents($file, $doc);
  6.             $files[] = $file;
  7.         }
  8.  
  9.     $client = new SphinxClient();
  10.         $client->setServer('localhost', 9312);
  11.  
  12.     $res = $client->BuildExcerpts( $files, 'index', $keywords,
  13.         array(
  14.                     'around'=>10,
  15.                     'limit' => 300,
  16.                     'load_files' => 1
  17.                     )
  18.                 );
  19.  
  20.         foreach($files as $file){
  21.             unlink($file);
  22.         }
  23.  
  24.     return $res;
  25. }

Функция работает в три этапа:

  • Первый. Записываем все документы в файлы, причем имена файлов выбираются так, чтоб не получилось коллизий.
  • Второе. Вызываем функцию Sphinx BuildExcerpt, первым параметром передаем массив файлов вместо массива текста. А в третьем параметре указываем опцию load_files = 1
  • Третий. Удаляем созданные файлы для очистки памяти.

Sphinx.conf

В разделе searchd добавляем следующую строку:

PLAIN TEXT
CODE:
  1. dist_threads = 2

dist_thread лучше делать равным количеству CPU в системе.

На моих тестовых данных, данная реализация работает в два раза быстрее «стандартного» вызова BuildExcerpts на системе с двумя CPU. Средний размер документа 1-3 Mb, количество документов для одной было равным 100, т.е. один вызов обрабатывал в среднем 200 Mb текста.

© Yaroslav Vorozhko for Просто про веб технологии, 2011. | Permalink | No comment | Add to del.icio.us
Post tags: , ,

]]> http://pro100pro.com/uvelichivaem-proizvoditelnost-sphinx-buildexcerpts/feed 0 Как я установливал MongoDB на Ubuntu 64bit http://pro100pro.com/kak-ya-ustanovlival-mongodb-na-ubuntu-64bit http://pro100pro.com/kak-ya-ustanovlival-mongodb-na-ubuntu-64bit#comments Wed, 08 Sep 2010 12:47:39 +0000 Yaroslav Vorozhko http://pro100pro.com/?p=496 MongoDB для Ubuntu устанавливается следующей командой

PLAIN TEXT
CODE:
  1. sudo apt-get install mongodb

После, по туториалу создал каталог для данных

PLAIN TEXT
CODE:
  1. mkdir -p /data/db/
  2.  
  3. chown `id -n` /data/db

Запускаю mongodb командой mongodb и получаю следующую ошибку:

PLAIN TEXT
CODE:
  1. mongo: error while loading shared libraries: libmozjs.so: cannot open shared object file: No such file or directory

Лучиться путем определения пути к libmozjs.so во время запуска mongodb или mongo клиента:

PLAIN TEXT
CODE:
  1. LD_LIBRARY_PATH=/usr/lib/xulrunner-`xulrunner --gre-version` mongodb

Теперь все работает.

Ждем пока мэинтейнеры пофиксят MongoDB зависимости.

© Yaroslav Vorozhko for Просто про веб технологии, 2010. | Permalink | No comment | Add to del.icio.us
Post tags: , , ,

]]> http://pro100pro.com/kak-ya-ustanovlival-mongodb-na-ubuntu-64bit/feed 0 Sphinx query log parser – анализ query performance http://pro100pro.com/sphinx-query-log-parser-analiz-query-performance http://pro100pro.com/sphinx-query-log-parser-analiz-query-performance#comments Wed, 02 Jun 2010 13:13:05 +0000 Yaroslav Vorozhko http://pro100pro.com/?p=448 Написал простой скриптик на awk для парсинга Sphinx query.log файла.

Парсинг всего файла:

PLAIN TEXT
CODE:
  1. awk '{ s += $6 } END { print "seconds: ", s, " average: ", s/NR, " queries: ", NR }' query.log

Парсинг за конкретный период, например за второе Июня:

PLAIN TEXT
CODE:
  1. awk '{ if($2=="Jun" && $3==2) {s += $6; r++} } END {print "total seconds: ", s, "average: ", s/r, " total queries: ", r}' query.log

В приведенных скриптах $N - это номер строки в лог файле.

NR - это общее количество записей в файле разделенных переводом строки.

Пример лог файла:

[Wed Jun  2 11:20:52.379 2010] 0.002 sec [ext2/0/rel 2024 (0,10)] [wordpress] spectrum
[Wed Jun  2 11:20:52.384 2010] 0.003 sec [ext2/0/rel 2 (0,1000) @post_type] [wordpress] spectrum
[Wed Jun  2 11:20:52.709 2010] 0.002 sec [ext2/0/rel 963 (0,10)] [wordpress] tin
[Wed Jun  2 11:20:52.713 2010] 0.002 sec [ext2/0/rel 2 (0,1000) @post_type] [wordpress] tin
[Wed Jun  2 11:20:52.997 2010] 0.003 sec [ext2/0/rel 1154 (0,10)] [wordpress] xi
[Wed Jun  2 11:20:53.004 2010] 0.004 sec [ext2/0/rel 2 (0,1000) @post_type] [wordpress] xi
[Wed Jun  2 11:20:53.029 2010] 0.003 sec [ext2/0/rel 1945 (0,10)] [wordpress] nasa
[Wed Jun  2 11:20:53.035 2010] 0.003 sec [ext2/0/rel 2 (0,1000) @post_type] [wordpress] nasa
[Wed Jun  2 11:21:09.359 2010] 0.005 sec [ext2/0/rel 22308 (0,10)] [wordpress] september

На выводе получится:

seconds:  566.738  average:  0.00948642  queries:  59742

Надеюсь это краткое описание языка awk поможет вам написать парсер для своих лог файлов.

Спасибо!

© Yaroslav Vorozhko for Просто про веб технологии, 2010. | Permalink | No comment | Add to del.icio.us
Post tags: , , ,

]]> http://pro100pro.com/sphinx-query-log-parser-analiz-query-performance/feed 0 Создание простого доступа к ресурсам из ZF контроллера http://pro100pro.com/sozdanie-prostogo-dostupa-k-resursam-iz-zf-kontrollera http://pro100pro.com/sozdanie-prostogo-dostupa-k-resursam-iz-zf-kontrollera#comments Mon, 22 Mar 2010 10:08:56 +0000 Yaroslav Vorozhko http://pro100pro.com/?p=439 db; Для этого напишем Action Helper, который будет загружать определенные ресурсы в контроллер приложения:]]> Было бы очень хорошо иметь возможность доступа к загружаемым в bootstrap ресурсам из контроллеров приложения. Например, я хотел бы получить доступ к "DB" ресурсу из контроллера следующим образом $this->db;
Для этого напишем Action Helper, который будет загружать определенные ресурсы в контроллер приложения:

PLAIN TEXT
CODE:
  1. class My_ResourceInjector extends Zend_Controller_Action_Helper_Abstract
  2. {
  3.     protected $_resources;
  4.  
  5.     public function __construct(array $resources = array())
  6.     {
  7.         $this->_resources = $resources;
  8.     }
  9.  
  10.     public function preDispatch()
  11.     {
  12.         $bootstrap  = $this->getBootstrap();
  13.         $controller = $this->getActionController();
  14.         foreach ($this->_resources as $name) {
  15.             if ($bootstrap->hasResource($name)) {
  16.                 $controller->$name = $bootstrap->getResource($name);
  17.             }
  18.         }
  19.     }
  20.  
  21.     public function getBootstrap()
  22.     {
  23.         return $this->getFrontController()->getParam('bootstrap');
  24.     }
  25. }

и инициализируем его в bootstrap:

PLAIN TEXT
CODE:
  1. class Bootstrap extends Zend_Application_Bootstrap_Bootstrap
  2. {
  3.     protected function _initResourceInjector()
  4.     {
  5.         Zend_Controller_Action_HelperBroker::addHelper(
  6.             new My_ResourceInjector(array(
  7.                 'db',
  8.                 'layout',
  9.                 'navigation',
  10.             ));
  11.         );
  12.     }
  13. }

Код выше, создаст ссылки на ресурсы: db, layout и navigation. Это значит, что теперь вы можете получить к ним прямой доступ из контроллеров.

PLAIN TEXT
CODE:
  1. class FooController extends Zend_Controller_Action
  2. {
  3.     public function barAction()
  4.     {
  5.         $this->layout->disableLayout();
  6.         $model = $this->getModel();
  7.         $model->setDbAdapter($this->db);
  8.         $this->view->assign(
  9.             'model'      => $this->model,
  10.             'navigation' => $this->navigation,
  11.         );
  12.     }
  13.  
  14.     // ...
  15. }

Этото решение ведет к некоторому упрощению - теперь нет необходимости вытягивать bootstrap из объекта инициализации, а потом вытягивать ресурс.
Но, у этого решения есть несколько проблем: Откуда мы знаем, какие ресурсы были связаны с контроллером? Как мы можем это контролировать?
Отсюда, вытекает решение создать пул необходимых ресурсов для контроллера.
(...)
Read the rest of Создание простого доступа к ресурсам из ZF контроллера (334 words)

© Yaroslav Vorozhko for Просто про веб технологии, 2010. | Permalink | 2 comments | Add to del.icio.us
Post tags: , ,

]]> http://pro100pro.com/sozdanie-prostogo-dostupa-k-resursam-iz-zf-kontrollera/feed 2 IE7 не показывает скрытый html после удаления CSS класса который его скрывал с помощью jQuery http://pro100pro.com/ie7-display-bug-css-jquery-solution http://pro100pro.com/ie7-display-bug-css-jquery-solution#comments Thu, 24 Dec 2009 13:36:13 +0000 Yaroslav Vorozhko http://pro100pro.com/?p=411 Проблема

У IE7 и IE6 есть такая особенность, что когда вы удалете класс, который скрывал (display:none) содержимое строки таблицы (тег tr) с помощью jQuery метода removeClass(), то сожержимое строки таблицы (тег tr) все равно не будет отображаться.

Пример

Есть у нас форма в таблице, у которой первые две строки видны, а остальные спрятаны и должны отображаються по нажатию на ссылку.

PLAIN TEXT
CODE:
  1. <table>
  2. <tr>
  3.     <td>Your name: </td>
  4.     <td><input type="text" name='name'></td>
  5. </tr>
  6. <tr>
  7.     <td>Your email: </td>
  8.     <td><input type="text" name='email'></td>
  9. </tr>
  10. <tr>
  11.     <td colspan='2'><a href="javascript:void(0);" onClick="showAdvFields();" id="showAdvFields">+ Show advanced options</a></td>
  12. </tr>
  13. <tr class='hide'>
  14.     <td>Your twitter: </td>
  15.     <td><input type="text" name='twitter'></td>
  16. </tr>
  17. <tr>
  18.     <td></td>
  19.     <td><input type="submit" value='Submit'></td>
  20. </tr>
  21. </table>
  22.  
  23. <scripty type="text/javascript">
  24. //$j - это ссылка на jQuery.
  25. function showAdvFields()
  26. {
  27.     if ($j("tr").hasClass('hide')){
  28.         $j("tr.hide").addClass('showAdv');
  29.         $j("tr.hide").removeClass('hide');
  30.         $j("#showAdvFields").html(" - Hide advanced options");
  31.        
  32.     } else {
  33.         $j("tr.showAdv").addClass('hide');
  34.         $j("tr.showAdv").removeClass('showAdv');
  35.         $j("#showAdvFields").html(" + Show advanced options");
  36.     }
  37. }
  38. </script>

Решение

Во первых перестаньте использовать барузер Internet Explorere и переходите на FireFox и Google Chrome :). А если у вас нет выбора, то решение использовать функцию jQuery show, которая решает проблему совместимости с IE.
Вот так я изменил метод показа и скрытия строки таблицы.

PLAIN TEXT
CODE:
  1. function showAdvFields()
  2. {
  3.     if ($j("tr").hasClass('hide')){
  4.         $j("tr.hide").addClass('showAdv');
  5.         $j("tr.hide").show();
  6.         $j("tr.hide").removeClass('hide');
  7.         $j("#showAdvFields").html(" - Hide advanced options");
  8.        
  9.     } else {
  10.         $j("tr.showAdv").addClass('hide');
  11.         $j("tr.showAdv").hide();
  12.         $j("tr.showAdv").removeClass('showAdv');
  13.         $j("#showAdvFields").html(" + Show advanced options");
  14.     }
  15. }

Вывод

Не используйте доморощенные решения, читайте документацию и используйте стандартные методы. Я добавил вызов $j("tr.hide").show(), что помогло решить проблему показа и вызвов $j("tr.showAdv").hide() что решило проблему скрытия строки.

Можно конечно обойтись и без класса hide, но такое решения было очень практично.

© Yaroslav Vorozhko for Просто про веб технологии, 2009. | Permalink | One comment | Add to del.icio.us
Post tags: , , , , ,

]]> http://pro100pro.com/ie7-display-bug-css-jquery-solution/feed 1 Простой загрузчик файлов для Zend Framework http://pro100pro.com/prostoy-loader-failov-zendframework http://pro100pro.com/prostoy-loader-failov-zendframework#comments Thu, 17 Dec 2009 13:26:05 +0000 Yaroslav Vorozhko http://pro100pro.com/?p=392 Сегодня увидел хороший code snippet простого лоадера файлов в проект на Zend Framework.

PLAIN TEXT
CODE:
  1. class App_Application_Resource_Fileloader extends Zend_Application_Resource_ResourceAbstract {
  2.   /**
  3.    * @return null
  4.    */
  5.  
  6. public function init() {
  7.         $options = $this->getOptions ();
  8.         foreach ($options as $filePath)
  9.             include $filePath;
  10. return null;
  11.        
  12.     }
  13.    
  14. }
  15.  
  16.  
  17. resources.fileLoader[] = LIBRARY_PATH "/App/Regex_Functions.php"
  18. resources.fileLoader[] = LIBRARY_PATH "/App/Api_Functions.php"

© Yaroslav Vorozhko for Просто про веб технологии, 2009. | Permalink | No comment | Add to del.icio.us
Post tags: , , ,

]]> http://pro100pro.com/prostoy-loader-failov-zendframework/feed 0 Autoload своих библотек в Zend Framework 1.8+ http://pro100pro.com/autoload-svoix-biblotek-v-zend-framework-1-8 http://pro100pro.com/autoload-svoix-biblotek-v-zend-framework-1-8#comments Fri, 11 Dec 2009 16:49:09 +0000 Yaroslav Vorozhko http://pro100pro.com/?p=389 Чтоб загружать в Zend Framework свои библиотеки, нам надо сделать следующее:
Первое - это добавить физический путь к библиотеке в include_path.
Второе - это указать префикс классов библиотеки, если такой вообще используется.

Добавить путь в include_path можно двумя способами:
1. Жетско прописать путь в public/index.php файле:

PLAIN TEXT
CODE:
  1. set_include_path(implode(PATH_SEPARATOR, array(
  2.     realpath(APPLICATION_PATH . '/../library'),
  3.     realpath(APPLICATION_PATH . '/../mylib'),
  4.     get_include_path(),
  5. )));

2. Прописать путь в конфигруационном файле application/configs/application.ini

PLAIN TEXT
CODE:
  1. includePaths.mylib = APPLICATION_PATH "/../mylib"

В обоих случаях мы добавляем путь к mylib в include_path. Второй способ более предпочтительный, так как на основе выбранной конфигурации (production, develeopment, test) можно устанавливать путь к различным версиям mylib.
Кстати используя этот же прием, можно устанавливать путь и к каталогу library/Zend и на основе конфигураций подгружать различный версии Zend Framework.

И так, второе что нам необходимо сделать - это подключить автозагрузчик и установить префикс используемый классами библиотеки.
Я прописал автозагрузчик в файле public/index.php

PLAIN TEXT
CODE:
  1. require_once 'Zend/Loader/Autoloader.php';
  2. $loader = Zend_Loader_Autoloader::getInstance();
  3. $loader->registerNamespace('My_');

В данном случае префикс классов в моей библиотеки "My_".

Также, этот же код можно прописать и в классе Bootstrap.php

PLAIN TEXT
CODE:
  1. protected function _initAutoload()
  2.     {
  3.         require_once 'Zend/Loader/Autoloader.php';
  4.         $loader = Zend_Loader_Autoloader::getInstance();
  5.         $loader->registerNamespace('My');
  6.     }

Все, теперь ZF знает как загружать классы из вашей бибилиотеки.

© Yaroslav Vorozhko for Просто про веб технологии, 2009. | Permalink | No comment | Add to del.icio.us
Post tags: , ,

]]> http://pro100pro.com/autoload-svoix-biblotek-v-zend-framework-1-8/feed 0 Zend Studio: Workspace in use choose different workspace http://pro100pro.com/zend-studio-workspace-in-use-choose-different-workspace http://pro100pro.com/zend-studio-workspace-in-use-choose-different-workspace#comments Mon, 07 Dec 2009 10:25:43 +0000 Yaroslav Vorozhko http://pro100pro.com/?p=387 Вот такую ошибку я увидел недавно, после того как экстренно завершила работу Zend студия.
Причем заставить выбрать рабочее простраство по умолчанию не представляется возможным.
Вот как решается это под Linux (Ubuntu):
rm -rf /tmp/eclipse
С данной проблемой под Windows не сталкивался, поэтому точного решения не подскажу.
Но, как ориентир, я порекомендовал бы почистить "tmp" каталог в Application Data.

© Yaroslav Vorozhko for Просто про веб технологии, 2009. | Permalink | No comment | Add to del.icio.us
Post tags: , ,

]]> http://pro100pro.com/zend-studio-workspace-in-use-choose-different-workspace/feed 0 HG Mercurial email уведомления http://pro100pro.com/hg-mercurial-email-uvedomleniya http://pro100pro.com/hg-mercurial-email-uvedomleniya#comments Tue, 24 Nov 2009 08:21:24 +0000 Yaroslav Vorozhko http://pro100pro.com/?p=377 В каждом серьезном проекте используется контроль версий и разработку зачастую ведет не один программист. Как минимум, кроме программиста есть еще и главный программист, который следит за качеством разработки.
С помощью hg mercural мы можем предоставить главному программисту мониторинг изменений в репозитории, особенно когда это касается обновления главной ветки.
В mercurial для этого есть замечательный встроенный плагин notify, который поможет нам настроить уведомления по email.

Схема репозиториев будет следующая:

  1. Главный /www/mybigsite.com/
  2. Транзитный /home/repos/mybigsite
  3. Репозиторий разработчика находится в его домашнем каталоге.

Когда разработчику надо отправить новую порцию изменений в главный репозиторий, он:

  1. Отправляет данные в транзитный репозиторий (команда hg pus)
  2. А потом главный разработчик проверяет изменения и обновляет главный репозиторий (команда hg pus && hg up)

Настроим два уведомления:

  1. По событию hg pus в транзитный репозиторий - будем отправлять diff изменений главному программисту. Таких обновлений (hg pus) разработчик или разработчики могут сделать несколько, до того как будет обновлен главный репозиторий.
  2. Главный программист получив уведомления об обновлении транзитного репозитория проверяет изменения и обновляет главный репозиторий. По этому событию мы отправляем главному разработчику новую порцию diff изменений, который содержит именно все порции обновлений, что попали на главный репозиторий.

Теперь перейдем к настройке уведомлений используя hghook notify.
Открываем файл команд hgrc транзитного репозитория, если файла нет, то создаем его /home/repos/mybigsite/.hg/hgrc и добавляем следующие строки

(...)
Read the rest of HG Mercurial email уведомления (592 words)

© Yaroslav Vorozhko for Просто про веб технологии, 2009. | Permalink | No comment | Add to del.icio.us
Post tags: , , , , ,

]]> http://pro100pro.com/hg-mercurial-email-uvedomleniya/feed 0 MySQL меняем storage engine в нескольких таблицах на InnoDB http://pro100pro.com/mysql-menyaem-storage-engine-v-neskolkix-tablicax-na-innodb http://pro100pro.com/mysql-menyaem-storage-engine-v-neskolkix-tablicax-na-innodb#comments Tue, 17 Nov 2009 05:18:33 +0000 Yaroslav Vorozhko http://pro100pro.com/?p=370 Задача изменить storage engine для всех таблиц mysql в одной базе данных.

Это решение работает для тех таблиц, которые имеют одинаковый префикс, например для таблиц wordpress и других CMS поддерживающих префиксы.

Коротко, задача решается получением списка всех таблиц в один файл, с помощью замены строк строятся правильные SQL команды и последнее - надо выполнить команды.

1)Получаем список таблиц в файл:

PLAIN TEXT
CODE:
  1. mysql -u username -ppassword -D dbname -e "show tables"> outputfile.txt

2)Открываем файл outputfile.txt например в vim и делаем следующие замены:

  • Префикс меняем на ALTER TABLE prefix_ - для vim: %s/prefix_/ALTER TABLE prefix_/g
  • Перенос строки меняем на ENGINE=InnoDB плюс перенос строки - для vim: %s/\n/ ENGINE=InnoDB;\r/g

3)Выполняем скрипт, но прежде делаем бэкап базы:

PLAIN TEXT
CODE:
  1. mysqldump -u username -ppassword -D dbname> dbname.sql
  2. mysql -u username -ppassword -D dbname <outputfile.txt

Может кто нибудь подскажет как сделать то же самое для таблиц без одинакового префикса?

© Yaroslav Vorozhko for Просто про веб технологии, 2009. | Permalink | 3 comments | Add to del.icio.us
Post tags:

]]> http://pro100pro.com/mysql-menyaem-storage-engine-v-neskolkix-tablicax-na-innodb/feed 3