Redis с открытым исходным кодом структуры данных сервера, набор данных в памяти которая делает гораздо больше, чем просто хранения key/value благодаря построению типов данных.
Вы можете использовать Redis в качестве сессионного обработчика, что особенно полезно, если используется несколько серверов архитектуры на нагрузки. Redis также отлично подходит для создания онлайн чатов или оживление системы бронирования. Документация и дополнительная информация по Redis и все его команды можно найти на сайте проекта, redis.io.
Redis и Memcache – тесты показывают, что они почти на одном уровне друг с другом для выполнения основных операций. Redis имеет больше возможностей, чем у Memcache, например, в оперативной памяти и дискового пространства, атомных команд и операций, а не регистрации каждого изменения на диск, а данные на стороне сервера, а не структуры. Читать полностью…
Теория и практика DECR, EXISTS, GET, HDEL, HGET
Мой сервер, который и будет героем последующего повествования — это обычный арендованный у FirstDedic сервер среднего класса с процессором DualCore Xeon E3110 3.00Ghz. Оперативной памяти было установлено 4 Гб, жесткий диск 500 Гб. На сервере был установлен nginx 1.01 в качестве frontend, и apache 2 в качестве backend, с запуском скриптов в режиме CGI. Читать полностью…
Опыт Apache, Backend, KVM, load average, MySQL
Instagram — всего лишь iOS, а теперь и Android, приложение для обмена фотографиями с друзьями. Последнее время находится на слуху благодаря новости о покупке проектаFacebook’ом за кругленькую сумму. Недавно один из основателей проекта, Mike Krieger, выступил на конференции с докладом о техническом аспекте проекта, который я и хотел бы вкратце пересказать.
Читать полностью…
Архитектура Amazon, Android, Django, gunicorn, HAProxy
В последнее время приходится достаточно часто заниматься оптимизацией производительности сайтов. И как правило «бутылочным горлышком» в производительности работы этих сайтов является именно БД, ошибки как в архитектуре так и в выполнении запросов. Начиная от неправильной расстановки индексов, либо совершенным их отсутствием, неправильным (неэкономным) выбором типов данных под определенное поле, заканчивая абсолютно нелогичной архитектурой БД и такими же нелогичными запросами.
В данной статье опишу несколько приемов, которые были использованы для приложения с 4млн+ пользователей и которое имея порядка 100млн+ хитов в сутки, а в конце опишу задачу, которая решалась недавно и может быть многоуважаемое сообщество предложит мне решения этой задачи более эффективное нежели то, к которому пришел я.
Читать полностью…
Tips and tricks crc32, EXPLAIN, GROUP BY, LIMIT, MySQL
В течении двух лет CEO Instagram Kevin Systrom думал, как же монетизировать свое быстрорастущее детище, но так и не придумал. При том много раз просказльзывали слухи о его отказе в сделке с Facebook. Автоподсказчик Google уже давно выдавал первым вариантом к запросу «kevin systrom» фразу «Kevin Systrom net worth». Дела шли в гору и без Facebook. Неделю назад они выпустили приложение на Android и продались Facebook за сумму с 9 нулями в долларах. Владельцы андроидов были рады.
Читать полностью…
Опыт Amazon EBS Snapshots, Bitbucket, Django, instagram, Measurements
Вчера я наконец-то поднял munin и новый monit на сервере, а сегодня посмотрел на результаты мониторинга. Самое первое, что бросилось в глаза: iostat показывает очень большое количество записей (превышавшее количество чтений почти в тысячу раз). На сервере живут четыре сайта на WordPress, два из которых находятся в Alexa Top 100,000 (они создают основную нагрузку на сервер). Особенность обоих сайтов — они используют небезызвестный плагин WP Super Cache. Мне с этим плагином приходилось неоднократно сталкиваться, и не всегда с хорошей стороны (так получилось), так что я имею представление о том, как он работает. Читать полностью…
Опыт CPU Usage, load average, MySQL, Wordpress, WP Super Cache
В прошлую пятницу наблюдали ситуацию в которой вполне вменяемый админ, к которому зашли в гости около 7 тыс ботов. … и видимо, не очень радостный директор.
Читать полностью…
Опыт Apache, Memcached, nginx, ботнет
На тему оптимизации MySQL запросов написано очень много, все знают как оптимизировать SELECT, INSERT, что нужно джоинить по ключу и т.д. и т.п.
Но есть один момент, тоже неоднократно описанный во всех мануалах, но почему-то про него все забывают.
Читать полностью…
Теория и практика EXPLAIN, MySQL, ORDER BY, Оптимизация
Известная платформа для массово-параллельной обработки данных Apache Hadoop вышла в версии 1.0.0 (release notes). Для другого проекта выпуск первой версии мог бы считаться знаменательным событием и вехой в развитии, но здесь ситуация совсем другая. На самом деле Hadoop был готов к использованию в самых серьёзных коммерческих проектах ещё с версии 0.20. В связке с MapReduce он уже давно работает на Facebook, Yahoo, Twitter и др. В марте 2011 года Hadoop удостоен ежегодной награды MediaGuardian Innovation Awards как самая инновационная технология, а на церемонии вручения Hadoop назвали «швейцарским армейским ножом 21 века».
Читать полностью…
Новости Apache, Hadoop, MapReduce
Рынок софта предлагает множество стандартов облачных хранилищ данных. Например, Amazon S3 является лидером, и многие используют S3 API, чтобы создать сервис S3-клона. Rackspace Cloud Files и OpenStack пытаются создать свой собственный стандарт, предоставив свое программное обеспечение open source community. У Microsoft есть свой стандарт в Azure Storage, включая хранилище Таблиц и SQL, а также хранение blob. Есть также другие технологические тяжеловесы, которые пытаются в качестве стандарта облачных вычислений установить CDMI. Читать полностью…
Технологии Amazon S3, API, Azure Storage, CDMI, OpenStack
