Если кто не в курсе, 22 и 23 сентября в Москве проходила конференция для разработчиков высоконагруженных систем. Не знаю могу ли я себя полноценно отнести к этой категории людей, но тем не менее данной мероприятие я сегодня посетил, пост будет опубликован скорее всего несколько позже, но начинаю писать прямо с ходу в первый же день [...]

LinkedIn является крупнейшей в мире социальной сетью для профессионалов. Популярность этого проекта может быть далека, от более общетематических социальных сетей, таких как, скажем Facebook, но, тем не менее, нагрузка на серверную часть проекта создается пользователями серьезная. О том как этот проект с ней справляется и пойдет речь далее. Предисловие Сообщение о публикации двух презентаций c JavaOne 2008 [...]

Наверное многие из вас уже успели за последние пару дней стать свидетелями всей этой шумихи на просторах Сети, связанной с выходом Google на рынок браузеров. Сопутствующие релизу комиксы произвели на меня вполне положительное впечатление, благодаря достаточно большой актуальности поднятых в них проблем и интересным вариантам их решений. Так что я определенно решил, что поглядеть что [...]

Некоторое время назад Neuronus в одном из комментариев к посту “Hadoop возвращается” не согласился с моим кратким определением HBase как “нереляционная база данных” (позаимствованным, собственно говоря, откуда-то с официального портала продукта). Этот факт подтолкнул меня попытаться найти более корректное определение в англоязычных источниках информации, получилось вполне успешно. Хочется прочитать более детально что к чему? Вперед! Если [...]

В некотором царстве, в некотором государстве… Хм, не то начало… Некоторое время назад достаточно изестная в определенных кругах организация (угадайте, как она называется?) предложила мне своего рода сотрудничество, направленное на заполнение их портала контентом. Как же это повлияло на этот блог? Если Вы уже успели заметить (хотябы по разделу, в котором опубликован данный пост, вернее некоторое его [...]

Если Вы являетесь постоянным читателем моего блога, то вполне вероятно, что Вы помните мой старый пост об этом замечательном проекте от Apache Foundation. С тех пор он развивался невероятными темпами и очень многое успело измениться, об этом я и хотел бы сегодня поделиться своими впечатлениями. В дополнение к этому планируется небольшая инструкция по развертыванию Hadoop [...]

Если Вы уже успели прочитать статью про архитектуру Amazon, то Вы уже знаете, что этот проект активно использует сервис-ориентированную архитектуру для максимально эффективной организации взаимодействия между всеми подпроектами. Этот подход используется практически во всех начинаниях Amazon и во многом благодаря ему они выпустили в свет групу сервисов под общим названием Amazon Web Services. Идея их достаточно [...]

…за временную недоступность блога и длительное отсутствие обновлений. Пару дней назад произошел corruption данных в MySQL (судя по логам), нужно было восстанавливать ее из дампа, но руки никак не доходили из-за работы. Слушать музыку в техподдержке хостинга желания тоже особо не было, так что не нашел ничего лучшего, чем закрыть временно блог под пароль до тех [...]

Ваш пьяный друг когда-либо вдохновлял Вас на создание первого в своем роде интернет-сервиса, который пришелся бы по вкусу миллионам пользователей и при этом неприхотливо обрабатывал миллиарды электронных писем ежегодно? Именно так Paul Tyma и создал Mailinator. Mailinator представляет собой бесплатный, не требующий инсталляции, сервис для разрушения планов злобных спаммеров путем предоставления регистрации “одноразовых” почтовых адресов. Если [...]

37signals больше всего известны благодаря выпуску в свет Ruby on Rails грамотному его использованию для запуска их очень популярных продуктов: Basecamp, Highrise, Backpack и Campfire. RoR как обычно пытаются винить во всех проблемах с производительностью, но 37signals казалось бы справляется с большой нагрузкой, используя вполне разумное количество вычислительных ресурсов. Источники информации Этот текст является переводом статьи, автор [...]

Не удивлюсь, если заголовок этого поста вам не сказал ровным счетом ничего - это вполне логично. Именно эту ситуацию я и хотел бы сегодня исправить: it’s a pic представляет собой… …очередной интернет-проект. Хотели увидеть что-то более грандиозное? - читайте дальше! Начать наверное стоит с обозначения основной сути: поисковая система изображений, ориентированная на глобальный рынок. Да-да, мы уже [...]

Google Talk представляет собой сервис мгновенного обмена сообщениями от Google. В основе этого сервиса лежит XMPP протокол, более известный как Jabber. В России среди IM-сервисов несомненно наиболее широко распространен ICQ, но количество русских пользователей Jabber тоже неуклонно растет. Вам когда-нибудь доводилось задумываться какое количество сообщений приходится обрабатывать такого рода сервисам? Допустим есть абстрактный IM-сервис, которым [...]

Возможно Вы уже обратили внимание, что в начале мая данный блог был добавлен в один из крупнейших (если не самый крупнейший) каталог интернет-ресурсов - DMOZ.org, также известный как Open Directory Project. Само по себе это событие достаточно значимо для любого сайта, но я почему-то не счел нужным писать по этому поводу отдельный пост, видимо [...]

GlusterFS представляет собой кластерную файловую систему, способную масштабироваться для хранения далеко не одного петабайта данных. Как и многие другие кластерные файловые системы, GlusterFS аггрегирует дисковое пространство большого количества машин в одну общую параллельную сетевую файловую систему через Infiniband RDMA или TCP/IP соединение. Обычно в качестве аппаратной основы для этой файловой системы используется ничем не выдающееся [...]

В результате цепочки достаточно случайных факторов сегодня попал на данное мероприятие, представляющее собой конференцию разработчиков на Perl. Пока впечатления еще не улетучились - решил вот выразить их здесь в словестной форме. Началось все с того, что мне в голову взбрела достаточно глупая мысль съездить к 9 утра субботы на лекции в университет, ни о какой конференции [...]

Уже немало слов было сказано по этой теме как в моем блоге, так и за его пределами. Мне кажется настал подходящий момент для того, чтобы перейти от частного к общему и попытаться взглянуть на данную тему отдельно от какой-либо успешной ее реализации. Приступим? Для начала имеет смысл определиться с тем, о чем мы вообще будем говорить. В [...]

Twitter стартовал как побочный подпроект, но не смотря на это темпы его роста были впечатляющими: путь от 0 до миллионов просмотров страниц занял всего несколько коротких месяцев. Ранние решения о проектировании системы неплохо справлялись с небольшими нагрузками, но они быстро таяли под напором огромного количества пользователей, желающих разослать весточки всем своим друзьям с ответом на [...]

Наверняка у многих из вас слово “интерфейс” ассоциируется с внешним видом любой программы, то есть кнопочками, виджетами, иконками и прочим ее оформлением. Да, несомненно графический пользовательский интерфейс является одним из значений этого понятия, но существует и масса других! Хотите узнать больше? В общем случае под словом интерфейс понимают правила и рамки взаимодействия двух произвольных объектов. В [...]

Уже прошло четыре месяца с того момента, как я открыл этот блог, много текстов было написано с тех пор, вроде бы все нормально, но сегодня мне вдруг стало интересно: а стоит ли он вообще потраченного на него времени? Да, я веду этот блог просто скорее ради собственного интереса, чем для какой-либо практической пользы, но мнение читателей [...]

В процессе чтения моего блога у вас наверняка возникал вопрос: а что же имеется в виду под фразой сегментирование базы данных? На самом деле это просто приглянувшийся мне вариант перевода термина sharding (или он же - partitioning), в качестве альтернатив можно было бы использовать партиционирование, секционирование или что-нибудь еще менее звучное, суть от этого не меняется. [...]

Как говорится, все новое - хорошо забытое старое. Когда я в вдруг вспомнил эту поговорку, мне пришла в голову мысль вернуться к незаслуженно забытой некоторое время назад теме объектно-ориентированного программирования. Возможно многим читателям уже поднадоели часто публикующиеся здесь статьи об устройстве уже существующих проектов, это конечно же не повод прекратить их публикацию, но, тем не [...]

hCard представляет собой реализацию спецификации RFC 2426 (более известной как vCard) в виде микроформата. Основной его целью является предоставление стандарта оформления персональных данных на просторах Сети, но помимо этого имеется возможность указания информации об компаниях, организациях или местах. Как и любой другой микроформат, hCard реализуется без нарушения стандартов XHTML с помощью атрибутов тэга class, причем [...]

LiveJournal был одним из первых сервисов, бесплатно предоставляющих всем желающим личный блог. Практически с самого начала своего существования в далеком 1999 году проект столкнулся с непрерывно растущим потоком желающих воспользоваться услугами сервиса. Как же проекту удалось справиться с предоставлением маленького кусочка интернета каждому желающему, обойдя при этом всех конкурентов? Источники информации Возможно Вы ожидали увидеть здесь очередной [...]

Hypertable является еще одним opensource проектом, направленным на воспроизведение функционала BigTable от Google. Поставленная перед проектом цель заключается в реализации системы хранения данных на базе распределенной файловой системы, позволяющей перейти на новый уровень производительности при работе с гигантскими объемами данных. Принцип работы Hypertable прост до безобразия: Hypertable хранит данные в табличном формате, сортируя записи по основному ключу; для [...]

По техническим причинам последние несколько дней было недоступно комментирование записей для незарегистрированных пользователей, на данный момент комментирование снова доступно абсолютно для всех желающих. Приношу свои извинения за доставленные неудобства. Если Вам из-за этой ситуации не удалось высказать свое мнение - у Вас есть возможность сделать это сейчас. Воспользовавшись очередным бестолковым постом случаем, хочу порекомендовать подписаться на [...]

Трафик, генерируемый более чем 1.2 миллионами пользователей Digg, знаменитых своей жаждой информации, способен загнать любой невинный сайт за рамки его вычислительных ресурсов и пропускной способности канала. Как же сам Digg справляется с такой нагрузкой? Источники информации Этот текст - перевод статьи, автор - Todd Hoff. Как Digg.com использует LAMP для масштабирования Масштабируемость и производительность PHP в Digg Платформа MySQL Linux PHP Lucene APC PHP [...]

…или Kosmos Distributed File System Сегодня речь пойдет об еще одной распределенной файловой системе - KosmosFS. У русских людей название этого проекта определенно вызывает ассоциации с космосом, но изначально все же свою лепту в него внес изначальный разработчик - Kosmix. По большому счету KFS мало чем выделяется из множества своих конкурентов, по своей структуре она состоит из [...]

Wikimedia является платформой для Wikipedia, Wiktionary и еще семи менее крупных wiki-проектов. Этот документ очень пригодится новичкам, пытающимся довести свои проекты до масштабов гигантских вебсайтов. Здесь можно найти множество интересных деталей и инновационных идей, которые уже успели доказать свою работоспособность на самых посещаемых сайтах всего Интернета. Источники информации Перевод статьи. Автор - Todd Hoff. Архитектура Wikimedia Серверы Wikimedia scale-out vs [...]

Уже приготовились мыть посуду? Что ж, придется Вас разочаровать, сегодня речь пойдет вовсе не о моющем средстве, а об одноименной технологии. Comet представляет собой архитектуру веб-приложений, основной особенностью которой является тот факт, что отправка данных от сервера к клиенту (в роли которого обычно выступает браузер) не требует какого-либо запроса данных со стороны клиента. Это позволяет пользователям [...]

Мне тут на досуге в голову пришла мысль, что было бы неплохо, если бы нашлись люди, способные поделиться какой-либо полезной информацией по тематике блога. Возможно моя точка зрения на многие вопросы далека от совершенства и существуют какие-либо альтернативные взгляды, которые были бы не менее интересны читателям. Другими словами я хотел сказать, что был бы рад появлению [...]