Ваш пьяный друг когда-либо вдохновлял Вас на создание первого в своем роде интернет-сервиса, который пришелся бы по вкусу миллионам пользователей и при этом неприхотливо обрабатывал миллиарды электронных писем ежегодно? Именно так Paul Tyma и создал Mailinator. Mailinator представляет собой бесплатный, не требующий инсталляции, сервис для разрушения планов злобных спаммеров путем предоставления регистрации “одноразовых” почтовых адресов. Если [...]

37signals больше всего известны благодаря выпуску в свет Ruby on Rails грамотному его использованию для запуска их очень популярных продуктов: Basecamp, Highrise, Backpack и Campfire. RoR как обычно пытаются винить во всех проблемах с производительностью, но 37signals казалось бы справляется с большой нагрузкой, используя вполне разумное количество вычислительных ресурсов. Источники информации Этот текст является переводом статьи, автор [...]

Не удивлюсь, если заголовок этого поста вам не сказал ровным счетом ничего - это вполне логично. Именно эту ситуацию я и хотел бы сегодня исправить: it’s a pic представляет собой… …очередной интернет-проект. Хотели увидеть что-то более грандиозное? - читайте дальше! Начать наверное стоит с обозначения основной сути: поисковая система изображений, ориентированная на глобальный рынок. Да-да, мы уже [...]

Google Talk представляет собой сервис мгновенного обмена сообщениями от Google. В основе этого сервиса лежит XMPP протокол, более известный как Jabber. В России среди IM-сервисов несомненно наиболее широко распространен ICQ, но количество русских пользователей Jabber тоже неуклонно растет. Вам когда-нибудь доводилось задумываться какое количество сообщений приходится обрабатывать такого рода сервисам? Допустим есть абстрактный IM-сервис, которым [...]

Возможно Вы уже обратили внимание, что в начале мая данный блог был добавлен в один из крупнейших (если не самый крупнейший) каталог интернет-ресурсов - DMOZ.org, также известный как Open Directory Project. Само по себе это событие достаточно значимо для любого сайта, но я почему-то не счел нужным писать по этому поводу отдельный пост, видимо [...]

GlusterFS представляет собой кластерную файловую систему, способную масштабироваться для хранения далеко не одного петабайта данных. Как и многие другие кластерные файловые системы, GlusterFS аггрегирует дисковое пространство большого количества машин в одну общую параллельную сетевую файловую систему через Infiniband RDMA или TCP/IP соединение. Обычно в качестве аппаратной основы для этой файловой системы используется ничем не выдающееся [...]

В результате цепочки достаточно случайных факторов сегодня попал на данное мероприятие, представляющее собой конференцию разработчиков на Perl. Пока впечатления еще не улетучились - решил вот выразить их здесь в словестной форме. Началось все с того, что мне в голову взбрела достаточно глупая мысль съездить к 9 утра субботы на лекции в университет, ни о какой конференции [...]

Уже немало слов было сказано по этой теме как в моем блоге, так и за его пределами. Мне кажется настал подходящий момент для того, чтобы перейти от частного к общему и попытаться взглянуть на данную тему отдельно от какой-либо успешной ее реализации. Приступим? Для начала имеет смысл определиться с тем, о чем мы вообще будем говорить. В [...]

Twitter стартовал как побочный подпроект, но не смотря на это темпы его роста были впечатляющими: путь от 0 до миллионов просмотров страниц занял всего несколько коротких месяцев. Ранние решения о проектировании системы неплохо справлялись с небольшими нагрузками, но они быстро таяли под напором огромного количества пользователей, желающих разослать весточки всем своим друзьям с ответом на [...]

Наверняка у многих из вас слово “интерфейс” ассоциируется с внешним видом любой программы, то есть кнопочками, виджетами, иконками и прочим ее оформлением. Да, несомненно графический пользовательский интерфейс является одним из значений этого понятия, но существует и масса других! Хотите узнать больше? В общем случае под словом интерфейс понимают правила и рамки взаимодействия двух произвольных объектов. В [...]

Уже прошло четыре месяца с того момента, как я открыл этот блог, много текстов было написано с тех пор, вроде бы все нормально, но сегодня мне вдруг стало интересно: а стоит ли он вообще потраченного на него времени? Да, я веду этот блог просто скорее ради собственного интереса, чем для какой-либо практической пользы, но мнение читателей [...]

В процессе чтения моего блога у вас наверняка возникал вопрос: а что же имеется в виду под фразой сегментирование базы данных? На самом деле это просто приглянувшийся мне вариант перевода термина sharding (или он же - partitioning), в качестве альтернатив можно было бы использовать партиционирование, секционирование или что-нибудь еще менее звучное, суть от этого не меняется. [...]

Как говорится, все новое - хорошо забытое старое. Когда я в вдруг вспомнил эту поговорку, мне пришла в голову мысль вернуться к незаслуженно забытой некоторое время назад теме объектно-ориентированного программирования. Возможно многим читателям уже поднадоели часто публикующиеся здесь статьи об устройстве уже существующих проектов, это конечно же не повод прекратить их публикацию, но, тем не [...]

hCard представляет собой реализацию спецификации RFC 2426 (более известной как vCard) в виде микроформата. Основной его целью является предоставление стандарта оформления персональных данных на просторах Сети, но помимо этого имеется возможность указания информации об компаниях, организациях или местах. Как и любой другой микроформат, hCard реализуется без нарушения стандартов XHTML с помощью атрибутов тэга class, причем [...]

LiveJournal был одним из первых сервисов, бесплатно предоставляющих всем желающим личный блог. Практически с самого начала своего существования в далеком 1999 году проект столкнулся с непрерывно растущим потоком желающих воспользоваться услугами сервиса. Как же проекту удалось справиться с предоставлением маленького кусочка интернета каждому желающему, обойдя при этом всех конкурентов? Источники информации Возможно Вы ожидали увидеть здесь очередной [...]

Hypertable является еще одним opensource проектом, направленным на воспроизведение функционала BigTable от Google. Поставленная перед проектом цель заключается в реализации системы хранения данных на базе распределенной файловой системы, позволяющей перейти на новый уровень производительности при работе с гигантскими объемами данных. Принцип работы Hypertable прост до безобразия: Hypertable хранит данные в табличном формате, сортируя записи по основному ключу; для [...]

По техническим причинам последние несколько дней было недоступно комментирование записей для незарегистрированных пользователей, на данный момент комментирование снова доступно абсолютно для всех желающих. Приношу свои извинения за доставленные неудобства. Если Вам из-за этой ситуации не удалось высказать свое мнение - у Вас есть возможность сделать это сейчас. Воспользовавшись очередным бестолковым постом случаем, хочу порекомендовать подписаться на [...]

Трафик, генерируемый более чем 1.2 миллионами пользователей Digg, знаменитых своей жаждой информации, способен загнать любой невинный сайт за рамки его вычислительных ресурсов и пропускной способности канала. Как же сам Digg справляется с такой нагрузкой? Источники информации Этот текст - перевод статьи, автор - Todd Hoff. Как Digg.com использует LAMP для масштабирования Масштабируемость и производительность PHP в Digg Платформа MySQL Linux PHP Lucene APC PHP [...]

…или Kosmos Distributed File System Сегодня речь пойдет об еще одной распределенной файловой системе - KosmosFS. У русских людей название этого проекта определенно вызывает ассоциации с космосом, но изначально все же свою лепту в него внес изначальный разработчик - Kosmix. По большому счету KFS мало чем выделяется из множества своих конкурентов, по своей структуре она состоит из [...]

Wikimedia является платформой для Wikipedia, Wiktionary и еще семи менее крупных wiki-проектов. Этот документ очень пригодится новичкам, пытающимся довести свои проекты до масштабов гигантских вебсайтов. Здесь можно найти множество интересных деталей и инновационных идей, которые уже успели доказать свою работоспособность на самых посещаемых сайтах всего Интернета. Источники информации Перевод статьи. Автор - Todd Hoff. Архитектура Wikimedia Серверы Wikimedia scale-out vs [...]

Уже приготовились мыть посуду? Что ж, придется Вас разочаровать, сегодня речь пойдет вовсе не о моющем средстве, а об одноименной технологии. Comet представляет собой архитектуру веб-приложений, основной особенностью которой является тот факт, что отправка данных от сервера к клиенту (в роли которого обычно выступает браузер) не требует какого-либо запроса данных со стороны клиента. Это позволяет пользователям [...]

Мне тут на досуге в голову пришла мысль, что было бы неплохо, если бы нашлись люди, способные поделиться какой-либо полезной информацией по тематике блога. Возможно моя точка зрения на многие вопросы далека от совершенства и существуют какие-либо альтернативные взгляды, которые были бы не менее интересны читателям. Другими словами я хотел сказать, что был бы рад появлению [...]

Lustre представляет собой кластерную файловую систему, основными особенностями которой являются превосходные надежность и масштабируемость. Производительность также более чем высока - скорость передачи данных может достигать сотен гигабит в секунду, а теоретический максимум доступного дискового пространства измеряется петабайтами. Эта файловая система может использоваться как на скромных рабочих группах из нескольких компьютеров, так и на огромных кластерах, [...]

За три коротких месяца Friend for Sale (рейтинговая система в условиях рыночной экономики) попала в десятку лучших приложений Facebook, непринужденно обрабатывая 200 запросов в секунду и демонстрируя шокирующее количество просмотров страниц, за месяц достигающее 300 миллионов просмотров. Все это дело рук двух разработчиков, работающих не полный рабочий день, которые смогли создать успешное веб-приложение, имея в [...]

За достаточно долгосрочную недоступность сайта в связи с тем, что техподдержка благополучно заблокировала хостинг с формулировкой “за превышение нагрузки на сервер”, следствием чего было сообщение об отсутствии доступа 403 Forbidden. Сегодня удалось успешно решить этот вопрос, убрал плагин к WP, который по их мнению был виновен в чрезмерной нагрузке (WP-UserOnline), хостинг разблокирован, надеюсь теперь хостинг-провайдера все [...]

К сожалению, на написание полноценных постов у меня последние дни не находилось достаточно времени в связи с учебой, но постараюсь как можно скорее эту ситуацию исправить… Чтобы этот почти-пост не оставался абсолютно бесполезным, предлагаю Вашему вниманию все флаги стран, которые активно используются мной по всему блогу, одним архивом. Насколько я понял, изначально они рисовались автором [...]

Рост YouTube был феноменально быстр, количество просмотров видео превысило 100 миллионов в сутки при том, что только около пяти человек работало над масштабированием проекта. Как им удается управлять предоставлением всех этих видеороликов своим посетителям? Как они развивались с тех пор, как были приобретены Google? Источники информации В отличии от остальных, этот перевод статьи от Todd Hoff‘а уже [...]

Для разработки приложений, работающих с использованием Hadoop, или же алгоритмов для MapReduce framework’а совсем не нужен полномасштабный кластер. На самом же деле для запуска всей системы, описанной мной в одном из предыдущих постов, вполне достаточно одного компьютера и буквально минут 15 свободного времени, как потратить их для решения этой задачи я Вам и поведаю. Рассказывать я [...]

Наверняка каждый владелец любого интернет-ресурса хоть раз сталкивался с этим микроформатом, rel-nofollow. Изначально он был введен для обозначения ссылок, оставленных кем-либо, кроме создателя самой веб-страницы, и, как следствие. для снятие с него ответственности за эту ссылку. Активнее всего этот микроформат влияет на работу большинства поисковых систем, оказывая влияние на учет ссылок в определении тех или [...]

Hadoop представляет собой платформу для построения приложений, способных обрабатывать огромные объемы данных. Система основывается на распределенном подходе к вычислениям и хранению информации, основными ее особенностями являются: Масштабируемость: с помощью Hadoop возможно надежное хранение и обработка огромных объемов данных, которые могут измеряться петабайтами; Экономичность: информация и вычисления распределяются по кластеру, построенному на самом обыкновенном оборудовании. Такой кластер может [...]