Немного про сайт в целом.

[Apollion]

Большую часть возвращаемой страницы содержит медиа контент, а именно картинки, от этого у сайта много проблем а-ля "давай полежим на мундольфе". Суть в том что большую часть страницы кеширует браузер, это хорошо для сайта и для сервера, но проблема в том люди приходящие смотреть например "мундольф" могут нечего в кэше браузера и не содержать, от сюда вырисовывается проблема размера главной страницы.

Тут предлагаю некоторую пищу для размышлений.

1. Где то было предложение уменьшить размер картинок в новостях, я считаю это предложение очень очень хорошим, главное что бы картинка на главной была действительно маленькой, а не уменьшена html кодом.
Внутри самой же новости можно размер картинки оставить такого же размера, какая она есть сейчас.

2. Уменьшить количество новостей на главной до 10, это немного уменьшит размер главной страницы.

или же

Большинство людей приходят смотреть стримы , а не читать новости, а анонсы по стримам и так вынесены в отдельную колонку рядом с чатом, из этого следует что информация по стримам дублируется, а это не есть хорошо, из этого следует что можно (даже нужно) новости вынести вообще в отдельную страницу.

3. ИМХО сайт с такой посещаемостью давно вырос из друпала, тут можно сделать два варианта морозить проект в плане функционала, и начать заниматься оптимизацией сайта, исправлением ошибок, выкидыванием лишнего функционала из движка, возможно где то есть костыли от которых надо бы избавиться, и вообще очень серьезно работать напильником, что бы в движке не было нечего лишнего.
или же
вообще потихоньку начать писать сайт с нуля (как вариант).

4. Демократия демократией, но на часе критики перестать слушать предложения по дополнению функционала, а то такими темпами и новый сервер не поможет, ну можно разве что клиентской части, ибо нагрузки на сервер оно не оказывает.

5. Подключается 20 css файлов меньше 1kb, то же самое и с js и всякими png, объединение всего этого в 1 файл, в том числе и мелкие картинки в css запихать или на худой конец в одну картинку, существенно снизит кол-во запросов к серверу.
Сейчас 32 файла css и 26 js.
Дополнение от zxcarb

6. Использования Ajax для сайта, по идее должно помочь, хотя тут может быть не прав
или
придумать что нибудь такое что бы обновлять только шапку со стримами, кнопку какуйнить отдельную, я хоть в вэбе и нуб, но знаю как это можно сделать с помощью тэгов frame, а кто в js с ajax'ом разбирается может что и получше придумать.

В принципе усе.

З.Ы. Напоминаю пост несет в себе в первую очередь пишу для размышлений, и возможно некоторые решения.
З.Ы.Ы. Надеюсь хоть кто то на это внимание обратит.

[Apollion]

Как меня тяжело читать это ппц, я аж в шоке

[zxcabs]

Проблема не в кешировании, а в не оптимальной организации, Подключается 20 css файлов меньше 1kb, то же самое и с js и всякими png, объединение всего этого в 1 файл, в том числе и мелкие картинки в css запихать или на худой конец в одну картинку, существенно снизит кол-во запросов к серверу.

[MegaDen]

Помню было уже с десяток подобных тем...

[Apollion]

Хорошее замечание добавил в тему.
Но я не говорил что кэширование это проблема, я говорил о тех пользователях которые нечего в кэше не содержат, и начинают тянуть всю эту кодлу.

[TsArIo]

ПЛЗ Уберите bold с главной страницы - жирные коменты не айс!

[ne0n]

очень любопытно

[ilyuzhko]

статику давно пора повешать на отдельный серв

[VitaL]

Главная страница на 99% статика. Там все можно оптимизировать до безумия, но не хотят/не знают как. По поводу запросов к серверу - чат генерирует куда больше, куда чаще и куда бесполезнее. Там тоже можно много что докрутить.

Никто не будет читать советы(иногда еще и бан дают), да и заниматься этим, так что такие темы несут мало смысловой нагрузки.

[Tw33dleDee]

32 файла css -- это полная жесть. Оттого сайт и ложится во время мундольфа.

Следует глянуть на http://pagespeed.googlelabs.com/#url...F&mobile=false -- там вообще жесть, дофига ресурсов не кэшируются в принципе.
Еще следует отдавать jquery не с сайта, а с Google CDN.

[VitaL]

32 файла css -- это полная жесть. Оттого сайт и ложится во время мундольфа.
Еще следует отдавать jquery не с сайта, а с Google CDN.

Не от того он ложиться. Большинство этих css у постоянных посетителей вообще в кэше(изменения там редко происходят или не происходят вообще). Апач не справляется(об этом даже писали), хотя от этого можно избавиться.

А по поводу jquery тоже разницы никакой. Она в кэш ложиться и не меняется. Просто гугловская хороша тем, что возможно она уже БУДЕТ в кэше на момент первого захода на сайт.

[ilyuzhko]

ну и еще гугловская хороша тем, что идет минус 1 запрос к js-ке...

[Sunset123]

тут кстати темка про ск2тв и ие9 недавно была, так вот - ие9 подключает не более 31 ксс-файла, если здесь их 32, то из-за этого сайт и выглядит как простой текст.

[yalme]

Перейдите с апача на nginx, все запросы кроме чата - через мемкэш делать, чат хранить в бд таблице memory для максимальной скорости работы, для неавторизованных пользователей почти всю глангу можно файлово кешировать на 5 минут и больше и так далее... Оптимизировать можно все. И я уже писал админам по поводу хостинга - переходите на облачный (например Клодо - http://clodo.ru/r161
), и не будет падений...

[shr]

Вы нас за нубов совсем не считайте, да? Апача уже нет, php-fpm + nginx, memcache само собой. Чат в ramfs. Узкое место - это друпал. У нас уже все это признали наконец-то. Пока остаемся на нем. И тонны css это кстати одна из фич друпала - сколько сайтов на нем не видел, у всех такая фигня.

Мы их не клеим, потому что при склеивании куча всего перестает работать. С отдачей статики проблем нет и css сайт не кладет Кладет генерация php, а конкретнее - универсальный движок с кучей универсального хлама внутри. Про стронг чуть позже гляну, косяк чей-то

[VitaL]

Вы нас за нубов совсем не считайте, да? Апача уже нет, php-fpm + nginx, memcache само собой. Чат в ramfs. Узкое место - это друпал. У нас уже все это признали наконец-то. Пока остаемся на нем. И тонны css это кстати одна из фич друпала - сколько сайтов на нем не видел, у всех такая фигня.

Мы их не клеим, потому что при склеивании куча всего перестает работать. С отдачей статики проблем нет и css сайт не кладет Кладет генерация php, а конкретнее - универсальный движок с кучей универсального хлама внутри. Про стронг чуть позже гляну, косяк чей-то

"Признали" и "на самом деле" очень сильно разные вещи. Под апачем(когда речь шла про него, не помню кто из админов писал) подразумевалось, что сервер не справляется со всей динамикой. Отказались от апача, но все равно не справляется. Правда дело не в сервере, а в самой динамике. Особенно там, где она не нужна. Дело не в универсальности движка(который отлично кастомизируется), а в самой архитектуре и как следствие реализации проекта. Сайт падает ровно тогда, когда все вдруг резко обновляют главную, чтобы увидеть плеер мундольфа(стрима димаги, еще чего-то популярного). В остальное время вполне сносно работает. Всю эту нагрузку можно очень сильно сократить, но проще обвинить дрюпал с его фичами.

По поводу drupal и кучи css файлов сюда http://www.whitehouse.gov/ (3 штуки), http://www.nysenate.gov/ (4 штуки), http://www.gouvernement.fr/ (3 штуки). Вообще не понимаю причем тут drupal и css. Движок движком, а шаблоны шаблонами.

По поводу чата стоит заметить, что узким местом может быть не только хранилище данных, но и сетевой интерфейс. Конечно, отдавая статичный файл это не так заметно на фоне остальных проблем, но по 5000-8000 тысяч соединений явно не способствуют снижению нагрузки. Плюс ширина канала не бесконечная(не знаю какая она у вас, но все же), а отдавая файл даже таких небольших размеров(сейчас 26кб) канал все равно дополнительно загружается.

[shr]

Vital, спорить не будем Я друпалом принципиально плотно не занимаюсь, просто вижу со стороны как над ним бились одни, забили, теперь вот кто-то еще химичит. Пока другие пишут \ думают писать свое.

У нас хороший сервер-админ и если бы не он, друпал бы очень давно умер. Из коробки он не тянет ск2тв, хотя справедливости ради вряд ли какая-то готовая CMS бы тоже потянула

Про цсс - по логике да. Шаблоны отдельно. Но по факту - сколько не жмешь ctrl+u на друпальных сайтах - почти везде один и тот же ужас из 100500 js и css файлов. Я не говорю, что нельзя норм сделать, просто _из_коробки_ оно так. И именно так его заводили. И сейчас в нем черт ногу сломит.

Мы давно говорим: если есть желание - велкам фиксить.

[Apollion]

yalme
Облаком обозначают интернет или какие то сложные его части, что бы не показывать трудно объяснимые технические стороны инфраструктуры, а "Облачный хостинг виртуальных ресурсов" это не более чем маркетинговый ход, ибо облако благодаря гугловцам у всех нас слуху. Тем более у sc2tv настоящий живой кремниевый сервер, а скоро еще и новый прибудет за много денег. И переходить на виртуальный сервер более чем глупо, левого провайдера с хер знает каким обслуживанием, тем более у нас свой крутой Панасоня есть, которому хоть в пять утра звони.

shr
Может все таки тогда начать писать заново, не используя сторонних движков, за основу взять zend framework, и еще html5 на носу кстати.
Выступить с инициативой, набрать еще спецов, сколотить команду которая писать будет, ядром команды и координаторами естественно поставить прогеров и из комьюнити sc2tv, поднять svn сервер для этого дела.
Или к какой нибудь писающей конторе обратить, а на sc2tv объявить сбор средств на новый сайт (хотя мне это идея не нравиться).

[Ogra]

Про цсс - по логике да. Шаблоны отдельно. Но по факту - сколько не жмешь ctrl+u на друпальных сайтах - почти везде один и тот же ужас из 100500 js и css файлов. Я не говорю, что нельзя норм сделать, просто _из_коробки_ оно так. И именно так его заводили. И сейчас в нем черт ногу сломит.

Из коробки есть простая галочка - сжимать и объединять css и js файлы. Если эта функция глючит, то проблемы не в ней, а в кривых шаблонах/модулях.

[VitaL]

Vital, спорить не будем Я друпалом принципиально плотно не занимаюсь, просто вижу со стороны как над ним бились одни, забили, теперь вот кто-то еще химичит. Пока другие пишут \ думают писать свое.

Спорить и не планировал. Просто прежде, чем писать свое найдите сначала свои узкие места и проблемы, чтобы при написании не перенести их в новое решение, на которое будет потрачено уйма человеко-часов. А то ведь как может получиться, тот же друпал, только "теперь банановый"(с)реклама

Но по факту - сколько не жмешь ctrl+u на друпальных сайтах - почти везде один и тот же ужас из 100500 js и css файлов. Я не говорю, что нельзя норм сделать, просто _из_коробки_ оно так. И именно так его заводили. И сейчас в нем черт ногу сломит.

По факту вы просто взяли и воспользовались функций по сжатию яваскрипта и цсс, так что на ск2тв теперь тоже всего 2 файла. Незнание системы еще не означает, что система плохая или неспособная на что-то.

Мы давно говорим: если есть желание - велкам фиксить.

Последний раз когда я предлагал помощь, мне дали бан на 3 дня. Так что вы уж там сами как-нибудь.