Big Peka Life - интеллектуальный сервис для пользователей funstreams/sc2tv

[StapleStable]

А на чём обработку данных собираетесь делать в java части? Примерный стек хотя бы.

[sck_spb]

StapleStable, jblas для своих реализаций, weka (либо что-то более легкое), для распределенных spark и его вещи. Либы и технологии не фиксированны, вероятно изменяется, но суть будет такая.

У нас гибкий демократичный процесс, где мы берем новые идеи, пробуем новые вещи

[StapleStable]

sck_spb, Круто, со spark + mlib работал, постараюсь присоединиться по возможности. Как вариант для стриминга ещё Storm очень хорош.

[nagafono]

sck_spb, опыт в разработке достаточный для такого проекта (правда графики строить не приходилось собственно, ради изучения таких мелочей и хотелось бы поучаствовать), сам работаю фронтэндом, но потихоньку переквалифицируюсь в фулстека. нескольких базовых серверных методов достаточно. в общем, за деталями - в личку

[graarh]

graarh, спасибо, обязательно понадобится. попробовал тебе написать, личка закрыта

Открыл личку, сбрось какой-нть из своих контактов, пожалуйста. Апи открытое, держи https://www.dropbox.com/s/zrgqpq6b6p...02015.pdf?dl=0

[Vidakkk]

Классная задумка!

[Strategy]

Хороший ли ты любовник Миша Ни? С кем тебе стоит познакомиться из пекарей?

Идея правильная, но хотелось бы больше конкретики.

1. Какие новые возможности откроет эта система перед зрителем / стримером?
2. Насколько эти возможности актуальны?

То есть пока складывается впечатление, что система будет показывать, какой ещё стрим посмотреть, и с кем ещё из зрителей на каком канале поболтать. Будет ли кто-то пользоваться этими рекомендациями?

Лучше подумать над системой, которая бы рекомендовала стримеру игру / фильм и время для стрима, чтобы обеспечить максимальное количество зрителей / доната на канале.

[EatsFullLemons]

работают в области веб разработки, на пхп.
интересуюсь data science.
очень интересно =)
скайп illidanes

[sck_spb]

Strategy,

спасибо большое за идею. она в данный момент перерабатывается и скоро будет в виде слайда (части слайда)

- - - Добавлено - - -

Сегодня у нас обновилась информация по концепции и слайды.





- - - Добавлено - - -

Итак, ближайшие этапы:
1) доработка концепции, слайдов - слайд с мотивацией, текущим статусом (задумка есть)
2) генерация MVP/M0 продукта, к которой мы стремимся, составление беклога фич
3) генерация и разработка задач, даижущих нас в сторону M0
- здесь совершенно точно включены snlp и data mining задачи, поэтому желающим помочь предоставим данные легко
- для "проиграться с данными" мы собираем csv файл с сообщениями, эти файлы можно легко прочитать в другом языке, в том числе матлаб R
- первый майлстон будет по традиционной схеме batch-recompte -> save to persistence mongodb <- user requests, потому что streaming сложнее и не приблизит нас к MVP
4) заполнение development guideline практиками программирования и ссылками

- - - Добавлено - - -

Сегодня запущена уже новая версия сборщика сообщений в .csv файл, учитывающая транзиентность каналов

- - - Добавлено - - -

Апдейты.

1) сегодня был куплен домен bigpeka.life

2) мы определились с первым майлстоуном проекта, начальным. его примерным составом по фичам и архитектурой. добавлены два слайда (в плюс к тем, которые в предыдущем сообщении)



3) занялись первыми статистиками, анализами. посчитали пользователей, которые равномерно и много общаются в течение дня (фулл-тайм пекари)

абсолютный победитель - 5thOfNovember
3)

[Konstantin.V]

Разорву-ка я этот твой длиннопост. А то уже скоро, наверное, будет неудобно читать добавления

[sck_spb]

Konstantin.V, тот неловкий момент, когда приятно, когда что-то твое разрывают

- - - Добавлено - - -

У нас сегодня большая пека. Большая пека-облако на основании подсчетов сообщений за день.


Считали в Apache Spark, дальше собираемся заняться кластеризацией и коллаборативной фильтрацией. Ну и, конечно же, показывать эти результаты (как пека-облако, так и кластеризацию и коллаборативную фильтрацию) в интерактивном режиме на веб странице на уже купленном домене bigpeka.life - как общие для всего портала, так и персональные.



http://sc2tv.ru/channel/sckspb периодические стримы, куда можно прийти и начать участвовать в проекте
http://forum.sc2tv.ru/threads/86828-Big-Peka-Life - тема на форуме с презентацией о проекте, велкам

[kuzmalex]

http://forum.sc2tv.ru/threads/86828-Big-Peka-Life - тема на форуме с презентацией о проекте, велкам

Под 6 утра парень совсем зашкварился

[sck_spb]

Первая ласточка продакшон системы - первый рабочий сервис, генерирующий для пользователей слова облаков.

Картинку для себя увидеть можно по http://bigpeka.life:8080/api/v1/user.../LannTheStupid где вместо LannTheStupid свой ник

также свои цифры можно посмотреть по http://bigpeka.life:8080/api/v1/user.../LannTheStupid

Пример картинки

[SirenDAY]

На мой ник просто черная картинка

[Misato Katsuragi]

На мой ник просто черная картинка

Регистр учитывай

[sck_spb]

Забыл проапдейтить, сейчас есть новая версия (новая реализация) облака слов, пока еще с бажками

http://bigpeka.life:8080/#userWordCo.../LannTheStupid

генерящая облако на клиентской стороне (жаваскрипт). Завтра собираюсь постримить и позаниматься частью из этого:
позаниматься новой визуализацией (heatmap),
пофиксить бажки этой визуализации (облако на клиенте, главный баг с масштабированием, а, точнее, с отсутствием его), пофиксить баг с падением читалки чата,
подумать над видом общей страницы с несколькими визуализациями для пользователя
поразмыслить над кластеризацией и светлым будущим

- - - Добавлено - - -

Текущее облако выглядит вот так:

[had]

Геноцид

[sck_spb]

had,

правда, там слова старые и не так много сообщений (порядка 170 тысяч, это меньше двух дней чистой активности, баг починю с писалкой, будет больше сообщений, потому что перестартовывать не надо будет)

[had]

sck_spb, надо смайлы выпилить имхо.

[sck_spb]

had, думаю, что паттерны использования смайлов дают достаточно информации о пользователе с точки зрения сравнения пользователей. без смайлов - будет уже другая история. в общем, было уже обсуждение с парнями на эту тему