А на чём обработку данных собираетесь делать в java части? Примерный стек хотя бы.
А на чём обработку данных собираетесь делать в java части? Примерный стек хотя бы.
StapleStable, jblas для своих реализаций, weka (либо что-то более легкое), для распределенных spark и его вещи. Либы и технологии не фиксированны, вероятно изменяется, но суть будет такая.
У нас гибкий демократичный процесс, где мы берем новые идеи, пробуем новые вещи
Последний раз редактировалось sck_spb; 17.06.2015 в 12:34.
sck_spb, Круто, со spark + mlib работал, постараюсь присоединиться по возможности. Как вариант для стриминга ещё Storm очень хорош.
Последний раз редактировалось StapleStable; 17.06.2015 в 14:09.
sck_spb, опыт в разработке достаточный для такого проекта (правда графики строить не приходилось собственно, ради изучения таких мелочей и хотелось бы поучаствовать), сам работаю фронтэндом, но потихоньку переквалифицируюсь в фулстека. нескольких базовых серверных методов достаточно. в общем, за деталями - в личку
Открыл личку, сбрось какой-нть из своих контактов, пожалуйста. Апи открытое, держи https://www.dropbox.com/s/zrgqpq6b6p...02015.pdf?dl=0
Дорогу осилит идущий.
Классная задумка!
Идея правильная, но хотелось бы больше конкретики.
1. Какие новые возможности откроет эта система перед зрителем / стримером?
2. Насколько эти возможности актуальны?
То есть пока складывается впечатление, что система будет показывать, какой ещё стрим посмотреть, и с кем ещё из зрителей на каком канале поболтать. Будет ли кто-то пользоваться этими рекомендациями?
Лучше подумать над системой, которая бы рекомендовала стримеру игру / фильм и время для стрима, чтобы обеспечить максимальное количество зрителей / доната на канале.
работают в области веб разработки, на пхп.
интересуюсь data science.
очень интересно =)
скайп illidanes
Strategy,
спасибо большое за идею. она в данный момент перерабатывается и скоро будет в виде слайда (части слайда)
- - - Добавлено - - -
Сегодня у нас обновилась информация по концепции и слайды.
- - - Добавлено - - -
Итак, ближайшие этапы:
1) доработка концепции, слайдов - слайд с мотивацией, текущим статусом (задумка есть)
2) генерация MVP/M0 продукта, к которой мы стремимся, составление беклога фич
3) генерация и разработка задач, даижущих нас в сторону M0
- здесь совершенно точно включены snlp и data mining задачи, поэтому желающим помочь предоставим данные легко
- для "проиграться с данными" мы собираем csv файл с сообщениями, эти файлы можно легко прочитать в другом языке, в том числе матлаб R
- первый майлстон будет по традиционной схеме batch-recompte -> save to persistence mongodb <- user requests, потому что streaming сложнее и не приблизит нас к MVP
4) заполнение development guideline практиками программирования и ссылками
- - - Добавлено - - -
Сегодня запущена уже новая версия сборщика сообщений в .csv файл, учитывающая транзиентность каналов
- - - Добавлено - - -
Апдейты.
1) сегодня был куплен домен bigpeka.life
2) мы определились с первым майлстоуном проекта, начальным. его примерным составом по фичам и архитектурой. добавлены два слайда (в плюс к тем, которые в предыдущем сообщении)
3) занялись первыми статистиками, анализами. посчитали пользователей, которые равномерно и много общаются в течение дня (фулл-тайм пекари)
абсолютный победитель - 5thOfNovember
3)
Последний раз редактировалось sck_spb; 18.06.2015 в 00:45.
Разорву-ка я этот твой длиннопост. А то уже скоро, наверное, будет неудобно читать добавления
Последний раз редактировалось Konstantin.V; 19.06.2015 в 03:00.
Konstantin.V, тот неловкий момент, когда приятно, когда что-то твое разрывают
- - - Добавлено - - -
У нас сегодня большая пека. Большая пека-облако на основании подсчетов сообщений за день.
Считали в Apache Spark, дальше собираемся заняться кластеризацией и коллаборативной фильтрацией. Ну и, конечно же, показывать эти результаты (как пека-облако, так и кластеризацию и коллаборативную фильтрацию) в интерактивном режиме на веб странице на уже купленном домене bigpeka.life - как общие для всего портала, так и персональные.
http://sc2tv.ru/channel/sckspb периодические стримы, куда можно прийти и начать участвовать в проекте
http://forum.sc2tv.ru/threads/86828-Big-Peka-Life - тема на форуме с презентацией о проекте, велкам
Первая ласточка продакшон системы - первый рабочий сервис, генерирующий для пользователей слова облаков.
Картинку для себя увидеть можно по http://bigpeka.life:8080/api/v1/user.../LannTheStupid где вместо LannTheStupid свой ник
также свои цифры можно посмотреть по http://bigpeka.life:8080/api/v1/user.../LannTheStupid
Пример картинки
На мой ник просто черная картинка
Забыл проапдейтить, сейчас есть новая версия (новая реализация) облака слов, пока еще с бажками
http://bigpeka.life:8080/#userWordCo.../LannTheStupid
генерящая облако на клиентской стороне (жаваскрипт). Завтра собираюсь постримить и позаниматься частью из этого:
позаниматься новой визуализацией (heatmap),
пофиксить бажки этой визуализации (облако на клиенте, главный баг с масштабированием, а, точнее, с отсутствием его), пофиксить баг с падением читалки чата,
подумать над видом общей страницы с несколькими визуализациями для пользователя
поразмыслить над кластеризацией и светлым будущим
- - - Добавлено - - -
Текущее облако выглядит вот так:
Последний раз редактировалось sck_spb; 06.07.2015 в 23:00.
had,
правда, там слова старые и не так много сообщений (порядка 170 тысяч, это меньше двух дней чистой активности, баг починю с писалкой, будет больше сообщений, потому что перестартовывать не надо будет)
Последний раз редактировалось sck_spb; 06.07.2015 в 23:08.
had, думаю, что паттерны использования смайлов дают достаточно информации о пользователе с точки зрения сравнения пользователей. без смайлов - будет уже другая история. в общем, было уже обсуждение с парнями на эту тему
Эту тему просматривают: 1 (пользователей: 0 , гостей: 1)