Стартап: сбор и аналитика данных: Портфолио фрилансера Илья Харин 26.02.2016, работа №1 - FL.RU
К списку работ
Илья Харин
Илья Харин

Стартап: сбор и аналитика данных

апрель 2015 – настоящее время – стартап (сооснователь). направление: анализ интернет-контента Задачи: - обеспечение высокой устойчивости скриптов, выполняющих сетевую деятельность - сбор, агрегирование внутренних логов - анализ и агрегация собираемых данных ( > 1ТБ) - кластеризация системы на несколько серверов Языки: - python – основной для серверой разработки - C – написание расширений - javascript – интерфейс Основные инструменты: - самописный сетевой движок (C (Си)) - Elasticsearch – как бд хранения собранных данных - RabbitMQ – брокер сообщений – один из элементов объединения серверов в кластер - AngularJS – реализация single-page-application - Django – бэкенд системы для взаимодействия с пользователями - grafana + graphite – для работы с внутренними логами - mysql – основная бд хранения реляционных данных