Александр Копытов

Движок предназначен для создания распределенных систем регистрации поступающей информации со счетчиков интернет-статистики. Производительность одного узла кластера – от 500 http-запросов в секунду в зависимости от мощности используемого серверного оборудования. В системе используются высокоскоростные узкоспециализированные веб-серверы. Производительность системы находится в прямой зависимости от объема оперативной памяти: чем больше памяти, тем больше производительность.

Ядро парсера обладающий большой степенью универсальности, способного преодолевать многие средства защиты.

Максимально настраиваемый: параметры настройки, такие как User-Agent, частота сканирования одного ресурса и прочее задаются в базе данных.

Многопоточный: для ускорения робот умеет сканировать различные сайты параллельными потоками.

Вежливый: робот в работе может использовать файл сайта 'robots.txt'.

Мимикрия: робот очень похож на браузер. Поддержка cookie и заголовков, которые браузер в обязательном порядке отправляет серверу.

Универсальный: вы сможете легко его настроить на сканирование новых сайтов.

Идеален для встраивания в сайт, так как закачивает данные прямо в существующую базу сайта.

Работает с текстами, картинками, фото.

Скрипт для скоростного поиска Radmin-серверов. Скорость работы зависит от объема оперативной памяти и ширины интернет-канала. В лог-файл записывает IP-адреса найденных серверов, его версию, способы аутентификации.

Алгоритм оценки схожести текстов с учетом русской морфологии и использованием векторов в многомерном пространстве. Метод позволяет с намного большей достоверностью оценить схожесть текстов, чем это делает шингл-алгоритм. Так тексты оцениваемые по шинглам со сходством в 30-50% оказывались на самом деле схожими на 90-95%. Алгоритм использует в работе довольно большую (свыше 100 мб) базу словоформ русского языка и тяжелые вычисления. Так поиск дубликатов 100000 документов на сайте статей выполнялся около недели с использованием 10 серверов. Анализ обнаруженного дублированного контента с привлечением человека показал, что статьи являются очень качественным рерайтом.

Проведение нагрузочного тестирования – неотъемлемая частью веб-разработки промышленных масштабов.
Проверки ПО под нагрузкой необходимо начинать еще с самых ранних стадий разработки. Также время от времени по мере появления нового функционала необходимо проводить повторные тестирования под нагрузкой. Обычно тесты проводимые самими разработчиками на локальном сервере могут выдавать очень оптимистичные прогнозы по производительности системы. Однако эксплуатация изделия в реальных условиях приносит иной раз неприятные сюрпризы в области производительности, масштабируемости и стабильности.

Модуль perl для скачивания информации с сайтов, использующих различные методы блокирования роботов-пауков.
Использует максимально похожие на браузерные методы работы с сайтами.
все стандартные заголовки браузеров;
работа с cookie;
keep-alive соединения;
поддержка кеширования if-modified-since;
поддержка сжатого контента;
поддежка работы через различные типы прокси-серверов;
и т.п.

Функционал: между пользователем и сервером встраивается редактирующий прокси-сервер. Это позволят изменять любые заголовки и тела запросов и ответов. Т.е. все что отправляется от пользователя к серверу, так и от сервера к пользователю. Это может быть подмена заголовка user-agent на правильное значение, удаление баннеров со страниц, или наоборот вставка своей рекламы. Сокрытие сервера либо клиента. А также масса других вариантов.

Веду разработку и наполнение базы данных лексем русского языка, включающей на данный момент в себя более 100 тысяч слов в начальной форме, а также все их словоформы.
Объем базы данных составляет около 100 мб и покрывает более 99% самых часто используемых слов. База данных формировалась путем сканирования различных словарей русского языка.

Разработка, анализ и оптимизация структуры существующей БД;

Участие при выработке требований, проектировании, разработке, сопровождении БД;

Разработка нормативных документов, определяющих разработку БД, контроль их исполнения;

Моделирование и документирование БД;

Консультирование по вопросам разработки и сопровождения БД.

Услуги по проведению аудита структуры баз данных:
обнаружение тяжелых запросов,
мероприятия по оптимизации запросов,
мероприятия по изменению структуры базы данных.

Разрабатываю под ключ различного рода системы управления с использованием электронных цифровых подписей (ЭЦП) на основе собственной CMS с использованием алгоритмов RSA, DSA, Diffie-Hellman, ГОСТ Р 34.10-2001
Основной функционал ядра системы:
управление пользователями системы и настройки безопасности;
управление ЭЦП пользователей(ведение реестра ЭЦП, выдача, аннулирование и продление сертификатов);
проведение зашифрованного документооборота;

Провожу работы по проектированию, разработке и эксплуатации защищенных сетей с использованием технилогии VPN.
VPN (англ. Virtual Private Network — виртуальная частная сеть) — обобщённое название технологий, позволяющих обеспечить одно или несколько сетевых соединений с использованием средств криптографии (шифрованию, аутентификация, инфраструктуры публичных ключей, средствам для защиты от повторов и изменения передаваемых по логической сети сообщений).

В зависимости от применяемых протоколов и назначения, VPN может обеспечивать соединения трёх видов: узел-узел, узел-сеть и сеть-сеть.