Подключите нашего Telegram-бота для уведомлений о новых проектах

Импорт и обновление гигантской базы данных

d
Заказчик
Отзывы фрилансеров: + 12 - 0
Зарегистрирован на сайте 10 лет и 7 месяцев
Бюджет: 2500 руб
25.03 $ — 23.99 €
Исполнитель определен: Сергей Филиппенко  
Задача номер 1.

Дано:

Есть База данных в виде csv-файла объемом 2Gb (два гигабайта)

База обновляется ежедневно и ежедневно выкладывается на определенный URL

Нужно организовать ежедневный залив этой базы данных в MySQL-базу на сервере.

То есть нужно написать некий скрипт, который берет этот csv-файл с определенного URL, скачивает его и импортирует его в базу.

Предполагается, что данный скрипт запускается раз в сутки по Крону и делает свою работу.

Как вариант решения задачи – делить csv-файл на 20-30 частей по строкам и импортировать последовательно каждую часть.

В дампе строки дописываются и строки пропадают также строки могут меняться – короче все может быть поэтому чем сравнивать по-моему проще убить старую версию и залить новую

Задача 2.

К этой базе нужно прикрутить "человеческий" веб-интерфейс отображения по фильтрам – регион, город, дата, сумма, и еще около 5 полей разных.

Так чтобы юзер мог зайти и отфильтровать и отобразить в виде таблицы карточки из базы по гео, дате, сумма от и до и тд. вбивая параметры фильтра в поля

С возможностью скачать полученную выборку в виде csv-файла

Задача 3.

Юзер может "подписаться" (на электронную почту) на определенные обновления определенной выборки из базы, задав параметры этой выборки в своей "подписке" (профиле) и тогда второй скрипт запускаемый по Крону высылает этому пользователю некое письмо с этой выборкой и прикрепленным csv-файлом новых карточек которые появились в базе со времени последнего обновления базы. Сервер рассылок и шаблон письма имеется в наличии.

Прикрепляю к проекту небольшой кусок из этой базы данных.

Пишем не под винду естественно

ПРОСЬБА: Напишите Вашу цену – отдельно за каждый этап работы – за задачу 1, задачу 2 и задачу 3 отдельно.
Разделы:
Опубликован:
07.01.2020 | 15:21 [последние изменения: 07.01.2020 | 19:56]

Теги: нужен программист, ищу программиста, резюме программиста, требуется база данных

Наши партнеры
Сведения об ООО «Ваан» внесены в реестр аккредитованных организаций, осуществляющих деятельность в области информационных технологий. ООО «Ваан» осуществляет деятельность, связанную с использованием информационных технологий, по разработке компьютерного программного обеспечения, предоставлению доступа к программе для ЭВМ и является правообладателем программы для ЭВМ «Платформа FL.ru (версия 2.0)».