uparser - это парсер (одного конкретного xD) Google Sheets документа.
ВАЖНО: для доступа к API Google используется service account. Данный аккаунт требует наличия разрешений не менее Browser, а также доступ на чтение к документу (задаётся в настройках "Share" документа).
Файл с ключом к service account должен помещаться в папке uparser/credentials. Полное имя файла следует указать в параметре SERVICE_ACCOUNT_FILE внутри .env-файла.
Контейнер PostgreSQL разварачивается с некотрыми предустановленными данными (расписание django_q, аккаунт администратора "test_admin : AAA123321")
ETL-процесс запускается по расписанию Django Q. По-умолчанию источник в Google Sheets читается каждые 2 минуты.
Настройка расписания доступна в админке django.
Для просроченных заказов, можно (опционально) отправлять сообщения в Телеграм через бота. Для этого в .env-файле необходимо указать токен для бота и id чата пользователя.
-
Как обрабытывать противоречивые данные в исходной таблице? Текущая реализация принимает за первичный признак пару полей "№ - заказ №". Если в исходных данных присутствует несколько противоречивых данных с одинаковым первичным ключом, в БД будет записано только последнее считанное значение.
-
Как обрабатывать неполные или некорректные данные в исходной таблице? Пытаться сохранить в базу неполную запись? Игнорировать? Останавливать работу? Текущая реализация не записывает (игнорирует) данные, не прошедшие валидацию на уровне модели и пишет ошибку в лог.
- Скопировать json-файл с ключами от Google service accout в папку uparser/credentials.
- Переименовать файл uparser/.env-sample > .env, отредактировать при необходимости параметры (SERVICE_ACCOUNT_FILE, BOT_TOKEN, CHAT_ID etc.).
- Выполнить из корневой директории проекта (нужен установленный Docker).
docker-compose up
- После запуска контейнеров перейти на http://localhost:8000/
- В правом верхнем углу страницы есть кнопки для перехода в админку django и для принудительного запуска ETL.