Tag Archives: bigquery

Запускаем Python-скрипт с помощью Cron на Linux

Запускаем Python-скрипт с помощью Cron на Linux

Я, как настоящий старовер, решил построить «data-pipeline» без коннекторов и DAG-менеджеров. Положив два перста на мышку, началась упорная работа. Разобрался с API рекламных систем, установил драйвер bigquery, залил первую таблицу в датасет. Победа была близка, осталось всё автоматизировать. Я начал разворачивать Airflow, а потом проснулся и вспомнил про cron. Вспомнив про ранее купленный на лучшемгосподихостинге…

Read More

Как очистить таблицу или удалить строку в Google BigQuery

как очистить таблицу в bigquery

До 2016 года BigQuery считалась AppendOnly платформой, без возможности удаления конкретных строк. Поэтому в ряде ситуаций вам приходилось создавать новую таблицу каждый день. Сейчас, благодря DML, мы можем работать со строками напрямую. Ссылка на документацию в конце статьи. Как очистить таблицу в BigQuery Для того, чтобы очистить таблицу, достаточно выполнить следующий запрос: DELETE FROM `Проект.Датасет.Таблица`…

Read More

Ошибка BigQuery: «Could not automatically determine credentials»

Could not automatically determine credentials

Аутентификация в Google Cloud возможна из под двух типов аккаунтов User и Service account. И большинство современных гайдов базируются на аутентификации через Service аккаунт, подробнее можно почитать в материалах для изучения в конце статьи. Аутентификация через сервисный аккаунт Пройдемся по необходимым этапам для создания сервисного аккаунта и получения JSON-ключа. Идем в IAM & Admin и…

Read More