Tag Archives: bigquery
Запускаем Python-скрипт с помощью Cron на Linux
Я, как настоящий старовер, решил построить «data-pipeline» без коннекторов и DAG-менеджеров. Положив два перста на мышку, началась упорная работа. Разобрался с API рекламных систем, установил драйвер bigquery, залил первую таблицу в датасет. Победа была близка, осталось всё автоматизировать. Я начал разворачивать Airflow, а потом проснулся и вспомнил про cron. Вспомнив про ранее купленный на лучшемгосподихостинге…
Как очистить таблицу или удалить строку в Google BigQuery
До 2016 года BigQuery считалась AppendOnly платформой, без возможности удаления конкретных строк. Поэтому в ряде ситуаций вам приходилось создавать новую таблицу каждый день. Сейчас, благодря DML, мы можем работать со строками напрямую. Ссылка на документацию в конце статьи. Как очистить таблицу в BigQuery Для того, чтобы очистить таблицу, достаточно выполнить следующий запрос: DELETE FROM `Проект.Датасет.Таблица`…
Ошибка BigQuery: «Could not automatically determine credentials»
Аутентификация в Google Cloud возможна из под двух типов аккаунтов User и Service account. И большинство современных гайдов базируются на аутентификации через Service аккаунт, подробнее можно почитать в материалах для изучения в конце статьи. Аутентификация через сервисный аккаунт Пройдемся по необходимым этапам для создания сервисного аккаунта и получения JSON-ключа. Идем в IAM & Admin и…