Импортируйте сжатый дамп SQL в Postgresql с помощью Python

Question

Импортируйте сжатый дамп SQL в Postgresql с помощью Python

1

Мне нужно импортировать сжатый sql-дамп в базу данных PostgreSQL. Дамп создается следующим образом:

pg_dump -F c

Итак, я получаю сжатый файл, который я не могу просто разбор строки за строкой, а затем использовать psycopg2 для загрузки его в мою базу данных.

Сжатые дампы, с которыми я имею дело, довольно большие (до 10 ГБ). Что было бы эффективным способом их импорта?

Kai 10 фев. 2011, в 23:11

Источник

0

Есть ли причина, по которой вы не можете повторно импортировать с помощью командной строки? Делать это через Python будет неэффективно.
asthasr 10 фев. 2011, в 21:48
0

Если вам нужно «контролировать» его через Python, вы всегда можете выполнить необходимую команду командной строки из Python.
payne 10 фев. 2011, в 21:50
0

Почему бы просто не использовать собственные инструменты postgres, такие как pg_restore?
Keith 10 фев. 2011, в 22:34
0

Вы знаете, какой алгоритм сжатия он использует?
Keith 10 фев. 2011, в 22:35
0

@Keith: Свое, как говорится в человеке. Файл 'src / bin / pg_dump / pg_backup_archiver.c' в исходном дереве. Он использует zlib, но имеет свою собственную структуру. Его не просто на молнии. Лучшая ставка, вероятно, будет взаимодействовать с ним в C и использовать заголовки pg, если вам действительно нужно сделать это таким образом.
nate c 10 фев. 2011, в 23:26
0

Скрипт, выполняющий это, вызывается веб-сервером. До сих пор я думал, что поскольку я не могу предоставить пароль через ~ / .pgpass, другого способа сделать это нет. Но я только что обнаружил, что существует PGPASSWORD как переменная окружения. Я должен быть в состоянии использовать это.
Kai 11 фев. 2011, в 15:42
0

импортируйте его локально на ваш собственный сервер postgres и снова экспортируйте как csv
Andreas Jung 28 окт. 2013, в 16:28

Показать ещё 5 комментариев

Теги:

python

postgresql

1 ответ

Ещё вопросы

Есть ли причина, по которой вы не можете повторно импортировать с помощью командной строки? Делать это через Python будет неэффективно.
Если вам нужно «контролировать» его через Python, вы всегда можете выполнить необходимую команду командной строки из Python.
Почему бы просто не использовать собственные инструменты postgres, такие как pg_restore?
Вы знаете, какой алгоритм сжатия он использует?
@Keith: Свое, как говорится в человеке. Файл 'src / bin / pg_dump / pg_backup_archiver.c' в исходном дереве. Он использует zlib, но имеет свою собственную структуру. Его не просто на молнии. Лучшая ставка, вероятно, будет взаимодействовать с ним в C и использовать заголовки pg, если вам действительно нужно сделать это таким образом.
Скрипт, выполняющий это, вызывается веб-сервером. До сих пор я думал, что поскольку я не могу предоставить пароль через ~ / .pgpass, другого способа сделать это нет. Но я только что обнаружил, что существует PGPASSWORD как переменная окружения. Я должен быть в состоянии использовать это.
импортируйте его локально на ваш собственный сервер postgres и снова экспортируйте как csv

Peter Eisentraut · Accepted Answer · 2011-02-11T03-14-00.000Z

В основном вы не можете этого сделать, если не переопределите pg_restore в своем проекте Python. Рассмотрим вместо этого вызов pg_restore из вашей программы Python.