Я не знаю, где я ошибаюсь, но моя команда экспорта Sqoop из HDFS в MySQL не работает каждый раз.
sqoop export --connect "jdbc:mysql://quickstart.cloudera:3306/streaming"
--username root --password cloudera --table pd_count --update-key id
--update-mode allowinsert --export-dir /user/cloudera/input/* -m 1 --batch
В каталоге экспорта есть только 1 папка, и она содержит 3 файла, а именно,
Я обновил последний файл, чтобы узнать о аргументе --update. Но, работа терпит неудачу, независимо от того, сколько перестановок я стараюсь.
Вышеупомянутая команда была последней использованной командой.
Ниже приведен последний журнал ошибок по этой ссылке, пожалуйста, помогите мне.
Заранее спасибо.
Хорошо.. Я принимал что-то другое. Не могли бы вы попытаться использовать приведенные ниже параметры
--verbose
в экспорте еще раз для расширенных журналов.yarn logs -applicationId application_1513399439223_0001 > app_logs.txt.
--input-fields-terminated-by
.Обновление ответа в соответствии с вашим последним комментарием
Я вижу, что вы убили работу. Это может быть связано с производительностью. Пожалуйста, попробуйте настроить ниже и снова запустите sqoop:
-m 4
--batch
sqoop.export.records.per.statement
чтобы указать количество записей, которые будут использоваться в каждом объявлении insert sqoop export -Dsqoop.export.records.per.statement=100 --connect
sqoop export -Dsqoop.export.statements.per.transaction=100 --connect
Просьба предоставить журналы пряжи и каков объем данных?
--input-fields-terminated-by
не помог мне.