Если я открываю и читаю файл, который периодически записывается, может ли произойти тупик ввода-вывода?

Question

Если я открываю и читаю файл, который периодически записывается, может ли произойти тупик ввода-вывода?

1

В моем серверном процессе это выглядит так:

Основные бэкэнд-процессы:

Процессы Огромный список файлов и запись их в MySQL.
На каждые 500 сделанных файлов он записывает "Отчет о проделанной работе" в отдельный файл /var/run/progress.log, как этот "200/5000 файлов"
Он обрабатывается с несколькими детьми с 4 детьми, каждый из которых обязательно работает в отдельном файле.

Процесс веб-сервера:

Прочитайте вывод /var/run/progress.log каждые 10 секунд через Ajax и отчитайтесь о шаге выполнения.

При обработке очень большого списка файлов (например, более 3 ГБ архива) процессы блокируются примерно через 2 часа обработки.

Я не могу найти, что происходит. Означает ли это, что /var/run/progress.log вызвало блокировку ввода-вывода?

Phyo Arkar Lwin 01 май 2011, в 14:12

Источник

0

Заполняете ли вы файл /var/run/progress.log самостоятельно или используете какой-либо стандартный модуль регистрации?
Roman Bodnarchuk 01 май 2011, в 12:11
0

Сам по себе, но записи всегда закрыты сразу. Они как пишут каждые 3-5 секунд, в зависимости от размера файла.
Phyo Arkar Lwin 01 май 2011, в 12:39
3

Если вы не используете блокировки файлов, не существует такой вещи, как взаимная блокировка ввода / вывода - это где-то ошибка в вашей программе. запустите strace -p для процесса, чтобы увидеть, что он пытается сделать.
nos 01 май 2011, в 13:02
0

Допустим, процесс открывает файл и записывает в него данные, а затем пытается прочитать другой файл (который не закрыт), не вызывает ли это IO Slowdown / Lockup?
Phyo Arkar Lwin 01 май 2011, в 18:06
0

Нет, это не тупик. Однако ваше приложение для чтения может прочитать частичное обновление. Если ваш код синтаксического анализа не написан для ожидания неверных данных, вы можете получить исключение из неожиданного места. В зависимости от вашей структуры кода это может легко вызвать «тупик»
Rakis 02 май 2011, в 12:38

Показать ещё 3 комментария

Теги:

python

performance

linux

io

deadlock

2 ответа

0

Быстрая консультация, убедитесь, что вы действительно закрываете файл.

Итак, ВСЕГДА используйте блок try-except-final для этого

Помните, что contents заключительного блока будут ВСЕГДА выполняться, что предотвратит много боли в голове:)

Juan Antonio Gomez Moriano 31 авг. 2012, в 05:16

Ещё вопросы

Заполняете ли вы файл /var/run/progress.log самостоятельно или используете какой-либо стандартный модуль регистрации?
Сам по себе, но записи всегда закрыты сразу. Они как пишут каждые 3-5 секунд, в зависимости от размера файла.
Если вы не используете блокировки файлов, не существует такой вещи, как взаимная блокировка ввода / вывода - это где-то ошибка в вашей программе. запустите strace -p для процесса, чтобы увидеть, что он пытается сделать.
Допустим, процесс открывает файл и записывает в него данные, а затем пытается прочитать другой файл (который не закрыт), не вызывает ли это IO Slowdown / Lockup?
Нет, это не тупик. Однако ваше приложение для чтения может прочитать частичное обновление. Если ваш код синтаксического анализа не написан для ожидания неверных данных, вы можете получить исключение из неожиданного места. В зависимости от вашей структуры кода это может легко вызвать «тупик»

TheBiggerGuy · Accepted Answer · 2012-04-20T13-33-00.000Z

В python на Linux это не должно блокироваться, однако попробуйте использовать модуль os

os.open(file, os.O_NONBLOCK | os.O_RDONLY)

и убедитесь, что вы закрываете файл fh.close(), поскольку Python - это немного ленивая очистка файлов.

http://docs.python.org/library/os.html