Исключение BlockingIOError игнорируется; я должен быть обеспокоен?

Похоже, что лимитирующим фактором является работа с множеством недолговечных subprocess. Из трекера Python:

"Исключение игнорируется при попытке записи в сигнал wakeup fd" происходит от обработчика сигнала в модулях /signalmodule.c. Проблема в том, что Python получает много сигналов SIGCHLD (тестовые скрипты создают +300 процессы в секунду на моем компьютере). Производитель (обработчик сигнала, записывающий номер сигнала в "сам"), быстрее, чем потребитель (обратный вызов BaseSelectorEventLoop._read_from_self).

С патчем я начинаю получать сообщения с 140 параллельными процессами, что намного лучше :-) IMO более 100 одновременных процессов сумасшедшие, не делайте этого дома :-) Я имею в виду процессы с очень коротким сроком службы. Предел - это количество SIGCHLD в секунду, поэтому количество процессов, которые заканчиваются на той же секунде.

Я изменил свой код, чтобы ограничить количество create_subprocess_exec сразу. Я прекратил видеть ошибки, когда я опустился ниже 35, хотя я, вероятно, поставил его на 20, чтобы быть уверенным. Ваш пробег может отличаться.

async def myTask(stuff, semaphore, loop):
    with semaphore:
        process = await asyncio.create_subprocess_exec('short_program', loop=loop)

def taskRunner(stuffs):
    loop = asyncio.get_event_loop()
    semaphore = asyncio.Semaphore(20)  # limit how many can run at a time
    tasks = [
        asyncio.ensure_future(myTask(semaphore, loop))
        for i in range(20000)
    ]
    loop.run_until_complete(asyncio.gather(*tasks))
    loop.close()