Потоковое чтение файлов в C ++

Я написал программу (используя FFTW) для выполнения преобразований Фурье некоторых файлов данных, написанных в OpenFOAM.

Программа сначала находит пути к каждому файлу данных (501 файлов в моем текущем примере), затем разделяет пути между потоками, так что thread0 получает пути 0-> 61, thread1 получает 62-> 123 или около того и т.д. И затем запускает оставшиеся файлы в последовательном порядке в конце.

Я использовал таймеры во всем коде, чтобы попытаться увидеть, где это узкие места, поскольку каждый раз запускать каждый файл занимает около 3.5 секунд, а для 8 файлов параллельно время составляет около 21 секунды (сокращение от 28s для 8x3.5 (серийное время), но не столько)

Проблемный раздел моего кода ниже

if (DIAG_timers) {readTimer = timerNow();}
for (yindex=0; yindex<ycells; yindex++)
{
    for (xindex=0; xindex<xcells; xindex++)
    {
        getline(alphaFile, alphaStringValue);
        convertToNumber(alphaStringValue, alphaValue[xindex][yindex]);
    }
}
if (DIAG_timers) {endTimerP(readTimer, tid, "reading value and converting", false);}

Здесь timerNow() возвращает значение часов, а endTimerP вычисляет время, прошедшее через ms. (Остальные аргументы связаны с тем, что он работает в параллельном потоке, чтобы не выводить 8 строк для каждого цикла и т.д. И описание того, что измеряет таймер).

convertToNumber принимает значение в alphaStringValue и преобразует его в double, который затем сохраняется в массиве alphaValue.

alphaFile - это объект std :: ifstream, а alphaStringValue - std :: string, который сохраняет текст в каждой строке.

Файлы, которые нужно прочитать, составляют приблизительно 40 МБ каждый (всего несколько строк более 5120000, каждый из которых содержит только одно значение, от 0 до 1 (в большинстве случаев == (0 || 1)), и у меня 16 ГБ ОЗУ, поэтому копирование всех файлов в память, конечно, было бы возможно, так как только 8 (1 на поток) должны быть открыты сразу. Я не уверен, что mmap будет делать это лучше? Несколько потоков в stackoverflow спорят о достоинствах mmap и более простых операциях чтения, в частности для последовательного доступа, поэтому я не знаю, будет ли это выгодно.

Я попытался окружить блок кода мьютексом, так что только один поток мог запустить блок сразу, в случае, если чтение нескольких файлов приводило к медленному IO с помощью неопределенного произвольного доступа, но это просто сократило процесс до примерно последовательного времени.

Любые предложения, позволяющие мне запустить этот раздел быстрее, возможно, путем копирования файла или, что-нибудь еще, будут оценены.

Редактировать:

template<class T> inline void convertToNumber(std::string const& s, T &result)
{
    std::istringstream i(s);
    T x;
    if (!(i >> x))
        throw BadConversion("convertToNumber(\"" + s + "\")");
    result = x;
}

оказывается медленным. Я предполагаю, что это связано с созданием 5 миллионов строк в файле, а затем тестирование на 5 миллионов при условии? Замена его предложением TonyD предположительно устраняет возможность обнаружения ошибки, но экономит огромное количество (по крайней мере, в этом контролируемом случае) ненужных операций.