XSLT для обработки огромных файлов XML (почти 5 ГБ)

Question

XSLT для обработки огромных файлов XML (почти 5 ГБ)

1

Я пытаюсь найти последовательное решение, используя XSLT для преобразования огромных XML файлов (почти 5 ГБ)

Это то, что я пробовал до сих пор:

Использование MSXML Parser 4.0 (SP3) из командной строки:

> msxsl.exe myfile.xml mysheet.xslt -o output.xml

В этом заканчивается память (код: 0x8007000e) с файлами размером более 800 МБ.

Использование Mozilla Firefox или IE с использованием XSLT с помощью инструкции по обработке:

<? xml version = '1.0' encoding = 'UTF-8'?>

<? xml-stylesheet href= "mysheet.xslt" type = "text/xsl"?>

<Корень>...

Браузер падает через пару минут.

Попытка написать собственный XML-Reader в PHP (Ver 5.4.22) в Windows и выбрать элементы, которые мне нужны с XPath

<? PHP

ini_set ('max_execution_time', 0);

ini_set ('memory_limit', '-1');

$ xml = simplexml_load_file ('myfile.xml');

foreach ($xml-> xpath ('/root/node/atribute [@id = "значение"]') как $ result) {

...

......

}

.........

Сбой сервера Apache.

Расскажите о своем опыте в этой области... А как насчет написания класса на Java?

PS Я не хочу использовать программное обеспечение, такое как XmlSplit или что-то в этом роде!

Gunther von Goetzen Sanchez 28 окт. 2015, в 20:36

Источник

0

Как насчет любого XSLT-процессора, созданного для 64-битной системы на компьютере с достаточным объемом оперативной памяти? Держу пари, что не так много других вариантов, так как из-за природы XSLT большинство процессоров написаны для загрузки всего документа в дерево DOM. В противном случае, я бы сказал, мусор XSLT. Вам нужно использовать другой способ, который не предполагает загрузку всего документа в память перед обработкой.
Dark Falcon 28 окт. 2015, в 19:19
0

как насчет разделения файла на куски.
user557846 28 окт. 2015, в 19:22
0

Сколько оперативной памяти находится в системе, которую вы используете? Вы пробовали MSXML в системе с не менее 8 гигабайт оперативной памяти?
ebyrob 28 окт. 2015, в 19:23
0

@ Dark Falcon, какой процессор XSLT вы бы порекомендовали? У меня 8 ГБ ОЗУ на моем компьютере, и попытка обработать XML-файл объемом 5 ГБ не работает! Ты знаешь почему?
Gunther von Goetzen Sanchez 28 окт. 2015, в 19:25
4

Нет XSLT-процессора. Я бы порекомендовал другую технологию, такую как STX или пользовательскую программу, основанную на парсере SAX XML. Я полагаю, что то, что вы пробовали до сих пор, не сработало, потому что 8 ГБ недостаточно. Анализируемая форма будет больше, чем необработанная форма, вероятно, на значительную сумму.
Dark Falcon 28 окт. 2015, в 19:27
0

@ Дагон расщепление файла потребует много времени ... Мне нужно обработать 100 файлов! В будущем может быть даже 10 ГБ. Это не решение для меня
Gunther von Goetzen Sanchez 28 окт. 2015, в 19:28
0

Я согласен, у вас нет выбора, вам нужно обработать XML как поток.
Mr_Thorynque 28 окт. 2015, в 19:29
0

@ebyrob да MSXML 4.0 с 8 ГБ ОЗУ
Gunther von Goetzen Sanchez 28 окт. 2015, в 19:29
2

stackoverflow.com/questions/3101048/… - аналогичный поток, в котором упоминается saxon.sourceforge.net для больших манипуляций с файлами.
ebyrob 28 окт. 2015, в 19:32
0

@ Темный Сокол Подход STX может быть тем, что я искал! Я читаю об этом!
Gunther von Goetzen Sanchez 28 окт. 2015, в 19:52

Показать ещё 8 комментариев

Теги:

php

java

xml

xpath

xslt

1 ответ

Ещё вопросы

Как насчет любого XSLT-процессора, созданного для 64-битной системы на компьютере с достаточным объемом оперативной памяти? Держу пари, что не так много других вариантов, так как из-за природы XSLT большинство процессоров написаны для загрузки всего документа в дерево DOM. В противном случае, я бы сказал, мусор XSLT. Вам нужно использовать другой способ, который не предполагает загрузку всего документа в память перед обработкой.
как насчет разделения файла на куски.
Сколько оперативной памяти находится в системе, которую вы используете? Вы пробовали MSXML в системе с не менее 8 гигабайт оперативной памяти?
@ Dark Falcon, какой процессор XSLT вы бы порекомендовали? У меня 8 ГБ ОЗУ на моем компьютере, и попытка обработать XML-файл объемом 5 ГБ не работает! Ты знаешь почему?
Нет XSLT-процессора. Я бы порекомендовал другую технологию, такую как STX или пользовательскую программу, основанную на парсере SAX XML. Я полагаю, что то, что вы пробовали до сих пор, не сработало, потому что 8 ГБ недостаточно. Анализируемая форма будет больше, чем необработанная форма, вероятно, на значительную сумму.
@ Дагон расщепление файла потребует много времени ... Мне нужно обработать 100 файлов! В будущем может быть даже 10 ГБ. Это не решение для меня
Я согласен, у вас нет выбора, вам нужно обработать XML как поток.
stackoverflow.com/questions/3101048/… - аналогичный поток, в котором упоминается saxon.sourceforge.net для больших манипуляций с файлами.
@ Темный Сокол Подход STX может быть тем, что я искал! Я читаю об этом!

Michael Kay · Answer 1 · 2015-10-29T07-07-00.000Z

Для исходного документа 5Gb вам понадобится потоковый процессор, а это означает XSLT 3.0, который в настоящее время имеет две реализации: Saxon-EE и Exselt. Конечно, не все преобразования являются потокобезопасными (например, сортировка сложна), но если вы описываете преобразование, которое хотите выполнить, или даете ему версию без потоковой передачи, то я уверен, что мы можем помочь вам превратиться в то, что работает при потоковой передаче.

Я использовал Saxon для обработки 2 ГБ XML-файлов с невероятной скоростью. Забудьте о попытке загрузить все это в память, это действительно не очень хороший подход для больших файлов. Потоковая передача - это способ, когда это возможно, что обычно происходит в большинстве случаев с небольшими размышлениями.