Работаем с XML как с массивом, версия 2

Я парсил с помощью htmlSQL (она xml-файлы тоже кушает). Но на таких объёмах я её не тестировал и предполагаю, что от 290 Гб ей будет плохо :-)

У неё под капотом чтение файла идёт через вызов file(), а эта функция читает файл целиком.

Да и вообще, библиотека экспериментальная и очень старая.

Опечатка, XMLReder -> XMLReader

Кроме DOM, который строит в памяти все дерево XML документа и потом позволяет с ним работать ("ходить" по нему, изменять содержимое, сохранять обратно), есть еще более простой потоковый SAX. Который просто идет по XML и вызывает заранее заданный handler, передавая ему тип события и "содержимое". Например, для фрагмента

<tag1>
  <tag2>
    Data
  </tag2>
</tag1>  

handler будет вызван 5 раз:

handler(*XML_START_ELEMENT, "tag1")
handler(*XML_START_ELEMENT, "tag2")
handler(*XML_CHARS, "Data")
handler(*XML_END_ELEMENT, "tag2")
handler(*XML_END_ELEMENT, "tag1")

Что со всем этим делать - это уже вы в handler'е пишете.

Естественно, что тут нет никаких ограничений на размер обрабатываемого файла - он не грузится в память целиком. И естественно, все это работает быстро (скорость определяется исключительно скоростью работы handler'а).

Оптимальный вариант для тех ситуаций, когда нужно просто вытащить данные из XML и, например, разложить их в БД.

Естественно, что типов событий там достаточно много:

Events discovered before the first XML element:

• *XML_START_DOCUMENT - Indicates that parsing has begun

• *XML_VERSION_INFO - The "version" value from the XML declaration

• *XML_ENCODING_DECL - The "encoding" value from the XML declaration

• *XML_STANDALONE_DECL - The "standalone" value from the XML declaration

• *XML_DOCTYPE_DECL - The value of the Document Type Declaration

Events related to XML elements

• *XML_START_ELEMENT- The name of the XML element that is starting

• *XML_CHARS - The value of the XML element

• *XML_PREDEF_REF - The value of a predefined reference

• *XML_UCS2_REF - The value of a UCS-2 reference

• *XML_UNKNOWN_REF - The name of an unknown entity reference

• *XML_END_ELEMENT - The name of the XML element that is ending

Events related to XML attributes

• *XML_ATTR_NAME - The name of the attribute

• *XML_ATTR_CHARS - The value of the attribute

• *XML_ATTR_PREDEF_REF - The value of a predefined reference

• *XML_ATTR_UCS2_REF - The value of a UCS-2 reference

• *XML_UNKNOWN_ATTR_REF - The name of an unknown entity reference

• *XML_END_ATTR - Indicates the end of the attribute

Events related to XML processing instructions

• *XML_PI_TARGET - The name of the target

• *XML_PI_DATA - The value of the data

Events related to XML CDATA sections

• *XML_START_CDATA - The beginning of the CDATA section

• *XML_CHARS - The value of the CDATA section

• *XML_END_CDATA - The end of the CDATA section

Other events

• *XML_COMMENT - The value of the XML comment

• *XML_EXCEPTION - Indicates that the parser discovered an error

• *XML_END_DOCUMENT - Indicates that parsing has ended

На все случаи жизни.

Естественно, что писать handler достаточно муторно - в общем случае он пишется под конкретный документ с конкретной структурой и конкретным набором тегов.

Определенную сложность представляют ситуации типа такой:

        <ТипРешения>
          <Идентификатор>3</Идентификатор>
          <Наименование>Решение МВК</Наименование>
        </ТипРешения>

        <ВидРешения>
          <Идентификатор>1</Идентификатор>
          <Наименование>Решение на приостановление (заморозка)</Наименование>
        </ВидРешения>

        <ТипСубъекта>
          <Идентификатор>2</Идентификатор>
          <Наименование>Физическое лицо</Наименование>
        </ТипСубъекта>

        <ТипДокумента>
          <Идентификатор>1631726</Идентификатор>
          <Наименование>ПАСПОРТ РФ</Наименование>
        </ТипДокумента>

        <ТипАдреса>
          <Идентификатор>6</Идентификатор>
          <Наименование>Гражданство</Наименование>
        </ТипАдреса>

Когда смысл тегов <Идентификатор> и <Наименование> определяется тем, внутри какого тега они находятся - все это приходится отслеживать вручную.

Но зато это позволяет достаточно быстро парсить документы сколь угодно большого объема.

Для повышения производительности попробуй вставлять в базу не по одной записи, а батчами. Хотя бы insert'ы на сотню или тысячу записей формируй для начала.

"Insert into ... values (),()..." будет быстрее на порядок. Но, с ним не стоит увлекаться слишком большой строкой с values. И база может не прожевать, и, с какого-то момента, сама контектация строки начинает экспоненциально тормозить. Думаю, 10000 записей уже на грани фейла.

А если максимально отказаться от классов (о чем упоминает автор) включая Std, то можно еще ускориться существенно. Конвертация xml объекта в массив через json_decode(json_encode()) - удачное решение для этого.

SQL запросы на вставку выполняются каждый в отдельной транзакции. Лучше не только вставлять в одном INSERT по несколько строк, но и вручную управлять транзакциями. Открывать транзакцию, вставлять много строк (напр. 1-10 тыс), а потом комитить транзакцию. Кроме того, разные СУБД поддерживают различные варианты массовой вставки данных, такие как BULK COPY (MS SQL), COPY (PostgreSQL). Они работают значительно быстрее, чем команды INSERT. В вашем случае (для заполнения справочника "с нуля") они должны подойти

Есть у меня проект, связанный с парсингом ГАР БД ФИАС, прекрасно понимаю описаные в статье проблемы, XMLReader единственное, на чем можно спарсить этот "склад *****" да к тому же на пхп. Честно, не понимаю зачем тебе вся база фиас-а, там столько данных (еще и с ошибками), что в конце концов ни ты, ни бд не понимают что с этой гегемонией делать. Первым делом я бы выбрал целевые файлы, обдумал схему базы, индексы, связи и т.п.. Может скорость парсинга и пострадает от постоянной индексации, итоговая базенка будет реально быстрой и компактной (вот в чем к слову проблема большого объема в твоем случае - ты просто качаешь данные в базу, и она знать не знает как их оптимизировать). Но всё же могу предложить некоторые оптимизации, которые я применил своем проекте:

• Т.к. файлы в каталогах регионов шаблонные, впоне реально создать по отдельному процессу на каждый регион или документ (я делал и так и так, но все же остановился на регионах, ибо так меньше гемора). Сделать это можно через тот же pcntl. Если нет упора в бд или диск это сильно бустит темпы загрузки;

• Использовать массовые insert-вставки (вплоть до десятков тысяч на запрос);

• Настроить базу " в жир" (к примеру, на mysql отключить коммиты логирования и дать оперативной памяти).