Войти Регистрация

PHP парсинг HTML, с помощью simple HTML DOM


Парсинг html с помощью php библиотеки simple html domЕсли вам необходимо сделать парсинг HTML документа, регулярные выражения не наилучший способ для этого. К тому же их написание, трудоемкий процесс, и они уменьшают скорость работы PHP приложения. В этой статье, вы узнаете, как использовать свободный парсер HTML, для чтения, изменения, извлечения некоторых DOM элементов из HTML страниц. Причем, HTML ресурсом может быть внешний источник. То есть адрес HTML страницы на другом домене. Используя, как пример, сайт sitear.ru, вы узнаете, как получить и вывести список всех опубликованных материалов на главной странице сайта. Другими словами, вы будете делать то, что вам необходимо, парсинг HTML с помощью PHP. В данном случае под PHP, подразумевается библиотека simple HTML DOM.

Просто следуйте всем шагам статьи, и узнаете много нового и полезного для себя!

Шаг 1 – Подготовка

Для начала, вам необходимо  скачать копию simple HTML dom библиотеки. Скачивание свободно.

СКАЧАТЬ Simple HTML DOM

В архиве вы найдете несколько файлов, но нам необходим только один - simple_html_dom.php. Все остальные, это примеры и документация.

Шаг 2 – Основы HTML парсинга

Эта библиотека, очень проста в использовании, но все же, необходимо разобрать некоторые основы, перед тем как ее использовать.

Загрузка HTML

$html = new simple_html_dom();

// Load from a string

$html->load('<html><body><p>Hello World!</p><p>We're here</p></body></html>');  

// Load a file  

$html->load_file('http://sitear.ru/');

Все просто, вы можете создать объект, загружая HTML из строки. Или, загрузить HTML код из файла. Загрузить файл вы можете по URL адресу, или с вашей локальной файловой системы (сервера).

Важно помнить: Метод load_file(), работает на использовании PHP функции file_get_contents. Если в вашем файле php.ini, параметр allow_url_fopen не установлен как true, вы не сможете получать HTML файлы по удаленному адресу. Но, вы сможете загрузить эти файлы, используя библиотеку CURL. Далее, прочитать содержимое, используя метод load().

Получение доступа к HTML DOM объектам

PHP парсинг HTML

Предположим у нас уже есть DOM объект, структурой, как на картинке выше. Вы можете начать работать с ним, используя метод find(), и создавая коллекции. Коллекции – это группы объектов, найденные с помощью селекторов – синтаксис в чем-то схож с jQuery.

<html>   

<body>   

    <p>Hello World!</p>   

    <p>We're Here.</p>   

</body>   

</html>

Используя этот пример HTML кода, мы узнаем, как получить доступ к информации заключенной во втором параграфе (p). Также, мы изменим полученную информацию и выведем результат на дисплей.

// создание объекта парсера и получение HTML   

include('simple_html_dom.php');   

$html = new simple_html_dom();   

$html->load("<html><body><p>Hello World!</p><p>We're here</p></body></html>"); 

// получение массивов параграфов   

$element = $html->find("p"); 

// изменение информации внутри параграфа

$element[1]->innertext .= " and we're here to stay."; 

// вывод

echo $html->save();
 

Как видите реализовать PHP парсинг документа HTML, очень даже просто, используя simple HTML DOM библиотеку. В принципе, в этом куске PHP кода, все можно понять интуитивно, но если вы в чем-то сомневаетесь, мы рассмотрим код.

Линия 2-4: подключаем библиотеку, создаем объект класса и загружаем HTML код из строки.

Линия 7: С помощью данной строки, находим все <p> теги в HTML коде, и сохраняем в переменной в виде массива. Первый параграф будет иметь индекс 0, остальные параграфы будут индексированы соответственно 1,2,3…

Линия 10: Получаем содержимое второго параграфа в нашей коллекции. Его индекс будет 1. Также мы вносим изменения в текст с помощью атрибута innertext. Атрибут innertext, меняет все содержимое внутри указанного тега. Также мы сможем  изменить сам тег с помощью атрибута outertext.

Давайте добавим еще одну строку PHP кода, с помощью которой мы назначим класс стиля нашему параграфу.

$element[1]->class = "class_name";   

echo $html->save();

Результатом выполнения нашего кода будет следующий HTML документ:

<html>   

<body>   

    <p>Hello World!</p>   

    <p class="class_name">We're here and we're here to stay.</p>   

</body>   

</html>

Другие селекторы

Ниже приведены другие примеры селекторов. Если вы использовали jQuery, то в библиотеке simple html dom синтаксис немножко схожий.

// получить первый элемент с id="foo"   

$single = $html->find('#foo', 0);   

// получает при парсинге все элементы с классом class="foo"   

$collection = $html->find('.foo'); 

// получает все теги <a> при парсинге htmlдокумента  

$collection = $html->find('a'); 

// получает все теги <a>, которые помещены в тег <h1>

$collection = $html->find('h1 a');  

// получает все изображения с title='himom'   

$collection = $html->find('img[title=himom]');

Использование первого селектора при php парсинге html документа, очень простое и понятное. Его уникальность в том что он возвращает только один html элемент, в отличии от других, которые возвращают массив (коллекцию). Вторым параметром (0), мы указываем, что нам необходим только первый элемент нашей коллекции. Надеюсь, вам понятны все варианты селекторов библиотеки simple HTML DOM, если вы чего-то не поняли, попробуйте метод научного эксперимента. Если даже он не помог, обратитесь в комментарии к статье.

Документация библиотеки simple HTML DOM

Полнейшую документацию по использованию библиотеки simple HTML DOM вы сможете найти по этому адресу:

http://simplehtmldom.sourceforge.net/manual.htm

Просто предоставлю вам иллюстрацию, которая показывает возможные свойства выбранного HTML DOM элемента.

Свойства HTML DOM элемента

Шаг 3 – Реальный пример PHP парсинга HTML документа

Для примера парсинга, и приведения HTML DOM библиотеки в действие, мы напишем грабер материалов на сайте sitear.ru. Далее мы выведем все статьи в виде списка, в котором будут указаны названия статей. При написании граберов, помните, кража контента преследуется законом! Но не в случае, когда на странице стоит активная ссылка на исходный документ.

Sitear парсинг html

include('simple_html_dom.php'); 

$articles = array();

getArticles('http://sitear.ru/');

Начинаем с подключения библиотеки, и вызова функции getArticles, которая будет парсить HTML документы соответственно адресу страницы, которая передается в качестве параметра функции.

Также мы указываем глобальный массив, в котором будет, хранится вся информация о статьях. Перед тем как начать парсинг HTML документа, давайте посмотрим, как он выглядит.

<div class="title_material">

<div class="name_material"><a href="…">Название материала</a></div>

<div class="views_material">Просмотров: <b>35</b></div>

</div>

<div class="description"> Описание статьи…</div>

Это базовый шаблон данной страницы. При написании парсера html, нужно тщательно исследовать документ, так как и комментарии, типа <!--comment-->, это тоже потомки. Другими словами, в глазах библиотеки simple HTML DOM, это элементы, которые равноценны другим тегам страницы.

Шаг 4 – Пишем основную функцию PHP парсера HTML

function getArticles($page) {   

    global $articles;

    $html = new simple_html_dom();   

    $html->load_file($page);  

    // ... далее будет ...   

}
 

Вначале функции, мы вызываем наш глобальный массив, который мы указали ранее. Создаем новый объект simple_html_dom. Далее загружаем страницу, которую будем парсить.

Шаг 5 – Находим нужную информацию

$items = $html->find('div[class=name_material]'); 

foreach($items as $names) 

{

$articles[] = array($post->children(0)->plaintext);   

}

В этом куске кода все предельно просто, мы находим все div с class=name_material. Далее читаем коллекцию элементов и выбираем названия материалов. Все материалы будут сохранены в массиве в данном виде:

$articles[0] = "Имя материала 1";   

$articles[1] = "Имя материала 2";

…

Шаг 6 – Выводим результат парсинга

Для начала, мы установим некоторые стили, для красоты выводимой информации, которую получили при парсинге.

.item 

{   

padding:10px; 

color:#600;   

font:bold 40px/38px helvetica, verdana, sans-serif;    

}

Далее, с помощью нескольких строк PHP кода, мы выведем информацию.

<?php   

    foreach($articles as $item) {   

        echo "<div class='item'>";   

        echo $item[0];

echo "</div>";   

    }   

?>

Результатом выполнения данного скрипта, будет список названий статей на сайте sitear.ru.

Заключение

Вот мы и научились php парсингу html документов. Помните, что парсинг это долгий процесс. Одна страница может парситься около одной секунды. Если вы будете делать парсинг большого числа HTML документов, ваш сервер может перервать работу скрипта в связи с истечением время отведенного для выполнения. Это можно исправить с помощью функции set_time_limit(240); 240 – это время в секундах, отведенное на выполнение скрипта.

Эта статья предназначена для формирования основных понятий парсинга HTML страницы с помощью PHP. Существуют и другие библиотеки и методы парсинга. Если вы знаете таковые, поделитесь в комментариях. Буду рад, узнать какими инструментами и методами html парсинга пользуетесь вы. 



Дальше: Читаем ID3 теги mp3 с помощью PHP


Дискуссия по теме    34 Комментария 
Добавить комментарий
ilia 26.12.2016 ? 18:59
Подскажите, а как осуществить перенос строки в этом коде (именно из этого урока)? Перредо мной встала задача спарсить названия статей, но им, естственно, нужен перенос. Спасибо
Роман 04.10.2016 ? 12:24
Всем привет, в PHP я дилетант, не могу правильно сформулировать запрос для поисковика, чтобы узнать ответы. Задача такова: 1) Есть html документ "шаблон" (h1; p; img; div и т.д.) что-то вроде карточки товара. 2) Надо из этого шаблона сделать "N" кол-во дублей страниц, но с разным содержанием (h1; p; img; div и т.д.). 3) Данные будут в txt файле. Помогите как это реализовать, дайте ссылку или подскажите как правильно спросить у поисковиков. Всем спасибо за помощь.
алек 22.10.2016 ? 00:00
Роман, тебе просто нужно поискать статью о генерации уникального текста, генерация анкоров, ты сразу поймешь что в нужном месте. Например узнаешь что из одной фразы: Например: {Раскрутка|Продвижение|Оптимизация} Ваших {сайтов|ресурсов|порталов} нашими специалистами. Можно создать аж 27 уникальных фраз. =) Сорри за флуд, хотел помочь человеку.
Alexvt 19.09.2016 ? 16:01
Приветствую! Благодарю за статью, очень помогло. Но остался вопрос: Я получаю html из <div class="some-class">...</div> Мне нужно сохранить форматирование этого куска, но убрать все ссылки, а также то, что внутри них (там может быть текст, или рисунки). Как это сделать? Спасибо.
alexindacomp 28.08.2016 ? 00:10
Simple HTML DOM годится только для идеалного html кода страницы, иначе начинает жестко тупить. Другое дело phpparserplus.esy.es, который работает с помощью multi-curl и проверен на сотни сайтах.
Сергей 27.01.2016 в 13:47
В 5-ом Шаге вместо переменной $post необходимо использовать переменную $names, иначе описанный парсер работать не будет.
Андрей 11.12.2015 в 03:19
Тарас, час добрый! Нужна помощь в обучении парсингу. Буду благодарен! С уважением, Е.Андрей P.S. Описанный пример парсинга самый доходчивый. Спасибо!
Edvard 06.12.2015 в 20:57
Статья в стиле: "вот болт, вот гайка, вот так болт закручивается в гайку. А теперь соберем ускоритель."
Иван 29.07.2015 в 19:44
Получаю курс евро со страницы Нацбанка Беларуси. Как ему определить переменную для дальнейшего использования? <?php $html = file_get_html('http://www.nbrb.by/publications/wmastersd.asp?lan=ru
Тарас 07.08.2015 в 20:07
$item = $html->find('table#tbl td[align=right]'); только загружаете исходный код не так как описано в статье. Вот документация http://simplehtmldom.sourceforge.net/manual.htm
Максим 06.07.2015 в 23:57
Тарас , добрый вечер . Не подскажете ,а возможно ли с помощью него парсить какие либо определённые строчки по маске : {text1}{get}{text2} при условии что text1 и text2 уникальные кусочки html и нужно между ними выдрать html.
Ник 16.06.2015 в 12:58
Спасибо, отличный материал!
drey 25.05.2015 в 09:23
А что за $post в цикле пятого шага?
Тарас 25.05.2015 в 12:49
Статья написана еще до редизайна сайта. Поэтому не стоит полагаться на этот код. Думаю там ошибка, должен быть items или names. Структура html кода главной страницы данного сайта - изменилась! Скачайте библиотеку, розархивируйте, и откройте исходный код, там есть примеры... можно разобраться.
seo91 05.05.2015 в 16:03
Автору репетиции. Самая подробная и толковая статья по паркинг simpleHtmlDOM'ом.
Sergey 13.12.2014 в 18:50
Как этой библиотекой парсить страницу, на которой блоки подгружаюся javascript'ом уже после загрузки страницы?
despjke 26.05.2014 в 12:42
а как парсить погоду ? чтоб по курлу запускался и удалял уже ранее созданный хтмл файл и создовал новый ?
Dan 20.03.2013 в 08:04
есть вот такое: <option value="S99894029">алюминий</option> как получить, содержимое атрибута value у option?
snake 12.12.2013 в 19:41
следуя логики єто: ->find('option[value=S99894029]'); если имено єтого елемента, а если всех 'option, то: ->find('option');
malik 28.02.2013 в 18:28
а как запустить то?
Тарас 28.02.2013 в 23:06
Что запустить?
Алексей 22.11.2012 в 15:02
Подскажите пожалуйста, как при парсинге можно изменить адрес ссылок, т.е. параметр href?
Тарас 25.11.2012 в 21:23
$html->find('a')->href = 'your-url-adress';
Кирилл 01.11.2012 в 17:16
В примере example_scraping_imdb.php есть ошибки в нём не показывает rating посмотрите кто и подскажите в чем там проблема.
Кирилл 01.11.2012 в 17:00
Здорого, но у меня не выходит построить по примеру то о чем пишут. Может кто написать всё выше указанное тока в одном файле? Буду очень признателен, заранее спасибо!
дядяМиша 14.10.2012 в 15:49
Я не про дизайн) Там можно немного проще всё сделать, НО статья хорошая и update ей надо сделать обязательно!
дядяМиша 14.10.2012 в 12:23
Чего-то в коде намудрили ))
Тарас 14.10.2012 в 13:53
Однозначно! Статья писалась до того, как был поменян дизайн и HTML структура главной страницы. Поэтому, код нужно менять... читайте комментарии ниже.
Аян 07.08.2012 в 09:57
выводит ошибку Fatal error: Call to a member function find() on a non-object in Z:\home\Parse\www\parsing.php on line 13
Тарас 07.08.2012 в 14:48
Что там у вас написано в 13 строке? Насколько я понимаю эта строка: $items = $html->find('div[class=name_material]'); Ошибка может быть из за того, что наш сайт обновился и функция find не может найти на главной этого сайта div блок с class=name_material
Бусинка 09.07.2012 в 22:28
$items = $html->find('div[class=name_material]'); foreach($items as $names) { $articles[] = array($post->children(0)->plaintext); } откуда взялась переменная $post
Герман 28.06.2012 в 09:07
Автор молодец !!!
Коляныч 06.03.2012 в 21:14
Здравствуйте. Я к сожалению совсем не программист, а тут возникла задача перенести ХТМЛ сайт на Джумлу. Структура сложная, материалов много потому вариант с пересозданием структуры и копипастом материалов не подходит. Может вы сможете помочь, сделать парсер который позволит перенести структуру и материалы с сайта а Джумлу, я так понимаю, в базу MySQL или как вариант - в CSV файл, который я смогу потом загрузить на сайт. В идеале - стучите в асю 473737041
Тарас 08.03.2012 в 16:38
Добавил вас в список моих контактов, когда будем онлайн, поговорим
Добавить комментарий
Просмотров: 103692