№2Уроки по парсингу на Python🐍

Продолжим с того же места. Давайте продолжим наше обсуждение, чтобы углубить наше понимание парсинга. Рассмотрим дополнительные аспекты и примеры, чтобы лучше осветить данную тему.

import requests from bs4 import BeautifulSoup #ссылка на сайт url = 'https://proglib.io/?tags%5B%5D=all&page=1' #responce-это запрос на сайт,а soup это очиститель который ищет части html responce = requests.get(url) soup = BeautifulSoup(responce.text, 'html.parser') #покажет код html сайта print(soup)

Теперь давайте внесем изменения в код. Мы будем использовать метод find_all для сбора всех тегов, заданных в коде. Обычно чаще всего используется метод find_all, но также существует метод find, который находит первый совпавший тег на веб-странице в формате HTML.

Теперь мы отфильтруем результаты и составим подробный список объяснений, которые я расскажу позже. Важно отметить, что при фильтрации результатов мы переведем значения в список,что дает нам работать с бд и другими инструментами.

import requests from bs4 import BeautifulSoup url = 'https://proglib.io/?tags%5B%5D=all&page=1' responce = requests.get(url) soup = BeautifulSoup(responce.text, 'html.parser') content_card = soup.find_all('div', class_='preview-card__content') review_card=soup.find_all('div',class_='preview-card__text') content_list = [] review_list=[] for card in content_card: content_text = card.get_text(strip=True) content_list.append(content_text) for review in review_card: review_text=review.get_text(strip=True) review_list.append(review_text) result = content_list +review_list

Теперь у нас есть значение result где есть название и описание статьй.Проверим как работает это.

Вот на сайте:

Теперь закончим здесь.Скоро будет еще одна серия.