Webcrawler - Проверьте, находится ли тег <a> с href в теге li с помощью Beautiful soup?

Вы можете использовать find_parents() для BeautifulSoup. Это скажет вам, является ли конкретный тег внутри другого тега с указанными атрибутами. В этом случае мы ищем тег привязки в другом теге с атрибутом класса nv-talk или nv-view.

Демо-версия:

html = '''<li class="nv-talk"><a href="/wiki/Template_talk:Data_structures" title="Template talk:Data structures"><span title="Discuss this    template" style=";;background:none    transparent;border:none;;">t</span></a></li>    '''
soup = BeautifulSoup(html)
a_tag = soup.find('a')
a_tag.find_parents(attrs={'class':'nv-talk'})

который дает вам:

[<li class="nv-talk"><a href="/wiki/Template_talk:Data_structures" title="Template talk:Data    structures"><span style=";;background:none transparent;border:none;;"    title="Discuss this template">t</span></a></li>]

Для каждого тега привязки в списке ваших URL-адресов вы можете проверить, возвращает ли find_parents() пустой список. Если да, это означает, что эта ссылка не относится к странице "Разговор" или "Обсудить" и, следовательно, безопасна для вашего сканирования.

Другим способом решения этой проблемы было бы узнать, начинается ли атрибут href тега привязки с 'http' или 'https'. Но я не совсем уверен, соответствует ли это логике вашего кода. Я имею в виду, что привязанные теги с атрибутами href, начинающиеся с # являются ссылками на разделы на одной странице. Если вам нужно их игнорировать, вы можете искать якорные теги, которые не начинаются с # но вместо этого начинаются с http или https. Это то, что я имею в виду:

html = '''
<li class="toclevel-1 tocsection-1"><a href="#Overview"><span class="tocnumber">1</span> <span class="toctext">Overview</span></a></li>
<li class="toclevel-1 tocsection-1"><a href="http://www.google.com"><span class="tocnumber">1</span> <span class="toctext">Overview</span></a></li>
<li class="toclevel-1 tocsection-1"><a href="#Overview"><span class="tocnumber">1</span> <span class="toctext">Overview</span></a></li>
'''
soup = BeautifulSoup(html)
a_tag = soup.find('a', attrs={'href': re.compile(r'^http.*')})

Это дает вам только ссылку, которая начинается с http.