Отправка запросов и извлечение результатов из ASPX-страниц с использованием Python?

Question

Отправка запросов и извлечение результатов из ASPX-страниц с использованием Python?

1

Я пытаюсь получить результаты для пакета запросов на этой странице инструментов демографии: http://adlab.microsoft.com/Demographics-Prediction/DPUI.aspx

Действие POST в форме вызывает одну и ту же страницу (_self) и, вероятно, публикует некоторые данные о событиях. Я читал в другом сообщении здесь, в stackoverflow, что для страниц aspx обычно требуются некоторые данные в представлении и валидации. Я просто сохраняю их из запроса, повторно отправляю запрос POST?

Или есть более чистый способ сделать это? Один из параметров viewstate aspx составляет около 1000 символов, и невероятное уродство вставки этого кода в мой код заставляет меня думать, что это должно быть лучшим способом. Все ссылки на вещи, которые я могу прочитать, будут полезны, спасибо!

Cygorger 13 янв. 2010, в 21:51

Источник

0

"возможно, публикует некоторые данные о событиях"? Вам нужно это подтвердить.
S.Lott 13 янв. 2010, в 20:28

Теги:

python

screen-scraping

beautifulsoup

3 ответа

Ещё вопросы

"возможно, публикует некоторые данные о событиях"? Вам нужно это подтвердить.

S.Lott · Answer 1 · 2010-01-13T18-57-00.000Z

Используйте urllib2. Ваши данные POST - это простой словарь Python. Очень легко редактировать и поддерживать.

Если ваша форма содержит скрытые поля - некоторые из которых закодированы - тогда вам нужно сделать GET, чтобы получить форму и различные значения семенного поля.

После того, как вы получите форму, вы можете добавить необходимые входные значения к указанным, скрытым значениям и вернуть ответ обратно.

Кроме того, вы должны быть уверены, что будете обрабатывать любые файлы cookie. urllib2 также поможет.

В конце концов, это все браузер делает, и он работает в браузере. Браузер не знает ASPX от CGI от WSGI, поэтому нет волшебства, потому что это ASPX. Иногда вам нужно сделать GET перед отправкой POST, чтобы правильно настроить значения и файлы cookie.

Привет, я использую urllib2 в настоящее время, но мне не совсем ясно, какие переменные я должен включить в данные POST. Интересно, верна ли эта формулировка: что обычно нужно страницам .aspx?
@Cygorger: Там нет "обычно". Вы должны перейти на страницу, просмотреть исходный код, чтобы увидеть, что такое форма, а затем решить, что требуется. Если это работает через Javascript, вы должны прочитать Javascript.
С.лотт: Спасибо за ваш ответ. Я должен уточнить, что я имею в виду под этим. Есть ли что-то другое, что мне нужно сделать со страницей aspx по сравнению, скажем, с HTML-страницей с Javascript. Я не уверен в этом, но POST-запрос здесь, похоже, полагается на отправку некоторых скрытых значений обратно на сервер и на то, могу ли я просто сохранить их из более раннего вызова и использовать снова (похоже, это не работает). Этот пост показался актуальным: stackoverflow.com/questions/1480356/…

Ignacio Vazquez-Abrams · Answer 2 · 2010-01-13T18-45-00.000Z

Возможно, mechanize может быть полезным.

Спасибо за предложение. Я попытался механизировать и получил некоторые ошибки синтаксического анализа HTML. Изучая, могу ли я запустить страницу через lxml или Beautifulsoup, чтобы очистить ее и отправить обратно в браузер ()

Sean W. · Answer 3 · 2012-11-27T11-27-00.000Z

Я использовал комбинацию requests и BeautifulSoup4 для аналогичной задачи.