Запрос веб-страниц без загрузки

Question

Запрос веб-страниц без загрузки

0

У меня есть огромный список веб-страниц (около 1,8 миллиона) в файле. Я в основном хочу запросить каждую из этих веб-страниц для используемой в них кодировки символов. Я мог бы использовать wget, это будет загружать страницу, а затем я могу grep для charset = pattern, чтобы получить кодировку. Но я не хочу загружать ни одну из этих страниц, а просто запрашиваю кодировку. Как я могу это сделать? Пожалуйста, предложите мне другой инструмент, который достаточно быстр.

Lanc 16 фев. 2014, в 10:16

Источник

Теги:

html

unix

1 ответ

Ещё вопросы

John Jensen · Accepted Answer · 2014-02-16T07-32-00.000Z

Вы можете использовать библиотеку requests python, чтобы сделать это довольно легко.

Python 2.7.3 (default, Jan  2 2013, 13:56:14) 
[GCC 4.7.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import requests
>>> r = requests.head('http://www.google.com')
>>> r.encoding
'ISO-8859-1'

Обратите внимание на использование метода head vs get (последний загрузит всю страницу).

Вы также можете использовать флаг -I с curl для выдачи HEAD запроса и grep для строки "Content-Type":

jjensen@jjensen-dev:~$ curl -I www.google.com
HTTP/1.1 200 OK
Date: Sun, 16 Feb 2014 09:05:28 GMT
Expires: -1
Cache-Control: private, max-age=0
Content-Type: text/html; charset=ISO-8859-1
Set-Cookie: PREF=ID=081cb517341de334:FF=0:TM=1392541528:LM=1392541528:S=O2_rr0DFBFW5RtJS; expires=Tue, 16-Feb-2016 09:05:28 GMT; path=/; domain=.google.com
Set-Cookie: NID=67=Ouu0WjP7K0cdtuLZ1XTRdETnNTIRbf1DjfopTXoFAdC84DnrQ03OsABMx7QUFlRJ3pPrvkmO8-2nUmVfjjpEMLg-CNlh7wBLmuf5xrbJN-qmPVp7zhfS39q9xrjIOk8B; expires=Mon, 18-Aug-2014 09:05:28 GMT; path=/; domain=.google.com; HttpOnly
P3P: CP="This is not a P3P policy! See http://www.google.com/support/accounts/bin/answer.py?hl=en&answer=151657 for more info."
Server: gws
X-XSS-Protection: 1; mode=block
X-Frame-Options: SAMEORIGIN
Alternate-Protocol: 80:quic
Transfer-Encoding: chunked

Я пробовал это, но я получаю: >>> запросы на импорт Traceback (последний вызов был последним): файл "<stdin>", строка 1, в <module> ImportError: нет запросов с именами модулей
Вам нужно сначала установить библиотеку.
@Lanc, вам нужно установить пакет с pip install requests или easy_install requests . Вы также можете быть sudo в зависимости от ваших настроек.
К сожалению, я не могу установить это, так как у меня нет прав администратора, есть ли другие альтернативы?
У вас есть утилита командной строки curl ?
Тогда посмотрите мой обновленный ответ, чтобы узнать, как это сделать с помощью curl .
Но есть ли в curl пакетный режим? Так как мне нужно обрабатывать миллионы ссылок, более того, мне придется хранить заголовки каждой ссылки локально, прежде чем я смогу выполнить grep для каждой из них.
Нет, ты не Поместите все URL-адреса в текстовый файл на машине, затем выполните простой цикл for u in `cat urllist`; do echo $u; curl -s -S -I $u | grep 'Content-Type'; done; bash: for u in `cat urllist`; do echo $u; curl -s -S -I $u | grep 'Content-Type'; done; при условии, что имя файла - urllist
Но не будет ли это немного медленным?
В конечном итоге у вас есть миллионы URL для обработки. Поскольку вы только отправляете запрос HEAD вместо запроса GET, вам не нужно загружать всю страницу, но у вас еще есть много записей для обработки. curl написан на C, поэтому он будет быстрее, чем опция python. Мое единственное другое предложение - изучить некоторые продвинутые сценарии bash, чтобы отключить пакетные задания, но для IMO это будет больше проблем, чем стоит делать что-то настолько простое.
Мне кажется, ты прав. Спасибо за помощь! :)