Я ищу рабочий пример кода на гусеничном ходу, написанный на С# или на Vb.net.
http://www.codeproject.com/KB/IP/Crawler.aspx
(Кредиты Mehrdad). Удалит этот ответ, если он разместит свой собственный.
Попробуйте http://code.google.com/p/abot/
Из описания...
Abot - это поисковый робот с открытым исходным кодом С#, созданный для скорости и гибкости. Он заботится о низкоуровневой сантехнике (многопоточность, http-запросы, планирование, анализ ссылок и т.д.). Вы просто регистрируетесь на события для обработки данных страницы. Вы также можете подключить собственные реализации основных интерфейсов для полного контроля процесса обхода.
Попробуйте http://ncrawler.codeplex.com