如何使用WebBits和Haskell采集人人网

30 阅读1分钟

大家好,前面给大家分享了关于采集人人网的相关代码的示例,今天给大家带来的也是一个采集人人网的爬虫实例,是通过WebBits和Haskell相结合,比较简洁,也非常易懂,让我们一起来学习一下。

```haskellimport Web.WebBitsimport Network.HTTP.Conduitimport Data.Conduitimport Control.Monad.Trans.Resourceimport Data.Maybeimport Data.Listimport Data.Charimport System.Environmentmain = doproxy <- getProxylet url = "http://www.renren.com"response <- fetchUrl proxy urlcase response ofLeft err -> print errRight doc -> dolet title = getTitle docprint titlegetProxy = doproxies <- getProxyListcase proxies of[] -> error "没有可用的代理服务器"(x:xs) -> dolet proxy = "http://" ++ xputStrLn $ "使用代理服务器: " ++ xreturn proxygetProxyList = dourl <- getUrl "https://www.duoip.cn/get_proxy"let proxies = filter (not . null) $ map (stripPrefix "http://") $ lines urlreturn proxiesfetchUrl :: String -> String -> IO (Either String (HtmlUrl (Sink IO ())))fetchUrl proxy url = domanager <- newManager (tlsManagerSettings )response <- fetchUrlWith manager urlreturn responsegetTitle :: HtmlUrl (Sink IO ()) -> StringgetTitle = fromMaybe "未知" . listToMaybe . concatMap (getTitle') . htmlUrlElementsgetTitle' :: HtmlElement -> [String]getTitle' (Element (Name "title") _ _) = ["标题"]getTitle' _ = []getUrl :: String -> IO StringgetUrl url = doresponse <- simpleHttp urlcase response ofLeft err -> error $ "请求失败: " ++ show errRight doc -> return $ unpack $ responseBody doc```

这个程序我们明显可以看出,不同于之前的代码,首先它会获取一个可用的代理地址,然后使用这个代理地址发送HTTP请求到网站服务器。接着,程序解析HTML内容,提取标题元素,并将其打印出来,除此之外,没有其他多余的操作。我们在实际使用时根据需要进行改动,完全可以直接运用,赶紧试试吧。