Kotlin 和 Jsoup 库创建的爬虫程序

以下是一个使用 Kotlin 和 Jsoup 库创建的爬虫程序。

import java.io.IOException
import java.util.ArrayList
import java.util.HashMap
import java.util.List
import java.util.Map
import org.jsoup.Jsoup
import org.jsoup.nodes.Document
import org.jsoup.nodes.Element
import org.jsoup.select.Elements
import java.net.URL
import java.net.HttpURLConnection
import java.net.Proxy
import java.net.InetSocketAddress
import java.net.URLConnection
​
fun main() {
    val proxyList = getProxyList()
    val audioUrlList = ArrayList<String>()
​
    for (proxy in proxyList) {
        val url = "https://www.linkedin.com"
        val connection = getConnection(url, proxy)
        val document: Document = Jsoup.connect(url).timeout(30000).proxy(proxy).get()
        val audioElements: Elements = document.select("audio[src]")
​
        for (audioElement in audioElements) {
            val audioUrl = audioElement.attr("src")
            audioUrlList.add(audioUrl)
            println("Proxy: $proxy, Audio Url: $audioUrl")
        }
​
        connection.disconnect()
    }
​
    println("所有音频的URL：$audioUrlList")
}
​
fun getProxyList(): List<String> {
    val url = "https://www.duoip.cn/get_proxy"
    val connection = getConnection(url, null)
    val document: Document = Jsoup.connect(url).timeout(30000).get()
    val proxyElements: Elements = document.select("tr")
    val proxyList = ArrayList<String>()
​
    for (proxyElement in proxyElements) {
        val proxy = proxyElement.text()
        proxyList.add(proxy)
    }
​
    connection.disconnect()
    return proxyList
}
​
fun getConnection(url: String, proxy: Proxy?): URLConnection {
    val connection: URLConnection
    val urlObj = URL(url)
​
    if (proxy != null) {
        connection = urlObj.openConnection(proxy)
    } else {
        connection = urlObj.openConnection()
    }
​
    return connection
}

这个程序首先获取一列代理服务器，然后使用它们来爬取 LinkedIn 的音频。在主函数中，我们循环遍历代理服务器列表，并为每个代理服务器创建一个新的连接。然后，我们使用 Jsoup 库查找页面上的音频元素，并将其 URL 添加到一个列表中。最后，我们打印出所有音频的 URL。