一款快速、全面、易用的页面信息提取工具，可快速发现和提取页面中的JS、URL和敏感信息。
URLFinder帮助文件
Usage: URLFinder [-a user-agent] [-b baseurl] [-c cookie] [-d domainName] [-f urlFile] [-ff urlFile one] [-h help] [-i configFile] [-m mode] [-max maximum] [-o outFile] [-s Status] [-t thread] [-time timeout] [-u url] [-x proxy] [-z fuzz]
Options:
-a string
set user-agent
设置user-agent请求头
-b string
set baseurl
设置baseurl路径
-c string
set cookie
设置cookie
-d string
set domainName
指定获取的域名,支持正则表达式
-f string
set urlFile
批量抓取url,指定文件路径
-ff string
set urlFile one
与-f区别：全部抓取的数据,视为同一个url的结果来处理（只打印一份结果 | 只会输出一份结果）
-h this help
帮助信息
-i set configFile
加载yaml配置文件（不存在时,会在当前目录创建一个默认yaml配置文件）
-m int
set mode
抓取模式
1 normal
正常抓取（默认）
2 thorough
深入抓取（默认url深入一层,js深入三层,-i可以自定义）
3 security
安全深入抓取（过滤delete,remove等敏感路由.-i可自定义） (default 1)
-max int
set maximum
最大抓取链接数 (default 99999)
-o string
set outFile
结果导出到csv、json、html文件,需指定导出文件目录,可填写完整文件名只导出一种类型（.代表当前目录）
-s string
set Status
显示指定状态码,all为显示全部（多个状态码用,隔开）
-t int
set Thread
设置线程数（默认50） (default 50)
-time int
set Timeout
设置超时时间（默认5,单位秒） (default 5)
-u string
set Url
目标URL
-x string
set Proxy
设置代理,格式: http://username:password@127.0.0.1:8809
-z int
set Fuzz
对404链接进行fuzz(只对主域名下的链接生效,需要与 -s 一起使用）
1 decreasing
目录递减fuzz
2 2combination
2级目录组合fuzz（适合少量链接使用）
3 3combination
3级目录组合fuzz（适合少量链接使用）
一般来说两层爬取就足够了，这里针对的是一个主域名，如下的也是工具最常用的命令
.\URLFinder.exe -s all -u https://www.leapmoto.com/home.html -m 2 -o 1.html
.\URLFinder.exe -s all -f domain.txt -m 1 -o 1.html
URLFinder另一个比较好的用途就是发现所有潜在的域名，从中发现挂马和暗链。
所有要爬取的URL或者网页都要添加http或者https才行，不然不识别。
