
o Utku Sen's
\_/\o
( Oo) \|/
(_=-) .===O- ~~U~R~L~~ -O-
/ \_/U' hunter /|\
|| |_/
\\ | utkusen.com
{K || twitter.com/utkusen
urlhunter是一个重建工具,它允许搜索通过缩短器服务(如bit.ly和goo.gl)曝光的URL。该项目是用Go编写的。
如何?
一个名为URLTeam的小组(为他们点赞)正在对URL缩短器服务进行暴力攻击,并每天发布匹配的结果。urlhunter下载他们的集合并让你分析它们。
安装
从二进制文件
你可以从发布页面下载预建的二进制文件并运行。比如说。
tar xzvf urlhunter_0.1.0_Linux_amd64.tar.gz
./urlhunter --help
从源码
-
在你的系统上安装Go
-
运行。
go get -u github.com/utkusen/urlhunter
**注意 对于Windows用户:**urlhunter使用XZ Utils ,这是在Linux和macOS系统上预装的。对于Windows系统,你需要从tukaani.org/xz/下载。
使用方法
urlhunter需要3个参数来运行:-keywords,-date 和-o 。
例如。
urlhunter -keywords keywords.txt -date 2020-11-20 -o out.txt
-keywords
你需要指定包含关键字的txt文件,以便在URL上搜索。关键词必须逐行写入。你有三种不同的方式来指定关键词。
**单一关键词:**urlhunter将搜索给定的关键词作为一个子串。例如。
acme.com 关键字将同时匹配https://acme.com/blabla 和https://another.com/?referrer=acme.com
**多个关键词:**urlhunter将以AND 的逻辑来搜索给定的关键词。这意味着,一个URL必须包括所有提供的关键词。关键词必须用, 字符分隔。比如说。
acme.com,admin 将与https://acme.com/secret/adminpanel 匹配,但 不会匹配https://acme.com/somethingelse
**重码值:**urlhunter将搜索给定的重码值。在关键词文件中,包含正则表达式公式的那一行必须以regex 字符开始。其格式是:regex REGEXFORMULA 。比如说
regex 1\d{10} 将与https://example.com/index.php?id=12938454312 匹配,但 不会匹配https://example.com/index.php?id=abc223
-日期
urlhunter会下载给定日期的档案文件。你有三种不同的方式来指定日期。
**最新的:**urlhunter将下载最新的档案。-date latest
**单一日期:**urlhunter将下载给定日期的档案。日期格式为YYY-MM-DD。
比如说。-date 2020-11-20
**日期范围:**urlhunter将下载给定开始和结束日期之间的所有档案。
举例来说。-date 2020-11-10:2020-11-20
-o
你可以用-o 参数指定输出文件。例如-o out.txt
示范视频
速度问题
Archive.org 在下载文件时对速度进行限制。因此,下载档案需要比平时更多的时间。作为一种变通方法,你可以通过Torrent下载档案,并把它们放在archive/ ,该文件夹与urlhunter的二进制文件位于同一目录中。目录树会看起来像。
|-urlhunter
|---urlhunter(binary)
|---archive
|-----urlteam_2020-11-20-11-17-04
|-----urlteam_2020-11-17-11-17-04
使用实例
urlhunter可能是有用的网络情报和错误赏金的目的。比如说。
docs.google.com/a/acme.com drive.google.com/a/acme.com 关键字可以让你找到Acme公司的公共Google Docs&Drive共享链接。
acme.com,password_reset_token 关键字可以让你找到acme.com的工作密码重置令牌。
trello.com 可以让你找到公开的Trello地址。
感谢
特别感谢Samet Bekmezci(@sametbekmezci),他给了我这个工具的想法。
捐赠
比特币地址。1MVGYtuYAbZ1MubRFb7dxhQH35w7RQBcVe