基于Go语言的侦查工具-用于搜索缩短器暴露的URLs

953 阅读3分钟

A recon tool that allows searching on URLs that are exposed via shortener services

				o  	  Utku Sen's
				 \_/\o   
				( Oo)                    \|/
				(_=-)  .===O-  ~~U~R~L~~ -O-
				/   \_/U'        hunter  /|\
				||  |_/
				\\  |    utkusen.com
				{K ||	twitter.com/utkusen

urlhunter是一个重建工具,它允许搜索通过缩短器服务(如bit.ly和goo.gl)曝光的URL。该项目是用Go编写的。

如何?

一个名为URLTeam的小组(为他们点赞)正在对URL缩短器服务进行暴力攻击,并每天发布匹配的结果。urlhunter下载他们的集合并让你分析它们。

安装

从二进制文件

你可以从发布页面下载预建的二进制文件并运行。比如说。

tar xzvf urlhunter_0.1.0_Linux_amd64.tar.gz

./urlhunter --help

从源码

  1. 在你的系统上安装Go

  2. 运行。 go get -u github.com/utkusen/urlhunter

**注意 对于Windows用户:**urlhunter使用XZ Utils ,这是在Linux和macOS系统上预装的。对于Windows系统,你需要从tukaani.org/xz/下载。

使用方法

urlhunter需要3个参数来运行:-keywords,-date-o

例如。 urlhunter -keywords keywords.txt -date 2020-11-20 -o out.txt

-keywords

你需要指定包含关键字的txt文件,以便在URL上搜索。关键词必须逐行写入。你有三种不同的方式来指定关键词。

**单一关键词:**urlhunter将搜索给定的关键词作为一个子串。例如。

acme.com 关键字将同时匹配https://acme.com/blablahttps://another.com/?referrer=acme.com

**多个关键词:**urlhunter将以AND 的逻辑来搜索给定的关键词。这意味着,一个URL必须包括所有提供的关键词。关键词必须用, 字符分隔。比如说。

acme.com,admin 将与https://acme.com/secret/adminpanel 匹配,但 不会匹配https://acme.com/somethingelse

**重码值:**urlhunter将搜索给定的重码值。在关键词文件中,包含正则表达式公式的那一行必须以regex 字符开始。其格式是:regex REGEXFORMULA 。比如说

regex 1\d{10} 将与https://example.com/index.php?id=12938454312 匹配,但 不会匹配https://example.com/index.php?id=abc223

-日期

urlhunter会下载给定日期的档案文件。你有三种不同的方式来指定日期。

**最新的:**urlhunter将下载最新的档案。-date latest

**单一日期:**urlhunter将下载给定日期的档案。日期格式为YYY-MM-DD。

比如说。-date 2020-11-20

**日期范围:**urlhunter将下载给定开始和结束日期之间的所有档案。

举例来说。-date 2020-11-10:2020-11-20

-o

你可以用-o 参数指定输出文件。例如-o out.txt

示范视频

A recon tool that allows searching on URLs that are exposed via shortener services

速度问题

Archive.org 在下载文件时对速度进行限制。因此,下载档案需要比平时更多的时间。作为一种变通方法,你可以通过Torrent下载档案,并把它们放在archive/ ,该文件夹与urlhunter的二进制文件位于同一目录中。目录树会看起来像。

|-urlhunter
|---urlhunter(binary)
|---archive
|-----urlteam_2020-11-20-11-17-04
|-----urlteam_2020-11-17-11-17-04

使用实例

urlhunter可能是有用的网络情报和错误赏金的目的。比如说。

docs.google.com/a/acme.com drive.google.com/a/acme.com 关键字可以让你找到Acme公司的公共Google Docs&Drive共享链接。

acme.com,password_reset_token 关键字可以让你找到acme.com的工作密码重置令牌。

trello.com 可以让你找到公开的Trello地址。

感谢

特别感谢Samet Bekmezci(@sametbekmezci),他给了我这个工具的想法。

捐赠

比特币地址。1MVGYtuYAbZ1MubRFb7dxhQH35w7RQBcVe

GitHub

github.com/utkusen/url…