robotstxt - Google的Rust版robotstxt解析器

A native Rust port of Google's robots.txt parser and matcher C++ library.

原生Rust代码实现，不依赖任何第三方库
保留所有原Google版的实现方式
与原Google版API完全一致
用Rust跑通了100%的Google C++测试用例

安装

[dependencies]
robotstxt = "0.2.0"
快速开始
use robotstxt::DefaultMatcher;

快速开始

let mut matcher = DefaultMatcher::default();
let robots_body = "user-agent: FooBot\n\
                   disallow: /\n";
assert_eq!(false, matcher.one_agent_allowed_by_robots(robots_body, "FooBot", "https://foo.com/