高效抓取网站Favicon、标题与描述的开源工具推荐

一、简介

• go语言开发，高性能，低内存，支持docker一键安装
• 高效抓取网站的favicon图标、标题、描述
• favicon抓取兼容favicon.ico、JPG、PNG、SVG、base64格式，自动转成不同尺寸的png图片
• 开源项目地址：github.com/luler/hello…

二、安装

1. 提前安装好docker、docker-compose命令环境

2. 新建docker-compose.yml，配置如下：

   version: "3"
   services:
     hello_favicon:
       image: ghcr.io/luler/hello_favicon
       restart: always
       #environment: #有些网站需要代理才能访问
       # - http_proxy=http://127.0.0.1:10808
       # - https_proxy=http://127.0.0.1:10808
       ports:
         - 2025:3000
   

3. 启动运行

   docker-compose up -d
   

三、使用说明

1. 使用在线页面，访问地址：http://127.0.0.1:2025/
   

2. 使用接口获取，接口：POST /api/favicon

   • 请求参数：

     {
       "url": "https://www.baidu.com/"
     }
     

   • 接口返回：

     {
       "title": "百度一下，你就知道",
       "description": "全球领先的中文搜索引擎、致力于让网民更便捷地获取信息，找到所求。百度超过千亿的中文网页数据库，可以瞬间找到相关的搜索结果。",
       "url": "https://www.baidu.com/",
       "faviconUrl": "https://www.baidu.com/favicon.ico",
       "favicons": {
         "16": "data:image/png;base64,iVBORw0KG",
         "32": "data:image/png;base64,iVBORw0KG",
         "64": "data:image/png;base64,iVBORw0KG",
         "128": "data:image/png;base64,iVBORw0KG",
         "256": "data:image/png;base64,iVBORw0KG"
       }
     }
     

四、演示地址

访问链接：cas.luler.top/?search=fav…