昨天一下发现两个很厉害的爬虫,
第一个是 Jina Reader,
https://t.co/u9KHuQPjql
可以将任何 URL 转化为 LLM 友好的格式(比如 Markdown),然后可以再针对这些内容集成不同的模型,支持 API,而且是完全免费(惊了,看了下FAQ,确实写的完全免费),我试了一下效果很不错,爬下来以后做网页的摘要啥的很不错。
第二个就是一个纯纯的将URL 转换为 Markdown 格式的工具,MarkdownDown
https://t.co/dnMniA64de
并且支持图片的下载,试了一下,效果也很好,点击转换以后以后直接下载为 Markdown 文件。
点击图片查看原图
点击图片查看原图