URL 限制:您最多只能检索 10,000 个 URL,这对于大型网站来说是不够的。
质量:许多 URL 可能已损坏或引用资源文件(例如图像或脚本)。
无导出选项:没有内置的导出列表的方法。
要绕过缺少导出按钮的
问题,请使用浏览器抓取插件,例如 Dataminer.io。然而,这些限制意味着 Archive.org 无法为大型网站提供完整的解决方案。此外,Archive.org 并没有表明 Google 是否已将该 URL 编入索引,但如果 Archive.org 找到了它,那么 Google 很有可能也索引了该 URL。
秘鲁香蕉
虽然您通常可以使用链接索引来查找链接到您的外部网站,但这些工具也会在此过程中发现您网站上的 URL。
如何使用它:从您的网站快速轻松地获取目标 URL 列表
将入站链接导出到 Moz Pro。如果您正在使 电报数据 用大型网站,请考虑使用 Moz API 导出可在 Excel 或 Google Sheets 中管理的数据。
需要注意的是,Moz Pro 不会验证 URL 是否已被 Google 索引或发现。然而,由于大多数网站对 Moz 的机器人应用与对 Google 相同的 robots.txt 规则,因此此方法通常用作 Googlebot 发现的代理。
谷歌搜索控制台
Google Search Console 提供了多种有价值的资源来列出您的网址。
链接报道:
与 Moz Pro 一样,链接部分提供了可导出 有哪些不同类型的商业咨询软件? 的目标 URL 列表。不幸的是,这些导出仅限于 1,000 个 URL。您可以对特定页面应用过滤器,但由于过滤器不适用于导出,因此您可能需要依赖浏览器抓取工具 – 一次只能过滤 500 个 URL。不理想。
性能 → 搜索结果:
此导出将为您提供收到搜索展示次数的页面列表。尽管导出受到限制,但您可以使用 Google Search Console API 来导出更大的数据集。还有免 汤加营销 费的 Google Sheets 插件,可以轻松提取更广泛的数据。
索引→页面报告:
本节提供按问题类型过滤的导出,尽管这些导出的范围也有限。
谷歌分析
谷歌分析
GA4 中的默认参与度 → 页面和屏幕报告是一个收集 URL 的好工具,其上限为 100,000 个 URL。