OpenAI 推出的网络爬虫GPTBot旨在通过从互联网上收集文本数据来提高其语言模型，特别是为未来的GPT-5做准备。
GPTBot的设计原则包括不收集需要付费访问的信息、不收集能追踪到个人身份的数据（PII），并且不会包含违反OpenAI政策的内容。这意味着GPTBot在执行其任务时，会严格过滤掉那些可能侵犯用户隐私或违反法律规定的数据源。
GPTBot 的主要任务是收集数据以改进未来的 AI 模型。它将严格遵守任何付费墙的规则，不会抓取需要付费的信息，并且也不会收集能追踪到个人身份的数据。此外，OpenAI 还允许网站所有者自行修改其 robots.txt 文件，或者通过屏蔽其 IP 地址，来阻止 GPTBot 从其网站上抓取数据。这提供了更多的透明度和控制权给数据的所有者。
3.1、用户代理标识
GPTBot使用特定的用户代理字符串来标识自己，以便网站管理员可以识别并决定是否允许其抓取数据。完整的用户代理字符串为：
3.2、数据采集规则
GPTBot在数据采集过程中遵守以下规则：
尊重版权，不会抓取需要付费的信息。
不会收集个人身份信息（PII），以保护用户隐私。
遵守网站的robots.txt文件，网站管理员可以自由选择是否允许GPTBot抓取数据，或者指定允许抓取的目录。
3.3、数据使用目的
OpenAI表示，使用GPTBot抓取的数据将用于改进AI模型的准确性、功能性和安全性，包括但不限于训练和优化未来的模型，如GPT-5。
3.4、网站屏蔽方法
如果网站管理员不希望GPTBot抓取其网站数据，可以通过以下两种方式进行屏蔽：
修改网站的robots.txt文件，添加以下代码以禁止GPTBot访问：
屏蔽GPTBot的IP地址，阻止其访问网站。
3.5、数据过滤
OpenAI会对抓取的数据进行过滤，例如删除需要付费才能查看、使用的数据，搜集的个人身份信息（PII）或违反法律法规的数据等，以保证抓取的数据符合安全标准。
虽然 GPTBot 的推出引发了网友对用于训练 AI 模型的网络爬虫的道德问题的讨论，但 OpenAI 表示，他们将严格遵守任何付费墙的规则，不会抓取需要付费的信息，并且也不会收集能追踪到个人身份的数据。然而，这一行为仍然备受争议，一些网站已经采取措施打击 AI 公司免费使用其用户帖子的行为，而一些作者和其他创作者也因为涉嫌未经授权使用其作品而提起诉讼。
任何网站管理员都可以选择允许或阻止此爬虫收集数据。OpenAI 建议，如果网站管理员不希望 GPTBot 收集他们的数据，他们可以在网站服务器的 robots.txt 文件中完全禁止 GPTBot 收集信息，或选择他们要 GPTBot 收集的特定信息。这种方式可以更便利和更具透明度，也可进一步告知数据将被用于什么用途等等。