OpenAI推出网络爬虫GPTBot，引发网站所有者和创建者的封锁努力
访问我们的点播库以查看 VB Transform 2023 会议。在此注册
在没有大张旗鼓或官方宣布的情况下，ChatGPT 制造商 OpenAI 本周推出了一款新的网站爬虫机器人，用于分析网站内容以训练其大型语言模型 (LLM)。但在该机器人发布后，一场反抗随之而来，网站所有者和创建者迅速交换了如何阻止 GPTBot 从其网站抓取数据的技巧。
当 OpenAI 添加 GPTBot 支持页面时，它还引入了一种阻止该服务抓取您网站的方法。对网站的 robots.txt 文件进行微小更改就会阻止与 OpenAI 共享内容。然而，由于网络抓取的程度，尚不清楚简单地阻止 GPTBot 是否会完全阻止该内容被包含在 LLM 训练数据中。
“我们定期从互联网收集公共数据，这些数据可用于提高未来模型的功能、准确性和安全性，”OpenAI 发言人在一封电子邮件中表示。 “在我们的网站上，我们提供了如何阻止网络爬虫访问网站的说明。网页经过过滤，以删除具有付费专区、已知收集个人身份信息 (PII) 或包含违反我们政策的文本的来源。”
网站加强防御像 The Verge 这样的网站已经添加了 robots.txt 标志，以防止 OpenAI 模型抓取内容添加到其 LLM 中。 Casey Newton 向他的 substack 时事通讯 Platformer 的读者询问他是否应该阻止 OpenAI 获取他的内容。科幻杂志 Clarkesworld 编辑 Neil Clarke 在 X（前身为 Twitter）上宣布将屏蔽 GPTBot。
事件VB Transform 2023 按需
您错过了 VB Transform 2023 的会议吗？注册以访问我们所有特色会议的点播库。
现在注册GPTBot 发布后不久，OpenAI 宣布拨款 395,000 美元，并与纽约大学亚瑟·L·卡特新闻研究所建立合作伙伴关系。纽约大学的道德与新闻计划由路透社前编辑斯蒂芬·阿德勒 (Stephen Adler) 领导，旨在帮助学生制定负责任的方法，在新闻行业利用人工智能。
“我们对新的道德与新闻倡议的潜力感到兴奋，并且非常高兴支持其目标，以解决记者在努力以道德方式实践其职业时面临的广泛挑战。并且......
访问我们的点播库以查看 VB Transform 2023 会议。在此注册
在没有大张旗鼓或官方宣布的情况下，ChatGPT 制造商 OpenAI 本周推出了一款新的网站爬虫机器人，用于分析网站内容以训练其大型语言模型 (LLM)。但在该机器人发布后，一场反抗随之而来，网站所有者和创建者迅速交换了如何阻止 GPTBot 从其网站抓取数据的技巧。
当 OpenAI 添加 GPTBot 支持页面时，它还引入了一种阻止该服务抓取您网站的方法。对网站的 robots.txt 文件进行微小更改就会阻止与 OpenAI 共享内容。然而，由于网络抓取的程度，尚不清楚简单地阻止 GPTBot 是否会完全阻止该内容被包含在 LLM 训练数据中。
“我们定期从互联网收集公共数据，这些数据可用于提高未来模型的功能、准确性和安全性，”OpenAI 发言人在一封电子邮件中表示。 “在我们的网站上，我们提供了如何阻止网络爬虫访问网站的说明。网页经过过滤，以删除具有付费专区、已知收集个人身份信息 (PII) 或包含违反我们政策的文本的来源。”
网站加强防御像 The Verge 这样的网站已经添加了 robots.txt 标志，以防止 OpenAI 模型抓取内容添加到其 LLM 中。 Casey Newton 向他的 substack 时事通讯 Platformer 的读者询问他是否应该阻止 OpenAI 获取他的内容。科幻杂志 Clarkesworld 编辑 Neil Clarke 在 X（前身为 Twitter）上宣布将屏蔽 GPTBot。
事件VB Transform 2023 按需
您错过了 VB Transform 2023 的会议吗？注册以访问我们所有特色会议的点播库。
现在注册GPTBot 发布后不久，OpenAI 宣布拨款 395,000 美元，并与纽约大学亚瑟·L·卡特新闻研究所建立合作伙伴关系。纽约大学的道德与新闻计划由路透社前编辑斯蒂芬·阿德勒 (Stephen Adler) 领导，旨在帮助学生制定负责任的方法，在新闻行业利用人工智能。
“我们对新的道德与新闻倡议的潜力感到兴奋，并且非常高兴支持其目标，以解决记者在努力以道德方式实践其职业时面临的广泛挑战。并且......
What's Your Reaction?
