Cloudflare把AI流量细分为搜索、代理与训练

Cloudflare宣布为所有客户提供更细的AI流量管理选项，将过去笼统的“AI机器人”拆分为搜索、代理和训练三类。一年前，公司推出一键“Block AI Bots”和按抓取付费市场，理由是延续约30年的网站与爬虫交换关系已经改变：过去网站允许抓取并获得引荐流量，而模型训练可能使用内容却不再把访问者送回原站。Cloudflare称，网站所有者仍希望保护并获得原创内容的补偿，但并非所有人都愿意一律封锁自动化访问。

Cloudflare给出的新分类依据是自动程序在网站上做什么、保存什么，以及之后如何重新使用内容。搜索类会预先收集或索引网页，建立数据库以便日后回答查询，站点所有者应由此获得引荐流量或其他对等补偿；代理类通常实时代表用户完成任务，包括ChatGPT-User等聊天抓取机器人，以及由Gemini或Claude驱动Chrome的浏览器代理；训练类则抓取内容用于训练或微调模型，使数据被吸收到模型架构中。一个爬虫可以同时属于多类，Cloudflare建议同时承担三种用途的运营方拆成三个独立爬虫。

新控制项也向Cloudflare免费套餐客户开放。公司此前的托管预设主要封锁以模型训练为单一目的的机器人；更新后，客户可以分别管理搜索、代理和训练流量。Cloudflare还宣布，自2026年9月15日起，所有新接入其网络的域名将采用新的默认设置：在展示广告的页面上，训练类和代理类流量默认被拦截，搜索类流量仍默认允许。Cloudflare把广告视为网站所有者希望真人进入页面并看到广告的信号。

Debian公布一项关于大型语言模型使用的通用决议页面，其中提案A由Matthias Geiger提出，并列有Johannes Schauer Marin Rodrigues、Antoine Le Gonidec、Simon Richter、David Bremner、Pierre-Elliott Bécue、Ian Jackson、Amin Bandali和Thorsten Glaser等附议者。该提案主张明确禁止使用或借助LLM及其他生成式AI工具编写的内容直接贡献给Debian，目标是把相关规则加入Debian社会契约。

提案列出的适用范围并非只有程序代码，还包括Debian源码包、lintian等项目官方软件、Debian网站资源、贡献者添加的文档与翻译，以及Debian的官方沟通内容。排除项包括使用LLM进行开发的上游项目、AI相关软件，以及来自上游的补丁和安全修复等。提案给出四组理由：LLM输出的版权与许可状态不够清晰；生成内容可能混合不同时期的打包语法和惯例，产生失效的watch文件、脱离上下文的override或虚构的版权信息；审查这些内容会增加志愿审核者负担；模型公司的网络抓取和训练资源消耗也被提案视为伦理问题。

在质量部分，提案特别区分了资深贡献者与新贡献者：具备Debian打包经验的人或许能有限使用相关工具，但新贡献者可能无法判断输出是否正确，也不知道如何修复。社区部分则称，依赖LLM提交内容的人没有实际学习Debian打包与项目流程，无法补充因审查压力而退出的开发者。提案还称，大规模抓取曾影响Debian公共网站资源，部分基础设施一度无法访问，并迫使项目启用基于JavaScript的检查。其最终文本要求，不允许LLM辅助创作的直接贡献被纳入Debian。

esp32-ai项目展示了一个拥有2890万参数的语言模型，可在售价约8美元的ESP32-S3微控制器上直接生成文本。运行过程中没有数据发送到服务器，模型以约每秒9个token的速度，把生成内容逐词写到连接芯片的小屏幕上。项目说明称，此前在同类芯片上运行的语言模型只有26万参数；此次模型的参数量约为其100倍，关键做法是让模型的大部分内容留在闪存，而不是全部放进高速内存。

ESP32-S3只有512KB SRAM，常规方案若要求整个模型都能从这部分内存访问，模型规模会受到严格限制。该项目把负责每个token计算的“思考”核心放在高速SRAM，把输出头和工作内存放在速度居中的PSRAM，再把约2500万参数的嵌入表放入容量较大但较慢的闪存。每生成一个token，只读取大约6行嵌入数据，合计约450字节，无需载入嵌入表的大部分内容。该方法来自Google在Gemma 3n和Gemma 4中采用的Per-Layer Embeddings。

模型使用TinyStories训练，该数据集由Microsoft Research的Ronen Eldan和Yuanzhi Li提出，内容是便于小模型学习连贯写作的简短合成故事。因此，这个模型能够生成较短、简单且大体连贯的故事，但不能回答问题、遵循指令、编写代码或提供事实知识；把嵌入表移到闪存并未提升承担推理工作的模型核心。项目的固件、接线和烧录步骤位于firmware/esp32_llm/README.md，训练、消融和量化代码位于src及experiments目录，完整方法和芯片实测结果记录在RESULTS.md。作者还保留了曾导致早期参数数字虚高的计数错误及修正记录。

一份汇总现有研究的简报认为，AI目前对整体就业的影响可能较小。自2022年以来，AI暴露程度最高的一组劳动者失业率上升0.77个百分点，最低的一组反而上升0.85个百分点，更接近劳动力市场普遍走弱，而非AI集中造成岗位流失。编码密集型职业就业增速虽有放缓，但仍保持增长。

近期毕业生受到的影响可能更明显。2026年初新毕业生失业率达到5.6%，比三年前高1.6个百分点。Brynjolfsson、Chandar和Chen发现，ChatGPT于2022年推出后，软件开发和客服等AI暴露职业中的初入职场者就业下降，年长劳动者则相对稳定。企业采用AI后的两年内，就业增长10%，主要由人均AI支出最高的企业推动。

Claude Code团队称，面向Claude Opus 5和Claude Fable 5等新一代模型，其系统提示词删减超过80%，编码评测未出现可测量的损失。团队认为，系统提示词、Skills、CLAUDE.md、记忆等共同构成上下文；随着模型判断能力提升，过多且相互冲突的规则会增加模型处理负担。

新版做法包括让Claude依据周边代码判断注释密度、命名和风格，以工具接口设计代替大量调用示例，并通过渐进披露按需载入验证、代码审查等Skills。部分工具采用延迟加载，由模型先通过ToolSearch查找完整定义。相关检查已加入Claude Code的“/doctor”命令，用于调整Skills及CLAUDE.md文件规模。

Open Markets Institute研究员Matt Scherer撰文指出，生成式AI能让写作、编程等单项任务更快完成，但这不必然提高企业或整体经济的生产率。经济学中的全要素生产率同时衡量投入与产出的经济价值，产出数量和速度之外，质量、返工成本及基础设施投入也会影响最终结果。

文章称，AI基础设施建设已耗资1.5万亿美元，下一年支出预计继续加速，芯片供电和冷却还会形成持续成本。生成式AI用于软件、法律和医疗时，可能出现虚构判例、删除代码数据库或加入错误诊断等问题，专业人员因而需要投入时间核查和修正。作者据此区分个人完成任务更快与经济价值实际增加。

Anthropic在3月发布就业影响分析称，自2022年末以来，高度暴露于AI的劳动者没有出现系统性失业上升，技术部署仍只是可行范围的一部分。Claude目前覆盖计算机和数学类别全部任务的33%，而理论可覆盖比例接近100%。AI时代前三年的劳动生产率增速也低于20世纪90年代中期开始的信息技术繁荣期。

Dario Amodei去年5月曾称，AI可能在一至五年内消除一半入门级岗位；Sam Altman今年5月则表示，他不认为会出现部分AI公司所谈论的就业末日。同期，以科技股为主的Nasdaq指数较6月初高点下跌约8%。International Energy Agency估计，到2030年数据中心用电需求将增加一倍以上，达到约945太瓦时，超过日本当前能源消耗。

一名由创始人主动招募的员工发文称，他加入 Simple AI 约三周后，在一个周二傍晚工作期间突然失去 Slack 访问权限并被解雇。他原计划承担领导职责，协助建立公司的 FDE 职能和团队；他认为，入职首月发现双方不合适好过九个月后才发现，同时表示仍尊重 Cat 和曾任其经理的 Zach。

为到旧金山办公室附近工作，他从 Greenville 搬到旧金山，月租由1750美元升至5700美元；公司曾支付其在 Hotel Zeppelin 居住十多天的费用，供他寻找公寓。他称搬家支出超过5000美元，提前解约可能被罚两至三个月租金，因此计划在当地住满一年。他已更新个人简历，并表示正在申请 YC、开发一款用 AI 处理电子邮件的产品。

一名自学转入机器学习领域的工程师发文称，他经过18个月的职业准备，日前签约成为 Mistral 的 research engineer。此前他已有约一年机器学习岗位经验。2024年4月，他在确认原岗位短期及中期缺少职责增长空间后，开始向大科技公司、初创企业、规模化公司及基础模型实验室从业者了解技能要求、成长路径和工作强度。

他随后集中补习分布式系统、数据结构、算法及 LeetCode。2024年8月首次申请新岗位，经历六轮流程后于11月落选；辞职并结束通知期后，他从2025年1月开始全职求职，但早期获得的面试有限，也因紧张出现失误。此后他加入 Recurse Center，通过自定方向的编程项目继续提升技能，并将相关项目纳入简历。

一篇文章讨论借助 AI 跳过执行细节的设想，认为任何工作越深入，涉及的情境与细节就越复杂，不存在能够彻底消除这些问题的抽象层级。作者提出，使用者可以把部分细节交给 AI，但前提是自己具备相应能力，能够判断哪些环节适合交付、哪些部分必须亲自处理，否则难以稳定完成新颖或高质量的工作。

文章进一步认为，专业能力来自长期关注并处理细节；若最初的目标就是避开细节，这种心态与形成专业能力所需的过程相反。作者将 LLM 与此前承诺降低技能门槛的技术相比较，认为它同样无法让人在缺少知识和技能的情况下自动胜任工作，并把完全交出细节视为减少使用者实际参与，而非增强其掌控能力。

一名连续创业者兼新手父亲发文称，AI 加快单项任务后，他开始在会议间隙调用 Claude 推进过去搁置的写作和副业想法，项目数量随之扩张。他原有100多个文章标题及提纲，以及约50个计划日后启动的项目；一段时间后，同时进行的概念验证项目达到约40个，每个项目都形成新的待处理事项和责任，倦怠感也随之增加。

他据此调整个人工作方式，不再把 AI 主要用于横向增加项目数量，而是集中完成少数事项。他举例称，一篇准备发布的文章质量未达到预期，因此暂停发布并计划再修改两至三轮。文章还引用 Greg McKeown 的《Essentialism》及 Garry Tan 关于日食的文章，主张把 AI 节省的时间投入最后阶段的打磨，并减少发文数量、增加单篇内容的完成度。