Jev 生态观察（三）：四天里的翻车样本，什么时候不能信它

前两篇讲了这个生态四天长出的成功面。这一篇专讲另一面：翻车记录。证据口径不变——全部来自我们 2026-09-15 至 09-19 的十轮扫描，第三方数字均为作者自报，按 A/B/C 分级；但本篇引用的核心评测我们逐字读过原文。

一场 1.43 美元的严格审判

独立评测 agentjournal 做了生态里最扎实的一组对照实验：三个分类任务、5,477 个测试行、34.1M token、总花费 $1.43，对比"一次直问"和"拆 12-14 个维度打分再本地拟合"两种用法。五个发现值得逐条记住：

1. 简单任务别拆维。200 条带陷阱的合成样本，直问 100% 全对（标签对调后仍 100%，无位置偏差）；拆 12 维的流水线反而 98.0%。多花的 token 买来了更差的结果。
2. 评测切分不当会让数字说谎。随机交叉验证报 98.0%，按模板族分组留出后同特征只剩 90.0%——8 个点是模板泄漏；免费字符二元组基线在同一切分下 93.5%，反而更高。作者的两条习惯值得抄走：先打印多数类基线，先设计切分再看数据集。
3. 难任务拆维才有增益。标签藏在多个弱信号聚合里的 300 行任务，直问 64.7%，拆维 74.0%（提升 9 个点，p=0.0050）——但免费字符二元组基线同样 74.0%。先写免费基线，再谈模型。
4. 宽选项必崩。真实记账数据上，一次 Choice 给 12 个选项只有 0.3998 准确率——"理解了每个词，但选不出 12 选 1"，瓶颈是决策格式不是理解。拆成 14 维加权重恢复到 0.9105，与 n-gram 堆叠后 0.9695。
5. 误报敏感场景拆维是灾难。339 条"提及攻击手法但无害"的硬良性样本（安全文档、红队笔记、本文这类文章），直问误报 1.5%，拆 12 维误报 37.2%——差约 25 倍，四次修复全部失败。作者结论：这是维度设计问题，不是调参问题；好的直接调用应该放在模型旁边当独立裁判，而不是塞进模型里当特征。

官方也没幸免

社区在官方 Python SDK 的 quickstart issue #2 里记录：示例工单注释写着应判 technical，报告者实测返回 billing（0.67），循环 100 次结论稳定。一条客服工单同时包含支付故障和集成报错时，三分类的边界本身就模糊——但官方示例自己翻车，对新手的信任打击是真实的。

产品侧的诚实样本

比官方翻车更有价值的是产品自曝缺陷。声明核查产品 Attest 公开了两个数字：删掉了置信度字段，因为 24 次真实检查里 22 次落在 0.95-0.99——"永远是同一个数的数字不是信息"；证据顺序翻转会让 5.8% 的判决改变。创业点子评分器 killmyidea 被用户实测去掉三个字各项分数大幅漂移，作者承认它只是"一致的直觉检查，不是神谕"。游戏侧有空战 AI 作者自评"它挺烂的"；交易侧有人贴出 41.1% 胜率、375 笔模拟交易的未过滤数据——在这个人人报喜的生态里，不吹的数字值得单独记下。

还有一条元警示：知名开发者 steve8708 公开点名 X 上病毒传播的 Jev 演示里混有加速和伪造内容。我们的应对写进了收录标准：凡"超人类速度"演示，只认带完整方法论和运行痕迹的仓库。

什么时候不能信它

把本篇和上一篇的教训合并成一张否定清单：

• 置信度 ≥0.9 不代表对——那 42% 高置信行上正确率只有 72.2%。
• 拆维度不等于更严谨——误报敏感场景它差 25 倍。
• 一次给十个以上选项——准确率直接掉到随机边缘。
• 输入顺序和措辞可变——判决就可能漂移。
• 没跑过免费基线（n-gram、朴素贝叶斯、规则）之前——任何准确率都先打折。
• 切分没按真实分布设计——模板泄漏能凭空造出 8 个点。

对应的自保清单也就六条：直问优先、窄选项、固定输入顺序、先跑基线、留独立评测集、把直接调用当独立裁判。决策原语的甜点区依然成立（窄问题×高频×有界动作），但甜点区外它是真会咬人的。

系列下一篇我们离开个案，看这个生态已经长出的基础设施层。如果你的判断层需要可靠的评论、口碑、价格数据做输入，从统一数据 API 接入指南开始。