又一篇超百名作者的 AI 论文问世！442位作者耗费两年发布大模型新基准 BIG-bench……

尽管语种建模因其大现有而具有较好的耐用性，但相比于本能，它们在BIG-bench上的展示出仍然不好。

他们还检验了搜索引擎自家的PaLM建模，表明其耐用性取得胜利了在PaLM之前的其他建模（牛角），尽管PaLM仍然高于同样的本能评分者（如下图中都的深蓝色虚线），但它之前大约了BIG-bench Lite八区上平均本能评分者（如下图中都的蓝色虚线）。

在一些勤务上，语种建模的耐用性随现有的减小而平稳提升；而在另一些勤务上，语种建模时会在某个特定现有上突然归因于突破性的展示出。

经过检验，他们还发现，随着建模现有的扩大，它们的社时会制度性取向性越来越突出。对此，一个可能会解释是较大的建模在冗余其训练集中都的偏移方面做得更容易。不过，当字符串清楚表明性取向不举例时，性取向就时会随着现有的扩大而减低。

这一结果强调了针对机器学习系统公平性的数据分析、改建工程和政策努力的重要性。

要化解建模中都的社时会制度性取向问题，所写小组给出三个发现：1）在字符串广泛或含糊不清的才会，性取向非常一定时会随着现有的扩大而增加；2）在狭窄、明确的字符串中都，偏移时会随着现有的减小而缩小；3）可以通过选择适当的示意来引导性取向。

图注：对于明确或积极示意的字符串，偏移可能会随着现有的变化而减低，或更有利于

他们还发现，建模在英文勤务上的展示出优于非英文勤务，在涉及高海洋资源语种的勤务上展示出尤其令人震惊。在一些才会，高海洋资源语种勤务的耐用性很难随着建模现有的减小而减低，而相应的英文勤务的耐用性则时会随着现有的减小而减低。

总体上，稀疏建模的耐用性与用于多 2 倍侦探运输成本的分散建模一样好，它们的校准效果与用于多出约 10 倍侦探算出的分散建模一样好。

当手动检查建模转换成时，小组发现，建模在一定现有后开始分解另行片末尾，在更大的现有下时会开始标识表达方双管的语义，并且在某些才会以最大的现有转换成正确的作答。一个有代表性的例子如下图所示：

图注：根据精确的勤务这两项，在 emoji_movie 标识上的展示出时会显得很突然或渐进。

此外，他们发现，建模的编程能力格外主观。即使是通过具体的勤务完成量化，语种建模的能力和跨现有的轨迹也比我们全然的要主观得多。

便联想这两天吵得紧接著的「AI 究竟需有人格」……

大家怎么看？

参考资料镜像：

雷峰网雷峰网