智能摘要 AI
自然语言处理（NLP）技术在理解、校对和组织大量消息方面取得显著进展，但高精度模型如BERT计算成本高。研究通过将自注意层操作替换为分组卷积，提出SqueezeBERT架构，在Pixel 3上运行速度比BERT快4.3倍，同时保持GLUE测试集上的竞争力精度。
摘要
人类每天阅读和编写数百亿条消息。此外，由于大型数据集的可用性、大型计算系统和更好的神经网络模型，自然语言处理 (NLP) 技术在理解、校对和组织这些消息方面取得了长足的进步。因此，在众多应用程序中部署 NLP 以帮助网络用户、社交网络和企业有很大的机会。特别是，我们将智能手机和其他移动设备视为大规模部署 NLP 模型的关键平台。然而，今天的高精度 NLP 神经网络模型（如 BERT 和 RoBERTa）的计算成本非常高，BERT-base 在 Pixel 3 智能手机上对文本片段进行分类需要 1.7 秒。在这项工作中，我们观察到分组卷积等方法对计算机视觉网络产生了显着的加速，但 NLP 神经网络设计者并未采用其中许多技术。我们演示了如何将自我注意层中的几个操作替换为分组卷积，并在一个名为SqueezeBERT的新型网络架构中使用这种技术，它在Pixel 3上运行比BERT-base快4.3倍，同时在GLUE测试集上实现了具有竞争力的精度。
评论 (0)