百度发布可持续学习的语义理解框架ERNIE 2.0

2019-10-10 20:59:36 网易智能 网易 分享


ERNIE 2.0模型结构

【网易智能讯7月31日消息】今天,百度宣布ERNIE升级到了2.0版本,据介绍,继1.0后,ERNIE英文任务在共计16个中英文任务上超过了BERT和XLNet, 取得了SOTA效果。

据了解,该框架支持增量引入词汇(lexical)、语法 (syntactic) 、语义 (semantic) 等3个层次的自定义预训练任务,能够捕捉训练语料中的词法、语法、语义等潜在信息。这些任务通过多任务学习对模型进行训练更新,每当引入新任务时,该框架可在学习该任务的同时,不遗忘之前学到过的信息。这也意味着,该框架可以通过持续构建训练包含词法、句法、语义等预训练任务,持续提升模型效果。

目前,百度ERNIE 2.0的Fine-tuning代码和英文预训练模型已开源。(定西)

本文来源:网易智能 责任编辑:顾雨芯_NBJS8596
声明:本站部分资源来源于网络,版权归原作者或者来源机构所有,如作者或来源机构不同意本站转载采用,请通知我们,我们将第一时间删除内容。本站刊载文章出于传递更多信息之目的,所刊文章观点仅代表作者本人观点,并不意味着本站赞同作者观点或证实其描述,其原创性及对文章内容的真实性、完整性、及时性本站亦不作任何保证或承诺,请读者仅作参考。
编辑: