介绍了一种新的语言表示模型Bert。与现有的语言表示模型不同，Bert的目标是基于各层的左右语境对深层双向表示进行预训练。Best是第一个基于微调的表示模型，在大量的句子级和令牌级任务中实现当前的最佳性能
介绍了一种新的语言表示模型Bert。与现有的语[繁：語]言表示模型不同，Bert的目标是基于各层的左右语境对深层双向表示进行预训练。Best是第一个基于微调的（pinyin：de）表示模型，在大量的句子级和令牌级任务中实现当前的最佳性能。它的性能超过了许多使用特定任务体系结构的系统，刷新了11个NLP任务的当前最佳性能记录。
最近，谷歌人工智能的一篇NLP论文引起了社会各界的极大关注和讨论，被认为是NLP领域的一大突破。例如，谷歌大脑研究科学家比朗·推特说，这是NLP领域的一个新（读：xīn）时【shí】代。
许多研究人员也参与了讨论，并在Twitter上转发了这{练：zhè}篇论文：
这篇论文刷新了11个nlp任务论文不久前就已经上线了，让【练：ràng】我们看看吧：
研究表明，语言（拼音：yán）模型预训练可以有效地提高许多自然语(繁：語)言处理任务，包括自然语言推理、释义等句子级任务和命名实体识别、小组问答等表征级任务，前者通{pinyin：tōng}过对句子的整体分析来预测句子之间的关系，后者在表征级生成细粒度输出。
目前，将预训练语言表示应用于下游任务有两种策略：基于特征的澳门新葡京策略和微调策略。基于特征的策略（如Elmo）使用特定于任务的体系结构，并将预训练表示作为附加特【读：tè】征。微调策略（如生成预训练变换器（openai-GPT））引入特定于任务的最小参数，并通过微调预训练参数在下游任务中进行训练。在以往的研究中，两种策略在训练前使用相同的目标函数，并采用单向语言模型来学习一般的语言表征。
本文作者（即Google人工智能语言团队的研究人员）认为，现有技术严重制约了（繁体：瞭）预训练表示的能力，特别是微调策略。主要的限制是标准语言模型是单向的，这限制了在预培训期间可以使用的体系结【繁体：結】构类型。例如，openai GPT使用从左到右的架构，其中每个令牌只能关注transformer的self-attention层中的前一个令牌。这些限制不是句子级任务的最佳选择，但对于标记级任务（如小【xiǎo】组问答）可能是毁灭性的，因为在这样的任务中，将上下文的两个方向结合起来是非(pinyin：fēi)常重要的。
本文利用Bert（变压器的双向编码器表示）对基于微调的策略进行了改进。Bert提出了一种新的预训练目标&蒙蔽语言模型（MLM），以克服上述单向性限制。传销的灵感来自完{wán}形填空任务（泰勒，1953年）。传销的目标是《拼音：shì》仅根据蒙蔽词的上下文来预测原始词的Id。不同于从左到右的语言模型预[繁体：預]训练，传销允许表达融合左右语境，从而预训练一个深层的双向转换器
除了传销，我们还引入了一个“下一《读：yī》句预测”任务，它结合了训练前{pinyin：qián}的《拼音：de》文本对表示。
本澳门新葡京文的贡献如（rú）下：
说明了双向预训练语《繁体：語》言表征的重要性。与Radford et al.（2018）使用单向语言模型进行预训练不同，Bert使用传销预训练深度进行双向表征。这项研究也（yě）不同于Peters等人（2018年）的研究，后者使用从左到右和从右到左的LM浅叶级联进行独立训练。
事实证明，预训练表示可以消除对许多精心【xīn】设计的特定于（繁体：於）任务的体系结构的需求。Best是第一个基于微调的表示模型，能够在大量的语句级和令牌级任务中实现当前的最佳性能，其性能超过了许多采用特定任务体系结构的系统。
Best刷新11个NLP任务的当前最佳性能世界杯记录。本文还对Bert的模型简化[拼音：huà]进行了研究，证明了模型的双向性是最重要的新贡献。代码和预培训模型将在goo.gl/语言/bert.
地址：https://arxiv.org/pdf/1810.04805.pdf
本文介绍了一种新的语言表示模型Bert，它表示来自变压器的双向编码器表示。与最近的语言表示模型（Peters et al.，2018，Radford et al.，2018）不同，Bert的目标是基于所有层的左右上下文预先训练深层双向表示。因此，只需一个额外的输澳门博彩出层，就可以对预先训练好的Bert表示进行微调，从而为许多任务（如问答和语言推理任务）创建当前的优化模型，而无需对特定于任务的体系结构进行大量修[繁体：脩]改。
伯特的概念非常简单，但实验效（xiào）果非常强大。它刷新了目前11项NLP任务的最佳成绩，包括将glue的基准提高到【读：dào】80.4%（绝对提[练：tí]高7.6%），将multinli的准确率提高到86.7%（绝对提高5.6%），将v1.1班问答测试的F1分数提高到93.2分（1.5分）-比人的表现高2分。
本节介绍Bert及其实现《繁：現》细节。
Bert的模型架构是一个多层双向变压器编码器，它基于Vaswani等人（2017）描述的原始实现，并发表在tensor2tensor库中。由（pinyin：yóu）于transformer的使用最近变[繁：變]得非常普遍，并且我们的实现实际上与原始版本相同，因此我们将不进入模型架(pinyin：jià)构的背景。
在本文中，我们将层数（即变压器块）表示为l，隐藏大小表示为h，自我注意头数表[繁体：錶]示为a。在所有实验中，我们将前馈《繁体：饋》/过滤器大小设置为4h，即h=768时为3072，h=1024时为4096。我们主要报告了两种模型尺寸的结果：betbase:l=12，H=768，a=12，总参数=110m
betrange:l=24，H=1024，a=16，总参[繁：蔘]数=340m
作为比较，betbase的模型尺寸与[繁：與]openai GPT的模型尺寸相当。然而，最佳转换器使用双向的自我注意机制，而GPT转换器使用有限的自我注意机制，因此每个令牌只能关注其左侧上下文。我们注意到双向转换器在文献中{pinyin：zhōng}通常被称为“转换器编码器”，而只关注左侧上下文的版本被称为“转换器解码器”，因为它可以用[练：yòng]于文本生成。图1直观地显示了bet、openai GPT和Elmo的比较结果。
图1：培训前模型体系结构之间的差异。Bert使用双向变换，openai-GPT使用从左到右的变换，Elmo使用独立训练的从左到右和从右到左的LSTM级联来生成下游任务的特征。在这三个模型中，只有Bert表示是基于所有层的左右上下文的。
与Peters et al亚博体育.（2018）和Radford et al.（2018）不同，我们不使用传统的从左到右或从右到左语言模型来预训练Bert，而是使用两个新《拼音：xīn》的无监督预测任务。
Task#1:masked LM
为了训练深度双向表示，我们采用直接方法随机屏蔽输{pinyin：shū}入令牌的某些部分，然后预测屏蔽令牌。我们称这一步为“蒙面长征”（传销），但在文献中它通常被称为完形填空任务（泰勒，1953）。在这种情况下，与掩蔽令牌相对应的最终隐藏向量被输入到softmax函数中，并且如在标准LM中一样预测所有字的概率。在所有的实验中，我们在（pinyin：zài）每个序列中随机屏蔽了[le]15%的词条标记。与去噪自编码器（Vincent et al.，2008）不同的是，我们只预测蒙蔽词，而不重建整个输入
任务(wù)2：下一句预测
许多重要的下游任务《繁：務》，如问答（QA）和自然语言推理（NLI），都是基于对两个文本句子之间关系的理解，而不是通过语言建模直接获得。为了训练理解句子关系的模型，我们预先训练了一个二元下一句预测任务(繁：務)，该任务可以很容易地从任何单语语料库中生成{pinyin：chéng}。具体来说，选择a和B两个句子作为预《繁：預》训练样本：50%的B可能是a的下一个句子，50%的B可能是语料库中的随机句子。
在本节中，我们将展示11个NLP任务的Bert微调结{繁体：結}果。
图3：我们的任务特定模型是通过向Bert添加额外的输出层形成的，因此需{xū}要从头开始学习少量参数【练：shù】。在许多任务中，（a）和（b）是序列级任务，（c）和（d）是令牌级任务。在图中，e代表输入嵌入，T代表输入嵌入，I代表令牌I的上下文表示，[CLS]是分类输出的[练：de]特殊符号，[SEP]是不连续令牌序列分割的特殊符号。
表1：胶水测试结果。分数由（pinyin：yóu）胶水评估服务器获得。每个任务下面的数字表示训[xùn]练样本的数量。平(pinyin：píng)均列与glue的官方分数略有不同，因为我们排除了有问题的wnli集。OpenAI GPT=（L=12，H=768，A=12）；BERTuBase=（L=12，H=768，A=12）；BERTuLarge=（L=24，H=1024，A=16）
下注并打{pinyin：dǎ}开
本文链接：http://21taiyang.com/Business-Operations/2375770.html
nlp分别是（shì）什么转载请注明出处来源
