鞠婧祎下海视频,太极美女视频,美女视频app免费软件下载

詞向量

Null It Out: Guarding Protected Attributes by Iterative Nullspace Projection

詞向量中包含了很多偏見（bias）信息，比如性別、年齡等信息，本文提出迭代式地把詞向量映射到分類器的零空間，從而使得分類器無法判定詞向量中是否包含這種信息。本文方法簡單，任務(wù)有趣，值得一讀。

Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation

本文提出了一個(gè)非常簡單但非常有效的多語言句向量學(xué)習(xí)方法，僅需要（谷歌翻譯即可）雙語翻譯語料就可以從一個(gè)語言的句向量遷移到另一個(gè)語言的句向量。大致方法是首先獲得一個(gè)單語教師句向量模型M，然后最小化另一個(gè)學(xué)生模型M'產(chǎn)生的句向量和M產(chǎn)生的句向量之間的MSE，其中M'可以接受多個(gè)語言的句子。它基于這樣一個(gè)假設(shè)：句子在各個(gè)語言語義空間中的位置是相似的。

Should All Cross-Lingual Embeddings Speak English?

本文探究了這樣一個(gè)問題：在多語言詞向量映射學(xué)習(xí)任務(wù)下，選擇何種中間語言，以及中間語言對最終結(jié)果的影響。傳統(tǒng)的方法大都以英語作為中間語言，但實(shí)驗(yàn)發(fā)現(xiàn)，選擇不同的中間語言對于下游任務(wù)的結(jié)果有非常大的影響。未來針對多語言詞向量學(xué)習(xí)的研究可能需要稍微多關(guān)注一下針對不同任務(wù)的中間語言的選取。

Document-level Representation Learning using Citation-informed Transformers

本文提出了一個(gè)簡單但非常有效的構(gòu)建科學(xué)論文文檔級(jí)向量表示的方法，通過論文之間的引用關(guān)系，直接用margin loss去優(yōu)化即可。對每個(gè)論文，sample一個(gè)正例（被這個(gè)論文引用的論文），一個(gè)負(fù)例（一是easy example，二是hard example），簡單地用margin loss訓(xùn)練。得到的文檔向量不需要微調(diào)，就可以在多個(gè)關(guān)于科學(xué)論文的任務(wù)上取得最優(yōu)效果。

機(jī)器翻譯

Meta-Learning for Few-Shot NMT Adaptation

本文首次把MAML應(yīng)用到小樣本機(jī)器翻譯上，取得了不錯(cuò)的效果。對于想入門元學(xué)習(xí)和小樣本機(jī)器翻譯的同學(xué)可以直接從Related Work順藤摸瓜。

Unsupervised Neural Machine Translation with Indirect Supervision

本文提出一種新型的多語言無監(jiān)督機(jī)器翻譯訓(xùn)練方法，只需要利用其中一對語言的平行語料，就可以大幅提高非平行語料對的無監(jiān)督機(jī)器翻譯效果。其核心思想是將平行語言作為橋梁，生成大量偽平行語料，類似于Back Translation，或者叫Cross Translation。不過，似乎這種方法的訓(xùn)練代價(jià)比較大。

Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation

本文提出了一種用于超大規(guī)模多語言機(jī)器翻譯和零樣本翻譯的方法，在模型層面，加深Transformer，并提出“語言相關(guān)的層歸一化”與“語言相關(guān)的映射矩陣”，用于建模不同語言的不同分布；在數(shù)據(jù)方面，提出“隨機(jī)在線反譯”，隨機(jī)地backtranslate一對語言作為數(shù)據(jù)增廣。實(shí)驗(yàn)表明，這種暴力大法可以顯著提高零樣本翻譯和多語言翻譯的效果。

Dynamic Data Selection and Weighting for Iterative Back-Translation

本文提出一種新的選擇迭代式反譯模型訓(xùn)練語料的方法：基于課程學(xué)習(xí)的動(dòng)態(tài)選擇和句子加權(quán)。這是因?yàn)椋诜醋g中，單語語料很多，但是其中的句子不一定in-domain，為此，我們需要針對性地選擇in-domain的句子，或者說有利于提高模型效果的那些句子?；谡n程學(xué)習(xí)的動(dòng)態(tài)選擇給每個(gè)句子賦予兩個(gè)得分：representative score和simplicity score，前者衡量當(dāng)前句子是不是in-domain，后者用于衡量這個(gè)句子是不是對當(dāng)前模型來說足夠簡單，翻譯地夠準(zhǔn)確。然后，結(jié)合這兩個(gè)得分，取top%p的句子作為當(dāng)前訓(xùn)練的語料。然后基于這些語料計(jì)算每個(gè)句子的權(quán)重（根據(jù)句子的“質(zhì)量”），在訓(xùn)練的時(shí)候乘以權(quán)重就可以了。

信息抽取

Contextualised Graph Attention for Improved Relation Extraction

本文把句子的依存樹拆分為多個(gè)子圖，然后再聚合多個(gè)子圖的信息進(jìn)行關(guān)系抽取。在SemEval上的實(shí)驗(yàn)結(jié)果不錯(cuò)，可以瞟一眼。

TriggerNER: Learning with Entity Triggers as Explanations for Named Entity Recognition

本文把從Trigger的角度增強(qiáng)NER模型的效果。傳統(tǒng)的NER標(biāo)注的是(x,y)，而本文額外標(biāo)注了(x,y,t)，其中t是實(shí)體e的觸發(fā)詞集合（trigger）。從而，訓(xùn)練分為兩部分。第一部分是要學(xué)習(xí)好的trigger表示，這可以通過type classification和contrastive loss來實(shí)現(xiàn)；在得到trigger的表示之后，把它作為一個(gè)query向量融合到傳統(tǒng)的CRF模型中，預(yù)測實(shí)體。

語法分析

機(jī)器問答

Dense Passage Retrieval for Open-Domain Question Answering

一般來說，開放領(lǐng)域問答系統(tǒng)分為兩個(gè)步驟：根據(jù)問題從海量語料中抽取相關(guān)的幾篇文檔（Retriever），然后從這些文檔中抽取答案（Reader）。過去的Retriever大都使用基于TF-IDF、BM25等離散特征，這種方法雖然簡單、快捷，但是也有可能丟失相關(guān)文檔。基于此，本文直接使用BERT作為編碼器，把所有文檔編碼成低維（相對TF-IDF向量）向量存儲(chǔ)起來，每次進(jìn)來一個(gè)問題，把這個(gè)問題編碼成一個(gè)向量，然后和所有文檔向量做內(nèi)積，選取topK個(gè)文檔。為了訓(xùn)練這個(gè)編碼器，本文使用了ranking的方法，即一個(gè)正類，N個(gè)負(fù)類。實(shí)驗(yàn)表明，這種方法在文檔提取任務(wù)上可以實(shí)現(xiàn)最優(yōu)的效果，并且運(yùn)行時(shí)效果遠(yuǎn)比BM25的方法快。在下游QA任務(wù)上，這種方法也能實(shí)現(xiàn)SOTA結(jié)果，表明文檔抽取的準(zhǔn)確率對最終結(jié)果的影響是很大的。

Unsupervised Commonsense Question Answering with Self-Talk

本文提出一種無監(jiān)督的常識(shí)問答方法：self-talk。本方法的主要思想是用一個(gè)語言模型基于上下文和部分問題生成整個(gè)問題，然后再基于上下文和生成的整個(gè)問題生成答案。這實(shí)際上是push語言模型理解問題是什么，從而更好地回答這個(gè)問題。

對話系統(tǒng)

Dynamic Fusion Network for Multi-Domain End-to-end Task-Oriented Dialog

感謝@憶臻推薦。對話在眾多文本生成任務(wù)中屬于比較難的一類，因?yàn)樗枰R(shí)別說話人的語義、意圖等多個(gè)方面，從而需要大量數(shù)據(jù)支撐模型效果。然而，領(lǐng)域內(nèi)數(shù)據(jù)往往十分稀少，利用多領(lǐng)域的數(shù)據(jù)有望緩解對話系統(tǒng)的數(shù)據(jù)問題。本文提出DFNet，利用多個(gè)領(lǐng)域的數(shù)據(jù)提升對話系統(tǒng)的效果。DFNet可以根據(jù)領(lǐng)域之間的相似度動(dòng)態(tài)調(diào)整不同領(lǐng)域數(shù)據(jù)對當(dāng)前領(lǐng)域的貢獻(xiàn)，進(jìn)而在多領(lǐng)域?qū)υ捄皖I(lǐng)域遷移上取得更好的效果。

Learning Dialog Policies from Weak Demonstrations

本文提出在DQfD（Deep Q-learning from Demonstrations）的基礎(chǔ)上融入強(qiáng)化微調(diào)學(xué)習(xí)（Reinforced Fine-tune Learning），并通過三種學(xué)習(xí)方法——全標(biāo)簽學(xué)習(xí)，弱標(biāo)簽學(xué)習(xí)和無標(biāo)簽學(xué)習(xí)，在多領(lǐng)域?qū)υ捝蠈?shí)現(xiàn)更好的效果。

Recipes for building an open-domain chatbot

本文提出了一系列神奇操作用來提高對話系統(tǒng)的效果，主要包括：在各種類型的數(shù)據(jù)集上訓(xùn)練尤其是一些專業(yè)的數(shù)據(jù)集，句子長度限制，beam大小限制，訓(xùn)練目標(biāo)強(qiáng)化等。從結(jié)果來看，無疑是碾壓了當(dāng)前的對話模型，而且從實(shí)際生成的效果看，也更加真實(shí)了。

知識(shí)圖譜

Guessing What’s Plausible But Remembering What’s True: Accurate Neural Reasoning for Question-Answering

本文提出一種新的知識(shí)圖譜向量表征方法，使用幾種組合式、可微分的集合操作來學(xué)習(xí)實(shí)體和關(guān)系的表示，從而能夠精準(zhǔn)推理知識(shí)圖譜中是否真實(shí)存在某實(shí)體。本文在多個(gè)數(shù)據(jù)集上取得當(dāng)前最優(yōu)結(jié)果。

文本生成

Sparse Text Generation

本文使用entmax緩解生成模型中訓(xùn)練和推理時(shí)采樣方式不一致的問題，使得生成更加稀疏。并提出了三種新的度量標(biāo)準(zhǔn)。在語言模型、故事補(bǔ)全和對話生成等任務(wù)上，entmax都取得了比較好的效果，

Syntax-driven Iterative Expansion Language Models for Controllable Text Generation

本文使用一種依存句法樹式的非自回歸文本生成方法，在每一輪生成依存樹下一層的所有語言單元（subword或者word），把語法信息和文本生成相結(jié)合。本文有趣的點(diǎn)不在把語法樹和文本生成相結(jié)合，而是使讀者思考：非自回歸生成中真正重要的是什么，語法，還是更加完備的上下文語義。

QURIOUS: Question Generation Pretraining for Text Generation

本文使用了一種新的序列到序列預(yù)訓(xùn)練方法：通過回答生成問題。本文首先爬取了大量（回答，問題）對，然后在這些數(shù)據(jù)上預(yù)訓(xùn)練，最后應(yīng)用到文本摘要和回答關(guān)注式（answer-focused）問題生成任務(wù)，取得了較好的效果。雖然筆者認(rèn)為本文的實(shí)驗(yàn)有些不可描述，但是本文也讓我們思考：在花式設(shè)計(jì)預(yù)訓(xùn)練結(jié)構(gòu)的同時(shí)，是不是也該思考預(yù)訓(xùn)練任務(wù)呢。

Rigid Formats Controlled Text Generation

本題設(shè)計(jì)了一種“固定格式”的文本生成方法，比如古詩詞一類格式固定的文本。主要?jiǎng)?chuàng)新點(diǎn)在于引入了“格式編碼”（format encoding），像位置編碼那樣與其他編碼相加，再像語言模型一樣預(yù)訓(xùn)練和微調(diào)即可。

理論及模型設(shè)計(jì)

Understanding the Difficulty of Training Transformers

本文探究了為何Transformer難以訓(xùn)練：梯度不穩(wěn)定，層數(shù)大時(shí)無法收斂等問題。本文從觀察出發(fā)探究了Post-LN和Pre-LN關(guān)于各層梯度分布的不同，從而認(rèn)為Transformer難以訓(xùn)練的根源在于（訓(xùn)練初期）對殘差分支的依賴性太強(qiáng)，以此出發(fā)，在Post-LN的殘差上引入了新的參數(shù)從而使得訓(xùn)練更加穩(wěn)定。在WMT14的實(shí)驗(yàn)上，此方法可以取得更好的效果，并且可以在很深的模型上收斂。

A Formal Hierarchy of RNN Architectures

本文較為全面地分析了各種RNN結(jié)構(gòu)的兩個(gè)表達(dá)能力：狀態(tài)表達(dá)力（即能否通過一個(gè)加權(quán)狀態(tài)機(jī)描述）和語言表達(dá)力（模型能夠識(shí)別怎樣的語言）。本文表明，可以通過增加RNN結(jié)構(gòu)的層數(shù)增強(qiáng)它們的表達(dá)能力。

OPTIMUS: Organizing Sentences via Pre-trained Modeling of a Latent Space

本文首次提出大規(guī)模預(yù)訓(xùn)練VAE模型，將Encoder用BERT初始化，將Decoder用GPT2初始化，然后在無監(jiān)督語料上預(yù)訓(xùn)練，最后在各個(gè)任務(wù)上微調(diào)。本文在語言模型、對話生成、條件文本生成、GLUE上取得了較好的效果，尤其是低資源情況下表現(xiàn)很好。此外，通過大規(guī)模預(yù)訓(xùn)練，VAE的隱空間可以得到很好地建模，從而在文本插值上具有顯著優(yōu)勢。但是，眾所周知，VAE很難訓(xùn)練，所以本文也提出了一系列幫助模型訓(xùn)練的方法，我們有理由相信，VAE預(yù)訓(xùn)練相比BERT更有發(fā)展前景。

A Study of Non-autoregressive Model for Sequence Generation

本文從目標(biāo)Token依賴度的角度分析了為什么非自回歸模型在一些任務(wù)上表現(xiàn)較好，而在其他任務(wù)上表現(xiàn)不好，以及為什么知識(shí)蒸餾（KD）和source-target對齊（AC）可以提高非自回歸生模型效果。本文提出“注意力密度率”去度量不同模型對目標(biāo)端的依賴度，發(fā)現(xiàn)ASR（語音識(shí)別）>NMT（機(jī)器翻譯）>TTS（文本轉(zhuǎn)語音），正好與“ASR任務(wù)上非自回歸模型和自回歸模型差異最大，TTS任務(wù)上差異自小，NMT位于中間”的實(shí)驗(yàn)結(jié)果符合。之后又通過實(shí)驗(yàn)表明，KD和AC可以降低各個(gè)任務(wù)上非自回歸模型對目標(biāo)端的依賴，這也解釋了這些技術(shù)可以提高非自回歸模型的效果。在掩碼率（文中的p值）不變的情況下，依賴度越低越好（文中的R(p)）。

Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks

本文通過大量實(shí)驗(yàn)表明：（1）在內(nèi)領(lǐng)域（in-domain）數(shù)據(jù)上繼續(xù)預(yù)訓(xùn)練模型可以提升效果（DAPT）；（2）在任務(wù)適應(yīng)性（task-adaptive）無標(biāo)注數(shù)據(jù)上繼續(xù)預(yù)訓(xùn)練模型可以提高效果（TAPT）；（3）結(jié)合二者預(yù)訓(xùn)練（DAPT+TAPT）可以進(jìn)一步提高效果；（4）提出使用基于相似度的方法選擇符合該任務(wù)的無標(biāo)注數(shù)據(jù)的方法，以能夠繼續(xù)在這些數(shù)據(jù)上預(yù)訓(xùn)練，取得更好的效果。

BLEURT: Learning Robust Metrics for Text Generation

過去度量文本生成模型效果的指標(biāo)大都是BLEU、ROUGE等人工設(shè)計(jì)的、基于N-gram的方法，這多少和人類的測評有些偏差。因此，近些年來研究基于自動(dòng)學(xué)習(xí)的評測方法逐漸增多。本文提出一種新的基于學(xué)習(xí)的自動(dòng)評測方法，利用9種預(yù)訓(xùn)練任務(wù)（給定source,target，預(yù)測一個(gè)得分，包括：BLEU值、ROUGE值、BERTscore值、backtranslation似然、entailment類別、backtranslation類別）提高評測模型在不同評測任務(wù)上的魯棒性。實(shí)驗(yàn)表明，BLEURT能取得最佳的測評效果，并且和人類測評的結(jié)果也最相近。

Pretrained Transformers Improve Out-of-Distribution Robustness

本文簡單探究了各種模型在訓(xùn)練-測試分布不一致情況下的效果，在BOW模型、Word Embedding模型和預(yù)訓(xùn)練Transformer模型中，預(yù)訓(xùn)練模型最具對分布的魯棒性。

Masking as an Efficient Alternative to Finetuning for Pretrained Language Models

本文提出一種新的“模型剪枝”方法，不對預(yù)訓(xùn)練的BERT等模型按照常規(guī)操作微調(diào)，而是對每個(gè)參數(shù)矩陣，為每個(gè)下游任務(wù)學(xué)習(xí)一個(gè)“掩碼矩陣”，元素為0表示當(dāng)前參數(shù)不參與推理過程。相比常規(guī)的微調(diào)操作，這種方法不需要在內(nèi)存中存儲(chǔ)32位浮點(diǎn)數(shù)值。實(shí)驗(yàn)表明，對每個(gè)任務(wù)掩去3%-10%的參數(shù)可以實(shí)現(xiàn)和微調(diào)相當(dāng)?shù)男Ч?/section>

Weight Poisoning Attacks on Pre-trained Models

本文提出一種攻擊預(yù)訓(xùn)練模型方法，使得它在微調(diào)之后表現(xiàn)很差，即“weight poisoning”。對預(yù)訓(xùn)練模型下手可能讓你在微調(diào)的時(shí)候懷疑人生，所以，本文的意義在于告訴各位研究者：有時(shí)候，錯(cuò)的不在你，而在模型黑客。

MPNet: Masked and Permuted Pre-training for Language Understanding

本文提出把兩種預(yù)訓(xùn)練方式MLM和PLM統(tǒng)一為一個(gè)公式，通過在160G的語料上預(yù)訓(xùn)練，該方法成功在NLU任務(wù)超越BERT、RoBERTa、XLNet和ELECTRA。

On the Encoder-Decoder Incompatibility in Variational Text Modeling and Beyond

本文從編碼器-解碼器失配的角度解釋VAE中的后驗(yàn)坍塌現(xiàn)象，即隨著VAE的訓(xùn)練，編碼器不再優(yōu)化，解碼器退化為一個(gè)語言模型，編碼器傳遞給解碼器的信息減少，也即無法完全依賴輸入文本。為此，本文提出使用一個(gè)Deterministic autoencoder（DAE）和VAE一起訓(xùn)練，讓VAE的后驗(yàn)逼近DAE的后驗(yàn)。這種方法還可以擴(kuò)展到CVAE上。

其他

Active Sentence Learning by Adversarial Uncertainty Sampling in Discrete Space

本文提出把對抗攻擊融入到主動(dòng)學(xué)習(xí)中，通過對抗攻擊找到無標(biāo)注語料中對訓(xùn)練更有價(jià)值的數(shù)據(jù)，進(jìn)而減少對標(biāo)注數(shù)據(jù)的要求，同時(shí)提高訓(xùn)練的效率。這種方法以Batch為單位進(jìn)行，比過去的方法采樣效率更高，有助于推動(dòng)實(shí)踐主動(dòng)學(xué)習(xí)的范圍。

Evaluating NLP Models via Contrast Sets

本文指出當(dāng)前NLP數(shù)據(jù)集的一種現(xiàn)象：往往帶有很多偏置信息。為了反映更加全面的數(shù)據(jù)分布，并且真實(shí)衡量模型的效果，本文提出為各個(gè)數(shù)據(jù)集構(gòu)造一個(gè)“對比集”，自動(dòng)地或手動(dòng)地為數(shù)據(jù)集的實(shí)例增加一些擾動(dòng)，在局部上反映一個(gè)模型的測試能力。實(shí)驗(yàn)表明，模型在對比集上的效果會(huì)顯著降低。

Unsupervised Domain Clusters in Pretrained Language Models

本文指出，當(dāng)前的自監(jiān)督式預(yù)訓(xùn)練模型已經(jīng)能夠在領(lǐng)域聚類上取得比較好的效果，并基于此進(jìn)行領(lǐng)域數(shù)據(jù)選擇。為了挑選領(lǐng)域內(nèi)數(shù)據(jù)，可以用cos度量方法和微調(diào)方法去比較通用領(lǐng)域中的每個(gè)句子，然后選取那些相似度高/被分類為正的句子作為領(lǐng)域內(nèi)句子。本文的一大亮點(diǎn)在于，它指出了自監(jiān)督預(yù)訓(xùn)練模型的一些潛在功能，如這里的領(lǐng)域聚類。

Poor Man’s BERT: Smaller and Faster Transformer Models

本文測試了幾種丟棄預(yù)訓(xùn)練BERT層的方法：丟掉最高的層、丟掉最低的層、丟掉相鄰的層、丟掉中間的層等等。結(jié)果表明，丟掉最高的層可以得到最好的效果，并且可以提高效率。本文帶來的思考是，既然可以這么暴力丟掉一些層，知識(shí)蒸餾的優(yōu)勢又在何處呢？

AMR Parsing via Graph<->Sequence Iterative Inference?

抽象含義表示(AMR)是一種語義表示語言。AMR圖是包含整個(gè)句子的有根，標(biāo)記，有向，無環(huán)圖。本文提出一種端到端基于迭代修改的AMR parsing方法，在每一步，首先生成下一個(gè)要添加到圖中的結(jié)點(diǎn)，然后再基于當(dāng)前圖和添加的結(jié)點(diǎn)預(yù)測有哪些邊和這個(gè)結(jié)點(diǎn)相連，然后得到新的圖，之后再進(jìn)行上述操作。

Incorporating External Knowledge through Pre-training for Natural Language to Code Generation

本文從StackOverflow和API文檔中提取預(yù)訓(xùn)練語料對代碼生成模型進(jìn)行預(yù)訓(xùn)練，然后再在標(biāo)注語料上微調(diào)，取得了顯著的效果。

Adversarial Training for Large Neural Language Models

本文把對抗訓(xùn)練用到了預(yù)訓(xùn)練和微調(diào)兩個(gè)階段，對抗訓(xùn)練的方法是針對embedding space，通過最大化對抗損失、最小化模型損失的方式進(jìn)行對抗，在下游任務(wù)上取得了一致的效果提升。有趣的是，這種對抗訓(xùn)練方法不僅能夠在BERT上有提高，而且在RoBERTa這種已經(jīng)預(yù)訓(xùn)練好的模型上也能有所提高，說明對抗訓(xùn)練的確可以幫助模型糾正易錯(cuò)點(diǎn)。

Let Me Choose: From Verbal Context to Font Selection

本文提出一個(gè)有趣的任務(wù)：根據(jù)輸入的文本選擇最合適的字體。本文構(gòu)建了一個(gè)小型的（文字-字體）標(biāo)注數(shù)據(jù)集，使用各種模型進(jìn)行訓(xùn)練，對不同內(nèi)容的文字推薦合適的、好看的字體。

本站僅提供存儲(chǔ)服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點(diǎn)擊舉報(bào)。

中文字幕理论片,69视频免费在线观看,亚洲成人app,国产1级毛片,刘涛最大尺度戏视频,欧美亚洲美女视频,2021韩国美女仙女屋vip视频