它仍然是难以理解的，开户送现金活动两个月前，我初阶从事神经呆板翻译（NMT）。寻事正在于用一对罕睹的讲话：约鲁巴语到英语，演练一个得分最高的NMT模子。
约鲁巴语是约鲁巴族正在尼日利亚南部运用的一种讲话。它是4000众万人的母语，也好坏洲最大都市拉各斯最常用的讲话。
因为西非讲话的众样性，约鲁巴语被以为是方言的连结体，而不是一种圭表讲话。这对像我如此的NLP从业者来说是一个重要的题目。这使做事特别贫乏。
更倒霉的是，简直没有任何数据集将英语映照到约鲁巴语。据我所知，最大的一个是JW300数据集（400k句子），它关键包括宗教文本。
它当然可能用来普及ROUGE评分，但要是它是演练的独一参考，翻译就会扭曲，只会出现圣经派头的句子。
然而，正在Zindi竞赛中，咱们取得了一个很是小的数据集（10k个句子），我用它动作JW300句子派头的模子。
正在我最初的处理计划中，我运用了这两个数据集来普及分数，但为了简捷起睹，这里我只运用较小的数据集（10k）。你可能正在竞赛页面中找到数据集。你需求注册才力下载它：zindi.africa/competitions/ai4d-yoruba-machine-translation-challenge
如前所述，处理这一题目的资源匮乏，基于transformer的模子正在数据不敷的处境下显露不佳。是以，我将愚弄迁徙练习来加疾练习历程。
可用于微调的要求文本天生（CTG）众讲话模子不如基于编码器的模子常睹。然而，始末遍及的查找，我留下了两个同样兴趣的技巧。
mT5和T5都以相似的式样举办演练。独一的区别是mT5是正在众讲话数据上演练的，而且有更众的词元嵌入（250k）。
用于演练模子的数据集有107种讲话的6.3万亿词元。红运的是，Yoruba是这些讲话中的一种，由于它占全部数据集的0.2%（5000万个词元，而咱们的数据集为600k）。
该模子有分歧的尺寸：从300M参数（小）到13B参数（XXL）。出于咱们的方针，咱们将选取较小的一个。
M2M与mT5（2020年）正在统一年也是开源的。它们之间的关键区别正在于，M2M模子仅针对翻译劳动举办演练，运用100种讲话的双向句子对。这意味着M2M分歧于其他翻译模子，它不是以英语为中央的翻译模子，翻译可能从众个宗旨举办，从而带来更好的本能。
数据集M2M始末演练，包括2200个不本家旨的75亿个句子对。约鲁巴语是这100种讲话之一。M2M采用418M参数筑设，最众14B参数。咱们将运用418M的谁人。
因为演练如斯远大的模子需求硬件，我无法正在当地演练它们——相反，我运用了Kaggle条记本中供应的免费P100 GPU。
Fairseq库：Fairseq是一个面向次序模子的Facebook库。这自然需求接济诸如神经呆板翻译、语音识别模子和要求文本天生等手艺。
很众最先辈的NLP模子都是运用fairseq天生的，由于它为很众反复性劳动供应了活泼性和笼统性（此处供应了示例）。
然而，只管fairseq正在切磋中无处不正在，但看待学术界以外的人来说，它还是是难以剖判的。这看待那些指望正在项目中运用最先辈模子的人来说是不幸的。
遵循分类、文本天生和摘要等劳动，对最先辈的基于transformer的模子举办微调乃至不需求任何辛勤。Simple transformers只是筑造正在它之上的一个小型库，用于加快原型安排和测试。
数据集预解决正在这里是最小的，源文本和方向文本是小写的，而且尾部的空格被删除。验证包含数据集的5%（500句）。
当微调T5/mT5模子时，Simpletransformers使咱们的糊口特别大略，由于它们齐备接济这两种模子。咱们只需求配置所需的超参数、模子名称和数据。
Prefix是mT5演练时候运用的一列，用于指定模子应施行的劳动（汇总、分类…）。咱们的案例不需求它，咱们创筑它并将其留空“”。
Fairseq库更面向CLI，而不是Python。要微调M2M模子，咱们需求：
我试图维持相似的超参数，以便举办公允较量。这两个模子都运用Adafactor优化器和余弦更动器，并始末十个epoch的演练。M2M因其较大的尺寸而具有较小的练习率。
ROUGE有两种关键的变体：计划n-grams共现召回率的ROUGE-n和丈量最长民众子序列的ROUGE-L。
看待这种处境，我将运用ROUGE-2（运用bigrams），并将f1分数动作参考（我也将显示其他目标）。
如前所述，咱们将运用ROUGE-2评估模子的本能，即f1分数（是以它更能代外模子的完全本能）。
如咱们所睹，T5正在ROUGE-2 f1成就上给出了11分（圭表化）ROUGE分数。咱们将计划M2M模子的分数。
开始，咱们必需反复相仿的预解决方法来演练验证文本，然后运用此夂箢行“fairseq generate”以外格式子天生翻译。
终末，咱们运用grep和cut的组合从输出天生的文献（grep，cut）中提取翻译文本。
M2M的显露显然优于mT5模子，其ROUGE评分（完全模子）都是mT5模子的两倍以上。这让我感应骇怪：当查看吃亏的图外时，彷佛mT5收敛得更好，吃亏最小，M2M的本能更差。较着，我错了。
请细心，鉴于数据集（10k）很是小，这两种模子的本能都令人印象长远。要是没有迁徙练习的补帮，就长久无法完毕如此的绩效。
只管M2M的显露优于mT5，但后者更活泼，由于它承担了众项劳动的演练。其余，运用mT5更容易，由于它正在huggingface上可用。
咱们得到的转机真是令人骇怪：咱们正在唯有10k个句子对的数据聚会取得一个像样的翻译。
