GPT-1

Generative Language Mode 简介

OpenAI的GPT模型是由Alec Radford、Karthik Narasimhan、Tim Salimans和Ilya Sutskever在Improving Language Understanding by Generative Pre-Training中提出。它是一个因果（单向）transformer，基于多伦多书库语料训练。

自然语言理解包括一系列不同的任务，如文本相关性、问题回答、语义相似性评估和文档分类。虽然大量的无标签文本语料库很丰富，但用于学习这些特定任务的有标签的数据却很少，这使得经过判别训练的模型很难有充分的表现。我们证明，通过在不同的无标签文本语料库上对语言模型进行生成性预训练，然后在每个具体任务上进行鉴别性微调，可以在这些任务上取得巨大的收益。与以前的方法相比，我们在微调过程中利用了任务意识的输入转换来实现有效的转移，同时要求对模型结构进行最小的改变。我们在广泛的自然语言理解基准上证明了我们方法的有效性。我们的一般任务诊断模型优于使用专门为每个任务设计的架构的辨别性训练模型，在所研究的12个任务中，有9个任务的技术水平得到了显著提高。例如，我们在常识推理（Stories Cloze Test）方面取得了8.9%的绝对改进，在问题回答（RACE）方面取得了5.7%的绝对改进，在文本关联（MultiNLI）方面取得了1.5%的改进。

训练所使用的语料： https://www.cs.rochester.edu/nlp/rocstories/ 

GPT官方介绍博客： https://openai.com/blog/language-unsupervised/ 

Hugging ace介绍页面： https://huggingface.co/docs/transformers/model_doc/openai-gpt 

模型全称Generative Language Mode模型简称GPT-1模型类型基础大模型发布日期2018-06-11预训练文件大小未知模型参数数量（亿）1.17代码是否开源MIT License预训练结果是否开源MIT License预训练结果商用授权情况免费授权模型GitHub链接https://github.com/openai/finetune-transformer-lm模型HuggingFace链接暂无发布论文名（官方博客名）Improving Language Understanding by Generative Pre-Training论文地址（官方博客地址）https://www.datalearner.com/resources/papers/language_understanding_paper.pdf基础模型

GPT

查看详情发布机构

OpenAI 

模型全称	Generative Language Mode
模型简称	GPT-1
模型类型	基础大模型
发布日期	2018-06-11
预训练文件大小	未知
模型参数数量（亿）	1.17
代码是否开源	MIT License
预训练结果是否开源	MIT License
预训练结果商用授权情况	免费授权
模型GitHub链接