UberAI简单方法实现大规模语言模型的精细控制

0 Comments

雷锋网 AI 科技评论按:OpenAI 的 GPT-2 曾经掀起的「大规模语言模型到底水平多高、到底有没有危害」的口水仗慢慢冷下去了,而语言模型的实用性问题也越来越展现出来:如果很难控制一个语言模型的输出,那可能就很难找到它的实际应用,只能沦为刷分工具。

一个实际的挑战:基于预训练模型的条件文本生成

第二个就是说我们要知道国际教育的理念,哪几项因素对孩子将来在大学录取上的影响最大。对这些因素了解清楚以后,我们就好做准备了。

接下来,属性模型的分布是 p(a|x),它是根据给定的句子输入 x 计算句子带有属性 a 的概率。比如,经过属性模型计算,某个句子有 10% 的可能性是正面情绪的,以及有 85% 的可能性是关于政治的。属性模型可以很小、很容易训练,仅从直观上来看,判断某个句子是否含有某种属性就是个分类任务,要比写出这样的句子简单得多;尤其是,如果在语言模型学习的语言表征上训练这样的属性(识别)模型,OpenAI 的论文《Improving Language Understanding by Generative Pre-Training》就已经表明了可以轻松地训练一个表现优秀的小模型。在 Uber AI 的实验中,一个单层的、4000 个参数的属性模型就能在属性识别和文本生成引导中发挥很好的效果。

有挑战性的开头和主题

但在答辩中,被告超市的代理人坚称原告顾老太是因为自己的原因受伤的。对方表示,当时确实有保洁车辆经过原告身边,但双方并没有发生身体接触,而且称超市已经尽了人道主义的义务,支付了顾老太住院期间的医药费,不同意赔偿顾老太的其他损失。

同一主题、不同开头实验

嘉宾:其实这个问题和刚才第一个问题还是有关系的,就是说我们家长在给孩子准备国际化道路的时候,在把目标定到上美国名校的时候,我们要注意抓哪些方面。第一个方面大家都知道GPA,一个孩子从九年级到十一年级GPA决定了他被什么样的学校录取,这是非常关键的。那么GPA怎么能得到呢?这一点就跟我们国内教育不一样。在国内教育里面可能你期末考试考好了,你就能拿到非常好的成绩,但是在美国的GPA呢,期末考试有可能只占到20%到30%,那么剩下的70%到80%是来源于你平时的习惯和表现。比如说你上课的出勤情况,你课堂的笔记,你的课堂参与度,你的作业是不是按时提交,然后你的小测验等等。这些东西都达到优秀,需要孩子从小有一个好的习惯的培养。所以我们知道GPA是大学在选择一个学生是不是适合这个大学的时候,对一个学生的习惯是非常看重的。那么美国学校在录取的时候,就非常看重GPA。

在这项研究中,Uber AI 的研究人员们提出了可以在使用过程中引导大规模预训练语言模型输出不同主题、不同风格文本的 PPLM,而且可以灵活地搭配一个到多个词袋模型、小型判别式模型等等作为属性模型,在细粒度地控制生成文本内容和风格的同时,即保持了文本的合理和流畅,也避免了重新训练或者精细调节语言模型。PPLM 中的预训练语言模型可以使用各种自回归语言模型,属性模型也可以使用各种可微模型,这都意味着 PPLM 还有很大的使用空间。

主持人:对,尤其是在美国藤校录取的时候,他们也很注重孩子有没有体育特长这方面。说到这个特长,刚才也提到了孩子兴趣的一个培养。那威力塔斯学校在孩子兴趣的激发上我们有一些什么样的方法呢?

天琴计划团队成员叶贤基教授说,那天原本天上有很厚的云层,所以一开始根本没信号。就在云层运动的一个间隙,月亮露出来了一下,团队试着打了一束激光,结果真的抓到了反射回来的信号。

在这个实验中,他们想要生成太空主题的文本,词袋中含有「planet、galaxy、space、universe」等等词汇。即便给定不同的开头,模型生成的几组结果都达到了预期效果。

给定一个部分生成的句子,计算 log(p(x)) 、log(p(a|x)),以及两者关于语言模型的隐层表征的梯度。只需要对属性模型和语言模型都做一次高效的前馈传播和反馈传播,这几个值都可以计算出来。 根据计算出的梯度,在反馈传播中,根据属性模型的梯度更新语言模型的隐层表征,向着增加 log(p(a|x)) 和 log(p(x)) 的方向移动一小步,也就是增加了生成的文本带有想要的属性的概率 由于上一步更新,语言模型的分布被改变,然后采样一个词

2017 年谷歌提出的基于注意力的 Transformer 网络架构为自然语言处理开辟了一个全新的时代。从此之后,基于 Transformer 改进的更大、更大的模型层出不穷,基于深度学习的自然语言处理方法也在各种各样的任务中取得越来越好的成绩。

在开幕仪式上,UCCA尤伦斯当代艺术中心馆长兼CEO田霏宇发表了开幕致辞,回溯UCCA Kids的发展历程。UCCA Kids自2013年创立以来便成为中国内地第一个真正面向儿童的美术馆教育项目,在连续七年的教育实践中,成为创新艺术教育发展的重要基石。谈及UCCA Kids的核心竞争力,田霏宇表示:“UCCA Kids的优势在于其教育的使命、愿景、哲学和理想,都与UCCA整个机构相匹配。每个人的童年心中可能都有一个艺术家,但随着成长的过程而消失,而UCCA Kids的老师非常擅长把孩子们心中的那个艺术家保护好,让他/她跟着孩子一起长大。这是UCCA Kids首次举办大型艺术嘉年华活动,我们希望能够借由本次活动为儿童的艺术创作提供更广阔的展示平台,并将UCCA Kids的教育理念传达给更多家庭。”

这样得到的 PPLM-Discrim 模型生成正面和负面情感的文本效果如下图

首先有非条件性的语言模型,它的分布是 p(x),是所有文本上的一个概率分布。GPT-2 之类的非条件性的语言模型就是建模了这样的分布。这样的语言模型是通用的,可以为许多不同种类的话题生成流畅的文本。

不同属性模型的不同表现

本次展览的创作者们出生于21世纪,在他们生活和创作的当下,人、技术与自然关系的复杂性逐渐显露出来,基于这样的现实,神话式叙事重新回到了儿童的创作之中。他们用漫无边际的想象力打破了科学主义所许诺的具象的未来,以一种超越时间和文化的艺术语言书写未来人类的生活状态,大胆地驶向新的未知。本次展览以“宇宙巡游2020”为主题,同时受到UCCA正在展出的大型展览“马修•巴尼:堡垒”的启发,从“自然”、“动物”、“神话”与“未来城市”四个章节为观众呈现这些属于“未来”的作品。

Uber AI 提出的 PPLM 就能在这样的困境面前起到很大帮助,需要符合自己需求、且表现优秀的语言模型的研究者和开发者,不再需要想办法训练自己的模型,只需要用几个小的属性模型控制大预训练模型的生成,就可以达到目标。一个属性模型可以只有预训练模型的百万分之一大,同时仍然有很强的引导能力,就像在猛犸象的头顶坐了一只小老鼠,就能够灵活地控制让猛犸象往哪里走。

主持人:各位新浪的网友大家好,欢迎大家来到2019新浪国际学校冬季择校展的活动现场,那今天在这儿我们也特别荣幸地邀请到了北京威力塔斯国际学校中方校长冯龙先生,欢迎冯校长。

据通州法院介绍,2018年7月7日,顾老太在通州区某连锁超市购物时,被保洁人员使用的清洁车撞倒,造成右股骨颈骨折,被鉴定为九级伤残。超市垫付住院期间的医疗费后,就没有再赔偿原告其他损失。为此,老人起诉要求对方赔偿医疗费、伤残赔偿金等20余万元。

不过,虽然这些模型生成的句子体现出了拼写、语法、语言习惯等等复杂的语言知识,但想要具体地控制模型生成的内容仍然非常困难。换句话说,虽然模型有能力生成各种各样不同的句子,或者为一个给定的开头续写出很多不同的段落,但我们很难指定让模型生成某一种风格的、某一种话题的、某一种叙述逻辑的文字。比如,同样是以开头「这里的食物不好吃」进行续写,人类可以欲扬先抑,最后得到一个正面的结论,也可以挂羊头卖狗肉,话说到一半慢慢从讲食物变成讲政治的。想让语言模型做到这些就非常困难。

“宇宙巡游2020”儿童艺术工作坊现场

主持人:OK,我们刚才提到的这个,您刚才提到这个美国课程体系,您跟我们大家分享一下,关于美国的教育和中国的教育各自有什么样的不同跟优势,威力塔斯学校又是怎么样去把两者相结合的呢?

民三庭法官徐明祺表示,法院认为该案中双方均没有提供充分证据证明受伤原因,但被告超市作为实际经营者,超市内装有监控系统,理应向法庭提供事发时的监控录像。因其无法提供事发时的录像,被告超市应承担由此带来的不利后果。因此,被告超市应赔偿顾某的合理损失。

语言模型有几类,对应几种不同的分布。

雷锋网(公众号:雷锋网)年度评选——寻找19大行业的最佳AI落地实践

用梯度控制大规模语言模型

主持人:OK。这个国际学校在课程设置上,我们能看到有很多的种类,可能是为了激发孩子的兴趣,设置了很多这样的课程。贵学校在课程设置方面有一些什么样的亮点跟特色呢?

嘉宾:实际上能上威力塔斯学校的学生,从小家长给他们很多的支持,很多孩子都已经有各方面的兴趣了。那么对有兴趣的孩子,我们会有针对性的,比如成立一个社团,或者成立自己独立的小组这样来培养他们的领导力,既要兴趣也要发挥他的领导力。那对有些孩子可能在来威力塔斯之前,没有来得及在这方面做充分的培养。来到威力塔斯的学生体育课是必修课,我们要求每一位学生每年必修一项体育项目,这个项目只要你选择以后,一年最长230个小时训练,而且不许调整,坚持下来有可能就会成为孩子新的一个亮点。

在前面的叙述和例子中我们都看到了,PPLM 架构可以使用任意可微的属性模型引导语言模型生成各种不同属性或者主题的文本。但在应用中我们还会遇到一种问题,由于大规模语言模型都是在海量的互联网文本上训练的,这些文本经常含有偏见或者使用不友善的(骂人)的词汇。论文 arxiv.org/abs/1908.07125 就展示了,如果用对抗性攻击的思路设计文本开头,可以让 GPT-2 续写出带有种族主义的段落。这种状况会限制语言模型的安全应用场景。

展览开幕当天,许多小艺术家来到了现场,他们化身“小小导览员”为到场的观众讲解自己作品背后的故事。与展览主题相呼应,UCCA Kids设计了5节儿童艺术工作坊活动,现场购买材料包即可体验这场以生命奇迹为线索的艺术之旅。以“宇宙大爆炸”工作坊为起点,儿童使用荧光颜料在黑色墙面上进行涂鸦,模拟宇宙大爆炸中生命随机产生的过程。在“单细胞生命”工作坊中,儿童利用材料包中的球体、连接棍和织物设计制作细胞内部结构,在游戏与创作中感受生命的奇妙构成。“图腾的史记”工作坊呈现为一个奇特的天文空间,儿童将通过中国传统的拓印工艺了解神兽图腾文化。“当代风景之童年记忆”工作坊将儿童带入一片神秘的森林,这是对自然世界的片段选择和剪裁后呈现的景色,儿童可以在这片森林中留下自己的迷你景观作品。“未来城市”工作坊是本次旅程的最后一站,儿童通过制作平面或立体的作品,将自己对于未来的想象注入这座遥远的都市,最终的作品将以大型装置作品的形式呈现。在约2小时的工作坊体验中,孩子们通过艺术体验了从生命体偶然的诞生到人类文明演进的过程,并亲自动手接触到多种新颖的艺术材料和创作形式。

在这篇论文里,Uber AI 的研究人员们在这个问题上做出了一些突破。我们先看一个例子,他们用他们的方法要求模型生成一段正面的续写,效果是:「这里的食物很糟糕,但还有音乐、故事和魔力!Avenged Sevenfold 的摇滚音乐剧演得太精彩,以后在全世界都能看到。」文本表达的情感从负面转变成了正面,但还是挺连贯自然的。

在下一个实验中,他们用同样的开头、不同内容的词袋模型尝试生成不同的主题。我们可以看到,生成的文本带有词袋中的词的概率提升的同时,不在词袋中、但有相关性的词汇的出现概率也增加了。这是因为,PPLM 中更新文本表征的方式是向着目标方向的连贯自然的迁移,作者们也通过对照实验说明这种做法的效果比直接提升想要的关键词的出现频率的效果更好。

Uber AI 这篇论文带来了一种全新的有控制的文本生成方式,他们称之为「the Plug and Play Language Model」(即插即用语言模型,PPLM)。通过 PPLM,用户可以向大型非条件性的生成模型中灵活地插入一个或多个属性模型,这些插入的模型可以代表不同的想要控制的属性。PPLM 的最大优点是不需要对语言模型做任何额外的改动(不需要重新训练或者精细调节),就让资源不足的研究人员也可以直接在预训练语言模型的基础上生成条件文本。

最终,法院判决被告超市赔偿原告顾老太各项损失合计20余万元。

NLP 研究人员们目前开发的最大的、语言能力最强的语言模型都非常大,动辄有数十亿的参数,训练它们需要大量的计算资源(从零训练一个模型,租算力大概需要六万美元),而且训练这些模型还需要海量的文本数据,即便模型的代码是开源的,这些训练数据也通常不是开源的。在许多意义上,大规模语言模型就像猛犸象一样,它们聪明、有力,但是它们的行动又随意又笨重。

展览期间,UCCA Kids推出了“马修•巴尼:堡垒”系列儿童艺术工作坊,从艺术家充满繁杂庞大知识体系的作品之中延伸出“当代风景之童年记忆”、“宇宙狩猎之旅”、“小小炼金术士之实验精神”和“小小炼金术士之树的转化”四堂主题工作坊,鼓励儿童通过当代艺术的力量探知古代神话,在挖掘自身童年记忆的同时理解周遭发生的事件与问题,尝试用艺术建立自己与世界的关联。

Uber AI 的研究人员们设计的分类模型把原本的语言模型中提取出的嵌入表征作为输入,用一个单层分类器结构预测类别标签。这个模型中含有的参数可以不超过 5000 个,相比于语言模型的规模可谓不值一提。

“宇宙巡游2020”儿童艺术工作坊现场

在此之前,全世界的 NLP 研究人员们提出过各种各样的条件文本生成方式,包括,1,从一个预训练语言模型开始,做精细调节,以便让它始终都能生成某种特定风格的句子;2,从零开始训练一个大型条件生成模型;3,不改变这个大的语言模型,而是通过关键 n 元组替换的方式,调节已经生成的句子的风格。

直观上讲,随着 PPLM 生成一个个词,它的文本表征也逐渐向着更有可能符合属性要求的方向发生变化(高 log(p(a|x)) ),同时也保持了语言模型本来的语言流畅度(在第二步中保持高 log(p(x),避免语言模型本来的表达能力被破坏)。

嘉宾:我们威力塔斯学校在课程设置上,我觉得还是很独特的。因为大家都知道现在普遍的国际学校大多有三个课程体系,一个叫IB体系,一个叫AP体系,还有一个A-level体系。那威力塔斯学校的课程体系是一个地地道道的美国高中的体系,叫经典教育。这个教育体系在西方有将近两千多年的历史了,是苏格拉底提出的教育体系。现在美国主流的名校,比如说哈佛、耶鲁、普林斯顿,他们当时成立时候的课程体系都是与经典教育体系一脉相承的,所以说威力塔斯的经典教育体系对于孩子们将来适应美国的名校的学习,甚至在录取方面都会有很大的优势。这个体系有几个核心的课程,比如逻辑课,修辞课以及论文写作课,当然还有一个西方文明与文学课。这几门课程对孩子将来进入美国上大学的时候,是非常非常有帮助的,在大学录取的时候也是非常加分的项目。

嘉宾:简单从我的经验来讲,我想提醒家长,先要充分了解国际教育的特点。什么是国际教育特点呢?首先我觉得选择了国际教育,基本上我认为就不要让孩子同时走两条路,又想国际教育,又想如果万一我们这条路走不好,能不能回来高考。在这个点我希望所有的家长都要清楚只能选一项,这样孩子才能够做好充分准备。

雷锋网版权文章,。详情见转载须知。

“宇宙巡游2020——UCCA Kids艺术嘉年华”于1月4日下午13:00起正式面向公众开放。其中,儿童艺术展览由UCCA专业展览团队策划,展期为2020年1月4日至11日,本次展览面向全社会2-9岁儿童征集作品,经过专业艺术从业者组成的评审团层层筛选,最终入选146件作品,部分作品将于2020年2月巡展至UCCA Kids上海儿童艺术中心。

潮湿、台风,让珠海的上半年几乎没有办法进行观测。就在团队成员都很失望的时候,6月8日却出现了奇迹。

其次,条件性语言模型的分布是 p(x|a),这就是我们的目标。在给定某种属性 a 之后,这种假想模型就可以生成带有这种属性的文本。

不过,虽然这种方式让我们可以方便地计算概率(「这个句子符不符合我们想要的样子」),但我们很难从这种表达中采样。我们可以先尝试常见的拒绝采样或者重要性采样,从 p(x) 分布开始逐一采样筛选—— 这种做法理论上可行,但实际操作起来,要么会得到有偏倚的结果,要么运行速度非常慢。想用这种方式生成一个谈政治的句子,大概会是这样的状况:

人类有能力在一段话中覆盖多种主题,PPLM 也可以。Uber AI 的研究人员们尝试了把多个词袋模型和一个分类模型一起使用,可以让一段话同时符合「冬天、政治、厨房」的主题,而且有正面情绪。图中第二段同时符合「计算机、幻想、钓鱼链接」主题。

Uber AI 的研究人员们也对 PPLM 做了一些相关的说明:

由于 PPLM 使用梯度来更新语言表征,解决这种问题就要简单得多,只需要训练一个恶意文本分类器,把它作为属性模型,然后使用负梯度更新语言表征,也就是减小生成文本符合属性的概率即可。研究人员们选用了能够让原本的 GPT-2 模型输出恶意文本的对抗性文本开头,在应用 PPLM 后,继续输出对抗性文本的概率从原来的 63.6% 降低到了 4.6%。不过,不仅确保模型的输出完全符合设计者的意图还需要更多后续研究,我们也需要用更多方法避免恶意的使用者反倒利用 PPLM 的特点专门生成恶意文本。

就是这一个缝隙的时间,实现了中国人三十年的突破,也证明了团队方案的正确性。从那以后,哪怕天气不好,他们也会来到台站上看一看。最终,仅仅用了五个多月,团队就历史性地观测到了月面上全部五个反射镜的信号,创造了中国速度。

首先,PPLM 的这种控制模式是可以调节的:对隐层文本表征的每一步变化的强度可以调节;当变化强度设为 0 的时候,这就是原本的语言模型。 其次,PPLM 假设原有的基础语言模型是自回归的,许多现代的语言模型都符合这个要求。实际上,如果语言模型是基于 Transformer 架构的,上面的这个方法就可以有高效的实现,因为以往的预测值只能通过 Transformer 的以往的键和值对未来的预测产生影响,和其它的激活值都无关,所以在前向传播中只有张量需要更新和传递。 以及,PPLM 中的采样器的实现,和上面提到的《Exponential convergence of Langevin distributions and their discrete approximations》以及 PPGN,arxiv.org/abs/1612.00005 中的实现有一些重要的不同,感兴趣的研究人员可以阅读论文原文具体了解 最后,Uber AI 这项研究中选用的基础语言模型是 345M 参数的 GPT-2,但对于其他的自回归语言模型也是有效的。

正是因为测月的难度太大,尽管已经做了几年的理论研究和充分的论证准备,天琴团队原本的预期也只是在今年内能够测到一次信号就算成功了。

主持人:OK。感谢冯校长今天做客我们的直播间,跟大家分享了很多有价值的一些论点,相信对于我们直播间的家长也一定是有所启发的,感谢冯校长今天做客我们直播间,也感谢我们直播间的朋友们的收看,谢谢大家。

Uber AI 的研究人员们首先尝试了最简单的一类属性模型,词袋模型(Bag-of-words),计算方式也就是直白的「符合主题的似然度等于词袋中每个词单独的似然度的和」,换句话说就是含有越多词袋中的词,就认为句子符合属性的可能性越高。

这样的语言模型带来的结果就是,除了那些有最充沛的资源和资金的研究人员之外,其它的研究人员和开发者都只能在无论如何都不理想的情境中三选一:1,直接使用公开的预训练模型(虽然有好的语言建模能力但无法完全匹配他们的需求);2,在小一些的数据集上对预训练模型做精细调节(但一旦出现灾难性遗忘,就会让模型的表现大幅下降);3,需求不符只能从零训练新模型,但预算有限,只能训练小得多的模型(表现也自然也会有明显差距)。

徐明祺表示,购物超市作为经营者,应有义务保障顾客的人身安全,理应安装监控设备,应避免出现监控盲区,这既有利于保障自身的合法权益,又有利于保障顾客的合法权益。

控制一个语言模型的不成功方法

主持人:首先想跟您了解的是,现在是马上要到2020年的春招了,在这个时候很多家长可能有一些疑惑。在这样的一个时间点有一些什么样的准备是需要去做的呢?

在每个时间步中,这个过程都会进行一次,也就是说表征了以往的值的隐层变量会被一次又一次地更新。

显然,这就是从随机生成的句子里把关于政治的句子挑出来而已,由于 p(x) 覆盖了大量不同的话题,运气不好的话可能很久都无法得到关于政治的句子。对于越长的句子,生成满足要求的整句话也越难(需要越好的运气),花费的时间会指数级增加。这简直像「无数多的猴子在无数多的打字机上随机地打字,并持续无限长的时间,那么在某个时候他们必然会打出莎士比亚的诗集」,理论上正确,但无法用在实践中。

活动开幕当日,UCCA Kids邀请UCCA Kids副总经理邵文、课程研发副总监王思思与人工智能领域教育专家贾立平共同参与圆桌对谈,与现场的观众分享艺术教育对于儿童多向思维发展的影响。对谈过程中,贾立平老师与大家分享了艺术与脑科学结合的研究,从脑科学的角度解释为什么好的艺术教育能够有效培养儿童“联觉”能力,提升儿童的想象力与创造力。王思思老师则列举了多件UCCA Kids教学实践中的具体案例,为现场的家长们展示儿童在鼓励自由创作的氛围和艺术老师适当引导下产生的作品。

避免语言模型生成有害文本

以下是北京威力塔斯国际学校中方校长冯龙先生的访谈实录:

庭审中,双方争议的焦点就是顾老太受伤的原因。承办法官要求被告超市提供事发时的监控录像,被告超市则称,事发地属于监控盲区,无法提供监控录像。“我们向双方确认了事发的具体位置,正常来说,应不属于监控盲区。”

随着 BERT、GPT-2 之类的大规模语言模型出现,NLP 研究者们通过实验表明了只需要用简单的目标函数在超大规模的无标注语料上训练,得到的语言模型就可以在语言建模任务(给定一组开头以后向后续写)中得到前所未有的流畅度,文本的自然、合理程度可以接近人类水平。

从 p(x) 中采样得到一个句子 x 把句子 x 输入 p(a|x) 计算它是否是关于政治的 如果不是,重复第一步

另外,就是在艺术培养方面,这一点我们学校有戏剧,有美术课,还有音乐课,但是我们更希望家长要利用周末的时间,我们会根据我们对孩子的认识,建议家长给他再培养一个在艺术方面的特长。这样艺术加体育,会构成这一个学生在学术之外的非常重要的两个支点。

同一开头、不同主题实验

那么我们想要的条件性语言模型,也就是 p(x|a) 从哪里来呢?幸运的是,根据贝叶斯法则,这个模型可以用第一个和第三个模型表示出来,也就是:

而这个预期,也因为珠海恶劣的天气条件被再一次降低。

词袋模型固然是一个简单直观的话题表征方式,但对于一些更复杂、深层次的属性,比如正面和负面情绪,我们总还是需要更复杂一些的模型的。这种时候我们就可以使用在标注数据集上训练出的分类模型。

激光测距的原理听上去很简单,一束激光打到目标位置后返回,通过测量其中往返的时间,配合光速进行计算,就可以得到精确的距离。然而,在往返40万公里外月球的路上,激光的能量几乎被消耗殆尽了。

多个属性模型联合,多主题文本生成

创立于2017年的「AI最佳掘金案例年度榜单」,是业内首个人工智能商业案例评选活动。雷锋网从商用维度出发,寻找人工智能在各个行业的最佳落地实践。

在苛刻的条件下,PPLM 的表现如何呢?这组实验中,给定和目标话题完全不相关的开头,比如「以各种动物/食物开头,主题是政治」。即便是这样奇怪的开头,PPLM 也能生成合理的句子。

比如,给定一个开头「这里的食物不好吃」,一个语言模型(比如 GPT-2)能续写成这样的看上去相当合理的一段话「这里的食物不好吃,店员又懒又粗鲁。这食物真让人喜欢不起来,即便我的要求一点也不高。」

多个属性模型联合使用

那么第二项,对于一个中国孩子来讲语言能力也很重要,那就是托福成绩。第三个还有SAT(美国高考)。第四项很重要一点就是领导力的培养,如何培养一个孩子的领导力?其实当我们提到领导力的时候都觉得很高大上或者很难,其实我们不要把领导力都想得那么复杂。我们主要是要发现和培养孩子的兴趣。当他的兴趣达到一定程度的时候,我们就有机会让他成立一个社团,成立一个小组,然后用他这个社团和小组再去做志愿者服务,这都是相匹配的。所以说对于一个美国学校来讲,你的GPA,你的语言能力,你的SAT考试,然后你的领导力,我刚才说了还有你的志愿者服务,再加上一项体育。体育对孩子的影响非常非常重要,体育不仅给孩子一个身体健康的体魄,体育更重要的是培养他们坚毅的性格。而且在威力塔斯学校每周有七个小时的专项体育训练,每年下来两三百个小时,凡是最后成绩好的学生几乎都是体育好的孩子,所以体育我们认为是一个对孩子成长来讲,在培养性格上,在培养他们抗挫折能力上是非常非常重要的手段。我想把这些说明白以后,我们家长应该知道我们在走国际化道路的时候,我们到底该做哪些准备,心理上的准备,哪些知识上的准备,孩子行动上的准备。