什么是Transition-based基于转移的框架?

娱乐新闻 2019-10-16170未知admin

  其中两个词之前的弧表示这两个词有依存关系,弧上的标签为二者的关系,弧的始发点为父亲节点,箭头指向为孩子节点。比如The 和 fox 是冠词+名词(det)的名词短语。

  除了一个词,即根节点(这里为jumped)外,其他词都有词作为父亲节点,而该根节点(jumped)的父亲节点为root。

  根据该表的父亲节点索引和对应的弧上关系就能还原该依存句法树。其中-1表示根节点。

  我们通常将依存句法的特征融入到其他任务模型里,比如机器翻译、意见挖掘、语篇分析等,一般能得到更好的性能。

  将依存句法树喂给递归神经网络,得到的隐层表示可以作为该依存句法的特征表示。

  这个框架由状态和动作两部分构成,其中状态用来记录不完整的预测结果,动作则用来控制状态之间的转移。

  用在生成依存句法树上,则具体表示为从空状态开始,通过动作转移到下一个状态,一步一步生成依存句法树,最后的状态保存了一个完整的依存树。依存分析就是用来预测词与词之间的关系,现在转为预测动作序列。在基于转移的框架中,我们定义了4种动作(栈顶的元素越小表示离栈顶越近):

  所以,我们基于转移的依存句法分析器就由预测树结构问题转为预测动作序列问题。使得问题简单了不少。

  而且1为2的孩子,所以此时的动作为左规约arc_left,1下沉,为2的孩子(此时实际操作为1被踢出栈,栈里剩为0、2,踢出是因为最后能根据动作序列还原整个依存树,当然也为了接下来的操作方便),此时标签为amod:

  发现0、2之间有依存关系,其中0为2的孩子,所以此时操作为左规约,此时标签为det

  按照正常操作,此时应该arc_right右规约,但是如果线就下沉,就没了。而一会5要入栈,再查看依存树发现4是自己的爸爸,天呐,5的爸爸没了,找不到了,消失了,其他词都有爸爸,就5没有,还有比这个更惨的吗?这就没发再进行操作了!所以,还有一个潜规则如果操作为栈顶元素要进行arc_right时,不执行该操作,而选择shift。

  而你可能会问arc_left会有这样的问题吗?不会啦,比如3、4进行arc_left操作,3下沉,如果右边的队列中有父亲节点是3,那么就表示该依存树有交叉或者回路!这种是不可能发生的,因为依存树不允许有交叉或者回路!(不信的话,你自己画画试试)

  右下角的数据为词与词之间的关系,这个就是根据动作序列生成的依存关系(父亲,孩子,关系),根据该关系,就能还原成原来的依存树。

  就是词性,比如是NN,VV,VP等。将它当成词的操作一样,用它自己的embedding(和词的embedding不是一个!)表示。

  就是向量拼接,咋拼接都行,cat呀,add呀都行的。自己尝试哪个效果好用哪个,没有死规定。而我们这里用的是cat。

  解码端就需要对每一个状态打出所有动作的得分。根据经验,认为栈顶三元素和队列首元素为动作预测关键特征,于是将栈顶三元素

  对每一个动作的分数进行Softmax概率化,然后输入到交叉熵中,作为目标函数。然后再用Adam来进行更新模型参数,最小化目标函数:

  文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

  David,加州大学物理博士,美国著名电商数据科学家。本课程介绍什么是深度学习, 深度学习与机器学习的关系,几种神经网络

  10月7日,正值一年一度的中国传统节日重阳节,为弘扬中华民族感恩敬老的传统美德,深圳市社会福利中心老....

  IGListKit框架详细解析(二) —— 基于IGListKit框架的更好的UICollectionViews简单示例(一)...

  在这种情况下进行编辑意味着在不影响其他输入的情况下,更改输入对子集的模型预测(与错误分类的对象相对应....

  PID 控制算法简单、应用广泛,既能消除余差,又能提高系统的稳定性,但其P 环节、I 环节、D 环节....

  这篇文章无论是从叙事、举证、事实分析还是结论启发都句句有声、层层推进,确实能够给朋友们带来冲击。作为....

  丰富的课程和领域离不开师资力量的支撑。13位专职教师,其中7位是博士,多数毕业于计算机、自动控制、机....

  网络输入层神经元节点数就是系统的特征因子(自变量)个数,输出层神经元节点数就是系统目标个数。

  自从以深度学习为代表的神经网络算法的精度大大提升以后,人工智能开始终于又再次火了起来,且有席卷全球之....

  该方法对场景变化、着装变化、图像视频的角度、行走状态都有很强的适应性,特别适合解决动态背景下的步态....

  精通MATLAB Simulink系统仿真教程之神经网络控制课件免费下载

  本文档的主要内容详细介绍的是精通MATLAB Simulink系统仿真教程之神经网络控制课件免费下载....

  只需上传一张正面照,经过所谓的“古典周易+人工智能”的分析,就能算出你下半生的财运、事业运、情感运等....

  目前对于时尚知识级别的研究工作还比较有限,如何有效的穿衣搭配涉及到场景、主体和衣着三个关键因素。在日....

  华为重磅发布了全球最快AI训练集群Atlas900,加速科学研究与商业创新的智能化进程。Atlas9....

  技术需要架构,芯片的架构,软件需要架构,公司需要架构,建筑需要架构,产品需要架构,人也需要架构,聊....

  联想集团携人工智能技术和解决方案亮相2019年The AI Summit

  “因此,可解释性对机器学习,特别是深度学习是一个很大的挑战。只有人类理解了AI的决策过程,才能将其应....

  虽然人工智能应用于生产制造的前景广阔,但要从概念实现落地,产生规模效益,还需要清晰可行的研究方法。从....

  中山大学数据科学与计算机学院教授赖剑煌也表示,AI行业从过度期望正转向过度失望。CB Insight....

  大脑为神经系统最高级部分,由左、右两个大脑半球组成,两半球间有横行的神经纤维相联系。人的大脑皮层最为....

  莫涛所供职的企业,以一家人脸识别技术的AI初创公司,创始团队由知名科学家组成,在2017和2018年....

  9月21日大会开幕式由大会主席、中国自动化学会理事长郑南宁院士主持,西安交通大学副校长郑庆华教授致欢....

  一场军备竞赛:即创造出能够以更高速度和更低功耗运行深度学习模型的专用硬件

  神经形态计算的概念早在20世纪80年代就已经存在,但由于神经网络的效率太低而被忽略,因此没有引起太多....

  本文档的主要内容详细介绍的是数学建模的预测程序代码合集免费下载包括了:灰色预测程序,BP神经网络程序....

  外骨骼机器人的研究可以追溯到 20 世纪 60 年代,最初的研究目的主要是用于提高士兵的背负承载能力....

  以上人脸识别过程,存在一定的问题,当人脸原始数据比较大时,数据库中必然存在比较多的人脸数据,当进行人....

  这些研究人员认为,受大脑生物学启发的、那些被称为神经网络、连接主义和并行分布处理的AI实现方法,会最....

  好的,大脑是如何表现的?它使用几个无限对(x,y)样本(训练集)训练自己,并且在整个逐步过程中,f(....

  神经结构学习框架(NSL)的作用很大,它可以制作计算机视觉模型、执行自然语言处理(NLP)、从医疗记....

  Swift for TensorFlow:无边界机器学习,值得大家期待

  据资料显示,Swift for TensorFlow:无边界机器学习简介主要是——Swift for....

  神经结构学习框架(NSL)可以监督、半监督、或无监督地学习,对训练期间的图形信号进行正规化的建模。在....

  一位题主是一名最近换了导师转向机器学习的博士生,他问道:我目前已经进行了初步学习,尽管我已经想到了一....

  bfloat16的主要想法是提供动态范围与标准IEEE-FP32相同的16位浮点格式,精度较低。相当....

  Arm宣布将会采用Bfloat16数据类型,这种数据类型会成为主流吗?

  在SVE中包含对bfloat16的支持特别有趣,因为这些向量指令是专门为高性能计算开发的。截至目前,....

  深度学习(DL)是机器学习中一种基于对数据进行表征学习的方法,是一种能够模拟出人脑的神经结构的机器学....

  人工神经网络在很多领域得到了很好的应用,尤其是具有分布存储、并行处理、自学习、自组织以及非线性映射等特点的网络应用更加广...

  由浙江大学牵头研发完成的脉冲神经网络类脑芯片“达尔文2”,以及针对该芯片的工具链、微操作系统,日前在....

  目前,主流语音识别框架还是由 3 个部分组成:声学模型、语言模型和解码器,有些框架也包括前端处理和后....

  人工智能发展到今天这个阶段,机器学习几乎成为了它的代名词。2006年,以“无监督学习”为主要特征的深....

  随着科技与经济的发展,汽车数量也逐渐增多,交通管理问题日渐严峻。如何建立一个科学有效的交通管理系统是交通管理的重点。智能...

  Imagination助力加速异构SoC设计,领先IP技术加速“自主创芯”

  “第三届‘芯动北京’中关村IC产业论坛”在北京中关村集成电路设计园举行。本次论坛以“构建产业生态,加....

  这个例子只是近年来AI和认知科学实现交互和融合的众多应用之一。AI技术的核心神经网络正是在模拟人的大....

  因此,ZAO瞬间走红的原因不外乎两个:第一,使用门槛低;第二,可以满足大家的“明星梦”。 从一夜爆红....

  话题横跨多领域,是谁翻译了全英“双马”对线世界人工智能大会(WAIC 2019)上,科大讯飞董事长刘庆峰在主题演讲《拥抱人....

  但是,为了将这一贡献置于适当的历史背景中,有必要反思神经网络的悠久历史。1943年,神经生理学家沃伦....

  Draw 体系结构的核心是一对递归神经网络:一个是压缩用于训练的真实图像的编码器,另一个是在接收到代....

  TensorFlow2.0中创建了一个Transformer模型包,可用于重新构建GPT-2、 BERT和XLNet

  想到不如做到。于是Zachary Bloss(就是下图这位带着淡淡忧伤的背影),一位美国最大的非银行....

  就在⼏年前,不管在⼤公司还是创业公司,都鲜有⼯程师和科学家来将深度学习应⽤到智能产品与服务中。作为深....

  我理解对话框就是框架控件中放置了一些其他小控件(比如Botton)。是不是这样理解?谢谢!...

  最近一直在研究操作者框架,发点参考程序,希望对各位学习操作者框架有些许帮助 ...

  教育部明确,到2020年建设100个“人工智能+X”复合特色专业,编写50本具有国际一流水平的本科生....

  由浙江大学牵头研发完成的脉冲神经网络类脑芯片“达尔文2”,以及针对该芯片的工具链、微操作系统,日前在....

  对于截肢的患者来说,如果想要重新走路或者做其他事情就必须要安装假肢,但是,通常在安装假肢时存在医生安....

  近日,CloudMinds和北京航空航天大学的研究人员基于深度学习提出了一种新的仿真面对面对话系统。....

  尽管近年来人工智能取得了许多进步,但人工神经网络仍远未接近人类的智能。ANN可以在国际象棋和围棋等游....

  而最让人感慨的是,本案件还涉及到AI先驱、人工神经网络创始人、图灵奖得主、MIT人工智能实验室创始教....

莺歌燕舞新闻网 版权所有 Power by DedeCms 

联系QQ