炼数成金 商业智能自然语言处理
订阅

自然语言处理

谷歌实习生新算法提速惊人!BERT训练从三天三夜,缩短到一个小时
谷歌实习生新算法提速惊人!BERT训练从三天三夜,缩短到一个小时
从头开始训练一遍当今最强的语言AI需要多久?现在,这个时间从三天三夜,一下缩短到一个多小时!带来这个进步的,是Google Brain实习生,尤洋。这位小哥来自中国河南,曾经的清华计算机硕士第一,目前在加州大学伯克 ...
NLP领域最优秀的8个预训练模型(附开源地址)
NLP领域最优秀的8个预训练模型(附开源地址)
如今,自然语言处理(Natural Language Processing,NLP)应用已经变得无处不在。我似乎总是不经意间发现一些网站和应用程序,以这样的或那样的形式利用了自然语言处理技术。简而言之,现在就是涉足自然语言处理领域 ...
分词那些事儿
分词那些事儿
简单的讲,中文分词就是让计算机系统在汉语文本中的词与词之间自动加上空格或其他边界标记。汉语分词是自然语言处理中一个重要的基础研究任务,其主要难点包括分词规范、歧义切分、未登录词识别等。分词规范:词这个 ...
基于预训练自然语言生成的文本摘要方法
基于预训练自然语言生成的文本摘要方法
在本文中,我们基于编码器-解码器框架提出了一种新颖的基于预训练的方法,该方法可以由给定输入序列以两阶段的方式生成输出序列。对于编码器,我们使用 BERT 将输入序列编码为上下文语义表示。对于解码器,在我们的 ...
如何理解自然语言处理中的注意力机制?
如何理解自然语言处理中的注意力机制?
近些年来,注意力机制一直频繁的出现在目之所及的文献或者博文中,可见在nlp中算得上是个相当流行的概念,事实也证明其在nlp领域散发出不小得作用。这几年的顶会paper就能看出这一点。本文深入浅出地介绍了近些年的 ...
秒懂的RPA解读
秒懂的RPA解读
RPA(Robotic Process Automation),译为流程自动化机器人,又可以称为数字化劳动力(Digital Labor),是一种智能化软件,通过模拟并增强人类与计算机的交互过程,实现工作流程中的自动化。RPA具有对企业现有系统 ...
万字长文概述NLP中的深度学习技术
万字长文概述NLP中的深度学习技术
自然语言处理(NLP)是指对人类语言进行自动分析和表示的计算技术,这种计算技术由一系列理论驱动。NLP 研究从打孔纸带和批处理的时代就开始发展,那时分析一个句子需要多达 7 分钟的时间。到了现在谷歌等的时代,数 ...
出身清华姚班,斯坦福博士毕业,她的毕业论文成了「爆款」
出身清华姚班,斯坦福博士毕业,她的毕业论文成了「爆款」
很少有人的博士论文能够成为「爆款文章」,但陈丹琦做到了。这位近日从斯坦福毕业的计算机科学博士引发了人们的广泛关注。据斯坦福大学图书馆介绍,她长达 156 页的毕业论文《Neural Reading Comprehension and Beyo ...
lazynlp:构建大规模语料库的"懒人"工具箱
lazynlp:构建大规模语料库的"懒人"工具箱
lazynlp,目的是提供一个直接的库让用户直接抓取、清洗和对相关网页进行清洗,以生成一个大规模的单语语料库。使用这个库,用户可以直接生成一个比OpenAI 用于 GPT-2 训练数据还要大的数据集。根据该项目github主页 ...
BERT、GPT-2这些顶尖工具到底该怎么用到我的模型里?
BERT、GPT-2这些顶尖工具到底该怎么用到我的模型里?
近期的NLP方向,ELMO、GPT、BERT、Transformer-XL、GPT-2,各种预训练语言模型层出不穷,这些模型在各种NLP任务上一次又一次刷新上线,令人心驰神往。但是当小编翻开他们的paper,每一个上面都写着四个大字:“弱者 ...
迄今最大模型?OpenAI发布参数量高达15亿的通用语言模型GPT-2
迄今最大模型?OpenAI发布参数量高达15亿的通用语言模型GPT-2
几个月前谷歌推出的语言模型 BERT 引发了业内的广泛关注,其 3 亿参数量刷新 11 项纪录的成绩让人不禁赞叹。昨天,OpenAI 推出了一种更为强大的算法,这一次模型达到了 15 亿参数。这种机器学习算法不仅在很多任务上 ...
Google BERT 中文应用之春节对对联
Google BERT 中文应用之春节对对联
在网上看到有人用 seq2seq 训练一个对对联的机器人,很好奇能不能用Google的BERT预训练模型微调,训练出一个不仅可以对传统对子,也可以对新词新句的泛化能力更好的对对联高手。今天大年初一,这样的例子刚好应景。 ...
效果惊人的GPT 2.0模型:它告诉了我们什么
效果惊人的GPT 2.0模型:它告诉了我们什么
未来两年NLP可能会不断爆出类似的刷屏新闻,真的进入一个技术快速发展期。按理说,这是NLP研发者的黄金期,这种时期最容易出好的成果,但是事实上,很可能你只能作为看热闹的看客,眼看他起高楼,眼看他宴宾客,但是 ...
15亿参数!史上最强通用NLP模型诞生:狂揽7大数据集最佳纪录
15亿参数!史上最强通用NLP模型诞生:狂揽7大数据集最佳纪录
OpenAI今天在官博上介绍了他们的新NLP模型,刷新了7大数据集的SOTA(当前最佳结果),并且能够在不进行任何与领域知识相关数据训练的情况下,直接跨任务执行最基础的阅读理解、机器翻译、问答和文本总结等不同NLP任务 ...
AI Challenger 2018 机器翻译参赛总结
AI Challenger 2018 机器翻译参赛总结
机器翻译的开源库很多,比如 OpenNMT、FairSeq 和 tensor2tensor 等,我们主要是基于 tensor2tensor 等工具库进行的程序实现。它是 Google 基于 TensorFlow 开发的高级库,内置了许多经典模型,开发调试比较方便。 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2019-9-18 05:34 , Processed in 0.085303 second(s), 16 queries .