摘要：本案例我们利用视频字幕识别中的文字检测与识别模型，增加预训练Bert进行纠错本文分享自华为云社区《Bert特调OCR》，作者：杜甫盖房子。做这个项目的初衷是发现图比较糊/检测框比较长的时候，OCR会有一些错误识别，所以想对识别结果进行纠错。一个很自然的想法是利用语义信息进行纠错，其实在OCR训练时加入语义信息也有不少工作，感兴趣的朋友可以了解一下，为了更大程度复用已有的项目，我们决定保留现有OCR单元，在之后加入独立语义纠错模块进行纠错。本案例我们利用视频字幕识别中的文字检测与识别模型，增加预训练Bert进行纠错，最终效果如下：我们使用ModelBoxWindowsSDK进行开发，如果还
摘要：本案例我们利用视频字幕识别中的文字检测与识别模型，增加预训练Bert进行纠错本文分享自华为云社区《Bert特调OCR》，作者：杜甫盖房子。做这个项目的初衷是发现图比较糊/检测框比较长的时候，OCR会有一些错误识别，所以想对识别结果进行纠错。一个很自然的想法是利用语义信息进行纠错，其实在OCR训练时加入语义信息也有不少工作，感兴趣的朋友可以了解一下，为了更大程度复用已有的项目，我们决定保留现有OCR单元，在之后加入独立语义纠错模块进行纠错。本案例我们利用视频字幕识别中的文字检测与识别模型，增加预训练Bert进行纠错，最终效果如下：我们使用ModelBoxWindowsSDK进行开发，如果还
文章目录1前言2数据准备3数据预处理4Bert-BiLSTM-CRF模型5Bert-CRF模型6模型训练7结果评估8训练集流水线9测试集流水线10记录遇到的一些坑11完整代码1前言论文参考：1NeuralArchitecturesforNamedEntityRecognition2Attentionisallyouneed3BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding4BidirectionalLSTM-CRFModelsforSequenceTagging使用数据集：https://www.d
文章目录1前言2数据准备3数据预处理4Bert-BiLSTM-CRF模型5Bert-CRF模型6模型训练7结果评估8训练集流水线9测试集流水线10记录遇到的一些坑11完整代码1前言论文参考：1NeuralArchitecturesforNamedEntityRecognition2Attentionisallyouneed3BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding4BidirectionalLSTM-CRFModelsforSequenceTagging使用数据集：https://www.d
这一章我们来唠唠如何优化BERT对文本长度的限制。BERT使用的Transformer结构核心在于注意力机制强大的交互和记忆能力。不过Attention本身O(n^2)的计算和内存复杂度，也限制了Transformer在长文本中的应用。之前对长文档的一些处理方案多是暴力截断，或者分段得到文本表征后再进行融合。这一章我们看下如何通过优化attention的计算方式，降低内存/计算复杂度，实现长文本建模。Google出品的EfficientTransformers:ASurvey里面对更高效的Transformer魔改进行了分类，这一章我们主要介绍以下5个方向：以Transformer-XL为首的
这一章我们来唠唠如何优化BERT对文本长度的限制。BERT使用的Transformer结构核心在于注意力机制强大的交互和记忆能力。不过Attention本身O(n^2)的计算和内存复杂度，也限制了Transformer在长文本中的应用。之前对长文档的一些处理方案多是暴力截断，或者分段得到文本表征后再进行融合。这一章我们看下如何通过优化attention的计算方式，降低内存/计算复杂度，实现长文本建模。Google出品的EfficientTransformers:ASurvey里面对更高效的Transformer魔改进行了分类，这一章我们主要介绍以下5个方向：以Transformer-XL为首的
摘要：快，着实有点快。现在，经典模型BERT只需2.69分钟、ResNet只需16秒。啪的一下，就能完成训练！本文分享自华为云社区《这就是华为速度：2.69分钟完成BERT训练！新发CANN5.0加持，还公开了背后技术》，作者：昇腾CANN。快，着实有点快。现在，经典模型BERT只需2.69分钟、ResNet只需16秒。啪的一下，就能完成训练！这是华为全联接2021上，针对异构计算架构CANN5.0放出的最新性能“预热”：4K老电影AI修复，原本需要几天时间，现在几小时就能完成；针对不同模型进行智能优化，300+模型平均可获得30%性能收益；支持超大参数模型、超大图片计算，几乎无需手动修改原代
摘要：快，着实有点快。现在，经典模型BERT只需2.69分钟、ResNet只需16秒。啪的一下，就能完成训练！本文分享自华为云社区《这就是华为速度：2.69分钟完成BERT训练！新发CANN5.0加持，还公开了背后技术》，作者：昇腾CANN。快，着实有点快。现在，经典模型BERT只需2.69分钟、ResNet只需16秒。啪的一下，就能完成训练！这是华为全联接2021上，针对异构计算架构CANN5.0放出的最新性能“预热”：4K老电影AI修复，原本需要几天时间，现在几小时就能完成；针对不同模型进行智能优化，300+模型平均可获得30%性能收益；支持超大参数模型、超大图片计算，几乎无需手动修改原代
paper:Don'tstopPretraining:AdaptLanguageModelstoDomainsandTasksGitHub：https://github.com/allenai/dont-stop-pretraining论文针对预训练语料和领域分布，以及任务分布之间的差异，提出了DAPT领域适应预训练（domain-adaptivepretraining）和TAPT任务适应预训练（task-adaptivepretraining)两种继续预训练方案，并在医学论文，计算机论文，新闻和商品评价4个领域上进行了测试。想法很简单就是在垂直领域上使用领域语料做继续预训练，不过算是开启了新
paper:Don'tstopPretraining:AdaptLanguageModelstoDomainsandTasksGitHub：https://github.com/allenai/dont-stop-pretraining论文针对预训练语料和领域分布，以及任务分布之间的差异，提出了DAPT领域适应预训练（domain-adaptivepretraining）和TAPT任务适应预训练（task-adaptivepretraining)两种继续预训练方案，并在医学论文，计算机论文，新闻和商品评价4个领域上进行了测试。想法很简单就是在垂直领域上使用领域语料做继续预训练，不过算是开启了新
