Transformer实战（9）——Transformer分词算法详解

Ne0inhk

— 2 min read
Transformer实战（9）——Transformer分词算法详解

Transformer实战（9）——Transformer分词算法详解

0. 前言

在自然语言处理领域，高效准确的分词算法是构建强大语言模型的基础。随着 Transformer 架构的广泛应用，子词分词算法已成为处理多语言文本和稀有词汇的关键技术。本文将从理论到实践，全面解析现代自然语言处理 (Natural Language Processing, NLP) 中最主流的三种分词方法：BPE、WordPiece 和 SentencePiece，探讨这些算法的核心原理和适用场景，并介绍使用 tokenizers 库训练分词器的完整流程。

1. 子词分词算法

在 BERT 语言模型一节中，我们使用 BertWordPieceTokenizer 分词器 (tokenizer) 训练了 BERT 模型。在本节中，我们将详细讨论分词过程。分词是将文本输入拆分为词元 (token)，并为每个词元分配一个标识符，然后将其输入到神经网络架构中的过程。最直观的方法是根据空格将序列拆分成较小的块，但这种方法并不适用于所有语言，例如中文、韩语等，并且可能导致词汇表过大的问题。绝大部分 Transformer 模型都采用子词分词，不仅有助于降低维度，还能够对训练中未

Read more

人工智能：自然语言处理在医疗领域的应用与实战

人工智能：自然语言处理在医疗领域的应用与实战

人工智能：自然语言处理在医疗领域的应用与实战 学习目标 💡 理解自然语言处理（NLP）在医疗领域的应用场景和重要性 💡 掌握医疗领域NLP应用的核心技术（如电子病历分析、疾病诊断辅助、药物相互作用检测） 💡 学会使用前沿模型（如BioBERT、ClinicalBERT）进行医疗文本分析 💡 理解医疗领域的特殊挑战（如医疗术语、数据隐私、法规要求） 💡 通过实战项目，开发一个电子病历文本分类应用 重点内容 * 医疗领域NLP应用的主要场景 * 核心技术（电子病历分析、疾病诊断辅助、药物相互作用检测） * 前沿模型（BioBERT、ClinicalBERT）在医疗领域的使用 * 医疗领域的特殊挑战 * 实战项目：电子病历文本分类应用开发 一、医疗领域NLP应用的主要场景 1.1 电子病历分析 1.1.1 电子病历分析的基本概念 电子病历（Electronic Health Records, EHR）是医疗领域的核心数据之一，包含了患者的基本信息、诊断记录、

By Ne0inhk
【Linux指南】进程控制系列（二）进程终止 —— 退出场景、方法与退出码详解

【Linux指南】进程控制系列（二）进程终止 —— 退出场景、方法与退出码详解

文章目录 * 一、先想明白：进程终止不是 “消失”，而是 “释放资源” * 二、进程退出的三大场景：正常与异常的边界 * 场景 1：正常退出（代码执行完毕，结果正确） * 场景 2：正常退出（代码执行完毕，结果不正确） * 场景 3：异常退出（代码崩溃，被迫终止） * 三、三种进程退出方法：return、exit、_exit 的核心差异 * 3.1 方法 1：return—— 仅在 main 函数中有效 * 核心逻辑： * 3.2 方法 2：exit 函数 —— 带清理操作的库函数退出 * 核心逻辑与清理操作： * 函数原型： * 3.

By Ne0inhk
【HarmonyOS Next之旅】DevEco Studio使用指南(二)

【HarmonyOS Next之旅】DevEco Studio使用指南(二)

目录 1 -> 工程模板介绍 2 -> 创建一个新的工程 2.1 -> 创建和配置新工程 2.1.1 -> 创建HarmonyOS工程 2.2.2 -> 创建OpenHarmony工程 1 -> 工程模板介绍 DevEco Studio支持多种品类的应用/元服务开发，预置丰富的工程模板，可以根据工程向导轻松创建适应于各类设备的工程，并自动生成对应的代码和资源模板。同时，DevEco Studio还提供了多种编程语言供开发者进行应用/元服务开发，包括ArkTS、JS和C/C++。 工程模板支持的开发语言及模板说明如下表所示： 模板名称说明Empty Ability用于Phone、Tablet、2in1、Car设备的模板，展示基础的Hello

By Ne0inhk

VMware虚拟机安装Mac无网络，怎么连接？

一.首先是在vm虚拟机上，检查虚拟机MacOS设置网络适配器  在设置网络适配器中选择NAT模式，用于共享主机的IP地址 二.在MacOS中，设置网络  以太网  使用DHCP，其实默认就是这个不用设置也行。 如果设置完该两步骤还是无网络连接，进行第三步； 三.回到在windows系统里，输入win+R打开终端，再输入services.msc打开 服务，找到VMware DHCP和VMware NAT，把这两个服务打开，一般问题就出现在这里，服务没开启。 通过右键将其开启即可这样就能上网了。

By Ne0inhk