AI

AI

Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification 论文研读

0. 个人浅谈 Attention是在2014年提出的（paper为：Recurrent Models of Visual Attention，下载地址为https://papers.nips.cc/paper/5542-recurrent-models-of-visual-attention.pdf），而本文的发表时间是在2016年，它是ACL会议(NLP国际顶级会议之一)的录用论文（具有一定的研究意义），显而易见的是它是把attention应用到到NLP的关系抽取中的一个成功实践。所以对于AI学习者而言，学习最新的技术，然后将其应用到自己所在的工作领域，这是一件非常有趣的事情。 1. 摘要 关系抽取是自然语言处理领域中一个非常重要的语义处理任务（除了语义处理，还有其他任务吗？）。然而，已有的系统使用词法资源（如WordNet）或者依赖于解析器和命名实体识别获得的高级特征。另外一个挑战是，重要的信息可能出现在句子中的任意位置。为了解决这些问题，我们提出了基于注意力机制的LSTM网络，从而可以获取句子中最重要的语义信息。我们采用的实验数据是SemEval-2010关系分类任务数

AI

yolov5模型ComputeLoss类源码详细解读

文章目录 * * * * * * * * * * * * * * * * * * * * * * * 前言 最近，需要修改yolov5推理结果，往往需要非常熟悉输出过程head的loss计算方式。特别地，对于box回归来说十分重要，到底是在原始图像尺寸进行box回归loss计算，还是在特征图尺寸计算，又如何使用将回归偏移值进行loss计算？这些问题，无不需要十分熟悉原理与源码方可透彻理解。为此，本文将记录yolov5的ComputeLoss源码解读，包含内容为透彻分析偏移值运用、target与pred预测回归使用，以及正负样本筛选源码理解。 一、ComputeLoss类整体源码说明 yolov5的ComputeLoss类一个为初始化函数，涉及参数与loss方法，一个为集成call函数，包含整个loss的计算，特别说self.build_targets函数尤为重要。我将在后面部分会详细说明，现给出非完整版ComputeLoss类的源码，如下： class ComputeLoss:

tensorflow API使用记录

文章目录 * 0. 常用函数 * tf.train.list_variables(ckpt_dir_or_file) Returns list of all variables in the checkpoint 1. tf.nn.bias_add tf.nn.bias_add(value, bias, name = None)，把bias添加到value上。其中bias必须为一维的，若value的维度大于1则为广播相加。具体来说，value最后一维的维度必须要和bias的维度一致才可以。 import tensorflow as tf a=tf.constant([[[1,1],[2,2],[3,3]

AI

tf.nn.con2d

1. API参数介绍 tf.nn.conv2d((input, filter, strides, padding, use_cudnn_on_gpu=None, data_format=None, name=None) 其中input的默认输入格式为NHWC，即为[batch, in_height, in_width, in_chanels]。 filter的输入格式为HWIO，[filter_height, filter_width, in_channels, out_channels]，其中filter的个数和out_channels相同。 stride的输入格式和data_format的格式相对应，它也是一个四维张量，表示在data_format每一维上的移动步长。例如输入格式默认格式”NHWC“，则strides的设置为[1,stride,stride,

AI

Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification模型实现

1. Attention H是一个矩阵，它是由LSTM层产生的多个向量 [ h 1 , h 2 , … , h T ] [h_1,h_2,\dots,h_T] [h1 ,h2 ,…,hT ]组成的。其中T是句子的长度。句子的表示 r r r是输出向量的权重之和。  M = t a n ( H ) M = tan(H) M=tan(H)  α = s o f t m a x ( W T M ) \alpha =softmax(

AI

tokenizer添加token的详细demo

文章目录 * 前言 我们在Hugging Face不同模型对应的tokenizer映射字典，不存在某些专有词汇，我们需要新增对应的token，以便我们使用对应模型处理不存在专业词汇。为此，本篇文章针对此问题，记录如何为tokenizer添加对应词汇，便于模型转换。 一、tokenizer添加token 我选择llava对应小羊驼模型的tokenizer，我将其读取为tokenizer，在保存原有tokenizer，随后使用tokenizer.add_tokens添加token，也将其保存，并加载添加后的tokenizer，其详细代码如下： import transformers tokenizer = transformers.AutoTokenizer.from_pretrained( '/home/llava_v1.5_lora/vicuna-13b-v1.5', cache_dir=None, model_max_length=4096, padding_side="right"