人工智能基础部分11-图像识别实战(网络层联想记忆,代码解读)

人工智能基础部分11-图像识别实战(网络层联想记忆,代码解读)

大家好,我叫微学AI,今天给大家带来图像识别实战项目。

图像识别实战是一个实际应用项目,下面介绍如何使用深度学习技术来识别和检测图像中的物体。主要涉及计算机视觉,实时图像处理和相关的深度学习算法。学习者将学习如何训练和使用深度学习模型来识别和检测图像中的物体,以及如何使用实时图像处理技术来处理图像。

项目还将涉及如何使用计算机视觉方法来识别和检测图像中的特征,以及利用卷积神经网络来进行识别图像。

一、图像识别原理与步骤

图像识别是指通过深度学习技术从图像中识别出特征和对象的过程。

图像识别我们主要采用卷积神经网络来实现,它可以用来识别和识别图像中的特征。它采用一种叫做卷积的技术来提取图像中的关键特征,并使用多层的神经网络来分类和识别图像。
对CNN进行复习:CNN的结构一般由输入层、卷积层、池化层、全连接层、输出层组成。

www.zeeklog.com  - 人工智能基础部分11-图像识别实战(网络层联想记忆,代码解读)


1. 输入层:将图像转化为数字信号,将每个像素转换为一个数字,作为神经网络的输入层。
2. 卷积层:卷积层用来提取图像的特征,它对图像的每个区域进行特征提取,并将提取的特征输出到另一卷积层。
3. 池化层:池化层可以提取图像的主要特征,它将大小相同的特征池化成更小的特征,并丢弃不具有代表性的特征。
4. 全连接层:全连接层可以将池化层提取出的特征拼接成一个完整的特征向量,用来进一步分析和提取图像特征。
5. 输出层:输出层将前面层提取出的特征转换为最终的识别结果。

二、卷积神经网络网络层与记忆方法

输入层:Input(In),把数据输入进去;
卷积层:Convolution(Conv),将图像数据翻译成特征数据;
池化层:Pooling(Pool),对特征数据进行子采样降维;
全连接层:Fully Connected(FC),将特征数据拉长到神经网络的输入;
输出层:Output(Out),将模型的输出展示出来。

记忆方法:

Input:想象你手上拿着一叠图片,要把它们输入到电脑里;
Conv:想象你用缝纫机把一张复杂的图案缝制在布料上,它把图案中的每个元素翻译成特征;
Pool:想象你一块块地把布料剪开,剪出来的图案比之前要小,它把特征数据降维了;
FC:想象你用胶水把图案拉长,它把原有的复杂图案拉长成神经网络的输入;
Out:想象你把拉长的图案绣在棉布上,它把模型的输出展示出来了。

三、卷积神经网络网络的优点
1. 具有非常强大的特征提取能力,能够从图像中提取有价值的特征;
2. 参数共享,卷积网络在同一层中共享参数,有效减少了参数量,大大减少了训练时间;
3. 能够学习到更多的高层抽象特征,使得卷积网络能够更好地处理复杂的问题;
4. 支持不同尺度的特征提取,可以从不同的尺度提取特征,并将不同尺度的特征结合起来;
5. 使用少量的参数能够很好的拟合大量的数据,使得训练模型的效果更好;
6. 支持在线学习,可以通过少量的训练数据快速拟合;
7. 可以用来实现深度学习,提升模型的性能。

四、图像分类实战代码

以CIFAR-10数据集为例子做图像分类,CIFAR-10数据集是一个用于机器学习和计算机视觉识别研究的图像数据库。它由 Hinton 的学生 Alex Krizhevsky 和 Ilya Sutskever 整理的,包含五万张32x32彩色图像,分成10个类别:飞机,汽车,鸟类,猫,鹿,狗,青蛙,马,船和卡车。每一类都有5000张图像,总计50,000张图像。每张图像是一个numpy数组,尺寸为 32x32x3,每个像素的可能值从0到255。

www.zeeklog.com  - 人工智能基础部分11-图像识别实战(网络层联想记忆,代码解读)

实战代码:

import torch
import torchvision
import torch.nn as nn
import torch.nn.functional as F
# 加载数据
train_dataset = torchvision.datasets.CIFAR10(root='./data', train=True, transform=torchvision.transforms.ToTensor(), download=True)
test_dataset = torchvision.datasets.CIFAR10(root='./data', train=False, transform=torchvision.transforms.ToTensor(), download=True)
train_data_loader = torch.utils.data.DataLoader(train_dataset, batch_size=128, shuffle=True)
test_data_loader = torch.utils.data.DataLoader(test_dataset, batch_size=128, shuffle=False)
# 定义网络架构
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(3, 6, 5)
        self.pool = nn.MaxPool2d(2, 2)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)
    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = x.view(-1, 16 * 5 * 5)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x
# 创建网络实例
net = Net()
# 定义优化器和损失函数
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(net.parameters(), lr=0.001, momentum=0.9)
# 开始训练
for epoch in range(50):
    running_loss = 0.0
    for i, data in enumerate(train_data_loader, 0):
        inputs, labels = data
        optimizer.zero_grad()
        outputs = net(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
        running_loss += loss.item()
        if i % 2000 == 0:
            print('Epoch: %d, step: %d, loss: %.3f' % (epoch + 1, i + 1, running_loss / 200))
            running_loss = 0.0

# 开始测试
correct = 0
total = 0
with torch.no_grad():
    for data in test_data_loader:
        images, labels = data
        outputs = net(images)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

print('Accuracy of the network on the 10000 test images: %d %%' % (100 * correct / total))

代码解析:

# 定义网络架构
class Net(nn.Module):

1. 继承自 pytorch 中的 nn.Module 类,构建网络框架,进而构建网络结构;
2. 在__init__()函数中,使用nn.Conv2d()函数定义卷积层;使用nn.MaxPool2d()函数定义池化层;使用nn.Linear()函数定义全连接层;
3. 在forward()函数中,使用F.relu()函数定义ReLu激活函数;使用x.view()函数将卷积层输出展平,作为全连接层的输入;最后使用self.fc3(x)输出最终结果。

模型训练过程:

定义交叉熵损失函数 criterion 和随机梯度下降优化器 optimizer。

用 for 循环迭代 50 个 epoch,每个 epoch 内迭代所有的训练数据集 train_data_loader。
在每个 mini-batch 中:
使用 optimizer.zero_grad() 将梯度缓存清零,清空上一步的残余更新参数值。
将输入数据 inputs 送入网络,得到输出 outputs。
计算损失值 loss,反向传播梯度,更新网络参数。
每 2000 个 mini-batch 打印一次平均损失 running_loss,其值等于当前损失 loss 与上 2000 个 mini-batch 的损失之和除以 2000。

相信大家都能很清楚的理解!有问题私信哦。

Read more

60个“特征工程”计算函数(Python代码)

60个“特征工程”计算函数(Python代码)

转自:coggle数据科学 近期一些朋友询问我关于如何做特征工程的问题,有没有什么适合初学者的有效操作。 特征工程的问题往往需要具体问题具体分析,当然也有一些暴力的策略,可以在竞赛初赛前期可以带来较大提升,而很多竞赛往往依赖这些信息就可以拿到非常好的效果,剩余的则需要结合业务逻辑以及很多其他的技巧,此处我们将平时用得最多的聚合操作罗列在下方。 最近刚好看到一篇文章汇总了非常多的聚合函数,就摘录在下方,供许多初入竞赛的朋友参考。 聚合特征汇总 pandas自带的聚合函数 * 其它重要聚合函数 其它重要聚合函数&分类分别如下。 def median(x):     return np.median(x) def variation_coefficient(x):     mean = np.mean(x)     if mean != 0:         return np.std(x) / mean     else:         return np.nan def variance(x):     return

By Ne0inhk
90w,确实可以封神了!

90w,确实可以封神了!

要说24年一定最热的技术,还得是AIGC! 前段时间阿里旗下的开源项目,登上GitHub热榜! AI大热,如今ChatGPT的优异表现,必然会出现各种细分场景应用的工具软件,和大量岗位项目! 山雨欲来风满楼,强人工智能的出现,所有科技公司已经开始巨量扩招此领域的人才。算法的岗位,近三个月已经增长68%!这件事在HR届也是相当震撼的。 目前各行各业都不景气的市场,人工智能岗位却一直保持常青!甚至同属AI边缘岗都比其他岗薪资高40%! 与此同时,AI算法岗上岸也不简单,竞争激烈,好公司核心岗位不用说,谁都想去。 所以事实就是,想要上岸,门槛也逐渐变高,项目经历、实习经历都很重要,越早明白这个道理就越能提前建立起自己的优势。 但我在b站逛知识区的时候,经常看到有些同学,因为一些客观原因导致无法参加实习,这种情况下,如果你想提升背景,增加项目经历的话,可以试试这个《CV/NLP 算法工程师培养计划》。 目前已经有上千位同学通过该计划拿到offer了,最新一期学员就业薪资最高能拿到78K!年薪94w! 优势就是有BAT大厂讲师带领,手把手带做AI真实企业项目(包含CV、NLP等

By Ne0inhk
再见nohup!试试这个神器,Python Supervisor!

再见nohup!试试这个神器,Python Supervisor!

👇我的小册 45章教程:() ,原价299,限时特价2杯咖啡,满100人涨10元。 作者丨Ais137 https://juejin.cn/post/7354406980784373798 1. 概述 Supervisor 是一个 C/S 架构的进程监控与管理工具,本文主要介绍其基本用法和部分高级特性,用于解决部署持久化进程的稳定性问题。 2. 问题场景 在实际的工作中,往往会有部署持久化进程的需求,比如接口服务进程,又或者是消费者进程等。这类进程通常是作为后台进程持久化运行的。 一般的部署方法是通过 nohup cmd & 命令来部署。但是这种方式有个弊端是在某些情况下无法保证目标进程的稳定性运行,有的时候 nohup 运行的后台任务会因为未知原因中断,从而导致服务或者消费中断,进而影响项目的正常运行。 为了解决上述问题,通过引入 Supervisor 来部署持久化进程,提高系统运行的稳定性。 3. Supervisor 简介 Supervisor is a client/

By Ne0inhk
第一本给程序员看的AI Agent图书上市了!

第一本给程序员看的AI Agent图书上市了!

AI Agent火爆到什么程度? OpenAI创始人奥特曼预测,未来各行各业,每一个人都可以拥有一个AI Agent;比尔·盖茨在2023年层预言:AI Agent将彻底改变人机交互方式,并颠覆整个软件行业;吴恩达教授在AI Ascent 2024演讲中高赞:AI Agent是一个令人兴奋的趋势,所有从事AI开发的人都应该关注。而国内的各科技巨头也纷纷布局AI Agent平台,如:钉钉的AI PaaS、百度智能云千帆大模型平台等等。 Agent 是未来最重要的智能化工具。对于程序员来说,是时候将目光转向大模型的应用开发了,率先抢占AI的下一个风口AI Agent。 小异带来一本新书《大模型应用开发 动手做 AI Agent》,这本书由《GPT图解》的作者黄佳老师创作,从0到1手把手教你做AI Agent。现在下单享受5折特惠! ▼点击下方,即可5折起购书 有这样一本秘籍在手,程序员们这下放心了吧,让我们先来揭开 Agent 的神秘面纱。 AI Agent 面面观

By Ne0inhk