怎样用深度学习判断两张图片的相似度?

日期:2023-03-02 12:55:19 / 人气:312

最间接的,训练数据以“图片对”(image pair)爲单位,标签是类似度,把这样的数据输出神经网络,最终网络模型可以回归出输出图片对的类似度;于是第二个步骤来了,怎样样给训练数据打上类似度?手工标注。有没有更精确的、更快的呢?有,用深度学习模型来标注两张图像的类似度,怎样做的?看成绩描绘加上步骤1就行。流程递归,卡死了,无解。既然步骤1外面“最间接的”不可以,那就直接来处理。转入步骤4直接来说,我们既然不晓得如何精确标注详细的、取值区间在0~1的延续的类似度,那麼粗糙一些,标注团圆的类似度:0表示不像,1表示很像。比方把英短猫和美短猫组成的图片对标注成1,英短猫和哈士奇组成的图片对标注成0,损失函数运用逻辑回归这种soft的概率回归方式,就可以了。只需图片对的标注足够充沛,效果就会很棒。后面有答主答复的Siamese Network就是这样的。这样子做,我们有了一个基于二分类的网络、输入类似度的模型。但是成绩又来了,假如结构一个充沛的训练集,要给一千种、每种有好多张图片的数据两两之间标注0和1,这是一件很可怕的事情:假如你每种图有100张,总共有10万张图片,那麼可以构成 C1000002C_{100000}^2 这麼多的图片对,显然这基本很难训练完成,更何况10万的数据集曾经是一个很小的数据集了。那麼再直接一些,不必0和1表示像与不像了,用0, 1, 2, 3, 4...999,表示一千种不同的类,把只要两种分类的逻辑回归损失函数,换成有n种分类的softmax损失函数。这样子,实际上softmax给每个类一个“中心”,每个中心都是一个高维向量,每个类的中心都和其他的类中心尽量的“不像”,用数学来说就是余弦越小。然后呢,我们让同一类的图像,尽量往本人的中心上去靠,靠的越近、越紧,就越好。这样子,美短猫都严密勾结在美短猫的中心上去了,哈士奇都严密勾结再哈士奇的中心上去了。训练完毕,“最美短猫”的美短猫离本人的中心靠的最近,“不那麼美短猫”的美短猫间隔美短猫中心靠的比拟远,而哈士奇离美短猫中心靠的就很远很远了,离本人的中心比拟近。这样的就比拟好能处理我们的成绩了。输出了图像,我们能失掉图像的一个特征向量,输出另一个图像失掉另一个特征向量,用余弦函数比比他们的间隔,类似度就有了。后面有答主说的用imagenet上pretrain模型,运用两张图的最初隐层的向量输入,求余弦做类似度就是这个道理。然后就失掉了用深度学习判别两张图片类似度的办法。更初级的知识,请深退学习metric learning和深度学习结合的相关知识。

作者:星座娱乐




现在致电 5243865 OR 查看更多联系方式 →

COPYRIGHT 星座娱乐 版权所有