likes
comments
collection
share

SVHN的Keras实现

作者站长头像
站长
· 阅读数 0

Abstract

SVHN是街景数字的数据集，Google在2013年发表的论文“Multi-digit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks”提供了解决方法，并声称该方法可以破解所有的验证码。

本篇博客将简要的总结这篇论文，并使用Keras实现模型并训练SVHN数据集。

这篇文章的方法主要作为训练SVHN数据集的一个baseline。作者说他的方法能达到百分之96以上的准确率。

任务要求

这里先看一下数据集的样子，其实也就是Number from Street View(街景数字)。

SVHN的Keras实现

过去的做法

Traditional approaches to solve this problem typically separate out the localization, segmentation, and recognition steps.（过去的做法要经历三步：定位，分割，然后识别）

作者的做法

Propose a unified approach that integrates these three steps via the use of a deep convolutional neural network that operates directly on the image pixels.（作者把这三个步骤通过一个深度的卷积网络就能完成）

作者的贡献

  • (a) A unified model to localize, segment, and recognize multi-digit numbers from street level photographs
  • (b) A new kind of output layer, providing a conditional probabilistic model of sequences
  • (c) Empirical results that show this model performing best with a deep architecture
  • (d) Reaching human level performance at specific operating thresholds.

问题描述

图片中的数字：每张图片的数字是一个字符串序列: SVHN的Keras实现，如上面的第一张图片结果为"379"，SVHN的Keras实现。

字符的长度：定义为n，绝大多数的长度小于5。作者这里假设字符的长度最大为5。

实现方法

作者的方法是对于图片的label，训练一个概率模型。这里作者定义：

  • S：输出序列，也就是训练数据的label。
  • X：输入的图片。

这里的目标也就是通过最大化SVHN的Keras实现，来学习模型SVHN的Keras实现。

X其实就是输入的图片，这里看一下S，S是：图片的数字序列SVHN的Keras实现 + 数字序列的长度SVHN的Keras实现的一个集合。比如上面的"379"是图片的数字序列，序列的长度len("379")为3。那么S就是"3"+"379"，也就是"3379"。

SVHN的Keras实现 SVHN的Keras实现

模型结构

下面，看下作者在论文里面发表的模型。

SVHN的Keras实现

Keras的实现

代码见：github.com/nladuo/ml-s…

环境依赖

  • python 3.x
  • TensorFlow 1.11
  • Keras 2.x
  • Pillow
  • h5py

数据下载

首先去ufldl.stanford.edu/housenumber…下载Format 1的数据。

wget http://ufldl.stanford.edu/housenumbers/test.tar.gz
wget http://ufldl.stanford.edu/housenumbers/train.tar.gz

然后对数据进行解压，解压后发现会多两个文件夹：test和train。

tar zvxf test.tar.gz
tar zvxf train.tar.gz

构建数据集

这个数据集可以使用h5py读取。

SVHN的Keras实现 其中bbox存了图片数字的框，而name则是图片的文件名。比如说读取出来是下面这样的图片： SVHN的Keras实现 然后通过框框把图片裁剪一下。 SVHN的Keras实现

网络模型

网络模型这里分为卷积层+全连接层部分，代码如下。

SVHN的Keras实现

卷积层

这里就是三个卷积层。为了让神经网络接受了参数符合同一分布，这里使用了Batch Normalization层，对ConvNet的输入进行批归一化。

全连接层

卷积层最后经过Flatten之后，进入了全连接层。全连接层最后，输出了到6个softmax层中，分别代表：字符的长度、第一个字符、第二个字符、第三个字符、第四个字符、第四个字符。

注意：这里字符的类别是0-10，一共11种，10代表不存在。

训练与测试

接下来调用fit方法训练就好了，这里一共有7个loss和6个accuracy。loss的话是每个softmax输出层都有一个，还有个总的。accuracy就是6个softmax层的accuracy了。

SVHN的Keras实现

最后我们evaluate一下，可以6个accuracy都达到了85%以上的准确率了。如果想提高的话，可以使用VGG16等结构，网上说可以提升到百分之97，不过训练的话估计就要很慢了。

SVHN的Keras实现

扩展案例：微博验证码

另外，笔者这里还使用该方法给出了新浪微博的登录验证码识别的实现代码，见：captcha-break/weibo.com。

不过不知道现在新浪微博的验证码变了没有，我当时用云打码的时候它的验证码长下面这个样子：

SVHN的Keras实现

参考