我相信他们不使用 CNN。最重要的原因是它们比普通图像拥有更多信息：时间。当您在屏幕上绘制时，它们接收到的输入是 (x,y,t) 的序列，它们称为“墨水”。这让他们可以免费构建图像，CNN 必须自己推断。

他们尝试了两种方法。他们目前最成功的方法如下：

• 检测墨水的候选字符部分
• 使用前馈神经网络对这些候选者进行字符识别
• 使用束搜索和语言模型来查找最有可能产生单词的结果组合

他们的第二种方法是端到端使用 LSTM（一种循环神经网络）。在他们的论文中，他们说这在几种语言中效果更好。

资料来源：我在 2015 年夏天在谷歌手写团队实习（我相信 quickdraw 是基于它的），但我解释的技术可以在这篇论文中找到。