万能手写板驱动文章列表:

• 1、对战Surface Pen！Wacom发布新版竹子压感手写笔
• 2、满足彩色A3需求 兄弟MFC-J3940DW一体机评测
• 3、AAAI2022全面揭秘！Tencent OCR 手写数学公式一键识别
• 4、产品全流程管理将是产品原型工具未来发展的趋势
• 5、真·机械朋克！物理学家用扬声器搭建神经网络，登上今日Nature

对战Surface Pen！Wacom发布新版竹子压感手写笔

IT之家讯 Wacom在手写设备等领域有着丰富经验，在本届CES2016上，该公司发布了新版“竹子”手写笔Bamboo Smart。这款手写笔适用于多款Win10OEM二合一设备，例如戴尔Dell Venue 10、惠普HP Elite x2 1021、联想Lenovo ThinkPad P40 Yoga和东芝Toshiba dynaPad N72等。

最新的Bamboo Smart继续采用AES技术，可以和上述支持该技术的设备进行匹配，无需额外驱动。和微软Surface Book与Surface Pro 4的Surface Pen类似，这款“竹子”手写笔也有压力感应功能，不过不同设备所能支持的压感等级可能有所差异，就类似于Surface Pro 4可以支持1024级压感，而SP3只支持256级。另外，笔上的两个可编程按钮也能提供不同的操作指令，比如鼠标的双击和右键单击效果等。

Bamboo Smart手写笔售价40美元（约合人民币262元），2016年6月上市。

微信搜索“IT之家”关注抢6s大礼！下载IT之家客户端（戳这里）也可参与评论抽楼层大奖！

满足彩色A3需求 兄弟MFC-J3940DW一体机评测

对于设计师或者幼教行业这些用户而言，由于在日常的工作中会经常涉及打印大幅面的设计图纸或者颜色覆盖率高的教学材料，所以对于彩色打印和大幅面打印会有更高的需求。传统的打印机产品一般仅支持黑白打印或仅支持A4幅面打印，无法满足这些用户的使用需求。所以对于这些行业用户来讲，在选购打印机时彩色打印和A3幅面就自然而然成为了刚需。

今天给大家评测的产品就是兄弟MFC-J3940DW彩色喷墨一体机，不仅支持彩色打印，同时是一款A3幅面的一体机产品，完全可以满足设计师行业以及幼教行业的日常使用需求。那么到底这款兄弟MFC-J3940DW一体机表现如何，我们接着往下看。

1 简约设计，细节彰显人性化

首先我们来看下兄弟MFC-J3940DW一体机的外观部分，整体采用了简约的设计风格，看上去商务气息十足。颜色则是使用了白色与黑色相结合的设计，摆放在任何场景使用都不会显得突兀。同时这款一体机的机身材质采用了磨砂的质地，日常使用时不易沾染指纹，让这款兄弟MFC-J3940DW一体机更具耐用性。

而在体积方面，这款兄弟MFC-J3940DW一体机的机身尺寸为576mm*477mm*375mm，整体采用了倒梯形的设计，因此拥有更小的占地空间。在机身的两侧则是搭载了两个内扣式的把手，搬运机器的过程中会更加轻松。

而在机身的最前端，兄弟MFC-J3940DW一体机为用户搭载了人性化的操控面板。最亮眼的当属这块3.5英寸的彩色液晶触摸屏，日常的操作都可以通过这块触摸屏来完成。搭配上右侧的数字实体按键，整体给人直观的使用体验。并且整体操控面板支持四档角度调节，可为用户提供五个不同的可视角度，真正满足了不同用户的使用需求，在使用前可以按照自身的需求进行调整。

3.5英寸的彩色液晶触摸屏

支持四档角度调节

最后我们来看下接口部分，电源接口设计在机身的背部，而机身的正面则是搭载了USB接口。对于设计师行业和幼教行业这些用户来说，会需要将设计图纸和教学材料等文件拷贝至U盘进行备份，而U盘打印功能能够让日常打印更加便捷。整个过程无需连接电脑，插入U盘即可打印设计图纸或教学材料，所以说这一功能十分便捷。

U盘接口

而D型USB接口则设计在机身的内部，这样可以最大程度防止线缆意外脱落，从而导致打印数据中断。并且在机身内部设计了可卡住线缆的线槽，可以有效起到保护线缆的作用，这一点非常贴心。

2 功能全面，助力高效办公

1、双层纸盒 进纸托板，满足多样化需求

在进纸方面，这款兄弟MFC-J3940DW一体机共采用了两种进纸方式，分别为前端的进纸盒和后端的进纸托板，以满足不同用户的使用需求。其中进纸盒采用了双层的设计，单层进纸盒的容量为250页标准纸张，两层可放置500页标准纸张，能够轻松满足大批量的打印需求，不用担心因纸张短缺而中断打印。并且由于纸盒采用了全封闭的设计，所以在日常使用时能够有效保护纸张，一定程度降低了因纸张受潮而引发的卡纸几率。

而后端的进纸托板容量为100页标准纸张，能够轻松满足厚纸以及其他特殊的介质输入。对于幼教行业用户来说，在教学过程中会需要打印一些硬纸填色卡、明信片或者贺卡，而兄弟MFC-J3940DW一体机就可以满足这一需求。并且这款一体机支持最高长达1200mm的长纸打印，能够轻松满足大幅面的图纸以及海报打印需求，对于设计以及绘图的办公人士而言这一功能非常实用。

2、标配大容量自动输稿器

对于设计行业和幼教行业这些用户来讲，日常会有大批量的复印和扫描需求。尤其是对于设计师而言，会需要将手写修改的图纸扫描成电子版发给客户审核，逐页扫描不仅费时而且费力，这时候自动输稿器就能够派上用场。这款兄弟MFC-J3940DW一体机的自动输稿器就位于机身的最上端，最大进纸容量为50页，完全能够满足日常大批量的扫描、复印以及传真需求。

并且使用起来十分便捷，只需要将文件叠放在输稿器平台上，按下开始键后兄弟MFC-J3940DW就可以快速完成任务，中途无需其他操作，连续稳定的自动走纸省心又省力。

3、支持自动双面打印功能

对于设计师行业和幼教行业这些用户来讲，在日常使用时难免会有双面打印文档的需求。一般来讲，使用传统的打印机打印双面文档需要手动进行翻面，不仅费时而且非常容易出错。而使用自动双面打印功能就可以解决这一难题，整个双面打印的过程可自动完成，真正解放了双手。

不仅如此，双面打印文档能够大幅度减少纸张的消耗，一定程度上节省了纸张的开销，大幅度降低了后期的打印成本。

4、四色分离技术大容量墨盒

对于幼教行业而言，日常工作中会有大量的彩色打印需求，所以说对于打印质量就有更高的要求。这款一体机的墨水采用了颜料墨水，打印出来的图象色彩比较艳丽，适合幼教行业的用户更好的进行教学设计。同时，颜料墨水最大的特点就是不易晕染，具有一定的防水性和耐光性，让打印出来的样张不易发生褪色现象，使得打印出来的图纸能够持久保存。

同时为了让日常使用更加方便，这款一体机的墨盒仓采用了人性化的设计风格。整个墨盒仓设计在机器的最右端，打开前盖即可看到整个墨盒仓。这款一体机的墨盒采用了四色分离的设计，最大的好处就是用完一色换一色，更换起来十分便捷。并且墨盒仓与墨盒均采用了明显的颜色标识，即便是新手用户也能够快速上手。

最后在印量方面，这款一体机采用了大容量的墨盒设计，黑色可以打印3000页左右，而彩色可以打印1500页左右，以满足日常高印量的打印需求。同时结合上墨水盒的售价，黑色单页打印成本约为0.06元。所以说综合来看，大容量的墨盒让用户无需担忧更换墨盒的频率，同时也带来了更低的打印成本。

3 更易用的软件

1、安装驱动程序

首先按照惯例，我们还是先进行驱动程序的安装。获取方式十分便捷，在官网就可以获取到最新版本的驱动程序，按照提示即可完成安装。

总体来看这款兄弟MFC-J3940DW一体机的驱动安装步骤十分简单，即便是初次使用也能够快速上手，这对于第一次接触打印机的新手用户而言十分友好。

2、更方便的微信小程序打印

为了能够让打印文件变得更加便捷，这款兄弟MFC-J3940DW一体机为搭载了微信小程序打印功能，这一功能非常实用。其最大的特点就是就是无需安装任何APP，有微信就能实现打印操作，让打印文件更加便捷。同时还能直接打印微信聊天记录中的文档，让工作效率得到大幅度提升。

与此同时，在微信小程序中还搭载了丰富的教育资源，其中就包含了贺卡、日历、填色卡以及折纸等，这对于幼教行业用户来说十分友好。

3、更强大的软件加持

在安装好驱动程序后也会相应为用户安装好Brother iPrint&Scan软件，利用这款软件可以轻松完成日常的打印以及扫描操作。整体软件的布局十分简洁，功能上可大致分为打印和扫描功能。

在扫描的设置中，我们可以对文档的尺寸、颜色设置以及分辨率进行个性化的选择，最高分辨率可支持1200*1200dpi，方便用户扫描高质量的文档。并且扫描后的文档可以进行预览，确认无误后可以进行扫描操作。保存的方式非常多样化，能够满足不同用户的使用需求。

不仅如此，这款一体机支持Brother Mobile Connect APP，在使用的过程中无需安装驱动程序就可以直接打印文档和图片，让日常的工作效率大幅度提升。并且在APP的最上端搭载了墨量显示，能够随时查看到耗材的剩余情况。

这里我们以打印图片为例，APP能够直接读取手机相册内的图片。选中图片后即可开始打印，并且能够对打印介质、纸张尺寸以及质量的参数进行设置，满足不同用户的打印需求。

4 兄弟MFC-J3940DW一体机输出速度测试

下面我们开始对兄弟MFC-J3940DW一体机进行输出速度的测试，本部分共有打印、扫描以及复印三个部分组成。需要说明的是，所有图文文档均采用标准模式进行打印，而KDY单页矢量图形和照片则采用精细模式进行打印。并且整个测试的过程均采用PC端直连的方式测试，能够最大程度避免网络延迟带来的影响。详细的测试结果如下：

从测试结果来看，单页表格的打印速度不到5秒，而30页文档连续输出打印成绩在1分15秒左右。可以看出这款兄弟MFC-J3940DW一体机具有较快的首页输出速度，并且同样拥有不错的连续输出能力，以应对日常大批量的打印需求。不仅如此，我们也进行了A3幅面的打印测试。无论是单页的表格还是图文，打印成绩均在14秒左右，让日常打印大幅面的图纸更加游刃有余。

而在扫描速度方面，200dpi下单页表格用时不到4秒，同时300dpi下连续扫描30页文本总用时在1分30秒左右，具有不错的表现。即便是使用1200dpi分辨率扫描A4照片，用时也可控制在40秒左右，让用户的扫描效率大大提升，不会把过多的时间浪费在等待中。

最后我们来看下复印方面，单页表格的复印速度在5秒左右，复印A3幅面的表格和图文用时均在14秒左右，完全能够满足日常的使用需求。

总体来看，这款兄弟MFC-J3940DW一体机不仅拥有高效的首页输出速度，同时在扫描速度和复印速度方面也有不错的表现。即便是打印或者复印A3幅面的纸张，依然具有不错的成绩。所以对于设计师行业或者幼教行业的用户来讲，这款兄弟MFC-J3940DW一体机完全能够胜任日常的工作。

5 兄弟MFC-J3940DW一体机输出质量测试

接下来我们对兄弟MFC-J3940DW一体机的打印质量进行了测试，测试结果如下：

以上就是兄弟MFC-J3940DW一体机的所有打印样张，需要说明的是以上的所有样张均采用兄弟MFC-J3940DW一体机以600*600dpi精度扫描上传而成。我们从测试样张中不难看出，这款一体机具有不错的打印质量。其中文档中的文字清晰而锐利，具有较强的可阅读性。不仅如此，这款一体机在色彩方面也具有不错的表现，从照片的样张中就可以清晰看出。其中花瓣的颜色过渡十分自然，具有较强的色彩还原度。并且画面的明暗细节分明，能够满足用户高质量的打印需求。

KDY矢量图局部

与此同时，由于设计师行业用户日常会经常输出线稿类的设计图纸，所以说对于打印机精度会有更高的要求。为此，我们截图了KDY矢量图的样张局部。可以清晰看出，样张的线条清晰、笔直，具有较强的辨识度，所以说这款兄弟MFC-J3940DW一体机能够胜任日常的打印需求。

6 写在最后

综合来看，这款兄弟MFC-J3940DW一体机在各个方面具有不错的表现。为了能够满足设计师、幼教等行业用户的特殊打印需求，这款支持A3幅面的彩色一体机可以说恰到好处。不仅拥有丰富的功能，以满足多样化的办公需求。同时具有高效的输出能力和高品质的输出质量，为行业用户保驾护航。

(8043945)

AAAI2022全面揭秘！Tencent OCR 手写数学公式一键识别

| 导语 AI交互部/手写识别组主导研究并撰写的论文《 Handwritten Mathematical Expression Recognition via Attention Aggregation based Bi-directional Mutual Learning》被CCF A类会议AAAI 2022 Oral录用。在会议今年整体接受率降低至15%的背景下，成功录用背后是我们团队对公式识别技术方向的深入思考和长期技术积累。后续团队内关于公式识别相关技术工作也会融到Tencent OCR OTeam中。

TencentOCR介绍

TencentOCR为公司级协同项目，于2021年4月正式成立，打通并连接公司内部各个AI团队在OCR方向的研发能力，实现1 1>2的协同效应。项目针对OCR领域建设一套从预处理到识别到后处理的全流程链路，打造业界领先的OCR技术与服务。 公式识别作为OCR一个重要子方向，在智慧办公、智慧教育等场景下都有重要的作用，对于完善TencentOCR闭环能力有积极的作用。

背景与挑战

试想一个场景，你正在用腾讯文档编辑一篇科研报告，刚好需要插入一条复杂的公式，你会怎么办？按照传统的处理方式，第一种是打开公式编辑器一个个符号点选拖拽到编辑区，第二种是直接用latex语言来编辑。但这两种方式都不高效，后者还需要用户有latex的语法基础。而现在如果有一个工具能够接收一个包含公式的图片（可以是电子、印刷或者手写），直接对图片中的公式进行识别并插入到文档中，能极大的提升我们的文档编辑、办公协作效率。（此功能目前已上线腾讯文档在线幻灯片）

除了智能办公场景外，数学表达式理解也是在线教育系统的核心基础模块。它被广泛应用于各种智能教育应用中，如自动推荐问题[1]、学生分析[2]、自动解题[3][4]。

要理解数学表达式，首先必须将包含数学表达式的图像转换为结构表达式，例如LaTeX数学表达式或符号布局树，这个过程被称为数学表达式识别(Mathematical Expression Recognition,MER)。而对比于传统的文本符号识别（Optical Character Recognition ,OCR）,公式识别具有更大的挑战性。首先，公式识别不仅需要从图像中识别所有符号，还需要捕捉符号[5]之间的2-d空间位置关系；其次，同一个公式中的符号尺度变化较大；第三，手写体公式符号书写的多样性和复杂性进一步加大了识别的难度。

公式识别相关工作概述

许多传统的公式识别方法是基于语法的，如图语法，子句语法和关系语法。例如Anderson等[6]最早在1967年提出了公式识别的概念，并提出了以句法为标准分割，采用自上而下的分析方法识别数学公式的方法。O’Gorman L[7]把基本的公式识别流程分为符号切割、符号识别以及符号重组这三个步骤。在符号切割阶段，使用水平投影的方法进行符号切割；在符号识别阶段，使用模板匹配的方法；在符号重组阶段，对于公式的二维结构，使用自顶向下的方式。此系统在结构简单的公式上取得了较好的识别效果，但是对于积分、根式、极限公式等复杂结构识别率较低。Lee等人[8] 提出了一个公式检测与识别系统。在公式识别模块中，找到公式后，通过分割连通域的方法，先把公式分割成几个部分，再使用特定算法切分粘连部分；之后使用训练好的分类器对切分结果进行字符识别。此系统在有限的公式中效果较好，但只能识别根式、分式和上下标三种类型，可识别的公式类型较少。在Okamoto等人[9]的系统中，将公式识别分为依据字符投影的轮廓信息进行公式分割、使用模板匹配法进行符号识别以及自顶向下和自底向上的结构分析法。但这些方法都具有一些局限性，只能针对某些场景，且泛用性不强。

随着深度学习的快速发展，在过去的几年中，许多基于编码器-解码器框架[10]的方法在MER中取得了优异的性能。Deng等人[11]率先在ME识别中使用了编码器-解码器模型。Zhang等人[12]提出了一个基于注意力的端到端手写数学公式识别模型（WAP），该模型首先利用编码器对输入表达式图像进行编码，并再利用解码器将其解码成LATEX符号串。其中，编码器是一个卷积神经网络(CNN)[13]基于VGG架构[14]，它将图像映射到高级功能。解码器是一个循环神经网络(RNN)[15]与门控循环单元(GRU)[16]，将这些高级功能转换为输出字符串，一次一个符号，并且设计了覆盖注意机制，通过考虑过去的对齐概率来克服解析不足或过度解析的问题，在CROHME 2014和CROHME 2016的数据及上取得了较好的效果。与传统的手写体数学表达式识别方法相比，基于注意力的编码器-解码器模型具有三个特点: 端到端可训练；它是数据驱动的，而传统系统需要预先定义的数学语法；通过注意模型实现符号自动分割。针对WAP模型，多位学者对其进行了改进，Zhang等[17]增加了一个额外的DenseNet [18] 分支利用多尺度特征以此处理不同大小的符号（DWAP- MSA)。Wang等[19]提出了一种同时具有在线和离线编码分支的多模态网络充分使用两个分支的互补信息去改善识别的精度。Wei Zhang等人[23]利用了全新的双注意力机制去更好的识别和定位公式的结构，对于每个预测的符号，解码器中建立的注意力模型扫描整个输入表达式图像，并选择最相关的区域来描述数学符号或空间运算符。此外，一些方法通过引入数据增强等附加数据来提高识别性能，包括模式生成策略 PGS[20]、公式图片随机尺度增强 SCDA[24]，以及使用印刷公式作为识别的指导 DLA [25]、PAL[27] 和 PAL-v2[21]， Truong等[26]提出基于单一符号的弱监督识别网络，加强了对字符的识别能力（WS WAP）。还有一些方法改进了解码器，例如BTTR[28]首次在公式识别中引入了Transformer decoder 解码器，提出符号位置编码以此较精确的关注特定的区域来提高识别精度，并且在解码的时候利用双向解码信息； DWAP- TD[22]提出树型解码器，把公式分解为树型结构，来增强处理复杂公式的解码能力。另外，Chungkwong Chan等[29]对输入图像做预处理，把公式分解为各个笔画，然后利用在线公式识别模型识别有序的这些笔画，以此提高识别精度。

然而，上述方法都存在两点不足：第一，基于WAP的方法都没有充分的利用“未来”信息，而仅计算了历史attention。尽管BTTR对双向信息利用做了初步尝试，但并未加入显式的监督信息进行双向蒸馏学习。第二，没有充分融合公式符号的多尺度特征。

论文算法框架

基于上述方法存在不足，本文提出了一种称为ABM的端到端公式识别框架，如下图所示。主要由三个模块组成：

1）特征提取模块（FEM）：用于从数学表达式图片中提取特征信息；

2）注意力聚合模块（AAM）：其集成了Multi-Coverage Attention，主要对齐历史注意信息，同时兼顾不同大小符号的特征尺度学习；

3) 双向相互学习模块(BML)： 利用自蒸馏思想，实现并行解码以补充信息。其由两个具有相反方向解码器（L2R和R2L）构成，在训练阶段每个解码器不仅学习自身LaTeX序列，同时也学习另一分支信息，从而提高解码能力；

特征提取模块（FEM）

本算法使用DenseNet作为编码器，并通过其提取特征。输入是公式图片，输出是H×W×D的特征图，其中H、W和D分别表示特征图高宽和通道数。具体地说，可将输出特征视为具有M维的内容序列a，即a={a1,a2,...,aM},其中ai∈RD,M=H×W.

注意力聚合模块（AAM）

注意力机制帮助解码器关注其感兴趣区域。特别是, 基于coverage attention机制更好地对齐特征信息并指导未关注区域分配更高的注意力概率。受 Inception模块的启发，我们提出了注意力聚合模块 (AAM)。与传统注意力相比，其不仅关注精细的局部特征，还关注更大感受野上的全局信息。从而帮助模型捕捉更准确的空间关系。如上图所示，AAM的计算过程分别使用隐藏态h^t，覆盖注意力βt，当前注意力权重αt，上下文向量ct：

As=Usβt,Al=Ulβt

Us和Ul分别表示小核和大核卷积参数。其中βt表示所有过去注意力概率和，其计算过程如下：

βt=∑l=1t−1αl

其中αt表示时间步t的注意力分数。其计算过程如下：

αt=vaTtanh⁡(Wh^ht^ UfF WsAs WlAl)

其中，Wh^∈Rn×d, Ws∈R1×d 和Wl∈R1×d是可训练权重矩阵，Uf是 1×1 卷积运算，ht^表示GRU的隐藏状态。

上下文向量为ct：

ct=∑i=1Mαt,iai

双向互相学习模块（BML）

传统公式识别方法按照从左到右解码顺序，利用注意力机制完成解码任务。但由于注意力机制本身存在漂移问题，同时并未考虑长距离依赖性。因此，我们提出通过双向解码器将输入转换为两个相反方向（L2R和R2L）LaTeX序列，然后使用自蒸馏思想完成信息交互。需要注意的是，双向解码器的分支具有相同网络结构，唯一不同的是解码方向。

对于双向训练，添加<sos>和<eos>作为LaTeX序列起始终止符。特别地，对于长度为 T的LaTeX序列Y={Y1,Y2,...,YT}；

其中，从左到右 (L2R) 序列表示为

从右到左 (R2L) 序列表示为：

对于时间步t，L2R和R2L分支输出概率值过程如下:

隐层态ht计算过程如下:

将自蒸馏思想引入，两解码分支通过Kullback-Leibler (KL) Loss在每个时间步上进行相互学习：

total loss为:

实验效果

1.与先前SOTA效果比对

我们基于公开 CROHME 2014 竞赛数据集训练模型，并在三个公共测试数据集上测试我们的模型：CROHME 2014、2016 和 2019。 然后我们将 ABM 与之前的SOTA进行比较。 为了确保性能比较的公平性，参与评测的所有方法都没有使用数据增强。 从上表可以观察到：所提出的模型 ABM 显著提高了识别准确率（ExpRate），在三个测试数据集上分别比基线（DWAP）提高了 6.25%、5.49% 和 6.26%

2. 单模块效果

从上表可以看出：（1）在baseline模型中加入attention aggregation module提高了2.04%的识别准确率（2）在baseline模型上增加了一个逆解码方向的解码分支进行相互学习，实现 4.63% 的精度增长 (3) 而ABM 的结果表明，这两个模块同时使用会产生累积效应，提高了模型的整体精度。

3. 不同编码方向效果

我们验证了双向相互学习相对于单向相互学习和原始单向模型训练（Uni-L2R 或 Uni-R2L）的优越性。 我们为单向互学习配备 AAM 以形成 AUM 以进行公平比较。 从上表来看，我们的方法（ABM）将识别准确率提高了 6.25% 以上。 同时，实验表明两个逆解码器之间的相互学习比单向相互学习更有效。

4. 不同编/解码器效果

我们在不同的编码器和解码器上验证了ABM的通用性。 为了公平起见，所有实验都使用相同的设置。 如上表所示，对于不同的编码器，我们将 DenseNet 替换为 MobileNetV2 和 Xception，它们的原始模型分别被提高了 4.47% 和 3.65%。 对于不同的解码器，GRU、LSTM 和 Transformer 分别提高了 6.25%、5.49% 和 3.34%。

5. 解决前后缀不均衡问题

RNN 的一个主要弱点是它们的不平衡输出，具有高质量的前缀但低质量的后缀识别。 而使用 ABM 后，L2R 分支的前缀识别准确率从 85.29% 提高到 88.73%，后缀从 80.02% 提高到 84.37%。 因此，L2R 分支可以从 R2L 分支中学习到解码知识，更好地适应长距离依赖。

可视化结果

1. Attention可视化

为了进一步揭示我们提出的方法的内部工作机制，我们将连续解码的注意力过程可视化，如上所示。 注意权重以红色显示，深红色表示注意力的权重较高。

2. 添加AAM后注意力可视化效果

我们还做了额外的实验来比较仅使用或不使用 AAM 的视觉注意力图。结果说明使用 AAM 的模型可以更好的关注到小字符。

3. 特征图可视化

此外，我们通过 t-SNE 方法降维后可视化 CROHME 2014 测试集中十个符号的特征分布。 上图显示，与基线 DWAP 相比，我们的方法生成的不同符号的特征更加可分离。

致谢

TencentOCR Oteam自2021年4月成立以来，整体规划协作分工，将OCR在技术层面拆分检测、识别、端到端、视频OCR、预处理、后处理六个模块，并由不同部门负责，同时制定数据协同、框架协同、标准协同、测评协同的新模式。在这里感谢TencentOCR Oteam的主导方TEG信安团队@黄珊在内的同学们给予的支持，也感谢AI交互部手写识别组同学们的辛苦付出。

引用

[1] Qi Liu, Zai Huang, Zhenya Huang, Chuanren Liu, Enhong Chen, Yu Su, and Guoping Hu. Finding similar exercises in online education systems. In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, pages 1821–1830. ACM, 2018.

[2] Yu Su, Qingwen Liu, Qi Liu, Zhenya Huang, Yu Yin, Enhong Chen, Chris Ding, Si Wei, and Guoping Hu. Exercise-enhanced sequential modeling for student performance prediction. In Thirty-Second AAAI Conference on Artificial Intelligence, 2018.

[3] Lei Wang, Dongxiang Zhang, Lianli Gao, Jingkuan Song, Long Guo, and Heng Tao Shen. Mathdqn: Solving arithmetic word problems via deep reinforcement learning. In Thirty-Second AAAI Conference on Artificial Intelligence, 2018.

[4] Lei Wang, Dongxiang Zhang, Jipeng Zhang, Xing Xu, Lianli Gao, Bingtian Dai, and Heng Tao Shen. Templatebased math word problem solvers with recursive neural networks. 2019.

[5] Richard Zanibbi and Dorothea Blostein. Recognition and retrieval of mathematical expressions. International Journal on Document Analysis and Recognition (IJDAR), 15(4):331–357, 2012.

[6] Anderson, Robert H. "Syntax-directed recognition of hand-printed two-dimensional mathematics." In Symposium on Interactive Systems for Experimental Applied Mathematics: Proceedings of the Association for Computing Machinery Inc. Symposium, pp. 436-459. 1967.

[7] O'Gorman, Lawrence. "Image and document processing techniques for the RightPages electronic library system." In Proceedings., 11th IAPR International Conference on Pattern Recognition. Vol. II. Conference B: Pattern Recognition Methodology and Systems, pp. 260-263. ieee, 1992.

[8] Lee, Hsi-Jian, and Jiumn-Shine Wang. "Design of a mathematical expression recognition system." In Proceedings of 3rd International Conference on Document analysis and Recognition, vol. 2, pp. 1084-1087. IEEE, 1995.

[9] Okamoto, Masayuki, Hiroki Imai, and Kazuhiko Takagi. "Performance evaluation of a robust method for mathematical expression recognition." In Proceedings of Sixth International Conference on Document Analysis and Recognition, pp. 121-128. IEEE, 2001.

[10] D. Bahdanau, K. Cho, and Y. Bengio, “Neural machine translation by jointly learning to align and translate,” in Proceedings of International Conference on Learning Representations (ICLR), 2015.

[11] Y. Deng, A. Kanervisto, and A. M. Rush, “What you get is what you see: A visual markup decompiler,” arXiv preprint arXiv:1609.04938, vol. 10, pp. 32–37, 2016.

[12] Zhang, Jianshu, Jun Du, Shiliang Zhang, Dan Liu, Yulong Hu, Jinshui Hu, Si Wei, and Lirong Dai. "Watch, attend and parse: An end-to-end neural network based approach to handwritten mathematical expression recognition." Pattern Recognition 71 (2017): 196-206.

[13] A. Krizhevsky, I. Sutskever, and G. E. Hinton, “Imagenet classification with deep convolutional neural networks,” in Advances in neural information processing systems, 2012, pp. 1097–1105.

[14] K. Simonyan and A. Zisserman, “Very deep convolutional networks for large-scale image recognition,” arXiv preprint arXiv:1409.1556, 2014.

[15] J. Zhang, J. Du, and L. Dai, “Multi-scale attention with dense encoder for handwritten mathematical expression recognition,” in 2018 24th International Conference on Pattern Recognition (ICPR), pp. 2245– 2250, IEEE, 2018.

[16] G. Huang, Z. Liu, L. Van Der Maaten, and K. Q. Weinberger, “Densely connected convolutional networks,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4700– 4708, 2017.

[17] Graves, A.-r. Mohamed, and G. Hinton, “Speech recognition with deep recurrent neural networks,” in Acoustics, speech and signal processing (icassp), 2013 ieee international conference on. IEEE, 2013, pp. 6645–6649.

[18] J. Chung, C. Gulcehre, K. Cho, and Y. Bengio, “Empirical evaluation of gated recurrent neural networks on sequence modeling,” arXiv preprint arXiv:1412.3555, 2014.

[19] J. Wang, J. Du, J. Zhang, and Z.-R. Wang, “Multi-modal attention network for handwritten mathematical expression recognition,” in 2019 International Conference on Document Analysis and Recognition (ICDAR), pp. 1181–1186, IEEE, 2019.

[20] A. D. Le, B. Indurkhya, and M. Nakagawa, “Pattern generation strategies for improving recognition of handwritten mathematical expressions,” Pattern Recognition Letters, vol. 128, pp. 255–262, 2019.

[21] J.-W. Wu, F. Yin, Y.-M. Zhang, X.-Y. Zhang, and C.-L. Liu, “Handwritten mathematical expression recognition via paired adversarial learning,” International Journal of Computer Vision, pp. 1–16, 2020.

[22]Zhang, Jianshu, et al. "A tree-structured decoder for image-to-markup generation." International Conference on Machine Learning. PMLR, 2020.

[23] Zhang, Wei, Zhiqiang Bai, and Yuesheng Zhu. "An improved approach based on CNN-RNNs for mathematical expression recognition." In Proceedings of the 2019 4th international conference on multimedia systems and signal processing, pp. 57-61. 2019.

[24] Li, Zhe, et al. "Improving attention-based handwritten mathematical expression recognition with scale augmentation and drop attention." 2020 17th International Conference on Frontiers in Handwriting Recognition (ICFHR). IEEE, 2020.

[25]Le, Anh Duc. "Recognizing handwritten mathematical expressions via paired dual loss attention network and printed mathematical expressions." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2020.

[26]Truong, Thanh-Nghia, et al. "Improvement of End-to-End Offline Handwritten Mathematical Expression Recognition by Weakly Supervised Learning." 2020 17th International Conference on Frontiers in Handwriting Recognition (ICFHR). IEEE, 2020.

[27]Wu, Jin-Wen, et al. "Image-to-markup generation via paired adversarial learning." Joint European Conference on Machine Learning and Knowledge Discovery in Databases. Springer, Cham, 2018.

[28]Zhao, Wenqi, et al. "Handwritten Mathematical Expression Recognition with Bidirectionally Trained Transformer." arXiv preprint arXiv:2105.02412 (2021).

[29] Chan, Chungkwong. "Stroke extraction for offline handwritten mathematical expression recognition." IEEE Access 8 (2020): 61565-61575.

产品全流程管理将是产品原型工具未来发展的趋势

数字转型成为了企业未来的发展趋势，同样产品也应当有这种转型的思路。作者结合自身经验，以摹客RP为例，对比其他原型工具，深度挖掘产品经理的痛点以及摹客RP未来想在这片红海中脱颖而出，可以努力的一些方向。

看到摹客RP征文大赛的时候，思考了很多，过去在画产品原型的时候个人更偏好AXURE和墨刀，同时辅以VISO和XMind等思维和流程设计软件。

收到邀请后对 “摹客RP”这款产品进行了初步了解，同时又对其他产品原型工具进行了调研和体验，总体来说主流产品原型工具将流程图软件、脑图设计软件、交互原型设计软件和图形设计软件等进行了完全融合，就产品经理在原型设计工作方面而言原型设计工具已经做的非常完善了，所以对于功能而言已经挑不出来什么问题了，但是产品经理的蛋糕就那么大，大家分一分就差不多了，而且产品经理对工具的使用具有很强的忠诚度，对产品经理原型工具所谓的某些亮点如果不能完全触及产品经理最痛的点他们很少会更换原型工具。

产品原型工具在切合产品经理痛点方面很关键，将直接决定产品原型工具未来发展方向和运营策略的展开，毕竟经常长期发展产品工具已经是一片红海，只有更具吸引力的产品作为支撑才能在红海中杀出一条血路，提升品牌的市场份额。

结合自己在产品、运营和营销方面的综合经验及在带大运营团队（产品 运营 营销）工作过程中出现的很多问题，觉得产品原型工具应该跳出单纯的产品经理的产品工具思维，向高效沟通的产品（项目）全流程管理方向发展。

当然 “摹客RP”这款产品已经在产品原型制作、设计切图、技术开发和测试方面做的非常完善了，但是这些并非是产品经理最痛的点，所以也很难在红海的竞争中做到四两拨千斤的作用。

那么什么是产品经理最痛的点呢？什么又能在红海竞争中拔得头筹让“摹客RP”这款产品获取更高的收益？

一、产品经理最痛的点

1. 沟通问题

产品经理在面对技术和设计的时候沟通往往会很顺畅，因为有流程图、原型图和标准，所以沟通问题不在这个圈子里。

最令产品经理头疼的沟通问题是与产品需求方的沟通上，产品设计的好坏决定权不在产品经理而在运营、营销和管理者一方，而有效和高效沟通对于产品原型规划的最终结果很关键，但往往受限于产品经理的理解力、经验和产品需求方对需求描述的清晰程度决定了产品原型制作的时效性和有效性。经常会出现一个产品从立项到定稿需要经过多伦沟通会、评审会，产品经理改来改去耗费了大量的时间，增加了工作强度，甚至会让公司对产品经理的能力产生质疑而让产品经理压力巨大。

综合以上痛点很多产品经理平台和社区提出来产品经理要懂运营、懂营销、懂客户、懂市场、懂战略战术……如果让产品经理把这些都懂了，没有几年是做不到的，所以高效沟通理解产品需求方意愿是产品经理最大的痛点之一。

2. 产品管理优先级问题

产品经理往往不仅仅是产品原型的设计者和制作者，很多还是项目管理者，而其对接的部门很多，哪个部门都觉得自己的产品应该最先设计开发，自己的产品是最重要的，很少思考产品经理的工作量是否达到极限，这样就会造成产品经理在项目管理上的混乱，造成工作强度和压力居高不下，高层领导看不到产品经理巨大的工作量，只会看到需求迟迟不能满足，这样也会对产品经理的能力产生质疑，所以产品管理的优先级也是产品经理最大的痛点之一。

二、“摹客RP”产品的收益来源

1. 流量增长

流量是互联网企业的关键价值所在，因为庞大的流量带来的收入是多元化的，而“摹客RP”产品的流量主要来源是产品经理，但是产品经理总体规模相对固定，每年的增量也是有限的，所以获取大流量仅仅局限于产品经理这个圈子是很有限的，需要考虑让所有的产品设计开发的参与方都融入进来。

目前“摹客RP”产品已经将产品经理、设计、技术和测试这些参与产品设计开发方面的工种融入产品工具中，但是这还远远不足以将产品设计开发所有的参与者全部融入，所以我们应该将目光前移将目标锁定在产品需求未确认之前的参与方，这样流量即可翻倍增长。

2. 消费客户的增加

产品原型工具盈利模式很大一部分来自附加功能产品的付费和大客户（企业）的使用付费，所以如何有效提升客户付费率和挖掘客户潜在价值成为“摹客RP”产品盈利的关键，产品经理和企业客户之间往往是一种共生关系，产品经理使用“摹客RP”产品往往会推动企业使用，企业使用“摹客RP”产品也会强制自己的产品经理使用。

所以在消费客户的增加上我们不得不考虑企业与产品经理甚至是其他角色的共生关系，企业的运营人员和企业管理者对于企业使用哪个产品软件也具有一定的话语权，所以驱动这批客户的消费倾向也变得尤为重要。

综合产品经理最大的痛点和“摹客RP”产品盈利方向和条件，“摹客RP”产品未来的发展和运营方向相对也就清晰了很多。

三、“摹客RP”产品未来的发展方向

1. “写字板”功能

产品模板库 “傻瓜式”原型创作的多角色互动操作功能，解决沟通时效和降低沟通成本。长期工作经验总结出的高效工作习惯是不再带着记事本开会，而是带着写字板开会，记录核心内容的同时可以自由的发挥出整体的框架，发展的趋势，甚至是画出一个大概的模式和原型，这样在跟我的产品经理沟通的时候用写字板能够减少无效沟通提高沟通效率，从而提高工作效率。

将“写字板”做成产品原型设计的一个功能将能够有效提升产品经理的理解力，同时产品需求方（运营、营销和管理者）也成为了产品原型设计工具的参与者，产品原型工具平台的流量会成几何倍数的增加，产品需求方的运营和企业管理者都参与进来更容易撬动企业付费客户的增加，直白一点就是产品需求方往往能够决定是否需要支出这部分费用，只有他们觉得有价值了才能更好的推动支出。

2. 项目管理功能

项目优先级设置，新项目优先级提升高层领导决策功能设计。产品经理最头疼的就是多头需求，多个项目开发的优先级问题，虽然产品经理作为项目管理方，但是其受限于职位等因素往往造成优先级不清，还要承受极大地压力和工作强度，与其这样不如将优先级决策权限交给高层领导，由高层领导进行决策，这样产品需求方就很难争抢有限的开发资源，产品设计开发工作也能更顺畅，降低产品经理工作强度和工作压力。

3. 产品工作数字化功能

产品经理的工作业绩往往会以项目进行呈现，而每个项目的工作量又是不一致的，所以如何让产品经理的工作完全数字化呈现对产品经理的工作能力更科学，也不会再出现因沟通和优先级问题造成的质疑了。

产品经理产品工作数字化功能包括项目数量和进度，需求数量和进度，产品设计工作数量和进度，这几个维度能够用数字展示出产品经理工作情况，对产品经理的工作和能力的评价更科学，当然这项功能是开放给高层领导和人力资源部门的，而这些角色具有支出决策权，对开拓企业市场会有很大的助力。

以上就是针对产品经理痛点和“摹客RP”产品盈利模式进行的未来“摹客RP”产品功能开发方向不成熟的设计计划，新方向定了，没有好的运营营销策略新功能也很难在短期内占领市场成为让企业盈利的利器，新产品增加了产品设计开发需求方和高层领导的决策功能将有助于推动流量和企业用户的增加，下面就来简单介绍一下未来的运营方向。

四、“摹客RP”新功能产品的运营方向

1. 数字驱动偏好

产品经理工作数字化驱动企业管理者和产品经理对“摹客RP”产品的选择偏好，用数字量化考核产品经理的功能驱动企业管理者更好的监督产品经理的工作，在互联网企业时间就是生命是最真实的反映，任何一个创新产品的生命周期都是很短暂地，所以产品设计和开发变得尤为重要，实时掌控产品设计开发进度对企业管理者非常重要，同时也让真正有能力和努力工作的产品经理在其工作数字化过程中真正获益。

产品全生命周期协作工具：将产品设计工具由产品需求确定后的产品设计开发向前融入需求沟通碰撞环节，将传统的末端协作变为产品全周期协作，借此撬动产品需求方的应用选择和产品经理的应用选择，全生命周期协作将有助于提升沟通效率降低产品经理的工作量和工作强度。

2. 彼此驱动共生共荣

前面讲了产品经理和企业客户之间往往是一种共生关系，具有相互促进的作用，所以在提升“摹客RP”产品盈利能力的过程中要充分应用产品经理和企业的共生关系，同时也要考虑产品需求方与产品经理和企业之间的共生关系，共生也是为了企业更好的发展繁荣，所以要充分利用这种共荣的情怀，辅以必要的诱因引导产品设计开发的参与者的选择偏好，挖掘参与者的潜在价值（复购和大客户转化）。

简单一点就是私域流量运营即挖掘产品经理、运营营销等需求方和高层管理决策者驱动企业选择“摹客RP”这款产品作为企业产品全流程管理的工具，在运营的过程中需要针对不同的角色参与者进行精准画像、挖掘痛点、设计话术让这些人真正了解“摹客RP”产品对他们工作中的帮助有多大。

3. 数字情怀驱动企业偏好

数字转型成为时代主题，产品作为企业发展的重要一环也需要数字化转型，而企业自身的系统很难支撑产品设计工作的数字化转型，因此“摹客RP”产品完全可以帮助企业在数字化转型的过程中弥补这一环节，所以帮助企业完成数字化转型的宣传也将驱动企业的选择偏好。

以上就是对“摹客RP”在产品全流程管理方面做的新产品功能的开发方向和运营方向规划设计，主要目的是解决产品经理在产品规划前期的痛点，融入管理决策者、运营和营销等角色参与到产品前期沟通环节中，有利于提升“摹客RP”产品的流量，借助决策管理者和运营等角色具有的话语权增加“摹客RP”产品服务企业的概率进而提升其盈利能力。

将产品全流程管理作为本次 “摹客RP”产品测评大赛规划设计的参赛文章，虽然没有局限于“摹客RP”产品大赛组委会给出的单一选题方向，但是借鉴了过去的工作经验和工作过程中发现产品设计制作的问题进行了发散性展开，但主要还是围绕产品经理的痛点和产品设计工具盈利需求进行的展开设计，望组委会各位评委理解和支持。

本文为2022摹客RP原型工具测评大赛的测评文章，如对摹客RP感兴趣可点击体验链接：https://www.mockplus.cn/rp-event/?hmsr=woshipmdongkesong

本文由北漠 授权发布于人人都是产品经理。未经许可，禁止转载。

题图来自Unsplash，基于 CC0 协议

该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务。

真·机械朋克！物理学家用扬声器搭建神经网络，登上今日Nature

晓查 发自 凹非寺

量子位 | 公众号 QbitAI

用喇叭识别手写数字？

听起来好像是玄学，但这其实是正经的Nature论文啊。

下面的图，表面上看起来是个改造过的喇叭，其实用它来识别手写数字，正确率接近90%。

这就是来自康奈尔大学的物理学家们整出的新花样。

他们用扬声器、电子器件、激光器，分别造出了声学、电学、光学版的物理神经网络（PNN）。

而且以上这些神经网络还能用反向传播算法执行训练。

物理学家整出PNN的原因是：摩尔定律已死，我们要用物理系统拯救机器学习。

据这篇文章所说，和软件实现的神经网络相比，PNN有希望将机器学习的能效和速度提高好几个数量级。

如何用物理反向传播

科学家之所以能用物理设备搭建神经网络，是因为物理实验与机器学习的本质都是一样的——调参、优化。

物理学中存在着非常多的非线性系统（声学、电学、光学都有），能和人工神经网络一样用来逼近任意函数，。

声学的神经网络就是这样的。

两位做实验的博士后拆掉了扬声器上方的振膜，将方形的钛金属板和喇叭动圈相连。

来自计算机的接收控制信号以及金属板震荡产生的输入信号，再把信号输出到扬声器上，由此制造了一个反馈闭环。

至于如何进行反向传播，作者提出了一种混合物理世界与计算机的算法，称为“物理感知训练” (PAT)，可以反向传播直接训练任何物理系统来执行深度神经网络的通用框架。

在声学神经网络系统中，振荡板接收由MNIST图像改造的声音输入样本（红），在驱动振动板后，信号由麦克风记录（灰），并及时数模转换为输出信号（蓝）。

整个物理系统的流程如下图：先将数字信号转换为模拟信号，输入进物理系统中，然后将输出与真实结果对比，经过反向传播后，调整物理系统的参数。

通过对扬声器参数的反复调试，他们在MNIST数据集上达到了87%的正确率。

也许你会问，训练过程中还是要用到计算机啊，这有什么优势？

的确，PNN在训练上可能并不占优势，但PNN的运行靠的是物理定律，一旦网络训练完成，就无需计算机介入，在推理延时和功耗上都具有优势。

而且PNN在结构上比软件版的神经网络简单多了。

还有电学和光学版

除了声学版，研究人员还打造了电学版和光学版神经网络。

电学版使用了四个电子元器件电阻、电容、电感和三级管，就像中学物理实验一样，电路极其简单。

这套模拟电路PNN能够以93%的测试准确率执行MNIST图像分类任务。

而光学版最为复杂，近红外激光通过倍频晶体被转化为蓝光，不过这套系统的准确率最高，能够达到97%。

另外，这套光学系统还能对语音进行简单的分类。

以上所用到的物理系统训练算法PAT可以用于任何系统，你甚至可以用它来打造流体乃至机械朋克版神经网络。

参考链接：

[1]https://www.nature.com/articles/s41586-021-04223-6

[2]https://github.com/mcmahon-lab/Physics-Aware-Training

[3]https://news.cornell.edu/stories/2022/01/physical-systems-perform-machine-learning-computations