不懂硬件开发也能做智能终端？试试机器视觉开发堆栈！

赛灵思公司战略与市场营销部高级副总裁Steve Glaser日前在中国举行媒体发布会，向业界介绍赛灵思公司最新面市的针对终端设备的机器学习与智能视觉的开发堆栈reVISION。凭借这一堆栈技术，赛灵思帮助客户,尤其是很少甚至没有硬件知识的软件及系统级工程师完成了80%以上的设计工作，客户只需将自己的时间和精力用于完成剩下的20% 实现自己最具价值的创意即可。这也意味着，reVISION 这一全新堆栈技术消除了软硬一体化全可编程芯片广泛应用的障碍，从而为嵌入式视觉应用领域利用全可编程的深度学习和计算机视觉打造智能化的终端设备铺平了道路。

图1: 赛灵思公司战略与市场营销部高级副总Steve Glaser

Steve Glaser在谈论最新的终端机器视觉和人工智能技术时表示：“今天我们讨论终端的计算和嵌入式计算的时候，也需要来讨论机器学习的推断，计算机视觉，传感器融合，以及任意互联，这些因素是实现新一代的视觉导向自主智能系统的关键。”

“现在有很多公司都选择赛灵思的器件来开发视觉系统，但是他们并不是使用我们传统的FPGA器件，而是使用我们SoC器件，也就是Zynq SoC,这是一个硬件可以编程，软件也可以编程的系统级芯片。”Steve Glaser说，“这些公司之前是做出了很大的投入，也开发了很多关于硬件和软件的专业知识来使用赛灵思的器件，使得自己在竞争中相比竞争对手获得独特的优势。这包括一些在开发高级驾驶员辅助系统的汽车企业。现在已经超过23家车企在使用赛灵思的器件，而且已经装在超过85个汽车型号里。”

他还透露在汽车以外还有很多客户在做同样类似的开发，也是基于FPGA的芯片，结合各种传感器来做机器学习的应用。“现在我们的技术器件也用在一些其他的先进的应用当中，比如说无人机、虚拟现实/增强现实、医学诊断、工业视觉等等。现在我们的客户已经开始寻找下一代的技术，他们不仅仅是开发以计算机视觉为基础的解决方案，他们还在加入更多的机器学习、传感器方面的元素，也就是实现传感器的融合。虽然我们不知道具体我们的客户在做什么，但是我们知道已经有超过40家客户现在是在利用赛灵思的技术进行机器学习的技术开发。就像我之前说的，这些公司确实是投入了很多，而且也积累了非常丰富的硬件方面的专业优势，使得我们的器件能够为他们带来优势，但是再往后，我们主要的机遇应该是来自于要去克服，要去消除广泛采用的障碍，也是要提高这些客户的生产率，尤其是帮助他们能够更好的应用机器学习来开发新的自主系统。”

为了让更多的客户在开发先期减少软硬件的设计工作，赛灵思推出了reVISION堆栈。

在走访很多客户后，赛灵思听到了来自客户的三个需求。第一，客户们希望机器学习的智能性有所提高，同时他们也希望系统能够实现及时的快速响应来应对一切外部事件，比如行人从车前经过。这就是终端智能化的效率，不通过云计算即可实现智能化的应用。第二、降低成本和功耗。客户们也希望能够以非常高的效率使用非常先进的算法来运行这样的应用，比如说它的成本要低，它的功耗要低。第三是客户们也希望获得灵活性，因为一切都在不断的变化，神经网络和算法都在不停的变化。而且传感器的类型配置和组合也在不断的变化，因此客户希望能够非常便捷的来升级他们的系统，使得他们能够以最好的解决方案为客户服务。而且在一个万物互联的物联网世界，我们还需要实现对所有的网络，所有新兴网络的机器，甚至云的连接。Steve认为，这三大需求其实正是赛灵思独特的优势，赛灵思完全有能力在上述三个领域都提供非常独特的应用优势。

Steve认为，现在已经有很多客户是通过使用赛灵思的产品获得了很多的优势，而且在市场上与同类产品相比，这个优势是非常显著的。但是客户也需要付出额外的投入或者是工作，而且还需要具备相应的硬件方面的专有知识，才能够真正利用这方面的优势。所以要真正实现非常广泛的采用，我们就必须要支持新的编程模式，也就是软件定义的编程，同时还要满足相应行业标准库和新型的框架来支持机器学习的应用。所以，通过软件定义的编程以及符合行业标准的库和框架，就能够扩展视觉导向的机器学习应用范围。

reVISION堆栈包含一些基础的平台，可以支持算法的开发，而且它带有非常符合行业标准的库和元素，针对于计算机、视觉以及机器学习都是非常重要的。而且，它又更进一步采用的是应用的开发商喜闻乐见的平台。这些框架包括在机器学习领域是Caffe，在计算机视觉领域就是OpenVX。

“reVISION”产品的由来

“在一年半之前，我们推出首个软件定义的编程环境，也就是SDSoC，主要是面向嵌入式应用。现在我们已经有1100多名付费的用户，他们支付相关的许可费，其中有半数都是专注于视觉方面的应用。” Steve 表示“这虽然提高了产率，但是这个数字并没有达到我们或者我们客户所希望达到的目标，客户希望能够有符合行业标准的库和框架，帮助他们继续压缩开发时间。所以，通过reVISION的堆栈，开发时间可以大大缩短。而且reVISION的堆栈还能够服务于那些并没有掌握硬件方面专业知识的工程师。所以，传统的模式就是赛灵思提供芯片以及开发环境当中20%的解决方案，剩下的80%要由客户来完成。但是有了这个reVISION堆栈以后，赛灵思能够完成解决方案当中80%的工作，剩下的客户只要完成20%就可以实现自己的应用。所以正如我刚才提到的，这样的发展能够大大的拓展无论是工程师还是客户以及其他的应用对我们的器件和技术的应用，也使得这些新的客户能够获得至少比较大的之前专家级的客户能够获得的优势。所以以软件为基础的自主的reVISION，能够提供一些我这里提出的性能方面的优势。”Steve对专业媒体的现场提问作了详细的解释。

与GPU和典型SoC处理器相比的优势

在谈到与其他技术的竞争比较时，Steve也作了比较说明。

“我们和同类的产品相比，就是英伟达的Tegra和典型SoC，我们的解决方案在机器学习的效率方面能够提升6倍。通过我们的对比，我们还发现在计算机视觉领域我们的优势甚至更加明显，要达到40倍以上。在这样一个实时快速响应的系统当中，更重要的一个参数是时延，和其他的同类竞争产品相比，我们在时延方面只有1/5。现在一些硬件的专业客户如果他们花费很多的精力或者是时间的投入，他们有可能可以实现只有1/12的时延，还有10倍的机器学习效率。下面我详细讲一讲为什么低时延快速响应的系统非常重要。这张图所展示的情景是一辆小轿车跟在一辆小货车后面，这个小货车突然进行紧急停车。这个小轿车的时速是65英里，赛灵思的reVISION响应时间是2.5毫秒，英伟达的解决方案的响应时间可以从49毫秒一直到320毫秒，取决于工程师是如何来部署这样一个系统，这种响应时间的差异也体现在停车距离的差异，这个距离差是5英尺到33英尺不等，这期间的区别很有可能最后转化成结果，就是是否发生了撞车甚至撞到了行人。”

“典型的嵌入式的GPU和典型的SoC，在这样的情景下，传感器的数据是需要外部存储，然后在处理的步骤当中，也需要不断的去访问外部存储。但是如果是赛灵思的Zynq器件的话，客户就能够非常简化地获得非常直接的数据流，直接经过传感器、传感器的处理，还有机器学习，一直到控制。这就会对响应的时间造成很大的影响，除此以外，还会影响到可预见性，也就是我们客户所说的决定性，他们希望整个过程是可以预见的，可以确定的，并且响应速度要很快。所以赛灵思能够提供非常快速的决定性的响应，而我们的同类竞争产品它的响应速度要慢很多，而且是不可预见的。”

Steve还指出，赛灵思目前ADAS市场上最大的竞争对手是叫Mobileye，并不是英伟达。由于Mobileye提供一种“交钥匙”的解决方案，采用的方法是类似的软件算法再加上芯片。但是客户采用Mobileye的方案，就很难实现差异化。“如果是用赛灵思技术的话，他们就能够实现巨大的差异化的解决方案，这个会给他们带来很大的差异化优势。”车用ADAS目前赛灵思在市场份额上大概是25%，Mobileye市场份额是50-60%。“但是Mobileye的这些用户都并不是追求差异化设计的企业”。

Zynq芯片和reVISION的成本

关于成本，Steve的回应是的Zynq SoC是一个高度集成的嵌入式平台，几年以前，赛灵思刚宣布推出Zynq的时候，低端版本量产的价格差不多是15美元以下，现在赛灵思已经实现了一个更低的定价，而且推出了更低端的单核版本，同时也推出了高端产品如4核的，还有7核的异构MPSoC。硬件成本单颗芯片可以是从10美元至几十美元的组合，不再是“有些人说的几百美元甚至几千美元”

reVISION将于2017年第二季度开始供货。reVISION的IP使用赛灵思芯片的客户都可以免费获取。

Steve最后强调了reVISION产品的重要意义：第一是reVISION消除了向广泛视觉导向机器学习应用扩展的障碍。其次是如果再加上可重配置加速堆栈的话，reVISION就扩大了赛灵思全可编程技术机器学习应用从端到云的开发和部署。