为Scratch3.0设计的插件系统
Make everything as simple as possible, but not simpler
Scratch3.0
Scratch3.0基于html5构建,能轻松支持多平台运行,十分可期,而且带来了多项有趣的改进。目前的开发版可以在这儿尝鲜. 对源码有兴趣的小伙伴,想围观或者参与,都可以戳这里
社区里不少公司已经用Scratch3.0作出了许多令人惊叹的东西,Cozmo是其中的佼佼者
Scratch3.0原计划在今年春季正式发布,春天来了,樱花如期盛开,Scratch3.0却跳票了,推迟到8月份发布
人面不知何处去,桃花依旧笑春风
Scratch3.0的插件机制
自由有时候是一种负担
我们的目标是为Scratch3.0做一个插件系统,准确地说是做一个连接Scratch3.0与外围硬件的插件系统.
Scratch3.0已经有它自己的插件机制。Scratch3.0的插件机制比较简单,它允许你写一个自己的插件,这个插件在UI层面表现为自定义的积木块,你在积木块中定义好自己的原语(opcode),之后这个积木块和Scratch中默认的积木块一样,可以被用户拿来拼拼搭搭。用户拼搭的过程中,积木块的组合形式也就是程序将语义以json的形式传到scratch-vm,它们在vm中被解释运行,至于你在页面上看到的小猫的运动和声音,则是scratch-vm中程序的output:output的具体实现是scratch-audio和scratch-render的东西.这些属于实现细节,跟着官方的插件走一遍就行。
如果你熟悉scratch2和scratchx项目,你会发现,scratch3.0的插件机制和之前相似
从上边的描述中,我们可以发现,Scratch3.0的插件机制对于你应该如何与外部硬件设备交互,啥都没说。
在官方的插件机制中,你有极大的自由,因为它无为而治。有时候自由是一种负担,自由意味着你自己得作出选择,并承担所有的风险。
官方的尝试
说官方对Scratch3.0如何与外部硬件设备交互只字未提,可能会遭到官方的反驳,毕竟他们为乐高的wedo2机器人写了一个Scratch3.0插件(目前源码已经基本完成了,只是官方没有启用这个插件),通过这个插件,我们可以在Scratch3.0中操控wedo2机器人。这个插件的源码向你展示了Scratch3.0是如何与硬件交互的,但这个插件也还是缄默多于言说,目前开发文档几乎保持空白,Scratch官方似乎在有一种向维特根斯坦的恶意模仿
wedo2的源码很好读,写的也漂亮,虽说乐高赞助了mit media lab一个教授席位,但wedo2的源码并没有获得特殊待遇,而是用了标准的插件机制。如前所述,插件提供了wedo2的编程积木块,这些积木块的语义将传递到scratch-vm中执行,其中最关键的一步是通过socketio将语义传递给硬件。当然上边的说法过于笼统,我跟踪了这个过程,websocket管道的那端并不是直接连着wedo2机器人,而是连着一个本地插件,这个本地插件接着通过蓝牙连接wedo2. 这个本地插件本质上是个代理。
我之前的的blockly4pi和wedo2的设计几乎一样,这个项目之后我应该会开源出来,之前在jupyter的架构分析的**中提到过,如果你有兴趣可以翻阅我之前的**
社区的尝试
在说我的设计之前,我们来看看社区上已有的方案
目前把Scratch3.0玩得很溜的,国外有Cozmo,而国内有makeblock和kittenbot
我去年长途旅行经过深圳时,和makeblock和kittenbot在Maker Faire上碰过面,两个团队都非常优秀
Cozmo
先从Cozmo说起,Cozmo一骑绝尘,从产品、sdk源码到体验都惊艳之极。Cozmo的目前只公开了python SDK源码,从源码中我们可以看出,Cozmo的server里藏有一个ROS(Robot Operating System),这个ROS应该在它的APP里,这也是它为何如此依赖于APP的原因以及APP如此臃肿的原因。而它的Scratch3.0界面与它的ROS通信,我接下来准备提出的插件架构,本质上是我对Cozmo架构的猜想,因为它的源码未开放,我暂时没办法验证,但我们可以断言的是,cozmo的scratch是以消息的方式与硬件交互的(这是ROS系统的核心),这和wedo2很像,实际上在这一类项目目前只有两种架构风格。大分类下,wedo2和cozmo属于一类,下边我们要说的makeblock和kittenbot是另一类
我最近花了1.5个周末读完《ROS机器人编程实践》才理解了Cozmo的架构设计(至少在逻辑上),这里边的很多问题,并不是Scratch图形化编程的问题,而是ROS的问题,所以至今Cozmo并无对手。毫无疑问,Cozmo对Scratch3.0的应用上也是一骑绝尘的。这让人想起那句称赞约翰·麦卡锡的那句话
巨人随手丢下的鹅软石都是巨石
mblock
接下来我们说说makeblock对Scratch3.0的应用,这里我们只关心mblock操作程小奔(硬件机器人)相关的部分,AI和DL部分有空再说
插个题外话,mblock中有许多精彩的工作,其中我最喜欢的一个部分是,他们顺利做到让microbit支持多任务(甚至事件),这个microbit官方目前都还做不到(在python中),实现机制十分精巧,经过逆向分析,我们可以看到具体的代码实现(实际是用正则做预处理),不过即便不通过逆向分析,我们通过观察积木块生成的python代码,也能猜到预编译的机制,关于这块我们之后有空再说
mblock对硬件的操作是通过将scratch3.0积木generate出python代码来做的,之后将代码灌入他们的硬件机器人(程小奔)中,也就是说在mblock中,Scratch3.0被当作blockly来使用(典型的blcokly app风格)。此外值得一提的是,mblock中有一个叫做通讯变量的概念,这个概念很有趣,它能把硬件和scratch连通。限于篇幅和我困了,也之后再说
程小奔使用micropython构建,可能是目前最大的micropython项目之一,关于硬件这块,这里也没空多说,前头废话说了太多,对不起诸位。我们之后找个时间来说说mblock是如何使用esp32板子做出程小奔的,当然很多部分是我的实验加猜测,毕竟源码mblock还没有开放。
mblock和程小奔在工程上都是漂亮的作品,给工程团队打call!
kittenbot
小喵家的公众号我一直是关注的,小喵们做了许多geek且有趣的工作。团队人不多,但做出的东西却很赞!此处星星眼
kittenbot之前是open source,新的版本似乎没开放,不过mblock和kittenbot对开源社区都很友好,之后会开放也未可知。
kittenblcok中之前对microbit的操作也是generate成python再灌入的,这点和mblock相似。最近我没怎么用kittenblcok,不知道最近是不是有调整,等我有空试完再补充。
我的设计
写到这里都半夜了,只好把这篇**拆分为二了,有空再来补上我的自己的插件架构设计
在这个设计之上,我们已经作出了一个具体的实现(scratch3.0和microbit的互操作),准备以软件包的形式发布(正在制作),可见我们是吃自己的狗粮的
架构层面主要受ROS和jupyter的影响
我们下篇里见
|