Scratch3.0设计的插件系统(上篇)

1万 · 2019-5-9 00:56

我们每个人在内心深处都怀有一个梦想: 希望创造出一个鲜活的世界，一个宇宙。处在我们生活的中间、被训练为架构师的那些人，拥有这样的渴望: 在某一天，在某一个地方，因为某种原因，创造出了一个不可思议的、美丽的、摄人心魄的场所，在那里人们可以漫步，可以梦想，历经很多世纪绵延不绝. --Christopher Alexander

Scratch是一个游乐场在我心目中，Scratch便是这样的一个美丽的场所，孩子们和保持着童真的成年孩子们在其中漫步、游戏以及梦想。Ta们在Scratch这个游乐场中创造并分享着乐趣
Scratch是一个伟大的项目，无论从它最初的愿景(在A Networked, Media-Rich Programming Environment to Enhance Technological Fluency at After-School Centers in Economically-Disadvantaged Communities这篇提案中有详述最初的构想和愿景），还是它后来的实现，无论就它的软件设计，还是项目影响力而言，都堪称杰作。
如果你对Scratch的前世今生感兴趣，可以翻翻我之前的这篇**:Scratch的前世今生, 当时刚读完《爆裂》，借助《爆裂》一书提供的线索和借助互联网，我沿着理念传承这条线，从雷斯尼克的Scratch追溯到派珀特的**语言，之后抵达皮亚杰的认知论（再往前甚至将追溯到洛克的经验论）
将于今年8月发布的Scratch3.0无疑将延续这个传统，继续做出振奋人心的东西。
Scratch是个游乐场，而且是一个设施完善的游乐场，你可以在其中发挥天马行空的想象力，创造出属于你的世界。

1万 · 2019-5-9 00:56

Scratch是个像素世界

唯一的遗憾是，这个世界以像素的形式出现。当然你可能觉得这哪是什么遗憾，像素世界比身边这个原子世界广阔多了。去过四维空间的人，回到三维空间，即便漂浮于太空，外面是浩瀚的星空，仍会觉得逼仄得很，一些人的星辰大海只不过是囚禁另一些人的牢笼。这是一种患有幽闭恐惧症的感受。同样，如果你在虚拟世界浪荡久了，回到现实中来，可能也会觉得匮乏，饭居然是要一口一口吃的！我明明都已经完整吃了一口了，这个世界甚至都不提供一个for循环积木块！

但现在是三月，江南的三月，**鸣寺樱花盛开的三月，站在**鸣寺下、玄武湖前的樱花树下，无论阴雨还是春风，你都很难不被这个由原子而非像素构成的世界所打动。

虽然这个原子世界的确可能就是像素构成的...anyway，先抛开你的怀疑论，让我们进入正题。

我们说了这个多科幻的内容，正题并不是你期待的《三体》，这篇**准备讨论的是如何为Scratch3.0构建一个通用的插件系统，让Scratch3.0能与来自物理世界的硬件打交道

我们准备构建一个通道，连接原子和像素世界

1万 · 2019-5-9 00:57

来自物理世界的硬件

物理世界有许多参数，诸如温度、湿度、磁场、速度、光照强度...以及，你喜欢的姑娘身上特有的香味

这些参数可以被各种各样的传感器所捕获(你身上的绅士风度属于不可知论范畴，不能被物理参数描述)，一旦你能捕捉到现实世界的各种参数，你就能做出许许多多好玩的东西，诸如，通过捕捉楼道的声音，你可以做到: 当楼道里有声响时，把楼道里的灯打开，这样一来你就做出了声控灯。可是你不想白天楼道里也亮着灯，怎么办呢？你可以把光照的信息也捕捉了，这样一来你就可以在光线不足且有人经过的时候才开灯,这样一来就节约了电力。注意我说的是光线不足就开灯，而不是晚上，为什么呢，因为我们希望光线昏暗的时候，都能为行人提供照明，而不只是晚上，我们通过获取光线而不是根据昼夜时间来决定是否亮灯。这样系统可以在大白天里黑云压城的时候，也能贴心地为行人亮起灯，这便是所谓的"科技以人为本"

Scratch是个教育项目，如果它能更多地和现实发生关联，一个孩子在Scratch中创作的作品，能对接到各种硬件，在Ta现实中被使用，这些作品帮助了Ta的父母和邻居解决生活问题，Ta的学习热情将将被噼里啪啦点燃。关于这方面的描述，PC之父Alan Curtis Kay和**语言之父Papert都有过精彩论述

我们结下来要做的，就是实现这样一种架构，在这个架构之下，各种硬件(小车、四轴飞行器、cozmo、microbit、Circuit Playground Express)都能与Scratch3.0交互，而且这个架构将基于消息，利用pub/sub的机制，降低构件的耦合，提高系统健壮性和可重用性

1万 · 2019-5-9 00:57

为Scratch3.0设计的插件系统

Make everything as simple as possible, but not simpler

Scratch3.0

Scratch3.0基于html5构建，能轻松支持多平台运行，十分可期，而且带来了多项有趣的改进。目前的开发版可以在这儿尝鲜. 对源码有兴趣的小伙伴，想围观或者参与，都可以戳这里

社区里不少公司已经用Scratch3.0作出了许多令人惊叹的东西，Cozmo是其中的佼佼者

Scratch3.0原计划在今年春季正式发布，春天来了，樱花如期盛开，Scratch3.0却跳票了，推迟到8月份发布

人面不知何处去，桃花依旧笑春风
Scratch3.0的插件机制

自由有时候是一种负担

我们的目标是为Scratch3.0做一个插件系统，准确地说是做一个连接Scratch3.0与外围硬件的插件系统.

Scratch3.0已经有它自己的插件机制。Scratch3.0的插件机制比较简单，它允许你写一个自己的插件，这个插件在UI层面表现为自定义的积木块，你在积木块中定义好自己的原语(opcode),之后这个积木块和Scratch中默认的积木块一样，可以被用户拿来拼拼搭搭。用户拼搭的过程中，积木块的组合形式也就是程序将语义以json的形式传到scratch-vm,它们在vm中被解释运行，至于你在页面上看到的小猫的运动和声音，则是scratch-vm中程序的output：output的具体实现是scratch-audio和scratch-render的东西.这些属于实现细节，跟着官方的插件走一遍就行。

如果你熟悉scratch2和scratchx项目，你会发现，scratch3.0的插件机制和之前相似

从上边的描述中，我们可以发现，Scratch3.0的插件机制对于你应该如何与外部硬件设备交互，啥都没说。

在官方的插件机制中，你有极大的自由，因为它无为而治。有时候自由是一种负担，自由意味着你自己得作出选择，并承担所有的风险。
官方的尝试

说官方对Scratch3.0如何与外部硬件设备交互只字未提，可能会遭到官方的反驳，毕竟他们为乐高的wedo2机器人写了一个Scratch3.0插件（目前源码已经基本完成了，只是官方没有启用这个插件），通过这个插件，我们可以在Scratch3.0中操控wedo2机器人。这个插件的源码向你展示了Scratch3.0是如何与硬件交互的，但这个插件也还是缄默多于言说，目前开发文档几乎保持空白，Scratch官方似乎在有一种向维特根斯坦的恶意模仿

wedo2的源码很好读，写的也漂亮，虽说乐高赞助了mit media lab一个教授席位，但wedo2的源码并没有获得特殊待遇，而是用了标准的插件机制。如前所述，插件提供了wedo2的编程积木块，这些积木块的语义将传递到scratch-vm中执行，其中最关键的一步是通过socketio将语义传递给硬件。当然上边的说法过于笼统，我跟踪了这个过程，websocket管道的那端并不是直接连着wedo2机器人，而是连着一个本地插件，这个本地插件接着通过蓝牙连接wedo2. 这个本地插件本质上是个代理。

我之前的的blockly4pi和wedo2的设计几乎一样，这个项目之后我应该会开源出来，之前在jupyter的架构分析的**中提到过，如果你有兴趣可以翻阅我之前的**
社区的尝试

在说我的设计之前，我们来看看社区上已有的方案

目前把Scratch3.0玩得很溜的，国外有Cozmo，而国内有makeblock和kittenbot

我去年长途旅行经过深圳时，和makeblock和kittenbot在Maker Faire上碰过面，两个团队都非常优秀
Cozmo

先从Cozmo说起，Cozmo一骑绝尘，从产品、sdk源码到体验都惊艳之极。Cozmo的目前只公开了python SDK源码，从源码中我们可以看出，Cozmo的server里藏有一个ROS（Robot Operating System），这个ROS应该在它的APP里，这也是它为何如此依赖于APP的原因以及APP如此臃肿的原因。而它的Scratch3.0界面与它的ROS通信，我接下来准备提出的插件架构，本质上是我对Cozmo架构的猜想，因为它的源码未开放，我暂时没办法验证，但我们可以断言的是，cozmo的scratch是以消息的方式与硬件交互的（这是ROS系统的核心），这和wedo2很像，实际上在这一类项目目前只有两种架构风格。大分类下，wedo2和cozmo属于一类，下边我们要说的makeblock和kittenbot是另一类

我最近花了1.5个周末读完《ROS机器人编程实践》才理解了Cozmo的架构设计（至少在逻辑上），这里边的很多问题，并不是Scratch图形化编程的问题，而是ROS的问题，所以至今Cozmo并无对手。毫无疑问，Cozmo对Scratch3.0的应用上也是一骑绝尘的。这让人想起那句称赞约翰·麦卡锡的那句话

巨人随手丢下的鹅软石都是巨石

mblock

接下来我们说说makeblock对Scratch3.0的应用，这里我们只关心mblock操作程小奔（硬件机器人）相关的部分，AI和DL部分有空再说

插个题外话，mblock中有许多精彩的工作，其中我最喜欢的一个部分是，他们顺利做到让microbit支持多任务(甚至事件)，这个microbit官方目前都还做不到（在python中），实现机制十分精巧，经过逆向分析，我们可以看到具体的代码实现（实际是用正则做预处理），不过即便不通过逆向分析，我们通过观察积木块生成的python代码，也能猜到预编译的机制，关于这块我们之后有空再说

mblock对硬件的操作是通过将scratch3.0积木generate出python代码来做的，之后将代码灌入他们的硬件机器人（程小奔）中，也就是说在mblock中，Scratch3.0被当作blockly来使用(典型的blcokly app风格)。此外值得一提的是，mblock中有一个叫做通讯变量的概念，这个概念很有趣，它能把硬件和scratch连通。限于篇幅和我困了，也之后再说

程小奔使用micropython构建，可能是目前最大的micropython项目之一，关于硬件这块，这里也没空多说，前头废话说了太多，对不起诸位。我们之后找个时间来说说mblock是如何使用esp32板子做出程小奔的，当然很多部分是我的实验加猜测，毕竟源码mblock还没有开放。

mblock和程小奔在工程上都是漂亮的作品，给工程团队打call！
kittenbot

小喵家的公众号我一直是关注的，小喵们做了许多geek且有趣的工作。团队人不多，但做出的东西却很赞！此处星星眼

kittenbot之前是open source，新的版本似乎没开放，不过mblock和kittenbot对开源社区都很友好，之后会开放也未可知。

kittenblcok中之前对microbit的操作也是generate成python再灌入的，这点和mblock相似。最近我没怎么用kittenblcok，不知道最近是不是有调整，等我有空试完再补充。
我的设计

写到这里都半夜了，只好把这篇**拆分为二了，有空再来补上我的自己的插件架构设计

在这个设计之上，我们已经作出了一个具体的实现(scratch3.0和microbit的互操作)，准备以软件包的形式发布(正在制作)，可见我们是吃自己的狗粮的

架构层面主要受ROS和jupyter的影响

我们下篇里见

1万 · 2019-5-9 00:58

Scratch3.0设计的插件系统(上篇)

Scratch3.0设计的插件系统(上篇)

相关下载

相关帖子

突出贡献奖章

沉静之湖泊

七世轮回

技术奇才奖章