声音年 - 第4章:唤醒单词
今年是家庭助理的必威是什么声音年。我们的目标是2023年,用户用自己的语言讲话来控制家庭助理。必威是什么
我们有个好消息:唤醒终于来了!4章后,我们现在拥有最终的家庭助理语音构建块。必威是什么
在第1章,我们从“打开厨房灯”和“开放车库门”等文本命令开始。我们现在支持56种语言并有188个贡献者帮助每个人翻译常见的智能家庭命令。
第2章引入了语音命令的音频:语音到文本和文本到语音。这包括当地选项,以最大程度的隐私以及支持家庭助理云,以实现令人难以置信的速度和语言覆盖范围。必威是什么最后第3章,我们添加了将家庭助理设置为Android手机和手表上的默认必威是什么助手的能力。
对于第4章,我们现在在家庭助理内添加了Wake Word处理。必威是什么唤醒单词是特殊的单词或短语,告诉语音助手即将说命令。例如:嘿Google,嘿Siri或Alexa。
必威是什么家庭助理的唤醒单词正在利用一个名为的新项目OpenWakeWord大卫·斯克里普卡(David Scripka)。该项目具有现实世界的精度,在商品硬件上运行,任何人都可以训练自己唤醒单词的基本模型一个小时,免费。
要今天尝试唤醒单词,请遵循我们的最新指南13美元的语音助手。
要观看此博客文章的视频演示,包括现场演示,请检查我们现场直播的录制。
在家庭助理中唤醒单词必威是什么
唤醒单词很难构建。它们是基于AI的,几乎没有误报的空间,并且需要非常快的速度:与进来一样快的音频。在说唤醒单词后,您无法让语音助手开始听5秒钟。语音卫星硬件通常没有很多计算能力,因此Wake Word引擎需要硬件专家来优化模型以平稳运行。
我们不想将自己限制在单一类型的硬件上,因此我们决定更改方法:我们在家庭助理内进行唤醒词检测。必威是什么语音卫星设备将不断在您的房间中采样当前音频以进行声音。当它检测到声音时,卫星会将音频发送到家庭助理,在那里它将检查唤醒单词是否被说明并处理随后的命令。必威是什么
唤醒单词架构的概述
这种方法的优点是,即使没有足够的功率在本地进行唤醒单词检测,即使它没有足够的功率,任何流式音频的设备也可以变成语音卫星。它还使我们的开发人员社区可以轻松地使用新的Wake Word模型进行实验,因为它们不必首先缩小它以便能够在低功率的语音卫星设备上运行。
要尝试一下,请按照我们的更新教程进行创建自己的13美元语音助手。
这种方法有缺点。首先是捕获的音频的质量有所不同。带有多个麦克风和音频处理芯片的扬声器手机非常干净地捕获声音。具有单个麦克风且没有后处理的设备?没那么多。我们通过在家庭助理内部进行音频后处理来弥补音频质量差,用户可以使用更好的语音到文本模型来提高准确性,例如家庭助理云中包含的型号。必威是什么
这种方法的另一个缺点是,每个卫星在流媒体音频时都需要家庭助理内部的持续资源。必威是什么使用我们当前的方法,用户可以在不压倒Raspberry Pi 4的情况下运行5个语音卫星(假设所有卫星都同时流式传输)。为了扩展,我们已经更新了怀俄明州协议允许用户在外部服务器上运行唤醒单词检测。
怀俄明州是我们的协议,允许在其他程序和/或计算机中运行语音助手的一部分
用户可以选择每个配置的语音助手什么唤醒单词要收听
OpenWakeWord
对于内置的唤醒单词,我们依靠OpenWakeWord大卫·斯克里普卡(David Scripka)。这是一个有4个目标的技术奇迹:
- 足够快地使用现实世界
- 足够准确以实现现实世界的使用
- 具有简单的模型架构和推理过程
- 几乎不需要手动数据收集即可培训新型号
为了实现其目标,OpenWakeword围绕着由Google训练并使用我们的文本到语音系统进行微调的开源音频嵌入模型吹笛者。Piper用于使用独特的方法为每个唤醒单词生成数千个音频剪辑,从而创造出不同扬声器的无限变化。然后,将这些音频剪辑增强到声音,好像它们是在多种房间,距麦克风距离的特定距离和不同速度的距离。最后,将片段与背景噪音(如音乐,环境声音和对话)混合在一起,然后才能进入训练过程以生成唤醒单词模型。
OpenWakeWord培训管道的概述。
必威是什么Home Assistant将OpenWakeWord作为附加组件运行,默认情况下具有各种唤醒单词模型,包括我们的“ Oke Nabu”模型。单击下面的按钮安装它。
安装后,将通过怀俄明州集成发现附加组件。
OpenWakeWord当前仅适用于英语唤醒单词。这是因为我们缺乏许多不同演讲者的其他语言的模型。可以对其他语言的类似模型进行培训,因为每种语言都可以使用更多的多演讲者模型。
如果您不运行家庭助理操作系统,OpenWak必威是什么eWord也可以作为Docker容器。容器运行后,您将需要添加Wyoming集成并将其指向其IP地址和端口(通常为10400)。
做你自己的唤醒词
使OpenWakeWord独特的是它可以微调Google模型的能力,该模型是通过Piper生成的假语音剪辑在真实声音的剪辑中训练的。这使得在不从真实人那里收集样本的情况下创建自己的唤醒单词是可能的(尽管实际样本可以改善结果)。
David创建了一个Google Collacn Notebook,以创建您自己的OpenWakeWord模型。输入所需的唤醒单词,一个小时后,您可以获取自己的唤醒单词(使用所有Google Consect用户可用的免费计算)。
首先,请参阅我们的新“创建自己的唤醒词” - 教程。
用笔记本生成的模型将表现出色。他们的表现也不会像接受大量广泛培训的家庭助理那样。必威是什么
唤醒单词生成笔记本的屏幕截图
其他尾流引擎
在家庭必威是什么助理中,我们运送默认值,但允许用户配置其语音助手的每个部分。这也适用于我们的唤醒单词。
唤醒单词引擎可以通过将其添加为集成或将其作为独立程序来与家庭助理进行集成,必威是什么该程序通过怀俄明州协议。
唤醒单词如何整合到家庭助理中必威是什么
例如,我们还可以使豪猪(V1)唤醒单词引擎可用。它支持英语,法语,西班牙语和德语的29个唤醒单词,包括计算机,Framboise,Manzana和Stachelschwein。
重复使用和重新利用:创建语音卫星的不同方法
我们正在根据我们的开放式愿景来建立语音助手:一个智能的房屋,重视隐私,选择和可持续性。经常被称为可持续性一部分的两个词是重用和重新利用。
由于我们的语音卫星只能捕获音频,因此可以将许多“旧技术”抽屉中的许多设备作为语音卫星赋予新的生活和目的。
当通过USB捕获音频时,我们建议使用USB扬声器,因为它们包含清理音频并增强声音的音频处理芯片。它们还带有扬声器,看起来有点像人们期望的是语音卫星的外观。我们在测试中取得了很好的结果Anker PowerConf S330。它确实需要固件更新,然后才能与家庭助理一起使用。必威是什么
由于Raspberry Pi的USB端口的功率限制,一些USB扬声器将需要电动USB集线器。
将家庭助理必威是什么变成语音卫星
您可以配置运行家庭助手的设备以捕获音频并将其变成语音助手。必威是什么为此,您需要插入USB麦克风或扬声器电话,并配置辅助麦克风附加组件。必威体育存款在麦克风可必威是什么用之前,可能需要重新启动您的家庭助理设备。
必威是什么带扬声器的家庭助理蓝色
使用Esphome将任何ESP32变成语音卫星
埃斯法姆是我们的固件允许用户轻松为其智能家园创建设备。在语音 - 第2章的年份中,我们增加了对Esphome的支持,以便当用户按下按钮时接受语音命令。
如今,该支持已扩大,以允许任何带有I2S麦克风的ESP32设备成为家庭助理的语音卫星。必威是什么
面包板上的语音助手。
推荐零件:
此方法要求用户具有配置Esphome设备的基本经验。
将任何旧的覆盆子Pi变成语音卫星
我们做了乡土卫星可用的可用,使您可以将USB麦克风或扬声器连接到旧的Raspberry Pi或任何其他Linux计算机,并将其变成家庭助手的语音卫星。必威是什么
尽管任何Linux计算机都可以使用,但我们建议将其限制为基于ARM的处理器,因为它们使用的能量较少。
此方法要求用户知道如何在Linux系统上安装应用程序。
科学家的语音办公时间
我们希望家庭助理必威是什么被用作开发新的唤醒单词,语音到文本和文本到语音引擎的科学家的平台。与家庭助理合作,您可以在现必威是什么实世界中的语音助理中尝试模型。家庭助理必威是什么社区热爱新技术,将非常擅长测试它和Providig反馈。
可以使用引擎插入Home Assistant的必威是什么语音管道怀俄明州协议。虽然很小,但怀俄明州协议对于首次集成商来说可能很棘手。如果您是这样的人,请与我们联系[电子邮件保护]我们将帮助您整合。
下一步是什么
现在,对于语音助手的所有部分就已经建立了基础,我们可以更容易地分享我们接下来要做的工作。
我们希望努力支持人们与其他语音助手一起使用的最常见任务。这包括对多个购物清单,计时器和天气预报的支持。
为了提高准确性,OpenWakeWord可以通过用户通过自己的语音卫星进行录音来进一步微调模型。我们希望用户能够轻松记录自己,并让Home Assistant创建此改进的模型。必威是什么
在语音卫星方面,我们将集成更高级的音频处理,以提高唤醒单词和语音到文本的精度。我们还将尝试再次尝试使尾流词在Esphome内部运行。
语音卫星的改进将需要更高级的硬件,我们的目标是ESP32 S3框3。这是现在停产的ESP32 S3 Box(和Lite版本)的新变体。Espressif告诉我们,它将很快有货。
如果您已经有ESP32 S3盒变体,则可以安装我们的杂物配置在可用时接收这些更新。
这是一个包装!
我们希望您喜欢唤醒单词,并在房屋周围设置语音卫星。让我们知道它的发展,并与我们分享您的经验。
在第5章中很快见!
谢谢
非常感谢David Scripka的OpenWakeword。感谢杰西·希尔斯(Jesse Hills)的耐心和支持,而迈克(Mike)和我探索了Wake Word Architectures并帮助Esphome适应。非常感谢Nabu Casa的每个人都帮助制作和审查了今天的内容。
感谢家庭助理社区订阅必威是什么必威是什么家庭助理云支持家庭助理,Esphome和其他项目的声音和开发年份。必威是什么
感谢我们的语言领导者将句子支持扩展到所有各种语言。