2018年7月，Loup Ventures公司发布了一项“年度语音助手智商测试”，该测试将谷歌的Assistant与苹果公司的Siri、亚马逊的Alexa和微软的Cortana进行了对比。12月24日，这家公司又带来了“年度智能音箱智商测试”，而Google Home、Apple的HomePod和亚马逊的Echo等智能音箱的测试可以说非常有趣。
各大语音助手
谷歌Home Mini上的Google Assistant再次以100％的理解率完成了测试，这次的回答/响应正确率为87.9％，高于7月智能手机测试中的85.5％。Assistant的回答及其响应速度在本地、商业、导航和信息请求击败了所有对手，只在“命令”请求类别上排第二位，准确率为73％。
与之前的情况一样，搭载在Home Mini的谷歌助手表现最佳，它能够完全理解问题，回答问题的准确率高达 87.9%，高于7月份在智能手机上测试的85.5%以及高于Loup于2月份进行的最新智能音响测试的81%。谷歌助手的回答在本地、商业、导航及信息请求这四个类别中击败了所有竞争对手，只有在“命令”请求中排名第二，准确率为73%。
苹果公司搭载在HomePod上的Siri的表现较2月份的中等水平有了强劲增长，但仍不及其七月在iPhone上测试的表现。智能音响上的Siri回答问题的准确率为74.6%，高于2月份的52.3%，而理解问题的正确率为99.6%。Siri回答问题的准确率略低于7月份在iPhone测试中78.5%的准确率。Loup注意到Siri将“基本上除音乐以外的任何命令”的请求传递回iOS设备进行处理。即便如此，HomePod在“命令”类别中仍领先所有竞争对手，准确率达85%。
亚马逊的Alexa和微软的Cortana再次分列第三和第四位，但它们在智能音响上回答问题正确率方面都有所进步。搭载在Echo上的Alexa 的正确率为72.5%，相比之下，2月份搭载在智能音响上测试的正确率为64%，7月份搭载在手机上的正确率为61.4%，这一增幅几乎与价格昂贵得多的HomePod不相上下。搭载在Harman Kardon Invoke音响上的Cortana，回答问题的正确率为63.4%，高于2月份搭载在智能音响测试的57%和7月份在智能手机上测试的52.4%。
根据Loup Ventures的说法，专有名词仍然是各大智能音响的最大弱点，否则他们几乎可以完全理解用户的话语。然而，除了这些，所有的助手都在进行“有意义的”改进，Siri从增加额外的专业领域中获益，而Alexa则可能从Alexa Answers等众包知识中受益。一些智能扬声器还添加与第三方合作伙伴进行更大的交互功能。
而Loup Ventures预计明年7月将再次更新其智能手机数字助理的发现，它不希望只看到智能扬声器还只是在追求回答问题的准确率。相反，它们应该能执行更多的命令，包括控制更多的设备，或提升现有功能，如电子邮件、日历、和消息传递。在这个阶段，每一个改进都为用户增加了真正的价值，所以明年验证预测的时刻将是令人兴奋的。
