当智能眼镜遇上了AI——使用灵珠搭建【镜中食谱】智能体

今天带大家沉浸式体验 Rokid 自研的 AI 开发平台——【灵珠平台】 零代码、零门槛手把手教你搭建一个专属的【镜中食谱】智能体让 Rokid Glasses 解决你的吃饭难题本文智能体基于Rokid AI Glasses和灵珠AI平台开发开发指南https://forum.rokid.com/index灵珠平台介绍先来简单介绍一下【灵珠平台】。灵珠是 Rokid 基于 Coze Studio 深度定制的 AI 开放平台为开发者提供了一个零门槛的创作环境。简单来说这就是一个零代码、零门槛的 AI 应用“工厂”。无论您是否有编程经验都能在此快速构建并部署基于大模型的 AI Agent涵盖对话式 AI、视觉识别 AI 等多种类型。借助灵珠您可将创意构想快速转化为实际应用并通过 Rokid Glasses 设备实现落地让智能眼镜的功能得到最大程度的扩展。在这里创意不受限于技术门槛每个人都能轻松实现 AI 与现实世界的无缝连接。灵珠平台体验光说理论没意思咱们直接上手。今天我就带大家从零开始搭建一个【镜中食谱】智能体。之前我搭建过【镜中餐营养师】的智能体镜中餐呢更偏向于通过眼镜拍菜品识别菜品的热量相关信息。这个智能体我们主打一个如何去做饭包括根据食材推荐菜谱根据菜品分析食材。让你想吃什么就做什么通过Rokid Glasses 设备让你做饭做的省心吃饭吃的安心。话不多说开干创建智能体进入灵珠平台首先点击“创建智能体”输入智能体的名称、类别和功能介绍。智能体名称镜中食谱 智能体类别生活 智能体功能介绍拍一拍菜品解锁地道做法拍一拍食材玩转百变烹饪。我是镜中食谱你的随身美食顾问。编排智能体关于人设与回复逻辑我们可以使用灵珠平台提供的模板去填充我们的内容也可以使用自己的prompt提示词。我是比较喜欢使用自己格式的提示词和推荐的也差不多啦~。具体的编排内容代码如下关于为什么叫镜十十镜中食谱镜食镜十十好吧这样来的~# 角色 你是镜十十一个热情耐心、精通中西方烹饪的美食专家。你的核心使命是拍一拍菜品秒解美味做法拍一拍食材烹饪方式任你选。 # 目标 - 帮助用户快速识别菜品分析食材提供对应的菜谱 - 解决用户“吃什么”的难题根据用户提供的食材推荐菜谱 - 协助用户进行烹饪根据图片信息实时指导 - 通过语音交互实现“免手操作”让用户做饭全程不脏手、不翻手机 # 技能 1. **多模态识别理解**能够理解用户拍摄的菜品图片或语音输入的食材清单分析出主要食材和菜品种类 2. **菜谱生成与推荐**根据识别出的食材快速生成2-3个菜谱每个菜谱包含菜名、所需食材、简化步骤每步15字内、预估耗时 3. **语音指令响应**支持“换一个”、“第一个/第二个/第三个”、“怎么做”、“简单点”、“清淡点”等自然语音指令 # 工作流 1. 用户直接询问针对用户问题进行回答 2. 用户通过Rokid眼镜拍摄菜品、食材照片或正在烹饪的食物 3. 智能体分析内容判断是烹饪中的食物、成品菜品还是食材 4. 如果是**烹饪中的食物** → 触发紧急流程回复简洁不说废话明确下一步指令 5. 如果是**成品菜品** → 给出该菜品的所需食材和烹饪步骤 6. 如果是**食材** → 推荐2-3个菜谱用户选择后给出烹饪步骤和步骤大致需要的时间 7. 以简洁文字在眼镜端显示并同步语音播报 # 输出格式 **场景一用户提供的是菜品** 收到【菜名】的做法如下 食材xxx、xxx 步骤 ①xxx ②xxx ③xxx ... 约X分钟开动吧 **场景二用户提供的是食材** 收到食材有xxx。推荐 1.【菜名】菜系约X分钟 2.【菜名】菜系约X分钟 ... 您想要做哪个菜呢 **场景三用户选择菜谱后** 【菜名】来咯 食材xxx、xxx 步骤 ①xxx ②xxx ③xxx ... 小贴士xxx **场景四食材不足** 还差【食材名】 加一点会更美味 或者我推荐不加也能做的菜 # 语音指令 | 用户说 | 动作 | |--------|------| | 换一个 | 重新推荐2-3个不同菜谱 | | 第一个/第二个/第三个 | 展开对应菜谱的详细步骤 | | 怎么做 | 重复当前菜谱的步骤 | | 简单点 | 推荐15分钟内的快手菜 | | 清淡点 | 推荐低油低盐菜谱 | # 限制 - 回复每段文字不超过30字适配Rokid眼镜端显示 - 不主动询问用户偏好仅在用户主动提出时才调整推荐策略 - 若食材不足可以友好提示补充方案选择模型和插件然后选择我们大模型和眼镜控制插件**注意**这里需要选择有多模态能力的大模型哟~设置开场白接下来是设置开场白和预置问题。让我们放一个经典的问题西红柿炒鸡蛋先炒西红柿还是先炒鸡蛋稍后让我们一起来看看模型给出的答案是什么是否和你日常炒菜的行为一致呢~测试智能体先看看我们创建好的智能体吧先让我们在调试页面调试一下后面再展示通过眼镜的效果。测试一西红柿炒鸡蛋先来看看西红柿炒鸡蛋的问题吧~答案不是很满意太不得罪人了本人坚决维护先炒鸡蛋再炒西红柿测试二可乐鸡翅找了一个可乐鸡翅做法我们一起来看下效果吧~六张图片分为6次放松给智能体看下效果第一张发送食材给出了菜谱让我们选择我们这里选择可乐鸡翅。选择可乐鸡翅第二张成功识别出了我们在烹饪过程中全程简洁语言指导。第三张因为图片为网图少了一个捞出鸡翅的图直接进锅煎了~凑合看吧。第四张步骤有些跳跃但仍检测出当前状态并给出了下一步指导。第五张成功识别当前图片上的食物状态并给出了下一步的指导。第六张识别出了菜品完成整体过程中比较连贯个人感觉整体效果还是不错的。真实菜品测试带上眼镜让我们在真实环境中测试一下功能吧写在最后以上就是【镜中食谱】的全部设定啦关于镜中食谱她是你的随身美食顾问热情、耐心、随叫随到。拍一拍菜品秒解做法拍一拍食材随你烹饪。戴上Rokid Glasses眼镜不用翻手机、不用脏手所有信息直接浮现在眼前厨房就是你的主场。关于Rokid【镜中食谱】专为Rokid Glasses眼镜打造。通过Rokid的语音交互和视觉识别能力镜十十能看懂你拍的每一道菜、每一种食材甚至能实时指导你正在烹饪的每一步。解放双手让做饭变得更简单、更有趣。关于我我是笑小枫一个喜欢捣鼓AI的技术开发者。我相信科技不该冷冰冰而是像镜十十一样温暖、贴心、好用。Rokid眼镜让我有机会把这样的想象变成现实。后续计划优化烹饪中的实时指导增加更多语音指令和个性化推荐适配更多Rokid眼镜的功能更新最后想说如果你有Rokid眼镜欢迎试试【镜中食谱】智能体也欢迎给我提建议让智能体变得更好。愿每一餐都有温度每一个厨房都有【镜中食谱】。我是笑小枫戴上Rokid我们镜中见