Clipto 发布 Clipto Studio,让 ChatGPT 和 Claude 检索会议与通话录像
Clipto enables ChatGPT and Claude to search and analyze years of people's meetings and video calls - SiliconANGLE
Clipto 推出 AI 聊天机器人记忆平台 Clipto Studio,通过 MCP 接入 ChatGPT、Claude 等助手,让它们检索和分析会议、通话与演示的音视频内容。该平台在 Mac 和 Windows 本地运行自研模型,预先索引语音、说话人声纹、面部表情和屏幕画面,把原始素材转成结构化可搜索数据集。用户可让 ChatGPT 定位项目范围变更的具体时刻,或让 Claude 从数千通客户通话中提取常见问题与原话。
推荐理由
AI 评分 62
Clipto Studio 通过 MCP 把本地音视频索引接入 ChatGPT 和 Claude,读者可据此判断会议记录类知识如何进入现有助手工作流。
主题
正文 · AI 翻译
像 ChatGPT 和 Claude 这样的人工智能助手已成为全球数百万工作者的必备工具,它们能帮助人们在几秒钟内撰写邮件、生成复杂代码,并通过查看个人有权访问的任何数据来起草报告。
但这些聊天机器人的知识中缺少一样东西。问它们上周团队会议讨论了什么,或者昨天与客户的通话说了什么,它们就会答不上来。
正是这一短板,一家名为 Clipto Inc. 的初创公司正试图通过推出名为 Clipto Studio 的新 AI 聊天机器人记忆平台来解决,该平台使 AI 助手能够监听通话、演示和会议,并在收到请求时对其进行搜索或分析。
Clipto 认为,随着 AI 在日常工作中日益普及,这将是一项重要的能力。尽管 AI 聊天机器人能在几秒内翻查电子邮件收件箱和企业数据库,但许多公司最有价值的知识实际上并不存放在那里。相反,Clipto 表示,最重要的商业洞察被困在原始的视频和音频文件中。
大多数重大决策都是在 Zoom 通话、客户访谈和团队会议中做出的,但这些讨论的细节却以沉重、非结构化的数据格式存储,AI 处理这类数据的成本极其高昂。不过,如果 AI 能够找到访问这些知识的途径,它就有可能为工作者提供更有意义的帮助。
这正是 Clipto Studio 的用武之地。它是一套原生技能集,通过模型上下文协议(Model Context Protocol)直接与 ChatGPT、Claude 及其他 AI 助手集成,并由在用户的 Mac 和 Windows 电脑上本地运行的自研模型驱动。
该软件的工作原理是:先对语音、各个说话人的声音、面部表情以及其他屏幕画面进行预索引,然后将原始素材转化为结构化、易于搜索且针对 AI 聊天机器人优化的数据集。之后,当用户就近期某次对话、甚至两年前的某次对话提问时,它便能通过搜索这些录像的元数据,快速找到所需的答案。
Clipto 创始人兼首席执行官 Henry Kang 表示,AI 基本上知道网上发布的一切内容,但对于人们硬盘中存储的数 TB 音频和视频数据,却几乎尚未触及。
“下一代 AI 需要理解那些从未被写入文本文档的对话、经历和知识,”他说。“这就是我们正在构建的未来:赋予 AI 所需的记忆,让它不再只是根据互联网上的信息回答问题,而是能利用我们亲眼所见、亲耳所闻的信息,真正完成现实世界中的工作。”
Clipto Studio 可以被视为一种即时回放服务。例如,一位管理顾问可以让 ChatGPT 查看超过六个月的电话和会议记录,以精确定位项目范围发生变化的确切时间,而它会呈现出该变化发生的确切时刻。或者,一位研究人员可以提示 Claude 查看数千通客户来电,以找出某一特定产品或服务最常见的问题,并提取出能够体现这些问题严重程度的直接引语。
还有其他使用场景。例如,用户可以要求 Clipto Studio 查看他们参加过的数十小时活动演讲,并生成一个精彩集锦,呈现其中最有意思或最相关的时刻。
Clipto Studio 的正式发布对这家初创公司而言是一个重要时刻,该公司最近聘请了前 Google LLC 研究科学家韩梅博士担任新任首席科学家,以此彰显其雄心。韩梅拥有卡内基梅隆大学机器人学博士学位,她的任务是领导 Clipto 轻量级多模态 AI 架构的开发。
韩梅表示,她相信 Clipto 的使命,因为该公司正试图帮助 AI 以与人类相同的方式感知世界——通过观察和聆听周围发生的事情。
“挑战不仅在于识别语音或辨认屏幕上显示的内容,”她说。“而在于将数千段录像中的这些信息连接起来,使 AI 能够理解上下文并加以利用。我们正在构建这项技术,让视频和音频对 AI 而言像文本一样易于获取、一样有用,从而开启全新一代应用。”
图片:Clipto