joinly.ai

joinly.ai是什么？

Joinly.ai是一个专注于AI代理实时互动​​的开源中间件平台，让 AI 智能体能够“加入”视频会议并实时参与协作，像真人一样听你说话、回应问题、执行任务，甚至共享屏幕。在 Zoom、Google Meet、微软 Teams 和其他视频平台上均可实现，适配 OpenAI、Anthropic、Ollama 等众多大模型以及大众主流的 Whisper、Deepgram 等语音服务，并支持以口语或文字方式参会交流；具备自然对话流转控制、说话人识别和执行任务等功能，非常适合企业专属定制使用或开发人员自己编写代码使用自己的 AI Agent 或者直接部署使用。

主要功能特点

• 实时会议协作：AI 代理可以在 Zoom、Teams、Webex 主流视频会议平台上实时监听发言和回应，比如记会议记录、实时翻译与回答开会者提问等。无需安装其他附加组件。
• ​​会话流程管理​​：可视化工具编辑对话轮次，有无条件分支（可根据用户的反馈修改之后的回答），上下文记忆等。
• ​​跨平台兼容性​​：对接 Slack、Discord 平台，以及企业微信、飞书等国内协作软件，可自托管部署保证用户的数据安全与隐私。
• 灵活的技术栈​​：开发者可以自行选择自己的 LLM、TTS/STT 模型，切换成 GPT-4、Claude、本地 Qwen 等模型。 
• 屏幕共享（即将上线）：可以在会议里和其他人的屏幕分享，看幻灯片或者白板、搜索结果等等。
• 100% 开源与隐私优先：可自托管部署确保自己的数据安全，公司以及各开发者自行定制开发！

应用场景​​

• ​​企业会议助手​​：自动总结会议要点、生成待办事项并分配责任人。
• ​​教育培训​​：实时解答学员问题，记录课堂互动数据供后续分析。
• ​​客户服务​​：在通话中自动识别客户需求，触发 CRM 系统同步工单。

​​技术优势​​

• ​​开源与自托管​​：代码完全公开（GitHub），支持私有化部署，避免敏感数据外流。
• ​​低延迟交互​​：优化音频处理链路，延时最低几毫秒，接近真人交互体验。
• ​​可扩展性​​：提供 REST API 和 SDK，方便对接企业内部系统（如 Salesforce、Zendesk）。

使用方法

1. 安装Docker 和 克隆Joinly项目代码：我们在本地安装好Docker，后面我们在终端中拿到我们的项目文件为Joinly的源代码，命令如下：

git clone https://github.com/joinly-ai/joinly
cd joinly

这将为你准备好部署 Joinly 的基础环境。

2. APIKey与模型服务：在根目录下新建 .env 并填写 OpenAI/Anthropic/Ollama 等大语言模型及服务（Whisper、Deepgram 识别服务）密钥。例如：

JOINLY_MODEL_NAME=gpt-4o
JOINLY_MODEL_PROVIDER=openai
OPENAI_API_KEY=你的OpenAI密钥

3. 拉取开始：通过上述命令拉取一个 Joinly 镜像（大概 2.3G 左右） docker pull ghcr.io/joinly-ai/joinly:latest，在这个会议里面运行这个镜像（zoom / google meet / teams meeting link），docker run –env-file .env ghcr.io/joinly-ai/joinly:latest -v –client

4. AI智能体参与会议交互：Joinly 会以 AI 代理身份加入会议，具备以下能力：

• 听你说话（通过语音转文字）
• 聊天回应与执行会议任务
• 提供实时建议、搜索信息、起草内容 此外，它还支持多说话人识别，未来还将提供 屏幕共享功能，用于展示文稿或协作白板。

5. 高度定制与本地部署支持：Joinly.ai 全部开源，你可以针对自己的场景链接任何模型/语音服务，可以自托管加入你部署的生态中。非常适配企业、开发者或者某些小组来实现 AI 会议助手 / AI Agent 的高级版本应用。

常见问题解答（FAQ）

Q1：Joinly.ai目前有哪些主要的交互方式？

A1: 目前主要有两类，第一个是 AI 可以在会议聊天里发消息；第二个是可以与参会者进行语音对话。以后还会实现屏幕共享的功能。

Q2：Joinly.ai 能应用在哪些具体的工作场景中？

A2: 可以用它来搜索网络、写 ppt、更新 miro kanban、发会后邮件，或者做会议总结文档等等；也可以用来连接自己拓展的其他需求，在会议中应用。

Q3：Joinly.ai 对于用户的拓展性体现在哪里？

A3：Joinly.ai 提供了一个通用接口，用户可以自行开发功能并连接到平台，在会议中使用自定义的功能。

一句话总结

Joinly.ai 是一个让 AI 真正“进会议室”的工具，让智能体能听、说、看、做，成为你的会议搭档。