凯发k8国际首页登录科技
微信号：UnionScience
扫描关注，更多最新动态
凯发K8旗舰厅AG登录|天海翼快播|开源 AI 聊天机器人 MLC LLM 发布
凯发天生赢家一触即发ChatGPT✿ღ。k8凯发✿ღ，IT之家 5 月 2 日消息✿ღ，目前大多数 AI 聊天机器人都需要连接到云端进行处理✿ღ，即使可以本地运行的也配置要求极高天海翼快播凯发K8旗舰厅AG登录✿ღ。那么是否有轻量化的✿ღ、无需联网的聊天机器人呢？
一个名为MLC LLM的全新开源项目已在 GitHub 上线✿ღ，完全本地运行无需联网✿ღ，甚至集显老电脑天海翼快播✿ღ、苹果 iPhone 手机都能运行✿ღ。
MLC LLM 项目介绍称✿ღ：“MLC LLM 是一种通用解决方案天海翼快播✿ღ，它允许将任何语言模型本地部署在一组不同的硬件后端和本地应用程序上✿ღ，此外还有一个高效的框架凯发K8旗舰厅AG登录✿ღ，供每个人进一步优化自己用例的模型性能天海翼快播✿ღ。一切都在本地运行✿ღ，无需服务器支持✿ღ，并通过手机和笔记本电脑上的本地 GPU 加速✿ღ。我们的使命是让每个人都能在设备上本地开发✿ღ、优化和部署 AI 模型凯发K8旗舰厅AG登录✿ღ。”
IT之家查询 GitHub 页面发现✿ღ，这个项目的开发者来自卡内基梅隆大学的 Catalyst 计划✿ღ、SAMPL 机器学习研究小组以及华盛顿大学凯发K8旗舰厅AG登录✿ღ、上海交通大学和 OctoML 等✿ღ。他们还有一个名为Web LLM的相关项目✿ღ，该项目可以完全在网络浏览器中运行 AI 聊天机器人✿ღ。
此外✿ღ，ThinkPad X1 Carbon（第 6 代）也测试成功运行 MLC LLM✿ღ，这是一款搭载 i7-8550U 处理器的笔记本✿ღ，没有独立显卡✿ღ，配有英特尔 UHD 620 GPU✿ღ。MLC LLM 在 PC 平台需要通过命令行运行✿ღ，外媒测试表现一般般凯发K8旗舰厅AG登录✿ღ，回复时间需要将近 30 秒天海翼快播天海翼快播✿ღ，而且几乎没有连续对话能力✿ღ，希望能在后续版本中得到改进吧✿ღ。
