在本地跑开源大模型,如果只是用来简单对话,那就没什么意思了。我们肯定是希望像用GPT一样,通过Python脚本,借助LangChain、Llama Index等框架、工具,对大模型进行增强和限制,比如:
- 增强:通过搭载知识库、搜索引擎,提升大模型信息的及时性,补充某个领域的知识。
- 限制:根据给定的工作流程、思考路径来处理任务,而非随意发挥。
OpenAI提供API接口,让这一切变得简单许多。其实通过LM Studio这类软件,也可以在开源大模型的使用上,达到同样的效果。
在上期视频中,我介绍了LM Studio的基本用法。
你可以把它简单理解为:就像国内的游戏模拟器平台,把模拟器、游戏库全都打包好了。不需要做复杂的调试,下载好了直接可以玩。
在此基础上,LM Studio还提供了进阶用法:
作为本地服务器,提供类似于OpenAI的API接口服务。
视频号:黄益贺
KZitem:huangyihe
公众号:newtype 超级个体
BGM from Musicbed: Showtime - Instrumental
Негізгі бет Ғылым және технология 像用GPT一样使用开源大模型
Пікірлер: 20