OfficeAI助手 0.3.10 Help

本地部署AI引擎

使用APIKey

如果您有自己的大模型的APIKey时,您可以直接从自己机器上联网各厂商进行AI通话。 目前支持使用APIKey的模型列表如下:

  • ChatGPT

    • GPT-4o、GPT4-turbo、GPT3.5-turbo

  • 文心一言

    • 文心一言3.5、文心一言4.0、ERNIE-Speed-128K、ERNIE-Speed-8K

  • 阿里千问

    • qwen-turbo、qwen-plus、qwen-max-longcontext、qwen2

  • Llama

    • Llama3、Llama2

  • Kimi

    • moonshort-v1

  • DeepSeek

  • 自定义(OpenAI协议)

    • 如果您的APIKey是兼容OpenAI的ChatGPT协议的,你只需填写API的该网站的链接地址即可。

设置方法如下:

  • OfficeAI->设置->大模型设置->开启本地部署

  • 选择“APIKey”->选择“大模型”->选择“模型名”

  • 输入APIKey、API地址等相关内容

自定义api

示例:通过自定义APIKey使用xAI

xAI是埃隆·马斯克(Elon Musk)创办的一家AI公司,旨在开发与人工智能(AI)相关的技术和产品。你可以通过自定义APIKey在OfficeAI中使用其服务

  • 登录 “ https://console.x.ai/” 网站申请的APIKey

    apikey_xai.png
  • OfficeAI->设置->大模型设置->开启本地部署

  • 选择“APIKey”->“大模型”中选择“自定义(OpenAI协议)”

  • 在API地址中输入 “https://api.x.ai”

  • 在API_Key中输入在 “ https://console.x.ai/” 网站申请的APIKey

  • 刷新模型列表 并选择“grok-beta”

    image.png
  • 点击“保存”,您就可以在OfficeAI中使用xAI大模型了

    apikey_xai3.png

使用本地大模型

如果您想使用您自己的私有模型,您可以在本地安装 Ollama、LMStudio等本地大模型框架。这样可以在OfficeAI中使用自己的llama3、qwen3、Phi-3或者您自己微调的大模型。 设置方法如下:

  • OfficeAI->设置->大模型设置->开启本地部署

  • 选择“本地”->选择“框架”->点击“刷新模型列表”->选择“模型名”

  • 保存

本地大模型服务

开启本地大模型后,OfficeAI会在本地启动一个服务与Ollama和LMStuido通信.您在右下角的图盘可以看到他,单击托盘图标,可看到本地大模型的运行状态.

私有化部署

Last modified: 28 十一月 2024