怎样在外网共享本地的大模型应用?

avatar_cover Alex Xiang
2025-02-01 298阅读

可以用Gradio来实现本地大模型应用的分享。这是一个简单而强大的Python库,旨在帮助用户创建交互式的机器学习和数据应用。它使用户能够快速构建Web界面,以展示模型、数据可视化和其他功能‌‌。

通过在launch()方法中设置share=True,可以轻松地将Gradio演示公开分享。如下所示:

import gradio as gr

def greet(name):
    return "Hello " + name + "!"

demo = gr.Interface(fn=greet, inputs="textbox", outputs="textbox")

demo.launch(share=True)  # Share your demo with just 1 extra parameter  

运行这个例子,结果如下:

python demo/test.py
Running on local URL:  http://127.0.0.1:7860
IMPORTANT: You are using gradio version 3.48.0, however version 4.44.1 is available, please upgrade.
--------
Running on public URL: https://547eabbc00701b541c.gradio.live

This share link expires in 72 hours. For free permanent hosting and GPU upgrades, run `gradio deploy` from Terminal to deploy to Spaces (https://huggingface.co/spaces)

这会生成一个公共的、可分享的链接https://547eabbc00701b541c.gradio.live,你可以将其发送给任何人!当你发送这个链接时,去他人可以在他们的浏览器中直接使用该模型。这对于快速演示大模型应用非常有效。

我们可以用浏览器打开这个地址(即使在外网也可以打开),看到的是一个很简单的页面,包括一个输入框和一个输出框:

共享链接在72小时后过期。并且要记住,共享链接是公开可访问的,这意味着任何人都可以使用你的模型进!因此,请确保不要通过你编写的函数暴露任何敏感信息,或者修改你本地的敏感数据。

如果你想在互联网上拥有一个永久链接指向你的本地应用,可以使用Hugging Face Spaces。Hugging Face Spaces提供了免费永久托管你的机器学习模型的基础设施。

创建一个免费的Hugging Face账户后,你有两种方法将你的Gradio应用部署到Hugging Face Spaces:

  • 终端:在你的应用目录中运行gradio deploy。CLI将收集一些基本元数据,然后启动你的应用。要更新你的空间,你可以重新运行此命令或启用Github Actions选项,在git push时自动更新Spaces。
  • 浏览器:将包含你的Gradio模型和所有相关文件的文件夹拖放到这里。

具体方式可以参考官方文档。

Filter blog posts by tag `gradio
rust (4)   wagtail (4)   zola (4)   kaggle (3)   vscode (3)   deepseek (2)   gemma (2)   go (2)   winui (2)   wsl (2)