怎样在外网共享本地的大模型应用?
可以用Gradio来实现本地大模型应用的分享。这是一个简单而强大的Python库,旨在帮助用户创建交互式的机器学习和数据应用。它使用户能够快速构建Web界面,以展示模型、数据可视化和其他功能。
通过在launch()方法中设置share=True,可以轻松地将Gradio演示公开分享。如下所示:
import gradio as gr
def greet(name):
return "Hello " + name + "!"
demo = gr.Interface(fn=greet, inputs="textbox", outputs="textbox")
demo.launch(share=True) # Share your demo with just 1 extra parameter
运行这个例子,结果如下:
python demo/test.py
Running on local URL: http://127.0.0.1:7860
IMPORTANT: You are using gradio version 3.48.0, however version 4.44.1 is available, please upgrade.
--------
Running on public URL: https://547eabbc00701b541c.gradio.live
This share link expires in 72 hours. For free permanent hosting and GPU upgrades, run `gradio deploy` from Terminal to deploy to Spaces (https://huggingface.co/spaces)
这会生成一个公共的、可分享的链接https://547eabbc00701b541c.gradio.live,你可以将其发送给任何人!当你发送这个链接时,去他人可以在他们的浏览器中直接使用该模型。这对于快速演示大模型应用非常有效。
我们可以用浏览器打开这个地址(即使在外网也可以打开),看到的是一个很简单的页面,包括一个输入框和一个输出框:
共享链接在72小时后过期。并且要记住,共享链接是公开可访问的,这意味着任何人都可以使用你的模型进!因此,请确保不要通过你编写的函数暴露任何敏感信息,或者修改你本地的敏感数据。
如果你想在互联网上拥有一个永久链接指向你的本地应用,可以使用Hugging Face Spaces。Hugging Face Spaces提供了免费永久托管你的机器学习模型的基础设施。
创建一个免费的Hugging Face账户后,你有两种方法将你的Gradio应用部署到Hugging Face Spaces:
- 终端:在你的应用目录中运行gradio deploy。CLI将收集一些基本元数据,然后启动你的应用。要更新你的空间,你可以重新运行此命令或启用Github Actions选项,在git push时自动更新Spaces。
- 浏览器:将包含你的Gradio模型和所有相关文件的文件夹拖放到这里。
具体方式可以参考官方文档。