革命性AI图像分割工具lang-segment-anything:用文本提示精准识别任何物体
【免费下载链接】lang-segment-anythingSAM with text prompt项目地址: https://gitcode.com/gh_mirrors/la/lang-segment-anything
lang-segment-anything是一款基于Meta Segment Anything Model 2和GroundingDINO检测模型构建的革命性AI图像分割工具,它通过文本提示技术实现对图像中特定物体的精准识别与分割,为用户提供了简单高效的图像分析解决方案。
什么是lang-segment-anything?
lang-segment-anything是一个开源项目,它创新性地将实例分割能力与文本提示技术相结合,让用户只需输入文字描述就能在图像中定位并分割出目标物体。该工具基于最新发布的Meta模型Segment Anything Model 2和GroundingDINO检测模型构建,兼具易用性和高效性。
图:lang-segment-anything使用"kiwi, watermelon, blueberry"文本提示对水果图像进行精准分割的效果展示
核心功能亮点 ✨
- 零样本文本到边界框检测:无需预先训练即可通过文本描述检测物体
- GroundingDINO检测模型集成:提供强大的目标检测能力
- SAM 2.1支持:采用最新的Segment Anything Model 2.1实现高精度分割
- 批量推理支持:可同时处理多张图像,提高工作效率
- Lightning AI litserve平台部署:轻松实现API端点部署
- 自定义文本提示:通过灵活的文字描述实现精确的物体分割
快速开始使用指南
系统要求
使用lang-segment-anything需要Python 3.10或更高版本,以及PyTorch 2.3.1+和torchvision 0.18.1+等依赖库支持。
两种简单安装方式
方式一:直接通过pip安装
pip install torch==2.4.1 torchvision==0.19.1 --extra-index-url https://download.pytorch.org/whl/cu124 pip install -U git+https://gitcode.com/gh_mirrors/la/lang-segment-anything.git方式二:从源码安装
git clone https://gitcode.com/gh_mirrors/la/lang-segment-anything && cd lang-segment-anything pip install -e .启动图形界面
安装完成后,只需运行以下命令即可启动直观的Gradio界面:
python app.py然后在浏览器中打开http://0.0.0.0:8000/gradio即可开始使用。
实际应用示例
汽车部件识别
通过简单的文本提示"wheel",lang-segment-anything能够精准识别并分割出汽车的所有轮子:
图:使用"wheel"文本提示分割汽车轮子的效果展示
人物与物体同时分割
在攀岩场景中,使用"person, rope"文本提示可以同时识别人物和绳索:
图:使用"person, rope"文本提示同时分割人物和绳索的效果展示
作为Python库使用
除了图形界面,lang-segment-anything还可以作为Python库集成到你的项目中:
from PIL import Image from lang_sam import LangSAM model = LangSAM() image_pil = Image.open("assets/car.jpeg").convert("RGB") text_prompt = "wheel." results = model.predict([image_pil], [text_prompt])如果你需要离线使用,还可以指定模型检查点路径:
LangSAM( sam_ckpt_path, # segment anything模型路径 gdino_model_ckpt_path, # grounding dino模型检查点路径 gdino_processor_ckpt_path # grounding dino处理器检查点路径 )技术架构
lang-segment-anything的核心代码位于lang_sam/目录下,主要包含:
- lang_sam/models/:模型实现代码,包括SAM和GroundingDINO的集成
- lang_sam/lang_sam.py:主类实现
- app.py:Gradio界面应用
项目依赖主要包括gradio、litserve、opencv-python-headless、sam-2、supervision、transformers等,可以查看requirements.txt获取完整依赖列表。
总结
lang-segment-anything通过将文本提示与先进的图像分割技术相结合,为用户提供了一种直观、高效的图像分析工具。无论是进行快速的图像标注、内容分析还是构建复杂的计算机视觉应用,它都能成为你的得力助手。
如果你对项目感兴趣,欢迎通过源码仓库深入了解更多细节,开始你的AI图像分割之旅!
【免费下载链接】lang-segment-anythingSAM with text prompt项目地址: https://gitcode.com/gh_mirrors/la/lang-segment-anything
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考