【多模态大模型——跨越感知与认知的鸿沟】第7章 视觉指令微调与数据工程 7.1 视觉指令数据的构建方法论

目录

第7章 视觉指令微调与数据工程

{视觉指令数据的构建方法论}

{指令跟随数据的生成策略}

{GPT-4V辅助的视觉指令生成（LLaVA方案）}

\subsubsection{半自动化的人工验证流程}

\subsubsection{多样性与复杂度的平衡控制}

{细粒度视觉任务的指令设计}

{区域级检测与定位的指令模板}

视觉推理链的逐步指令构建

多轮对话中的视觉上下文保持

Algorithm 1: GPT-4V Assisted Visual Instruction Generation

Algorithm 2: Semi-Automated Human Verification Pipeline

Algorithm 3: Diversity and Complexity Balanced Sampling

Algorithm 4: Region-Level Instruction Template Generation

Algorithm 5: Visual Reasoning Chain Construction

Algorithm 6: Multi-Turn Visual Context Maintenance

第7章 视觉指令微调与数据工程

{视觉指令数据的构建方法论}