HFH 的笔记

Home

❯

AI大模型

❯

大模型训练&微调&推理

❯

模型推理

模型推理

此文件夹下有6条笔记。

  • 2026年8月30日

    8GB显存运行27B模型部署优化指南

    • 模型量化
    • 本地部署
    • 推理优化
    • qwen
    • llama.cpp
  • 2026年8月30日

    Transformer注意力机制与推理优化全栈

    • transformer
    • 注意力机制
    • 推理优化
    • 大模型部署
  • 2026年5月19日

    llama_cpp_笔记

    • 2026年5月19日

      LLM推理优化完整知识梳理

      • 2026年4月02日

        vLLM_推理部署框架详解

        • 大模型推理优化全栈架构


          Created with Quartz v5.1.0 © 2026

          • GitHub
          • RSS