HFH 的笔记

注意力机制

此标签下有7条笔记。

  • 2026年11月17日

    MQA / GQA / MLA:KV Cache 瘦身三剑客

    • ai大模型
    • 注意力机制
    • kv-cache
    • 推理优化
  • 2026年11月15日

    04 注意力机制(下):多头、KVcache 与 FlashAttention

    • 大语言模型
    • transformer
    • 注意力机制
    • kv-cache
    • flashattention
    • 图文笔记
  • 2026年10月17日

    DeepSeek-V4 四项核心优化(交互图解)

    • deepseek
    • 大模型架构
    • 长上下文
    • 注意力机制
    • 优化器
    • 交互图解
  • 2026年9月14日

    DeepSeek-MLA满秩高熵应对

    • 深度学习
    • 低秩
    • mla
    • 注意力机制
    • 大模型训练
    • 推理优化
  • 2026年8月30日

    LLM算法演进

    • 大语言模型
    • transformer
    • 注意力机制
    • moe
    • ssm
    • 推理优化
    • 量化
    • 论文转录
  • 2026年8月30日

    LLM 与 Transformer 底层原理与架构演进总纲

    • transformer
    • llm
    • 注意力机制
    • 架构演进
    • 词向量
    • 第一性原理
  • 2026年8月30日

    Transformer注意力机制与推理优化全栈

    • transformer
    • 注意力机制
    • 推理优化
    • 大模型部署

Created with Quartz v5.1.0 © 2026

  • GitHub
  • RSS