HFH 的笔记

Home

❯

AI大模型

❯

大语言模型学习

❯

大模型技术点

大模型技术点

此文件夹下有8条笔记。

  • 2026年11月17日

    MQA / GQA / MLA:KV Cache 瘦身三剑客

    • ai大模型
    • 注意力机制
    • kv-cache
    • 推理优化
  • 2026年11月15日

    04 注意力机制(下):多头、KVcache 与 FlashAttention

    • 大语言模型
    • transformer
    • 注意力机制
    • kv-cache
    • flashattention
    • 图文笔记
  • 2026年11月14日

    RoPE 旋转位置编码

    • rope
    • 位置编码
    • transformer
    • llm原理
  • 2026年10月30日

    三种 seq2seq 结构(seq2seq 演变)

    • ai大模型
    • seq2seq
    • attention
    • 架构演进
  • 2026年10月30日

    从seq2seq到attention

    • 2026年5月19日

      何恺明ResNet(微软)-姚顺雨React(腾讯)-姚顺宇(google)

      • 2026年5月16日

        归一化与相似度等价关系

        • 2026年5月16日

          RMSNorm_vs_LayerNorm


          Created with Quartz v5.1.0 © 2026

          • GitHub
          • RSS