fywc’s Blog

NVIDIA历代芯片架构简述

1999 年，英伟达发明了 GPU（graphics processing unit），英伟达 GPU 从 Fermi 到 Blackwell 共 9 代架构，时间跨度从 2010 年至 2024…

CUDA异步拷贝的隐式同步机制

cudaMemcpyAsync 是 CUDA 运行时 API 中一个非常重要的函数，用于在主机（Host）和设备（Device）之间异步地复制内存数据。与同步版本 cudaMemcpy 不同，cudaMemcpyAsync 可以在不阻塞主机线程的情况下启动数据传输，从而实现计算与数据传输的重叠（overlap），提升程序整体性能。

vLLM从V0到V1的核心升级

vLLM在V1版本上进行了较大的代码重构，本文将分析架构演进的内容与原因。

Deadlock-Livelock-Starvation

In a multiprogramming environment, more than one process may compete for a finite set of resources. If a process requests for a resource and the resource is not presently…

Prefill-Decode Disaggregated Architectures

Prefill-Decode (P/D) Disaggregated Architectures constitute a leading paradigm for optimizing large language model (LLM) inference at scale. By decoupling the…

TMA异步单元分析

GPU中，数据储存在Global Memory（一般为HBM，下称GMEM），计算单元（CUDA core/ Tensor core）位于SM中，数据需要搬运到SM内的Shared Memory（下称SMEM）中用于计算，计算后再搬回GMEM中。

计算机顶会研究新趋势

存档两篇介绍计算机顶会ISCA研究方向趋势的文章：

2024 LLM系统论文集合

readlist · 目录

GDB命令集合

Visualgdb Reference

Linux 内核设备和模块

在 Linux 以及所有 Unix 系统中，设备被分为以下三种类型：

VFIO Description

在开始之前我们先要说一个东西就是 DMA，直接让设备访问内存，可以不通过 CPU 搬运数据。

数据结构与算法

The physical layer of a computer system is responsible for the actual storage and retrieval of data in electronic or magnetic form. Memory in the physical layer is organized…

CS6.175

Lab4要求实现4种不同的FIFO，这些FIFO可以从不同程度上实现并发,也就是实现enqueue和dequeue方法。

Post With Code

This is a post with executable code.

RookieCore

RookieCore 是一款简单的开源RISC-V处理器，采用三级流水:取指、译码、执行。 This is a post with executable code.

Welcome To My Blog

最初的出发点是用自动调优在软件性能优化和硬件设计间建立直接联系，与传统自动调优不同的是，这要基于一些硬件设计参数去建模，并计算程序性能，而不是用真机或机器学习的黑盒模型，因为这样才能获得硬件设计参数的直接反馈，例如哪些参数组合是均衡的，哪些存在瓶颈且瓶颈在哪。

Tristan O’Malley

Welcome To My Blog

This is the first post in a Quarto blog. Welcome!

Tristan O’Malley