《分析Cache的运行机制和设计理念》由会员分享，可在线阅读，更多相关《分析Cache的运行机制和设计理念（6页珍藏版）》请在金锄头文库上搜索。
1、分析Cache的运行机制和设计理念随着双核时代的到来，CPU的Cache越来越受到DIYer的重视。本文吸取了其它高手发表的文章观点，浅谈一下Cache的运行和设计原理。1. CPU Cache简介Cache其是就是CPU和内存之间的一个中转站。由于目前CPU的频率（速度）已经大大超过内存，往往CPU会为了读取或存储数据白白浪费几十个时钟周期。这造成了巨大的资源浪费。于是Cache的设计思想被提上日程，几经实验修改后，逐渐形成了我们现在所能够看到的Cache架构。在现代CPU设计中，设计师们要解决的最主要问题，就是找到一个在CPU和内存之间平衡的均点。Cache作为CPU-内存的中转站，在其中
2、发挥了巨大的作用。CPU在恳求数据或指令时，除了常规的在内存中进行查找外，还会在Cache中进行查找。一旦命中，就可以直接从Cache中读取，节省大量时间。正由于如此，Cache在现代CPU中显得越来越重要。2. Cache的实现原理众所周知，Cache属于SRAM（Satic Random Access Memory），它利用晶体管的规律开关状态来存取数据。也正由于如此，SRAM内部的电路构造比起常见的DRAM（Dynamic Random Memory）要简单得多，导致了成本的巨增。这也是SRAM不能普及的一个重要缘由。Cache在计算机存储系统中没有编配固定的地址，这样程序员在写程序时就
3、不用考虑指令是运行在内存中还是Cache中，Cache对于计算机上层来说是完全透明的。CPU在读取数据时，会首先向内存和Cache都发送一个查找指令。如果所需要的数据在Cache中（命中），则直接从Cache读取数据，以节省时间和资源。CPU对Cache的搜寻叫做Tag search，即通过Cache中的CAM（Content Addressed Memory）对盼望得到的Tag数据进行搜寻。CAM是一种存储芯片，延迟很低，常用于网络设备中用作路由选择。CPU进行Tag search的过程是这样的：在Cache中数据或指令是以行为单位存储的，一行又包含了很多字。如现在主流的设计是一行包含64B
4、yte。每一行拥有一个Tag。因此，假设CPU需要一个标为Tag 1的行中的数据，它会通过CAM对Cache中的行进行查找，一旦找到相同Tag的行，就对其中的数据进行读取。在现代计算机中，虽然Cache的容量始终在增涨，但现在桌面处理器中Cache最大的也不过4MB，设计师们是如何保证在这小小的Cache中保存的数据或指令就肯定是CPU需要的呢？这就要利用到CPU运行时的两个基本局限性：时间局限性和空间局限性。所谓时间局限性，是指CPU在某一时刻使用到的数据或指令，在下一时刻也会被重复利用。比如3D游戏中，同一场景会在不同时间被渲染多次，如果在第一次渲染中Cache存储了相关指令、数据，那么在
5、下一次需要重复渲染时，就能够直接从Cache中读取相关内容。而空间局限性，指的是CPU在读取某一地址的数据时，也有可能会用到该地址四周的数据。也就是说，CPU需要的数据在很多时候是连续的。例如在听歌或看电影时，数据流总是连续的（正常播放状态下）。这样的应用对于CPU来说是很有利的，数据预读取单元也能够发挥最大作用。Cache正是利用了上述两个局限性，得已实现并工作。设计师们能够充分利用这两个局限，在容量较小的Cache中存入CPU在将来某时刻需要的内容。需要指出的是，很多程序在执行指令或数据时，所呈现出来的局限性是不同的。有可能执行指令的时候呈现出时间局限性，而数据呈现出空间局限性，因此设计师
6、们把L1 Cache分成了Instruction Cache（指令缓存）和Data Cache（数据缓存）。3. Cache的运行原理前面已经说过，Cache的数据存储是以行（Line）为单位的，每一行又包含64Byte。行是存储在“框架”（Block frame）这种数据容器中的，而框架则直接与内存相对应。很明显，Cache中可能包含数个框架。那么这些Cache框架是怎么与内存相对应相联系的呢？有三种方法。第一种方法叫完全相联法。即内存中的数据可以存储在任何Cache框架中，同一数据也可以存储在不同的框架中。 这样数据的存储相当敏捷，CPU在查找时也很便利：只需在框架中对比找出需要的Tag行
7、，即实现命中，显著的提升了命中率。然而这样做的缺陷也很明显：对于容量较大的Cache来说，CPU需要在成百的框架中查找需要的Tag行，延迟大大增加。因此这种设计方式只适用于容量较小的Cache。由于完全相联法的这种局限性，设计师们很快提出了另一种旨在降低延迟的组织方式：直接映象法。和完全相联不同，在直接映象中内存会将数据存入的Cache框架地址“记住”，以后再次存储时就只能使用该框架。这样做的好处是使CPU只需要进行一次Tag search，在以后的读取操作中就可以直接找到所需Tag行所在的框架，从而达到降低延迟的目的。而至于内存会将数据存入Cache的哪个框架中，这有个算法块地址与整个框架数
8、的同余。我们举个简洁的例子来看，有个1K的缓存，块大小为64字节，则总共有16个缓存块，也就是有16个框架，那在内存中首地址为12480的内存块应该保存在缓存的哪个框架中呢？12480/64=195，195mod16=3,则它应该放入第4个框架中。这样一来，内存中的数据能很快的读取到缓存中的某个块中，CPU也能很快的在这个块中找到所要的数据，这样就省下了对比各个框架的时间，自然延迟就小了，但是，如果第4个框架中装入了内存块195的数据，而其它同余依然是3的35，51，67等这些块就不能装入了，这样，当CPU需要35，51，67这些块的时候，就会发生冲突（collision），导致消失Cache
9、 miss的情况，大大的降低了命中率。直接映象法和完全相联法都只解决了Cache运行问题的一个方面。这以后设计师们又设计了另一种综合前两者优点的方法-路组相联法。先将Cache分成不同的组，每个组中放入不同的框架。内存数据的存储对于组来说是固定的-这就有效掌握了延迟。而每个框架中的行又依据完全相联的方法，敏捷存储-这又提高了命中率。显然，一组中放入的框架越少，那么它的命中率和延迟都能够掌握得越好。组中的框架称为“路”，有几个框架就叫做几路。路组相联法很好的解决了命中率和延迟之间的冲突，因此在现代Cache中得到广泛的推广应用。4. Cache的写入策略前面说了这么多，似乎都在谈Cache的读取
10、，而忘了它的写入是怎么样的？这是由于在一个常见的应用程序中，其50%的指令是与数据存取相关的，而其中又有近30%的指令与读取有关。也就是说，CPU在运行中进行的读取操作频率要远远大于写入操作。所以本文用了大量篇幅来说明Cache的读取，而它的写入则相关简洁，依靠于三种写入策略：写回法：当CPU更新Cache时，并不同时更新内存中的相应数据。这种方法削减了访问内存的次数，缩短了时间。但在保持与内存内容的全都性上存在在隐患，并且使用写回法，必须为每个缓存块设置一个修改位，来反映此块是否被CPU修改过。全写法：和写回法相反，当Cache数据更新时，也同时更新内存数据。Cache不用设置修改位或相应的
11、推断器。这种方法的好处是，当Cache命中时，由于缓存和内存是同时写入的，所以可以很好的保持缓存和内存内容的全都性，但缺点也很明显，由于每次写入操作都要更新全部的存储体，如果一次有大量的数据要更新，就要占用大量的内存带宽，而内存带宽原来就不宽裕，如果写操作占用太多带宽的话，那主要的读操作就会受到比较大的影响。写一次法：这是一种基于上面两种方法的写策略，它的特点是，除了第一次更新Cache的时候要同时更新内存，其它时候都和写回法一样，只修改Cache。这就在内存全都性和延迟中找到了一个较好的平衡。5. Cache的替换策略所谓替换策略，是指Cache中数据的更新方法。无论如何，Cache的容量还
12、是比较小的。要保证在这样的容量下其中的数据是CPU需要的，就需要不停地对Cache进行更新，摈弃不需要的旧数据，加入新内容。目前常见的Cache替换策略有三种，分别是：先进先出（First In First Out，FIFO），即替换最早进入Cache的数据。这种算法在早期的Cache里使用较多，那时候的Cache的容量还很小，数据在Cache的时间都不会太久，常常是CPU一用完就不得不被替换下来，以保证CPU所需要的其它数据能在Cache中找到。但这样命中率也会降低，由于这种算法所依据的条件是数据在Cache中的时间，而不是其在Cache中的使用情况。最不常常使用（Least Frequen
13、cy Used，LFU），即替换被CPU访问次数最少的行。LFU算法是将每个行设置计数器，起始为0，每被CPU访问一次，就加1，当需要替换时，找到那个计数最小的替换出来，同时将其它行的计数置0。这种算法利用了时间局限性原理，但是每次替换完都把其它行置0，使得把这种局限性的时间限定在了两次替换之间的时间间隔内。由于替换太频繁，让这时间间隔太短了，并不能完全反映出CPU近期的访问情况。近期最少使用（Least Recently Used，LRU），即替换在近段时间里，被CPU访问次数最少的行，它是LFU的拓宽版本。其原理是在每个行中设置一个计数器，哪一行被CPU访问，则这行置0，其它增1，在一段时
14、间内，如此循环，待到要替换时，把计数值最大的替换出去。这种算法相当于延长了替换时间，从而更能本质地反应行的使用情况。有一点要说明的是，有时候行被替换出，并不代表它肯定用不到了，而是Cache容量不够了。这种算法是目前最优秀的，大部分的Cache的替换策略都接受这种算法。6. 实例分析-NetBurst与K7/8 Cache设计上的一些异同之所以拿Intel放弃的NetBurst架构而非现在最新的Core架构来做比较，是由于我觉得NetBurst中的Cache设计十分先进，在肯定呈度上代表了将来的进展趋势。虽然这次实验失败了，但还是可以拿出来做一些简洁的分析。用CPU-Z等软件来查看NetBur
15、st架构P4的信息，会发现其L1和其它CPU有些不一样。它没有了以前的“Instruction Cache”，取而代之的是一个称为“Trace Cache”的东西。并且其容量也不再是KByte，而是Ops。这是怎么回事呢？先来看看CPU运行程序时的基本操作流程：首先CPU会依据IPR（Instruction Pointer Rigster）供应的地址取得指令，然后对指令进行解码，得出操作地址数和操作码。再由操作地址数获得操作数，并由ALU结合操作码计算出操作数，最后保存在寄存器中。这其中最为简单的就是解码操作。现代CPU为了提高指令执行效率，借签了RISC的设计理念，将不同的X86指令解码为长
16、短统一、内容简洁的微指令并以超标量的方式执行。在以前的CPU设计中，一般是等到CPU需要执行某指令时，才对其进行解码。在引入了分支猜测后，就可以预先读取CPU可能用到的指令，并解码，以备CPU需要时直接调用。这就是Trace Cache的作用。它可以将分支猜测得到的X86指令事先解码为微指令并存储在一个被称为回溯片断（trace segment）的规律组中，并且这些解码后的指令特别敏捷，它能够在进入trace segment前决定是否直接进入流水线来执行。当trace segment中的微操作指令执行后，trace cache就会立刻变成“执行模式（execute mode）”，这种模式下，微指令就会依据猜测时的挨次来被CPU提取，并执行。这样一来，Trace cache存储的指令就是CPU可以直接执行的微操作，并且由于是存放在L1中，使得CPU每次需要时都可以立刻取得译码好的微指令，再加上超低的延迟可
