高速動作のCPUは高速動作のメモリを必要とする．しかし，CPUの動作スピードにあったアクセス・タイムをもつ高速の大容量メモリを使用した場合，一般的にコストが高くなってしまう．
　キャッシュ・メモリは，CPUとメイン・メモリとなるメモリの間に介在した，小容量で高速のメモリである．
　CPUはキャッシュ・メモリをアクセスすることによりメイン・メモリのスピードによらず，高速で動作することが可能となる．
　CPUがキャッシュ・メモリをアクセスしたときデータが存在している確率のことをヒット率という．ヒットすればCPUはプログラムにしたがい，命令を実行していく．ヒットしなかった場合は，メイン・メモリの内容をキャッシュ・メモリに移さなければならないため，プログラムの実行を中断する．
　最近の高機能なマイクロプロセッサは，命令用とデータ用にキャッシュを内蔵している．