０．対象とする物理モデルを決める。
１．物理モデルを離散化する（差分法や有限要素法などを用いる）
２．離散化して作られた連立一次方程式 Ax = b を解く（ガウスの消去法などの直接解法や、SOR法,CG法などの反復解法を用いる）

これだけです（時間依存問題などの場合は、１と２を繰り返したりはしますが）。ここの１と２でコンピュータの力を借りるわけですが、これは、絶対にコンピュータでなくちゃだめ、というわけではなく、別に自分で計算しても構いません。しかし、膨大な計算になって、1つのモデルを解析するのに1年とか掛かってしまったら仕方がないですね。

天気予報を例に挙げると、明日の天気が知りたい、という場合に、今日計算を始めて明日までに予報が出来ないと意味が無い、ということです。計算は速いに越したことは無いのです。そんなわけで、残念ながらぼくは現在のコンピュータより計算が遅いので、パソコンなどを使って計算します。また、解法もより速いものを追求しなければなりません。

ここで、係数行列 A に注目します。１で離散化手法に差分法や有限要素法を用いると、係数行列は対称行列やスパース行列（疎行列とも言い、要素にゼロが多い行列）になります。

直接解法は、非常に安定した方法なので、これを使うに越したことはないのですが、係数行列の性質を利用しないで計算するのは不経済だし、また時間も掛かります。そこで、反復解法が有力な手段になるわけです。