ここでは、CentOSというディストリビューションの特徴を紹介していきたいと思います。

CentOSとは、Community ENTerprise Operating Systemの略で、
Red Hat Enterprise Linux(以下、RHEL)の商用部分を取り除いたクローン・ディストリビューションです。
下記のサイトより、無料でダウンロードが可能です。

RHELは商用Linuxであり、使用するには高額のライセンス料を支払う必要があります。
とてもじゃないですが、一個人が気軽に支払える額ではありません。
それに、CentOSはRHELの商用部分を取り除いたクローンですので、性能に大きな差はないです。
クライアント及びサーバとして充分使用可能です。
また、RHEL購入前の動作確認の参考などにも使用可能です。

RHELのクローン・ディストリビューションは他にも存在します。
例えば、White Box Enterprise Linux。こちらも、RHELのクローン・ディストリビューションです。
では、ここでは何故CentOSを取り上げているのでしょうか?
CentOSは、RHELのパッケージが更新された場合、数日内にそれらのクローンを作成し、提供するという特徴があります。
これは、他のクローン・ディストリビューションと比較すると、とても早いです。
その対応の早さから、ここではCentOSを取り上げています。

最終的なことを言えば、"使用する人の好み"だと思います。
しかし、あえて個人的意見を述べさせて頂きますと、CentOSの方が良いと思います。

例えば、サーバ用途で使用する場合、求められる要素の中の2つ、"安定性"と"セキュリティ"ですが、
Fedora Core(以下、FC)は、RHELの為の実験的要素の強いディストリビューションであることから、
日々、バグ発見 -> 修正 -> パッケージ配付が繰り返されます。
実験的要素が強いディストリビューションなので、安定性には不安があり、
新技術を積極的に取り入れる方針からバグが多い為、セキュリティ面に関して不安が残ります。

つまり、安定性やセキュリティ面を考慮した点で、私はCentOSをお勧めします。
下記にCentOS、RHEL、FCの関係図を載せておきます。

私はCentOSで、サーバを構築しております。
たまに、「CentOSは日本語の情報が少ないから厳しい。」というお話を聞きます。
しかし、CentOSは、FC -> RHEL -> CentOSの関係にありますので、
例えば、CentOS 4.xならば、FC 3と同様の手順で構築が可能です。

CentOS関連の日本語の情報サイトが、まだまだ少ないという現実はありますが、
ほぼFCのものを流用できるので、FCの情報を参考に構築すると良いと思います。
現に私もFC 1とFC 3の書籍をもとに構築しております。

06.02.19 追記

最近、CentOSの認知度が高くなってきたのか、書籍も販売されていますね。
私は購入はしていないのですが、パラパラと中身を確認したら、
初心者の方にも解るように丁寧に書かれていました。
少々お値段は張りますが、これから始める方には良い書籍かもしれません。

【 CentOS 徹底入門 】