Visual Studio 2010 で新規に Windows アプリケーションを作成すると、対象のフレームワークが「.NET Framework 4 Client Profile」となります。
このフレームワークは 「System.Web」を参照出来ないプロファイルとなっているようで、この状態で log4net ライブラリを使用するとエラーが発生してしまいます。
log4net では、「System.Web」を参照している為にエラーとなっているようです。
これを回避するために対象のフレームワークを「.NET Framework 4」に変更し、
参照設定で、「System.Web.Extensions」を追加します。
詳細はこちらを参照
WindowsアプリケーションでSystem.Webアセンブリを参照するには？［VS 2010以降］ － ＠IT