momoさんのお家は、ツバメ達が子育てしやすい環境なのでしょうね。
巣も少々の壊れなら修理補修をして再利用しているようです。
残してあげれるなら残してあげればよいですが、住人が帰ってこない（使われなくなった）巣は取り除いた方が良いように思います。


余談ですが、犬との散歩コースにあるお家。
ツバメたちが巣立ったら巣を毎年壊して取り除いていました。
でも、新築時代からすでに５年間、毎年決まった場所に新たに巣作りをしています。
一から作り直しても２日で完成のようで、家主さんがお仕事から帰って翌朝気が付いたら既にツバメのお家が完成。（笑）

でも、もし戻ってきて昨年の巣が無かったらどうするか？
巣の近くに他のツバメの巣があって、その巣の♂がまだ戻ってきていない場合には、ちゃっかり横取りしちゃうようですよ。巣が無い場合には、♀を待って一緒に巣作りをするようです。
ツバメにとっては、元々子育て中の間借り先ですし壊れるもの。翌年戻ってきて巣が無ければまた作ればいいさ。ではないのでしょうかしらね。


資料が少し古いですが、
1997年に環境省が行った「身近な生きもの調査（みどりの国勢調査）」の、
調査結果６に、ツバメの巣作りを助ける工夫があります。
糞対策や子育て中に巣が落ちてしまった場合などの対処法が載っていますので、ご参考になる事があるかもしれません。

身近な生きもの調査
http://www.biodic.go.jp/reports/5-4/p001.html