1916年11月、第一次世界大戦勃発から2年後のイングランド。郊外の田園にたたずむ大邸宅“ダウントン・アビー”では、収容しきれないほどの負傷兵であふれかえっている村の病院への寄付を募るべく、音楽会が開かれていた。そこへフランスの戦場で戦っていたマシューが、つかの間の休暇で帰還する。破局はしたもののメアリーはいまだマシューへの思いを残していたが、マシューのそばには新たな婚約者ラビニアの姿があり、メアリーは内心動揺する。
一方、ロンドンで母親を看取り戻ったベイツは、ついにアンナにプロポーズをする。だが、離婚に応じるものと思っていた妻が訪ねてきてベイツの再婚に暗雲が立ち込める。また、新しく入ったメイド、エセルの言動が目に余るオブライエンはいらいらを募らせていた…。戦争の影響で、グランサム伯爵やメアリー、イーディス、シビルの三姉妹ら貴族を取り巻く状況や生き方とともに、使用人たちの生活にも大きな変化が生じていく。