一九四九年秋，開國大典的禮炮聲中，北京城里一片歡騰，清查特務的工作也在緊張地進行。土刀唐胡同里，剛剛接管了舊警察局的年輕派出所所長肖大力正忙著維持群眾游行的秩序，偶遇一個熟知兵器的教書匠馮靜波，這引起了他的懷疑。為了查清馮靜波的身份，肖大力搬進了土刀胡同十五號院，與馮靜波做了街坊。馮的真實身份確實是國民黨的潛伏特務，代號"5182"。惡霸四閻王為他發了委任狀，接受"白眼鏡"的命令。深夜，"白眼鏡"前來交待任務，馮的特務生涯從此拉開了序幕。"白眼鏡"為馮送電臺時被肖大力等人擊成重傷，臨死前只說出5182幾個字。肖大力認為馮有重大嫌疑，讓他注意四閻王的行蹤，借此對馮旁敲側擊。曾在妓院做使喚丫頭的大眉子參加了夜校掃盲班，她愛慕馮老師的才華，常主動為他做家務。馮為了掩護自己的身份，請大力保媒娶大眉子為妻。大力找大眉子談心，拐彎抹角說馮是特務，可大眉子自覺出身下賤，婚事全憑大力做主。
肖大力偶然聽到從馮家傳出用作聯絡暗號的樂曲，便也買了一臺短波收音機，煞費苦心地進行研究，吃飯睡覺都不忘琢磨那首名為《展覽會上的圖畫》的曲子，在大家眼里他似乎是著了魔。馮從大力的妻子劉亞琴那里聽說此事，不禁暗暗心驚，深知自己處境艱難，只得不動聲色地應付這一切。他假稱挖出一夜壺金子，將活動經費充了公，被評為抗美援朝積極分子。滿腹經綸的馮靜波邂逅了校長的女兒徐小妤，兩人一見如故。小妤仰慕馮的才華，馮也傾心于美麗又有知識的小妤。二人蕩舟湖上，面對小妤熾熱的目光，馮在歡樂之余也深感痛苦，心情沉痛地說自己是負罪之人，準備自首，但在大力面前卻欲言又止。晚上，馮突然不見了蹤跡，大力緊張地認為他是畏罪潛逃。敏感的亞琴直奔小妤的宿舍，正好撞見這對偷情的戀人。東窗事發，馮家亂成一團。大眉子不依不饒，要跟那個破壞她家庭的女人"撞頭"。馮終于鼓起勇氣提出和她離婚，不料受到大力等人的指責與阻撓。校長更以開除作威脅，不許他離婚。氣憤的大力把馮反鎖在廁所里，讓他好好反省歷史問題。靜波與小妤迫于壓力，只得黯然分手。
馮靜波在學校從未有過激言行，是個人人稱贊的好老師，大力挑不出他的毛病，無可奈何。街道組織大家學習憲法，請馮為眾人講解。馮對鎮壓反革命的條文心有余悸。特務身份的重壓使馮隱忍地生活著，這竟使他在歷次運動中躲過了劫難，并且由于他為人和善，處處助人，竟被評為區勞模。而堅信馮是特務的肖大力卻被誣以"特務"的罪名送進了勞改農場，亞琴自殺身亡。大眉子意外地發現馮的委任狀，偷偷地燒掉了。
四十年過去了，肖大力重又穿上了警服，他依舊執迷不悔地監視著馮的一舉一動。此時的馮已由一位好老師變成好校長，他確實感到坦蕩做人的快感，同時也更感到自己心底那塊石頭的沉重。肖大力的兒子新桅和馮靜波的女兒抗美青梅竹馬，卻因父輩的恩怨無法走到一起。昔日給馮發委任狀的四閻王已成了海外合作項目的投資者，這令馮驚訝不解。肖大力的錚錚鐵骨令馮自慚形穢，也正是肖大力的所作所為，讓馮了解了共產黨。馮終于幡然悔悟，給大力寫了自首信，請他寬恕"昨天的敵人"，并在女兒的攙扶下走進了公安部的大門。
