赵普对大宋王朝可谓是殚精竭虑。然而，他却有一个致命的弱点，那就是他的贪欲。开宝六年(973)的一天，宋太祖亲临赵普的府第，见廊下放置十个瓶子，太祖便问是何物。赵普回答说，是吴越钱王刚才派人送书信时附赠的海物。太祖对海物很感兴趣，就命令打开看一看。谁知，赵普将瓶启封后，里面却非海产，而全是黄灿灿的瓜子金（碎金）。赵普慌忙顿首谢罪，解释说自己还未打开书信，实在不知情。太祖听了，叹口气说，你收下也无妨，说完便走了。赵普匆匆送出，懊悔了好几天。后来，看到太祖仍像以前那样信任他，才放下心来。
一波未平，一波又起。赵普准备修建宅院，便派亲吏到秦陇一带采购大号木料。亲吏将这些木料联成大型排筏，放流至汴京。同时又趁此机会多购了水料，在都中出售，以牟取暴利。百姓对此议论纷纷。左监门卫将军闻之，查阅了文献，方知已有诏书明令禁止私人贩运秦陇一带的大号木料。即是说，赵普暗地派人前去采购，已是违旨，贩卖牟利，更属不法，当即将详情奏知太祖。
太祖上次见了瓜子金，已觉赵普玩弄了自己；现又见他违旨贩木，明明是把自己不放在眼里。不久，又有人告发赵普的儿子娶了枢密使李崇矩的女儿为妻。这就违背了朝廷为防止臣下架空皇帝，不准宰辅大臣之间通婚的禁令。
太祖立即下令将他们分开。恰在此时，翰林学士卢多逊及雷有邻又揭发赵普受贿，包庇抗拒皇命的外任官员。这更是欺君罔上之罪。太祖召问时，卢多逊又谈及赵普学问不足和嫉贤妒能排挤窦仪之事。太祖更加不满，对赵普完全失去了信任。
但此时太祖已冷静下来，因为赵普毕竟不同于别人。太祖不想下诏罢免赵普，便渐渐疏远他，希望他自省，自己找台阶下，以免大家伤了和气。事已至此，赵普只得请求太祖罢免自己。当即便有诏书下来，调赵普外出为河阳三城节度使。
