蔡家雖然口碑很差，但確實是官宦世家、名門望族，蔡氏一門到此時已出了二十三位進士，在當地位居第二。仁宗時代的名臣蔡襄就是蔡攸的堂伯父，蔡襄的堂弟蔡確又成為元豐新政的代表之一；蔡攸的祖父蔡凖曾官居侍郎，蔡攸的叔父蔡卞十三歲就中了童子科而成為進士，后來成為王安石的女婿，在哲宗后期曾任尚書左丞，也是當時炙手可熱的權臣之一。至于他的父親蔡京，更是半生仕宦、權傾天下。
蔡攸不覺得自己如何缺乏歷練，自詡還是有點真本事的，所以他壓抑著心頭的不快，強作笑顏道：“爹說的是，做兒子的也活了四十多歲了，確實沒吃過什么苦，也難有什么大的擔當！可如今兒子一心上進，就想到西北歷練歷練，將來為朝廷挑大梁，才有底氣嘛！爹當年也在陜西做過知永興軍！”
蔡京身子坐正了，神色肅然道：“不是為父吹噓，以目下這情形，再為朝廷挑個十年大梁，為父也是不含糊的！可話說回來，若你果真掌了樞密院，那不說官家會忌憚，就是群臣，將如何視我父子？到時就是把我父子架到火上烤了！”
本來宋朝奉行避親籍制度，一般來說宰執重臣的親屬不能再身居要職，甚至不能同時做京官，可是徽宗視祖宗之法為蔑然，再次打破了成例，對蔡京父子的恩寵已令天下人言藉藉。對此蔡京是心知肚明，設若更進一步，若無重大建樹，確實難以服眾；可是真到父子權傾朝野那一步，官家又豈是傻子？
“爹說的是，爹如今也高壽了，人生七十古來稀，爹何不就在大壽之后急流勇退呢？在新宅里安享清福。您老就從背后給兒子做個參謀，扶持兒子一程！豈不兩全其美？”蔡攸越發抑制不住心頭的不快，“爹也別忘了，此番您再掌中樞，兒子可是沒少在官家面前替您美言，俗話講親兄弟明算賬，咱們父子難道不須掰扯一下？”
“呵呵！”蔡京冷笑著，以兒子的字稱呼道，“居安啊，你就說說，當日官家還在潛邸時，為何與你交往，難不成是你有何過人之處嗎？”
哪知這一句話就把蔡攸給問住了，因為當日徽宗就特別喜歡蔡京的書法，有一回還花了三千貫從一人手上買下了蔡京寫的一個扇面，如獲至寶一般；正是因為曉得蔡攸是蔡京的長子，時為端王的徽宗才心善之。蔡京見兒子無言以對了，吭了一聲又道：“爹若退下來了，你當真斗得過鄭居中、王黼之流？”
“那不斗怎么知道？”
“唉，老大啊，你就知足吧！”蔡京的面目軟了下來，“如今有官家寵著，做個清要的差事也就行了！知子莫若父，別怪爹說你，智小謀大，力小任重，爬高必跌重啊！就說爹這幾十年，起起伏伏，跌跌撞撞，若非今上青眼相待，哪里有你我父子的今日！”
蔡攸已分明有點生氣，起身道：“有官家的寵幸，怕什么！官家比兒子還小兩歲，春秋正盛，兒子擔心啥？再說了，爹也別門縫里看人，把人瞧扁了！”
“陜西戰事是爹一手謀劃的，可謂攸關國運，那是鬧的嗎？你別去添亂了！”
“我是做監軍，不是做主帥，爹多慮了！”
“那些兵油子，個個滑頭得很，你又是這么個性情，若是得罪了他們，他們給你設個圈套，你這小命就沒了，依我看，還是安生些，且好好地在官家身邊待著吧！”