而舒淇成名后曾自曝19岁失去了贞操，因此有粉丝根据时间点猜测夺其初夜的人或为柯俊雄（舒淇1976年生，《灵与欲》拍摄于1995年，时年正好19岁），据说柯俊雄当年之所以那么霸道，跟其拥有黑道背景有关，是不是被柯俊雄夺走初夜只有舒淇知道，但是可以肯定的是，舒淇的荧幕“第一次”应该是给了柯俊雄。
关于柯俊雄的黑帮背景，曾经媒体有过新闻报道，著名作家古龙之死则涉嫌与柯俊雄的争端！1980年，古龙与朋友上台湾吟松阁喝酒，遇见柯俊雄，柯俊雄的小弟们要古龙给他们大哥敬酒，古龙不肯，随后发生冲突，古龙手臂被刺伤血流如注，被送进医院后却发现血库的存血不足，卖血的人患有肝炎，结果古龙虽然捡回一条命，却落下了肝病。
90年代末，柯俊雄淡出娱乐圈，投身政坛，柯俊雄一生结过两次婚，他的第一任太太是当时的台湾第一美人、金钟影后张美瑶，相貌集艳丽清纯于一体。
柯俊雄与张美瑶1967年热恋，3年后结婚，但婚后他继续在外拈花惹草，女方为了家庭圆满默默隐忍了14年，最后因他与婚外情对象外遇生子，2人的婚姻在2004年画下句点。
柯俊雄婚后经常被媒体爆出流连风月场所和勾搭业界女孩子。据大导演李翰祥回忆，有次与此人在香港喝酒，见他醉醺醺搂着一个年轻美女调笑，还在酒席上对女方说：”咱俩这么好，我跟你结婚好不好。”这下激怒了李翰祥，当场就对那个女的说：“你别信他，他有老婆的，那是台湾第一美女来的。你，你说的是真的假的？别欺骗人家小女孩。”
后张美瑶因无法忍受柯俊雄的外遇而分居（一说是柯俊雄第二任太太蔡青桦强势插足），2004年正式离婚。柯俊雄现任太太是设计师蔡青桦，两人于04年重组家庭。
