年过八旬的富豪赵世曾有个怪癖，只要女友一怀孕，立马就和她们分手，而且为了不让这些女人争夺自己的家产，他干脆一辈子都没结婚。 赵世曾感情上女友多，自称交往过上万女子，主要来自娱乐圈和名媛，常去邵逸夫别墅参加派对，认识邵氏女星。他和姚炜1977年交往，1979年姚炜怀孕生下女儿赵式芝，满月后分手，抚养权归姚炜。姚炜没要财产，靠拍戏养孩子。1984年和蔡珍妮生下儿子赵式浩。1992年和美籍越南裔Terri Holladay办海陆空订婚仪式，出动游艇直升机，邀请李嘉诚、何添等名人，但没注册婚姻。1993年Terri生下儿子赵式正，1995年分手，Terri打官司要分手费，最后庭外和解，他付100万港元加每月抚养费。他对怀孕女友一律切断关系，只留孩子，不留母亲。 原则是任何女人接近都为钱，怀孕等于要挟，立刻结束。赠送物品分手时收回，不信任何人不在乎财产。即便长达几年感情，也因怀孕中断。他公开说结婚麻烦，香港法律下离婚分财产多，不结婚安全。换女友频繁，自称每年平均172个，交往超过五位数。和马慧拍拖近三年，又和北方女子乌仁公开亮相，说希望是最后一个，但不到一年分手。和大陆女子许冬梅同居多年，后又和杭州女子Lena交往。他对儿子赵式浩教导不能只沉迷一个女人，夸儿子一天约六七个，比自己当年强。 晚年赵世曾八十多岁还活跃，身边年轻女友不断，2024年Terri Holladay因病离世终年55岁，儿子赵式正继承遗产。他把公司交给子女打理，长女赵式芝和长子赵式浩任执行董事。赵式芝商业能力强，推动卓能业务。2012年4月赵式芝和杨如芯在法国结婚，9月公开，成为香港首对自曝同性婚姻的名人。赵世曾先否认，后悬赏5亿港元招婿，条件是中国人、年纪比女儿大、有志向，金额后来加到10亿，全球吸引2万多人应征，但赵式芝没动摇。 父女一度紧张，他不愿出席女儿补办喜宴，只派司机开车经过现场。赵式芝继续推动平权，成立婚姻平权协会等团体。几年后赵世曾态度软化，对女儿取向表示理解和支持。2018年赵式芝和杨如芯分手，结束13年关系。后来和JW交往，2024年JW出席赵家聚会，父女关系修复。赵世曾其他子女赵式浩和赵式正各自生活，赵式浩生了三个孙子。他到高龄仍换女友，自称女人带来快乐，保持享乐方式，一生未婚。
