赵世曾目前有多少资产不明。赵世曾透露，他三四十岁时，最爱泡女明星和选美冠军。那时他是邵逸夫家的常客，整天在邵的住家舞会中泡到不少女明星。而与他恋爱过的女星和美后包括盈盈（蔡珍妮）、姚炜、方怡珍、陈凤芝和乐蓓等人。
“老实说，年轻的时候跟我在一起的全是女明星，都是她们自己黏过来的，是觉得我对她们的娱乐事业有帮助，有多些宣传作用，我可以说是被她们利用。”
赵世曾说过：“结婚很麻烦，尤其在香港当前的法律体系下，对方会分割走大量的财富。不结婚则要安全得多。”虽然他曾与过万女子约会，但仍旧孤身一人，一生未婚。
1977年，41岁的赵世曾与女星姚炜相识、相恋，但1979年生下长女赵式芝后，姚炜就离开了赵世曾。姚炜曾说：“他总以为所有女人在他身边都是为了钱，所以我决定什么都不要，抱着女儿离开，搬到父亲的廉租屋住。”
与赵世曾分手后，姚炜专注演艺事业，1984年拍摄了电影《金大班的最后一夜》，该片也成为她的代表作，姚炜凭着演活白先勇笔下的“金大班”名噪一时。而她并不否认，这段感情经历的确有助于她对金大班情感的诠释。
1984年，赵世曾与女友盈盈（蔡珍妮）诞下儿子赵式浩。1992年，赵世曾与比他小30岁、漂亮的美籍越南裔女子特丽-霍拉迪（TerriHolladay）举行海陆空订婚仪式，但没有正式注册。特丽于1994年诞下赵式正，三年后与赵世曾分手。
