向宠的祖父叫向德基，父亲叫向圣传。兄弟三人：向宠、向平、向充。向宠的儿子叫向广居。
向氏本源至商朝，商贵族微子启帮助周灭亡纣王以后封地宋国国王。传至东周宋桓公，宋桓公有五子，赐第四子子肸姓向。子肸为向氏得姓始祖，再下传34代就是向宠了。