劉繇は前漢・高祖の孫である斉孝王劉将閭の子孫という、何ぞの偽皇叔はおろか、下手をすれば後漢皇帝家（長沙王劉発の傍系の傍系）よりも由緒正しい家柄の出身だった。祖父や父も役人として名を上げ、特に伯父の劉寵に至っては有能且つ清廉潔白な太守として、会稽郡の人々から慕われ、後漢書にまで記されるほどの大物だった。ちなみに兄の劉岱は董卓討伐連合軍に参加している。つまり、エリート中のエリートだったわけである。そのうえ、19歳の時に賊に捕われた叔父を奪い返すという腕っ節の良さまで見せている。