许广平是显赫的近代广州第一家族许拜庭的后人，家族中人才辈出，如反英军入广州城斗争的功臣许祥光、有“许青天”之称的许应镕、廉洁清官许应锵、民国粤军总司令许崇智、辛亥革命元老许崇灏、有"铁血将军"之称的东征名将许济、红军名将许卓、著名教育家许崇清等。
许广平的祖父许应骙是慈禧太后的干儿子，曾经做过浙江巡抚，是官居二品的封疆大吏，获赐可在宫中骑马，因此许家称得起是当地数一数二的大族。表哥许崇智是黄埔军校创立人，粤军总司令；另一位表哥许崇清则为广州前教育局长；侄子许卓则是红军烈士；还是香港演员许绍雄的姑婆。
许广平的父亲许炳枟因系庶出，在这个大家族中处于受歧视被排挤的地位。他虽然是评定诗钟的好手，又自称为诗人，但却没有功名在身，终生未能做官。他是个半开化的绅士，从小就具有叛逆精神的许广平经过斗争，居然被允许像男孩子一样读书、学官话、上学堂，连缠足的罪也免了。