永平十一年，明帝敕令在洛阳西雍门外三里御道北兴建僧院，取名白马寺。同年秋，江夏安陆黄氏一户人家喜添一名男婴，因院中桂花香气扑鼻，故取名黄香。

黄香自幼家境贫寒，没钱供他读书，他从小就一边帮家里大人做事一边向附近有学问的人请教学习。当地读书人见黄香这么小就求学好问都感到惊奇，于是十分喜爱他，对他传授知识也都不曾有所保留，几乎倾囊相授。

黄香九岁时母亲因病故去，至亲的离世使他幼小的心灵遭到了巨大的打击。黄香一度茶饭不思神志恍惚，后来生了一场大病竟然差点死掉。黄香在昏沉中呼唤着母亲，无论大夫怎样叫都醒转不来。黄香的父亲哭泣着抱起黄香说道：“我到底犯了什么样的过错，上天要一次带走我的两个亲人。”奇怪的是黄香好似听到了他父亲的声音，呼吸慢慢平稳下来，终于在几日后恢复了正常