以前此墓称“海孜来特麻扎尔”，译为“尊者之墓”。也有人称为“阿帕克和卓扎尔”的，简称为和卓墓，直到现在还有人这样称呼。此墓群最初并无“香妃墓”之称，后来才传说香妃也葬在里边，但连守墓人也不知哪座墓堆是香妃的。
再到后来，不仅“香妃墓”叫得越来越多，越来越响亮，而且还明确了哪座墓堆是香妃的。更有甚者，有人将据说是当年运送香妃遗体的废旧驮轿也摆了出来，以证实香妃确实葬在那里。
此墓建于1640年，而香妃之名正式出现于民国初年，况此墓又为家族合葬墓，而且迄今为止也没见到香妃葬入此墓的明确的文字记载，故称之为“香妃墓”应是后人附会之说。摆出的那副驮轿确是运送尸体用的，但怎么就能认定一定是运送香妃遗体的驮轿?
据有关文献记载，此轿乃是咸丰六年(1856)运送一个死在北京的男子尸体时用的，从时间和性别上都与香妃毫无关系，根本就不能成为香妃葬入此墓的证据。
根据中国民间习俗，已出嫁的女子死后，都要葬入婆家的坟地，而不归葬娘家祖茔。香妃既已成为大清皇帝的妃子，死后能归葬新疆娘家祖坟吗?大清皇帝的妃嫔死后都葬入皇家陵园，陪伴在自己的夫君身旁，还从来没有发现过皇妃死后归葬娘家祖坟的例子。
