据说当时，织田信长曾在全国选拔筑城的建筑师，各路优秀的工匠都前来竞选，最后，织田信长则选用了一个名不见经传的乡下工匠建筑安土城。本来预先计算，建筑此城需要花费五年的时间，但织田信长硬是要把时间缩短，改为三年建成。在这三年之中，为建造安土城共花费了一千多亿两黄金，动用了一百多万名工匠，用掉了四万多棵木材，主梁木材树龄高达两千五百年之久。但建成后，织田信长只在里边居住了短短不到三年时间，就遭遇了本能寺之变，死在了他乡，安土城也遭大火焚毁。日本历史上第一名城从此烟消云散。

但对于安土城的消失，日本民间还存在着另一种截然不同的说法，相传织田信长攻打毛利、武田、上杉等各路豪杰时，肆意杀戮，积怨甚多，被其杀死的冤魂不计其数。所以在其建成安土城后，所有的冤魂集结于此，诅咒织田信长本人及这座豪华壮丽的名城，最终不仅带走了织田信长，也把这座安土城在一夜之间变得踪影全无。以至于直到今天，还有人把这座消失不见的日本古代名城，视为“鬼城”。