这栋城堡在第一任主人出事之后，被当时的一个富有的商人买下，商人倒是正经商人，从事油料运输，在他买下这栋城堡之后，花费巨资进行了装修，然后带着一家十几口人搬进了城堡。结果刚刚搬进去的第一天，一家人就不知为何神秘失踪，就好像第一任主人一样，活不见人死不见尸。
接着就是第三任主人，一个葡萄牙海军军官。当时葡萄牙人是海上马车夫，那位海军军官也是出身名门，他奉命来这里开拓航路，一眼就看中了灰石堡。这座矗立在悬崖上的城堡，既像一个坚固的军事堡垒，风景又极为美妙，除了视野良好之外，周围绿树成荫，远处海浪滚滚，是一处不可多得的居住地。葡萄牙军官当下拍板买下了灰石堡，还娶了一位当地姑娘，在灰石堡里举办了婚礼，结果一个月之后军官出海，在海上遇到当时著名的海盗“黑胡子”，落得船毁人亡葬身大海的下场，而他的新婚妻子，在军官惨死之后，最终也落了一个神秘失踪的结果。
城堡的第四位主人，是那个海军军官的亲哥哥。他来接收这栋城堡之后，也不知道城堡发生了什么，在住了一个月之后，匆忙将城堡出售给一个商人，然后匆匆返回葡萄牙，在一个月之后，他暴毙家中。
而那第五人主人，一个从事橡胶生意的商人，在买了城堡的第一年之后，大儿子惨死在土匪手里，第三年，小儿子因为工地脚手架脱落被砸得半身不遂，他自己在第五个年头，因为踩滑了地板，从城堡三楼摔下，当场暴毙。
从此以后，这座城堡就染上了“诅咒之屋”的恶名――除了第一任主人一直平安无事居住到了晚年之外，剩下的连续四任主人，都是死于非命，最后那位商人的遗孀将这栋城堡挂出了很低的价格，不过一直没有人来接手。因为大家都盛传这栋城堡因为是建立在奴隶的血肉上的，这里不知道累积了多少奴隶的亡魂，除了第一任的奴隶主之外，其他人身上都没点血腥味，镇压不住这里的亡魂，所以灰石堡虽然好，但一直没有人来居住，到后来，那位商人的遗孀甚至也搬离了城堡，这栋城堡正式成为了孤魂野鬼的游乐场。
传说有人在这里看到过吉普赛人，看到过僵尸，看到过亡魂……总之在之后长达百年的时间里，这栋城堡无人问津。
一直到了矮子古兹曼出现。
古兹曼，绰号矮子，世界头号通缉犯，世界上势力最强大的毒贩，鼎盛时期，他的资产约200亿美元。他曾经两次从墨国的高安全级别监狱成功逃狱。
在80年代，古兹曼从那位商人的后代手里，将灰石堡买了过来。
他觉得他能镇得住这里的“冤魂”，在他买入城堡，大张旗鼓搬进来之后，很多人都在等着看他的笑话，可事实证明，不管这里有没有“冤魂”，古兹曼真的镇得住，不仅镇得住，而且他自从搬到灰石堡之后，一路顺风顺水。
古兹曼可能是真命硬。