Хотя Шрила Харидас Тхакур родился в мусульманской семье, его считали истинным брахманом. Таким образом, он имел полное право входить в храм Джаганнатхи в Пури. Но поскольку по действовавшим в то время правилам в храм допускались только последователи варнашрама-дхармы (брахманы, кшатрии, вайшьи и шудры), Харидас Тхакур, будучи очень смиренным, не хотел нарушать эти правила. Вот почему он сказал, что не отважится войти в храм. Иначе говоря, он не сможет видеться с Господом Шри Чайтаньей Махапрабху, если тот будет жить в храме. Позже, придя в Джаганнатха-Пури, Харидас Тхакур поселился за пределами храма в месте, именуемом Сиддха-бакула. Сейчас на этом месте возведен монастырь, который называется Сиддха-<&> бакула Матх. Паломники, приходящие в Джаганнатха-Пури, часто посещают это место, а также могилу Харидаса Тхакура на берегу океана.