上师答应收他为徒。有一天，上师跟他说：“你身体健壮，我要你建造一间藏经书的石屋，造好了，我就传法给你！”
密勒日巴听了，非常欢喜，即刻请求上师将造房子的图样交给他。上师说：“我想在东方险要的山顶上造一所圆形的房子，也借此消除你的业障。”
密勒日巴于是日日费力造屋，差不多造到一半的时候，上师来了，把他一件半月形的上衣，层层折叠起来，放在地上说：“这地方不大好，你把石头和材料拆运下山，到西方山头照这衣的样子替我盖个房子吧！”
密勒日巴苦不堪言，只好再背上背下地造屋，等盖到一半的时候，上师又来了，说：“这个房子看起来好像还不对，你把它拆掉，把木头石头搬下山，到北方的山头给我盖一所真正代表修行者的三角形房子吧！”
密勒日巴只得遵照师命，重新不眠不休地赶工，不以烈日熏烤、风雨摧打为苦。好不容易做了三分之一的时候，上师又来了，问他：“这房子是谁叫你做的！”
密勒日巴急了，马上回答：“是师父您亲自吩咐的呀！”