传说，过去库布齐一带地平水肥，草茂花鲜，沃野千里。

有一天，仙人张果老倒骑毛驴踏着祥云由西向东途经这里，忽然听到下面有吵闹声，便停下脚步观看。当他得知这些人因一些小事而争吵不休时，觉得没什么意思，叹息地摇了摇头便很快离去。

走着走着，黑压压的一片乌云向他飘来，顿时狂风四起，雷雨交加。张果老一面拍了拍毛驴的屁股，一面高兴地用雨水洗去一路的风尘，让风梳理着他那蓬乱的头发。这时，他的耳边隐隐约约地传来漫骂声和撕打声。他想，人们生活在这么优美的环境里，还有什么可争吵的?于是，就停下脚步侧耳细听。

当他听到人们为了一块巴掌大的草地你争我抢、因砍倒的树木归属问题而互不相让时，便自言自语地说：“既然上帝赐予你们这块风水宝地，就是让你们齐心协力地搞建设，而你们却因一些小事浪费大好时光。罪过，罪过！”

张果老一转身就变成破衣烂衫的乞丐来到凡间。当看到那里的人们是靠砍树卖柴和卖野花维持生活时，就在被砍倒的大树旁插了一苗小树枝，意指砍倒大树应补种小树。又用不同颜色的野花拼了一个“种”字，以警示他们边采边种。

可人们总觉得那里生长着满山遍野的绿树和野花，每家每户砍几棵大树、采几束野花都是区区小事。然而，几年后，当张果老再次去那里时，东边成片的绿树只剩树桩，盛开的野花也没有了。西边传来刺耳的“咔嚓，咔嚓”的砍树声。

张果老一气之下，立即在小沙袋的底部扎了一个小孔，憋闷的沙粒离开狭小的天地，降落到地上就到处乱跑，先形成沙丘，沙丘再连接成沙丘链，最后，农田沃土被无情的沙漠吞噬。这就是库布齐沙漠的来历。