巴特勒出生于休斯顿郊区的一个名叫汤巴尔的地方，当他还在襁褓中的时候，他的亲生父亲便离家出走，离开了他和他的母亲。但这并不是巴特勒悲惨童年的终点，到巴特勒长到13岁的时候，他的母亲竟然狠心地把他赶出了家门。

据巴特勒在2011年的一次采访中回忆，“我不喜欢你的长相，你走吧。”这是吉米-巴特勒的妈妈在抛弃他之前说的最后一句话。就这样，年少的巴特勒成为一个彻底的流浪儿。

自从13岁被赶出位于德克萨斯州Tomball的家，巴特勒竭尽所能的想要生存下去。他住在朋友家，直到不好意思再待下去，通常每过几周，他就要另觅住处，只要晚上能有一片瓦遮头，他就很满足了。

就在这个时候，篮球成为他生命中不可或缺的一部分，他也开始渐渐展露天赋。在他升入高四的那个夏天，作为Tomball的潜在明星球员，他吸引了不少目光--这可不同一般。一级联赛的教练们还没开始接触他，但一个九年级名叫乔丹-莱斯利的孩子却率先招募了他。

莱斯利也来自Tomball，对巴特勒很是关注。在夏季联赛的末声，他走到巴特勒身边向他挑战三分投篮比赛，他的自以为是让巴特勒很是吃惊，巴特勒接受了挑战。莱斯利也是名运动健将，同样是个很有前途的橄榄球和篮球双料明星。在乔丹-莱斯利 、向巴特勒挑战三分球后不久，巴特勒成为他家庭的一部分。在比赛过后，他们俩迅速成为朋友，莱斯利邀请巴特勒去他家玩游戏并让他过夜。从此之后，巴特勒的人生发生了180°的转变。

米歇尔-兰伯特，莱斯利的妈妈，最初对这事感到犹豫不决。她和已过世的第一任丈夫育有四子，她第二任老公本身也有三个孩子，这个家庭也不宽裕，而Tomball坊间也盛传吉米是个到处惹麻烦的孩子，最后兰伯特的老公告诉孩子们吉米可以留下来，但一次只限于一到两个晚上。但每晚七个孩子中总有一个会跑出来说:“今晚轮到我招待吉米了。”就这样过了好几个月，兰伯特夫妇妥协了，米歇尔告诉吉米他成为了这个家庭的一份子。

但在那之前她给巴特勒定了些规矩。巴特勒遭遇生平第一次的宵禁，他还必须去上学并在学业上有好的表现，他必须做家务，但最为重要的是，米歇尔告诉巴特勒，他应该成为家里孩子们的榜样。

“我告诉他我的孩子们都很钦佩他，”兰伯特说，“所以他必须远离麻烦，在学校用功读书，他必须为他们树立榜样。然后你知道吗，吉米做到了，不论我对他有什么要求，他都从不会问缘由并一一做到。”

“他们接纳我成为家庭的一份子，”巴特勒说，“那并不是因为篮球的缘故，这一切都是源于她的爱心，她经常做诸如此类的事，这简直令人难以置信。”

找到落脚点的巴特勒终于可以尽情展现他的篮球才华。在2006-07赛季，巴特勒场均19分加8个篮板，被评为汤巴尔高中当季最有价值球员。

在选择大学阶段，巴特勒并没有得到热情的招募，他最终进入了得克萨斯的泰勒青年学院。不过短暂的大一之后，巴特勒转学到了马奎特大学(韦德的母校)，他的篮球才华逐渐被释放。尽管大二的赛季他只能作为替补，场均也只有5.6分和3.9个篮板，但升到大三之后，巴特勒成为主力前锋，并在2009-10赛季场均贡献14.7分和6.4个篮板。他在大东区赛事中先后绝杀康涅狄格大学和圣约翰大学，名声大噪，并帮助马奎特大学以11胜7负战绩打进NCAA全国锦标赛。

2011年，巴特勒在首轮第30顺位被公牛选中，终于踏入了NBA的大门。巴特勒签下合同的时候是一份4年500万的合同，对于一个新秀并不高，而他的数据确实没那么出色，第一年只有2.6分1.3篮板。

之后的每年他都在进步，让人印象深刻的是2013年季后赛，巴特勒在公牛和篮网的第六场和第七场全部打满48分钟，整个季后赛他有5场比赛出场48分钟。当时场均只有8分的他主要任务就是防守，而他的成名战也是那年季后赛面对巅峰热火拿下21分14板，并且全场再次出场48分钟，主要任务自然是盯防勒布朗詹姆斯。