在人们心里，提到夜郎，就会自然而然地联想到那个留传千百年的成语：夜郎自大，夜郎自大已经成了自以为是、骄傲自大者的代名词。其典故出自于《史记》中记载的一个故事：
公元前122年，汉朝派使者来到夜郎，途中先经过夜郎的邻国滇国（今云南省）。使者会见滇王时，滇王竟然好奇地问：“汉朝和我的国家比起来哪个大?”使者一听吓了一跳，他没想到这个小国家，竟然不知天高地厚，敢拿自己的穷乡僻壤与堂堂汉朝相比。同样令他惊讶的是，后来他到了夜郎国，骄傲又无知的夜郎侯因为不知道自己统治的国家只和汉朝的一个县差不多大，竟然也拿同一个问题问使者：“汉朝和我的国家哪个大?”
一个小小的西南地区小国，居然和汉朝疆域比大小，真是不知天高地厚，这给人们留下了深刻的印象，从此，“夜郎”便和“自大”紧紧地联系起来。那么，夜郎真的自大吗？
《史记》中提到，夜郎自大的起因是：元狩元年（前122年），张骞从西域归来，对汉武帝说，他在印度时看到来自四川的土产，因此推断早在他探辟西域之道前，西南的民间商贸流通就可以从西南到印度了，而且从西南到两域，“患匈奴隔其道，诚通蜀（今四川），身毒国（今印度〉，道便近，有利无害”。他建议汉武帝打通通往西域的道路，汉武帝于是派使者去西南探辟通往印度的道路。在途经云南时，使者拜访了当时的滇王，还与西南几个小国的王侯们会晤。因当时道路不畅通，交通不便，诸侯分居于各地，不知汉朝有多大的面积，所以滇王问汉使者：“汉与我孰大?”意思是：“汉朝与我的国家比起来，哪个大些?”在座的夜郎及诸者随之亦然。
从中可以得知，问这话的是滇王在先，而夜郎侯在后，结果夜郎侯替人受过。
那夜郎到底有多大呢？
夜郎之名，始见于史记。《史记·西南夷列传》第一句就说：“西南夷君长以什数，夜郎最大。”夜郎到底有多大？他也不知道。
《后汉书》追记战国时期夜郎的范围：东接交趾，西有滇国，北有邛都国。就是说，当时的夜郎国涵盖了贵州大部，云南、四川、广西、湖南部分地区。这在当时来说，也的确足以言“大”了。
就事情本身而言，无论是滇王还是夜郎侯，都是因为视野不开阔，孤陋寡闻才会问出此类问题。究其原因，他们两个都是僻处大山的方国，即便现在交通也多受限制，两千多年前更是山隔水阻，偶有山外客来，急于打听山外世界，实为人之常情，而并非妄自尊大向汉王朝叫板。