在土家族文化中，廪君被公认是土家族人的先祖，白虎是土家族人唯一的图腾。巴人以白虎为图腾，树起了白虎大旗。

“土家”作为族称，是在较晚时期出现的。民国时期的《咸丰县志》将土司后裔的“支庶之家”称为“土家”，而将当地汉族移民称为“客家”。