Cô có một em trai tên là Austin. Taylor lớn lên trong một trang trại cây thông ở Wyomissing, Reading, Pennsylvania, cha cô là một người môi giới chứng khoán và mẹ cô làm việc nhà. Khi Taylor học lớp bốn, Taylor đã giành chiến thắng trong một cuộc thi thơ quốc gia với bài thơ dài 3 trang có tựa đề "Con quái vật trong tủ quần áo của tôi". Năm 10 tuổi, Taylor bắt đầu biểu diễn tại nhà, tham gia các cuộc thi hát tại phòng karaoke, lễ hội và hội chợ và bắt đầu sáng tác nhạc.
Swift ảnh hưởng đến âm nhạc lớn nhất của Shania Twain. Những nhân vật khác ảnh hưởng đến âm nhạc của cô bao gồm LeAnn Rimes, Tina Turner, Dolly Parton và bà của Swift. Mặc dù bà của cô là một ca sĩ opera chuyên nghiệp, Taylor có xu hướng thiên về đồng quê hơn và cô đã phát triển tình yêu với Patsy Cline và Dolly Parton từ khi còn rất nhỏ. Cô cũng thừa nhận tác động của Dixie Chicks trong việc thể hiện những thứ bạn có thể tạo ra trong một "giới hạn mở rộng".
Vào năm 11 tuổi, Swift đã thực hiện chuyến đi đầu tiên của mình đến Columbia, với hy vọng có được một hợp đồng thu âm khi mang bản demo thu thập tại nhà với các bài hát karaoke. Taylor đã để lại một bản sao tại mọi hãng thu âm trong thành phố, nhưng Swift đã bị từ chối thẳng thừng và buộc phải trở về nhà, giấc mơ dường như đã kết thúc.