באלארד נולד בחוף המזרחי של ארה"ב, בעיר סנטה קרוז. בילדותו הוא ינק את כל התקליטים של ענקי הג'אז כמו קאונט בייסי, לואי ארמסטרונג, אוסקר פיטרסון, מילטון נסימנטו ועוד, מהמוסיקה שהוריו ניגנו בבית. הוא התחבר ל-Swing ולמוסיקה הלטינית, והתרגש כל פעם מחדש מהסאונד המיוחד והאחר של כל ז'אנר.
בצעירותו למד תיאוריה של המוסיקה בקולג' וניגן עם תזמורות ביג-בנד ובאירועים מכל סוג שהוא. בגיל 25 החל ללוות את המוסיקאי הענק Ray Charles, הוא ניגן איתו עד שהיה בן 28. אחר כך עבר ג'ף לסן-פרנסיסקו ונחשף לג'אז המודרני. כששמע את טוני וויליאמס עם מיילס דיוויס, את אלווין ג'ונס עם ג'ון קולטריין, ואת המוסיקה של אורנט קולמן - השתנה עולמו, לדבריו.
הוא עבר לניו-יורק והתחבר לקבוצה של נגנים שהיו מוסיקאים מהסוג שלו - כאלו שהושפעו מהמסורת, ויחד עם זה חיפשו את הפירוש והאמירה שלהם במוסיקה. הוא ניגן מוסיקה יותר טבעית, וחקר מקצבים מתרבויות שונות, חלק ניכר מהם מהמזרח התיכון. הוא לקח מכל אלה וסינתז את מה שלקח עם ההרגשה שלו על התופים. במהרה הוא סלל את דרכו לאמנים גדולי עולם והוא מלווה אותם עד היום, ביניהם: Chick Corea, Pat Metheny, Brad Mehldau, Avishai Cohen, Joshua Redman, Mike Stern, Danilo Perez.