ג'ו, שמתאר את עצמו כ'ילד כפרי', נולד בדרום ג'ורג'יה וגדל באלבמה, לעיתים קרובות ליווה את אביו המיסיונר הנודד בדרכים. במהלך גידולו, הוא גם למד לנגן בגיטרה ובפסנתר תוך פיתוח כישורי השירה שלו בכנסייה. חלומו של ג'ו ללמוד באוניברסיטת דילרד בניו אורלינס כדי ללמוד עסקים ומשפטים נדחה כאשר הוא בחר לעבור לניו ג'רזי במרדף אחרי קריירה מוזיקלית. לאחר שהשיג את עשרת הגדולים של R&B עבור Mercury Records בשנת 1993 עם 'אני מאוהב', ג'ו החל להכות את הקצב באמצע שנות ה-90 עם הלהיט החוצה את הגבולות R&B והפופ 'כל הדברים (שהגבר שלך לא יעשה)'.