Джемс Филлис родился 27 Декабря 1834 г. в Лондоне. Отец его, Томас Филлис, был известный богатый нотариус, старинная контора которого пользовалась большою популярностью в Англии. Как все англичане, Томас Филлис был одержим страстью к лошади и посещал часто скачки. В 1841 г. отец умирает и вдова – мать остается с семью малолетними детьми. при чем, как оказалось, состояние почти все потеряно в последний год жизни отца, увлекшегося игрою на скачках. Джемс Филлис говорил, что, не случись краха, не пришлось-бы ему ездить верхом, так как нотариальная контора фирмы Филлиса переходила много поколений преемственно от отца к сыну.
Семилетний Джемс попадает к другу его отца, богатому владельцу лошадей. имевшему скаковую конюшню, где и проводит два года. За это время он, благодаря своей наблюдательности, быстро знакомится с уходом за лошадью и, находясь ежедневно среди грумов, жокеев и конюшенных мальчиков, приучается сидеть в седле на чистокровных полуторниках.