Syn, dziewiąte dziecko rabina Owadii Josefa, naczelnego rabina Izraela w latach 1973–1983 i Margalit. Jego brat, Jicchak, był jego poprzednikiem jako sefardyjski naczelny rabin Izraela w latach 2013–2024.
Uczęszczał do litwackichjesziw. Pełnił funkcję naczelnego rabina dzielnicy Har Nof(inne języki) w Jerozolimie, prowadził także kolel. Z funkcji rabina Har Nof ustąpił w 2020 roku. Jego bliskim współpracownikiem jest Arje Deri, przywódca religijnej partii Szas, w której Josef pełnił funkcję członka Rady Mędrców Tory(inne języki), zastępując swojego zmarłego ojca. Jest autorem prac dotyczących halachy, m.in. wielotomowego dzieła Halacha Berurah.
W 2024 roku został wybrany sefardyjskim naczelnym rabinem Izraela. Jego aszkenazyjskim odpowiednikiem został Kalman Ber.
W styczniu 2025 roku został objęty ochroną przez Szin Bet, w związku z informacjami wywiadowczymi na temat planowanego na niego zamachu.
Żonaty z Sofią, ma dziewiątkę dzieci. Mieszka w dzielnicy Har Nof w Jerozolimie.