Rođen u Lepoglavi, u obitelji učitelja Augustina Šufflaya i Franciske Welle von Vorstern, Šufflay je rano pokazao iznimnu nadarenost. Nakon završene srednje škole u Zagrebu upisao je studij povijesti na Filozofskom fakultetu Sveučilišta u Zagrebu, gdje je 1901. godine doktorirao s temom "Hrvatska i zadnja pregnuća istočne imperije pod žezlom triju Komnena (1075.-1108.)".
Tijekom studija usavršavao je znanje više jezika, uključujući francuski, njemački, talijanski, engleski, latinski, starogrčki i srednjogrčki, a kasnije je naučio i albanski, hebrejski te sanskrt.
Nakon studija Šufflay je boravio na Institutu za austrijsku povijest u Beču. Od 1904. do 1908. radio je kao kustos u Narodnom muzeju u Budimpešti, a 1908. postao je profesor na Katedri za pomoćne povijesne znanosti na Filozofskom fakultetu u Zagrebu.
Njegov znanstveni rad obuhvaćao je srednjovjekovnu povijest Hrvatske i Albanije i bio je jedan od prvih istraživača koji su se posvetili albanologiji. Suradnja s istaknutim povjesničarima poput Theodora Smičiklasa rezultirala je djelima poput Diplomatičkog zbornika Kraljevine Hrvatske, Dalmacije i Slavonije.
Politički angažman i progon
Šufflay je bio aktivan u političkom životu sudjelujući u radu Hrvatske stranke prava. Zbog optužbi za suradnju s političkom emigracijom, 1921. godine osuđen je za veleizdaju i špijunažu te je proveo više od tri godine u zatvoru u Srijemskoj Mitrovici.
Nakon puštanja na slobodu nastavio je znanstveni rad, ali je bio pod stalnim nadzorom vlasti. Godine 1928. pokušao je preuzeti profesorsku poziciju na Sveučilištu u Budimpešti, no zbog uskraćivanja putovnice nije mogao otputovati.
Ubojstvo i međunarodna reakcija
Dana 18. veljače 1931. Šufflay je brutalno napadnut ispred svog doma u Zagrebu i napadači su mu razbili lubanju metalnom šipkom. Preminuo je sljedećeg dana, 19. veljače 1931. Ubojstvo je izazvalo međunarodnu osudu. Albert Einstein i Heinrich Mann uputili su pismo Međunarodnoj ligi za ljudska prava u Parizu, tražeći osudu jugoslavenskog režima i zaštitu hrvatskog naroda. Unatoč pritisku, službena istraga nije dala konkretne rezultate, a počinitelji su ostali nekažnjeni.
Znanstveni doprinosi i književni rad
Šufflay je autor brojnih znanstvenih radova i knjiga. Njegova djela uključuju Die dalmatinische Privaturkunde, Acta et diplomata res Albaniae mediae aetatis illustrantia, Städte und Burgen Albaniens hauptsächlich während des Mittelalters te knjigu Srbi i Arbanasi.
Osim znanstvenih radova pisao je i književna djela, među kojima se ističe roman Na Pacifiku godine 2255., koji se smatra prvom hrvatskom SF knjigom.