Imagens SVG são imagens vetoriais, enquanto que imagens png, jpg, e etc. são imagens matriciais.
Uma imagem SVG nada mais é que um arquivo de texto, com um XML descrevendo arcos, posições, gradientes, preenchimentos, e etc. Experimente abrir num editor de texto purotextos como o Vim ou Gedit/Gedit (no mundo windows pode ser notepad++Linux) ou mesmo o notepadNotepad/Notepad++ (Windows).
Assim elas são muito menores do que os outros tipos de arquivos que descrevem a imagem bit a bit como são asé o caso das imagens matriciais, mesmo com a compressão que os vários dos tipos de imagensimagem têm.
A diferença é que SVG são desenhos, não fotos. E mesmo que alguns mais complexos cheguem a parecer bem reais, nunca serão fotos.
A vantagem do SVG é que, por ser vetorial, nunca perde resolução, nos maiores e menores tamanhos.
Já auma imagem matricial, com alguns zooms, já aparece aquele "quadriculado" típico que indica o limite de resolução dela. Se a aplicação que vcvocê quer dar são iconesícones, SVG ocupará menos espaço. Mas, mas não éserá possível utilizá-laslo para fotos.