O infinito é um símbolo ou um número? Ele é algo totalmente abstrato?
Todo número é abstrato. Nesse aspecto o infinito não é menos abstrato do que o zero.

A diferença é que conseguimos associar os números naturais à objetos contáveis de uma forma mais... natural. Então, o infinito pode ser entendido como um objeto matemático associado à uma propriedade de um conjunto, chamada cardinalidade. Existe uma álgebra desse tipo de número e ele pode ser usado (se você souber o que está fazendo) de forma bem consistente e rigorosa. Mas respondendo a sua pergunta: não, o infinito não é um número no mesmo sentido em que 2 ou 427. Uma confusão muito comum é pensar que o infinito é um número... ahm... infinitamente grande (não que ninguém consiga imaginar isso realmente). Para lhe dar uma noção, aqui vai um exemplo que vi um tempo atrás na internet:
Suponha que você tenha um suprimento inesgotável de bolinhas numeradas em ordem: 1, 2, 3, etc. Agora vá colocando essas bolinhas em uma caixa, de uma por uma, pela ordem numérica. Mas antes de fazer isso, vamos impor a seguinte regra: se o número da bola acrescentada for o quadrado de um número natural que *já esteja na caixa*, você imediatamente retira essa última bola da caixa. Bom, então o processo vai ser assim: coloca a bola 1, retira a bola 1 (pois 1^2 = 1), coloca 2, 3, 4 e retira 2, coloca a 5, 6, 7, 8, 9 e retira a 3, coloca a 10, 11, 12, 13, 14, 15, 16 e retira a 4, 17, 18, etc.
Note que em cada passo o número de bolas na caixa vai aumentando. Se você for realmente fazendo isso, vai ver o número de bolas parecer aumentar monotonicamente. Porém, o que acontece no limite número de bolas

infinito? Qual vai ser o número de bolas na caixa? Ora, vai ser zero, pois todo número natural é a raiz de um outro número. Isso quer dizer que naquele regime inimaginável em que você manipula números infinitos de bolas, o número das que estão na caixa vai diminuir, até chegar a zero. Resumo da ópera: infinito não é o mesmo que um "número muito muito muito muito grande". É um outro tipo de bicho.
EDIT: "quadrado" no lugar de "raiz".