Cara, você acha que dois milênios de debates filosóficos acerca da fundamentação do conhecimento se resume a se precisamos ou não dos sentidos para vir a conhecer alguma coisa? Todos concordam que o conhecimento começa na experiência, sejam empiristas, racionalistas ou idealistas.
Você sempre viu objetos com as três dimensões, então através da negação deles você criou o conceito de "ponto", o qual seja: um objeto desprovido de dimensões, ou seja, você dependeu indiretamente da experiência para criar o conceito de "ponto".
Se você com isto quer dizer que a experiência do espaço físico estimulou a formulação da geometria, mesmo que esta seja um sistema com conceitos que não são diretamente empíricos, independente do espaço físico mas aplicável a ele, então isto que você está falando não consiste em uma posição empirista. Poincaré, que era um idealista kantiano, concordaria absolutamente contigo.
Diga-se de passagem, "ponto" é só um conceito, e o conhecimento não é apenas uma coleção de conceitos, mas a articulação destes em proposições justificadas. E não é a experiência que justificará, por exemplo, a verdade da proposição "um segmento de reta contém infinitos pontos".
Só para você ter uma idéia do que é realmente empirismo, para Berkeley não tem dessa de abstrair as coisas a partir da experiência. Para este filósofo só existe conhecimento direto da experiência. Todo o resto seria delírio intelectual. Por exemplo, Berkeley rejeita a definição geométrica de ponto como algo desprovido de dimensões, e o redefine como "o mínimo sensível". Obviamente, ele rejeita também as conseqüencias lógicas da definição geométrica de ponto, como a existência de infinitos pontos em um segmento de reta.