Czy na pewno? Gdyby tak było, na spoju miałbyś błąd sigsegv czy coś podobnego, a przecież masz tam błędną odpowiedź.
Po prostu odległość od pkt (0 0) liczy się tak: odległość = sqrt(x*x + y*y)
można też użyć funkcji: hypot(x,y).
Do celów porównywania odległości, można zrezygnować z obliczania pierwiastka i porównywać kwadraty odległości. Natomiast to co Ty porównujesz, to ... właśnie, właściwie nie wiem i może tu leży pies pogrzebany?