Pierwszy błąd, jeżeli faktycznie liczysz przekątną tzn. liczysz pierwiastek i wprowadzasz błąd obliczeń zmiennoprzecinkowych zamiast operować na sumie kwadratów. Drugi, jeżeli trzymasz to w float.
Pierwszy błąd, jeżeli nie liczysz pierwiastka, ale za to używasz niewłaściwego typu danych (chyba najbezpieczniej od razu robić wszystko na long long int).
Ta część brzmi podejrzanie. Załóżmy in 0 0 10. Wczytujesz współrzędne, np. 5 i 5. Potem kolejne - 10 i 10. W kolejnym (drugim, tj. 10 i 10) wczytaniu nie pojawił się mniejszy promień więc wynik dajesz na konsolę pomimo faktu, że potem masz np. 3 i 3 kilka razy? Poza tym jak zliczasz ponownie wystąpienia, jeżeli nigdzie ich nie zapamiętujesz (np. w tablicy)?