두 원뿔을 거꾸로 붙여놓은 도형을 평면으로 잘랐을 때 생기는 곡선을 원뿔곡선, 또는 이차곡선이라고 한다. 이차곡선에는 원, 타원, 쌍곡선, 포물선 등이 있다. 일반적으로 이차곡선은 다음과 같이 표현된다.
$ax^2+bxy+cy^2+dx+ey+f = 0$
우리가 알던 원, 타원, 쌍곡선, 포물선의 식과는 조금 다르지 않은가? 평행이동을 하여서 $x$ 항과 $y$ 항이 있을지는 몰라도 $xy$ 항은 처음 본다. 이 항은 회전변환에 의해 생긴 것이다. 우선 $b = 0$ 인 식은 모두 하나의 이차곡선과 대응된다는 사실을 우리는 알고 있다. 이제 $xy$ 항이 있는 식 또한 이차곡선의 식임을 증명해보자.
일반적인 회전변환의 행렬식은 다음과 같다.
$ \begin{bmatrix} cos \theta& -sin \theta \\ sin \theta& cos \theta \end{bmatrix} $
$xy$ 항이 없는 이차곡선 위의 점을 ($x$, $y$) 라고 하자. 이 점을 $\theta$ 만큼 회전변환시킨 좌표를 ($u$, $v$) 라고 하면 이는 다음과 같이 표현된다.
$ \begin {bmatrix} u\\ v \end {bmatrix} = \begin{bmatrix} cos \theta & -sin \theta \\ sin \theta & cos \theta \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} x\;cos \theta + y\; sin \theta \\ x\; sin \theta + y\; cos \theta \end{bmatrix}$
($u$, $v$) 를 $ax^2+by^2+cx+dy+e = 0$ 에 대입하여 보자.
$a(x\; cos \theta - y\; sin \theta)^2 + b(x\; sin \theta + y\; cos \theta)^2 + c(x\; cos \theta - y\; sin \theta) + d(x\; sin \theta + y\; cos \theta) + e = 0$
$(a\; cos^2 \theta + b\; sin^2 \theta)\;x^2 + (-2a\; sin \theta cos\theta +2b\; sin \theta cos \theta )\;xy \\+ (a\; sin^2 \theta + b\; cos^2 \theta)\;y^2 + (c\; cos \theta + d\; sin \theta)\;x + (-c\; sin\theta + d\; cos \theta)\;y + e = 0$
없던 $xy$ 항이 생겨났다. $xy$ 항이 없는 이차곡선은 모두 회전변환을 통하여 $xy$ 항을 생성할 수 있다. 그렇다면 모든 $xy$ 항을 가진 위와 같은 꼴의 식은 회전 변환을 통하여 $xy$ 항을 제거할 수 있을까? ($x$, $y$) 을 $xy$ 항이 있는 위와 같은 꼴의 식 위의 점, 이 점을 $\theta$ 만큼 회전변환 시킨 좌표를 ($u$, $v$) 라고 다시 정의하자. 회전변환의 결과를 이용하면
$a(x\; cos \theta - y\; sin \theta)^2 + b(x\; cos\theta - y\; sin \theta)(x\; sin \theta + y\; cos \theta) \\+ c(x\; sin \theta + y\; cos \theta)^2 + d(x\; cos \theta - y\; sin \theta) + e(x\; sin \theta + y\; cos \theta) + f = 0$
$(a\; cos^2 \theta + b\; sin \theta cos \theta + c\; sin^2 \theta)\;x^2 + (-2a\; sin \theta cos\theta + b\; cos^2 \theta - b\; sin^2 \theta + 2c\; sin \theta cos \theta )\;xy \\+ (a\; sin^2 \theta - b\; sin\theta cos\theta+ c\; cos^2 \theta)\;y^2 + (d\; cos \theta + e\; sin \theta)\;x + (-d\; sin\theta + e\; cos \theta)\;y + f = 0$
여기서 $xy$ 항을 제거해보자. 제거가 되려면 $xy$ 항이 0 이 되도록 하는 적당한 $\theta$ 가 존재하면 된다. 삼각함수의 2배각 공식을 활용하면
$sin2\theta = 2\; sin\theta cos\theta$
$cos2\theta = cos^2\theta - sin^2\theta$
$-2a\; sin \theta cos \theta +b\; cos^2 \theta -b\; sin^2 \theta +2c\; sin\theta cos \theta = 0$
$-a\; sin2\theta +b\;cos2\theta + c\; sin2\theta = 0$
$tan2\theta = \frac{b}{a-c}$
$tan\theta$ 의 범위는 실수 전체이므로 이차식이도록 하는 어떤 $a$, $b$, $c$ 가 들어오더라도 $xy$ 항을 없엘 수 있는 회전변환, 그리고 회전각 $\theta$ 가 존재한다. 따라서 모든 $xy$ 항이 있는 위와 같은 식은 회전변환을 통해 $xy$ 항이 없는 이차곡선 꼴로 만들 수 있다.
고로 모든 $ax^2+bxy+cy^2+dx+ey+f = 0$ 꼴의 식은 이차곡선의 식이다.
참고자료 : S.Friedberg, A.Insel, L.spence (2013), Linear Algebra: Pearson New International Edition, Harlow, United Kingdom: Pearson Education Limited p.261-262