[칼럼] 수학의 자유로움

수학은 과학, 예술보다도 자유롭다.

흔히 수학을 좋아하는 초중고 학생들에게 이유를 물으면 '답이 딱 떨어지게 나와서' 라고 답한다. 중학교 시절의 본인도 그랬었다. 하지만 수학은 답이 딱 떨어지는 학문이 아니다.

초중고 학생들이 인식하는 '수학'은 '고등학교 교육과정'일 뿐, 수학과는 결이 다르다. 고등학교 교육과정은 정해진 규칙과 논리, 그리고 정의에 따라 어디에서나 맞고 틀림이 존재하며, 그 규칙에 들어맞지 않는 모든 것은 '틀린' 것으로 간주된다. 따라서 학교에서 가르치는 그 규칙만 잘 숙지하고 있다면 논리적인 흐름에 따라 답을 도출할 수 있고, 이 때문에 의도를 파악해야 하는 국어 등에 비해 더 체계적이라고 느끼는 것이다.

하지만 여기서 논할 '수학'은 고등학교 교육과정에 국한된 것이 아닌, 학문의 최전선까지 연장된 수학이다. 수학이 과학보다도 자유로운 이유는 진리가 존재하지 않기 때문이고, 단 하나의 진리가 존재한다면 그것은 진리라는 것은 없다는 것이다. 물론 과학에도 진리가 존재하지 않는다고 할 수 있다. 현재의 과학도 결국 실험적인 결과를 잘 설명하는 하나의 방식일 뿐이고, 과거 지구가 태양계의 중심이라 믿었던 것처럼 기술의 발달에 따라 현재의 이론도 얼마든지 수정될 수 있다. 하지만 현재의 측면만 살펴보면 과학에는 자연이라는 하나의 거스를 수 없는 진리가 있다. 일각에서는 이를 신(神)이라고 표현하기도 하며, 과학의 대부분의 이론은 자연의 법칙을 잘 설명하는 것이 궁극적인 목적이다. 따라서 자연의 법칙, 관찰 결과와 잘 들어맞지 않는 이론은 '틀린 것'이 되어 그대로 사라져버린다. 과학은 어디까지나 자연이라는 진리 안에 갇혀 있다.

하지만 수학은 그와 다르다. 수학에 진리는 없으며, 그것이 자연과 관계가 있든 없든 끝없는 상상력을 이용하여 논리를 전개해나갈 수 있다. 가령, 1+1 = 3은 틀린 것이 아니다. 누군가의 체계에서는 그것이 맞을 수 있고, '+'을 재정의하거나 1 다음을 3으로 정의하여 1+1 = 3이 성립하도록 만들 수 있다. 다만 그것이 재미없고 쓸모가 없으며 직관적이지 않을 뿐이다.

자연상수 e는 고등학교 교육과정에서 (1 + 1/n)^n의 극한값으로 정의하고 있다. 하지만 이는 '극한을 이용한 정의' 또는 '대한민국 고등학교 교육과정의 정의'일 뿐이며, 다르게 정의해도 아무 문제가 생기지 않는다. 따라서 대학 수준의 수학에서는 저자 별로 책에 e의 정의를 적어놓고 '이 책에서는 ~으로 정의한다' 라고 언급하기도 한다.

고등학교 교육과정에서는 지수의 확장을 통해 최종적으로 지수함수와 로그함수를 모두 정의하고 그 법칙들을 증명한다. 하지만 ln x의 정의부터 시작하여 지수함수와 로그함수를 정의할 수도 있으며, 거기서 자연상수 e는 1/x을 1부터 t까지 정적분한 값이 1이 되도록 하는 양의 실수 t의 값으로 정의된다. 이 뿐만 아니라 e^x의 맥클로린 급수를 이용하여 e를 1/n!의 합(sum)으로 정의할 수도 있고, 심지어 다음과 같이 정의할 수도 있다.

0부터 1 사이의 임의의 실수를 선택하고, 다시 0과 1 사이의 임의의 수를 선택하여 더해나간다. 이들의 총합이 1보다 커지기 위해 평균적으로 더해야 하는 최소 횟수를 e = 2.718281828...로 정의한다.

하지만 결론적으로 e의 값은 모두 같게 나오고, 모두 필요충분 조건으로 유도되므로 이들 정의는 모두 동치이다.

비슷한 예시는 미적분학과 선형대수학에서도 찾아볼 수 있다. 미적분학의 경우 교재에 따라 함수의 연속과 수직 접선 등의 정의가 다르며, 어떤 책에서는 연속의 정의를 일반적인 거리 공간까지 확장하여 정의역이 정수 집합인 함수 f(x) = x가 연속함수라고 설명하기도 한다. 물론 가장 일반적인 정의에 따르면 이 함수의 정의역에는 집적점이 존재하지 않으므로 극한과 연속성을 논할 수 없지만, 그것 역시 '일반적인 정의'일 뿐이다. 선대 역시 교재, 저자에 따라 다른 분야라고 생각될 정도로 정의의 차이가 심하다.

수학은 이미 자연에 그대로 적용될 수 있는 범위를 아득히 뛰어넘었다. 선형대수학에서는 n차원 벡터와 온갖 벡터 스페이스를 다루며 인간이 그리지도 인식하지도 못하는 n차원 초평면의 방정식을 기술한다. 해석학과 군론, 현대대수학에서는 추상 그 자체를 다루고 있다.

물론 과학도 최근에는 이와 비슷한 상황이다. 과학자들은 인류과 관측 가능한 범위에서 나타나는 법칙들을 대부분 정립했고, 과학기술이 발전하지 못해 관찰하거나 알아내지 못한 것들에 대해서는 수많은 추측과 가설만 내세우고 있다. 과학기술의 발전이 이론의 발전을 따라잡지 못한 셈이다. 하지만 중요한 점은 이들 추측은 언젠가 대부분 폐기된다는 것이다. 언젠가 과학기술이 발전하여 충분한 데이터를 얻게 된다면 이 데이터가 반증이 되어 이와 맞지 않는 모든 이론은 증발할 것이다. 하지만 수학에서의 새로운 이론은 결코 없어지지 않는다. 재미없거나 쓸모가 없으면 그대로 묻힐 뿐, 없어지지 않고 심지어 나중에 발굴되어 다시 연구되는 경우도 적지 않다.

이런 자유로움과 혼란스러움 속에서도 수학이 전개되고 논리적으로 이어질 수 있는 이유는 재미있고 쓸모 있는 이론만 선택되기 때문이다. 1+1 = 3이라는 수학 체계가 틀리지는 않았지만 직관적이지 않다고 설명한 것과 같이, 수학자들은 대부분 자연스럽고 재미있는 것을 받아들이기를 원하고, 이 때문에 선대의 벡터 스페이스나 체의 공리, 순서의 공리 등은 매우 자연스럽게 정의되어 있다.

수학의 재미는 바로 이 혼란스러움과 모호함에서 온다. e^(ix) = cos x + i sin x라는 항등식에 대한 증명은 미분방정식 / 멱급수 전개 / 복소해석학 등 매우 다양하지만, 이렇게 많은 접근 방식이 한 치의 오차도 없이 모두 같은 결과를 낼 수 있는 것은 수학이 그렇게 자유로우면서도 잘 정의되어 있기 때문이다. 모든 정의와 증명이 유기적으로 연결되어 있고, 그 많은 정의 방법도 모두 동치 관계로 연결되어 있다. 물론 연속체 가설과 같이 증명도 반증도 불가능한 명제가 존재하지만, 이는 곧 연속체 가설이 참이어도, 거짓이어도 현재의 수학 체계와 모순이 아니라는 뜻이므로 문제가 되지 않는다.

서로 관련이 없는 것처럼 보이는 내용들이 한 치의 오류도 없이 완벽하게 맞물리는 것을 볼 때마다 느낀다. 수학은 아름답다.