『수학의 확실성』 옮긴이 후기

『수학의 확실성』 옮긴이 후기

20세기 수학에서 가장 두드러진 특징을 말하라고 하면 단연 수학 기초론의 출현을 꼽을 수 있다. 수학 기초론 연구자들이 등장하면서 수학의 연역적 측면뿐만 아니라 수학의 본질도 문제로 삼기 시작했다. 기초론 문제가 화두로 등장하게 된 직접적 계기는 집합론에서 발견된 역설 때문이었다.역설의 발견은 수학자들에게는 큰 충격이었다.

19세기 후반부터 일부 수학자들이 수학과 논리학의 관게에 주목하면서 수학의 기초에 관심을 기울이고 있었다. 한편에서는 논리학 위에 수학을 건설할 수 있다고 주장하는 사람들이 있었고 다른 한편에서는 논리학 원리를 수학에 적용하는 데에 회의적 시각을 보내는 이들이 있었다. 수학의 기초를 둘러싼 19세기 말의 논란은 큰 주목을 끌지 못했으나 20세기 초에 역설이 발견되면서 수학 기초에 대한 논란이 초미의 관심사가 되었다.

집합론에서 발견된 역설 가운데 대표적인 것이 러셀의 역설이다. 책들의 집합은 책이 아니며 따라서 자기 자신에 속하지 않는다. 그러나 관념들의 집합은 그 자체가 하나의 관념이므로 자기 자신에 속한다. 또 목록들의 목록은 그 역시 목록이다. 이렇게 어떤 집합은 자기 자신에 속하고 또 어떤 집합은 자기 자신에 속하지 않는다. 자기 자신을 원소로 갖고 있지 않은 집합들을 모두 모은 집합 N을 생각해보자. 과연 N은 어디에 속할까? 만일 N이 N에 속하지 않는다면 N의 정의에 따라 N에 속하게 된다.

집합론자들은 유클리드 기하학이 공리화(axiomatization)를 통해 엄밀성을 획득했듯이 집합론도 공리화를 통해 이러한 역설들을 해결할 수 있다고 생각했다. 그러한 이들 가운데 대표적인 사람이 프렝켈과 체르멜로였다. 그들은 집합의 개념을 멋대로 사용하기 때문에 역설이 생겨났다고 여겼다. 그들은 집합을 class와 set로 나누었다. set은 특별한 종류의 class로서 다른 class의 원소가 될 수 있는 class를 가리킨다. 이 정의에 따르면 러셀이 제시한 집합 N은 set가 아닌 class가 된다. 그런 방식으로 프렝켈과 체르멜로는 역설의 문제를 해결했다.

여러 역설들을 해결하기는 했지만 집합론의 공리화를 불만스럽게 생각하는 사람들이 여전히 있었다. 실수 체계와 집합론의 무모순성이 여전히 해결되지 않은 상태였다. 또한 프렝켈과 체르멜로가 정렬 가능 정리를 증명하는 과정에서 사용한 선택 공리(axiom of choice)도 논란거리였다. 선택 공리가 반드시 필요한 공리인가 하는 문제와 선택 공리가 다른 공리와 독립적인가 하는 문제는 해결되지 못한 채 남아있었다. 하지만 더 큰 문제는 과연 수학의 온당한 기초가 무엇이냐는 질문이었다. 집합론자들은 집합론을 공리화하면서 논리학을 그대로 가져와 사용했다. 논리학을 수학의 기초로 삼아도 좋은가 하는 문제가 자연스럽게 제기되었다.

집합론의 공리화를 비판하는 사람들 가운데 수학을 논리학으로 환원하려는 사람들이 있었다. 대표적인 사람이 러셀과 화이트헤드였다. 그들은 논리학으로부터 수학을 이끌어낼 수 있다고 생각했다. 즉 수학을 논리학의 확장이라고 보았다. 수학을 논리학으로 환원하려는 두 사람의 야심 찬 계획은 『수학 원리』라는 방대한 책으로 집대성되었다.

우선 그들은 논리학의 공리화에 착수했다. 무정의 개념으로 기초 명제, 명제의 부정, 두 명제의 논리곱 및 논리합, 그리고 명제 함수의 개념 등을 제시했다. 이제 이러한 개념들을 조합하여 명제들을 구성할 논리학 공리를 만들어 냈다. 러셀과 화이트헤드는 이러한 공리를 적용하여 아리스토텔레스의 삼단논법을 비롯한 논리학의 여러 원리들을 연역해 냈다.

그 다음으로 러셀과 화이트헤드는 조건 명제를 다루면서 유형이라는 개념을 도입했고 이를 바탕으로 집합론의 역설을 해결했다. 그리고 동치 관계라는 개념을 통해 자연수를 정의했다. 자연수가 정의되면 이로부터 실수가 정의되며 실수가 정의되면 기하학 도입이 가능해진다. 이렇게 해서 수학을 논리학으로 환원하는 논리주의의 계획이 완료되었다.

하지만 논리학 공리만 필요할 뿐 수학 공리는 필요 없으며 수학은 단지 논리학의 연장선상에 놓여 있을 따름이라는 논리주의자들의 주장은 많은 논란을 불러일으켰다. 이들이 사용한 공리는 아무런 알맹이가 들어 있지 않은 형식일 따름이다. 따라서 수학도 알맹이가 없는 형식에 불과하다. 그래서 앙리 푸앵카레는 “기호논리학은 불모의 분야가 아니다. 기호논리학은 바로 이율배반을 낳았다.”라고 비꼬았던 것이다.

직관을 통해 구성해 낸 기하학의 여러 개념들이 알맹이가 없는 형식적 개념으로 환원된다는 주장을 선뜻 받아들이기는 어렵다. 만일 수학이 순전히 논리학에서 도출된다면 어떻게 새로운 개념이 수학으로 들어오고 또 수학이 물질 세계에 응용되는 일이 가능한가 하는 의문은해결하기 어려웠다. 또한 논리주의자들의 공리는 지나치게 작위적이다. 특히 환원 공리를 반대하는 목소리가 높았다.

이러한 논리주의를 정면으로 비판하고 나선 사람들이 직관주의자였다. 직관주의의 선구자는 크로네커이다. 크로네커는 칸토어의 초한수 이론을 수학이 아니라 신비주의라고 매도했다. 그는 자연수가 직관적으로 명명백백하다는 이유에서 자연수를 받아들였다. 자연수는 “하느님이 만들었고” 나머지는 모두 인간이 만들어 낸 것이기 때문에 자연수를 제외하면 모두 의혹의 대상이라고 주장했다. 그는 무리수와 연속 함수를 수학에서 몰아내고자 했다. 크로네커는, 수학에서 다루는 대상물은 구성적 방식을 통해 얻어 낼 수 있는 것이어야 한다고 주장했다. 즉 어떤 대상물을 정의할 때 유한 번의 단계를 거쳐 그 대상물을 계산해낼 수 있는 방법이 제시되어야 한다는 것이다. 구성적 증명이 아니라는 이유에서 π가 초월수라는 린데만의 증명을 배격한 일화는 유명하다.

그러나 크로네커가 활약하던 당시에는 그의 견해에 동조하는 사람이 아무도 없었다. 그런데 역설이 발견되면서 크로네커의 직관주의가 다시 부활했다. 푸앵카레는 크로네커를 이어 직관주의를 강력히 옹호했다. 그는 역설이 생겨났다는 이유에서 집합론을 배격했고 수학을 무의미한 동어 반복(tautology)으로 전락시켰다고 논리주의도 반대했다. 그는 유한한 개수의 과정을 통해 정의할 수 없는 개념을 받아들이지 않았다. 따라서 무한 개수의 집합 모임에서 선택 공리를 통해 집합을 만들 경우, 그 집합은 실제로는 정의된 것이 아니라고 주장했다.

크로네커와 마찬가지로 푸앵카레도 정의와 증명은 구성적이어야 한다고 주장했다. 집합을 정의하면서 그 집합에 정의하고자 하는 대상물을 포함시키는 경우에 역설이 일어난다. 구성적이어야 한다는 요구 조건 아래에서는 그 정의는 올바른 정의가 아니다. 예를 들면 모든 집합의 집합 A는 제대로 된 정의가 아니다. 왜냐하면 집합 A의 원소 모두가 각기 정의되어야 하는데, A 안에 다시 A가 등장하기 때문이다.

푸앵카레 외에도 아다마르, 르베그, 보렐 등이 직관주의자의 입장에서 논리주의를 비판했지만 이들의 주장은 산발적이고 단편적이었다. 직관주의를 체계화한 사람은 브라우베르였다. 그는 수학적 사고를 스스로의 세계를 지어 나가는 구성 과정이라고 보았다. 즉 수학은 논리적으로 함의되는 명제를 도출하는 분야가 아니라 진리를 구성해내는 분야라는 것이다. 그는 “이런 구성적 과정을 거칠 때 숙고와 사고의 연마를 거쳐 어떤 것을 지고간적 지식으로 받아들여야 할지 또 어떤 것이 자명한지 결정할 수 있는 조건 아래에서만 수학 기초를 찾아 나서야 한다.”라고 주장했다. 수학적 개념은 언어, 논리, 경험에 앞서 이미 인간 마음속에 심어져 있다고 했다.

직관주의자들은 개념이 구성적이어야 한다는 철학에 입각해 새롭게 수학을 구성해 내고자 했다. 하지만 지금까지 미적분학, 기초 대수학, 기초 기하학을 재구성하는 데 그치고 있다.

또 다른 수학 기초론인 형식주의를 이끈 사람은 힐베르트였다. 그는 “현대 수학의 광대함에 비춰 볼 때 직관주의자들이 얻어 낸 초라한 파편, 불완전하고 고립되어 있는 결과들이 과연 무슨 의미를 지닐 것인가?”라며 직관주의를 비판했다. 또한 수학을 논리학으로 환원할 수 있다는 논리주의도 배격했다. 수학은 논리학 원리뿐만 아니라 수학 고유의 원리도 포함한다고 주장했다.

다비트 힐베르트에 따르면 수학은 기호들로 구성된 형식들의 집합이며 공리는 한 형식에서 다른 형식으로 옮겨 가는 규칙이다. 사용되는 기호는 특정한 의미를 지니지 않는다. 즉 형식주의자들은 기호로부터 모든 의미를 사상하고 나서 그 기호들의 조작에만 관심을 기울인다. 그러한 형식 체계의 무모순성을 밝히는 방법론이 메타 수학이다. 그는 메타 수학으로 기초론 문제를 해결할 수 있다고 확신했다. 특히 그는 무모순성 문제와 완비성 문제를 해결할 수 있다고 자신했다.

하지만 괴델의 충격적인 연구 결과가 나왔다. 괴델의 연구 결과에 따르면 통상적인 논리와 산술을 포괄하는 체계의 무모순성을 확립할 수 없다는 것이다. 즉 메타 수학으로는 산술의 무모순성을 증명할 수 없다는 의미이다.

또한 괴델은 자연수 이론을 포함하는 형식 이론 T가 무모순이면 T는 불완비하다는 사실을 증명했다. 이 결론에 따르면 무모순성을 얻는다고 해도 그 대가로 불완비성이라는 결함을 짊어져야 한다는 것이다. 괴델의 이 결과는 메타 수학뿐만 아니라 러셀-화이트헤드 체계와 체르멜로-프렝켈 체계에도 적용된다. 수학을 공리화하려는 시도는 이렇게 해서 결정타를 입었다.

『수학의 확실성』 [도서정보]

이 책의 저자 모리스 클라인(1908~1992년)은 저명한 응용수학자로 수학사와 수학 교육 분야에도 많은 논문과 저술을 남겼다. 특히 이 책 이외에도 『서구 문화와 수학(Mathematics in Western Culture)』, 『수학과 지식의 추구(Mathematics and the Search for Knowledge)』 등 일반인을 대상으로 한 명저들을 여러 권 남겨 수학의 대중화에 크게 공헌을 했다.

그는 “초등학교, 중고등학교 그리고 대학교에서도 수학을 현실과는 철저히 유리된 분야로 가르치고 있다. 학생들에게는 수학은 하루하루의 삶과 아무런 관련이 없는 것으로 비친다. 하지만 수학은 물리 현상이나 생물 현상뿐만 아니라 사회 현상을 이해하는 열쇠가 된다.”라며 수학의 응용을 강조했다. 수학을 가르치는 사람은 마땅히 수학이 다양한 분야에 어떻게 응용되고 있는지 설명해야 한다는 것이다. 또한 과학, 정치, 경제, 종교 등 문화 전반에서 수학이 갖는 의의도 파악해야 한다고 주장했다. 저자의 이러한 기본 관점을 염두에 두고 이 책을 읽는다면 이 책의 의의와 한계를 좀 더 용이하게 파악할 수 있을 것이다.

이 책은 출간 직후부터 상당한 비판을 받았다. 수학의 응용을 지나치게 강조하고 있다는 비판이 첫 번째였고, 수학의 확실성이 상실되었다는 주장이 경솔하고 독단적이라는 비판이 두 번째였다. 20세기 초반의 기초론 연구가 그 의도했던 바를 성취하지 못했다고 해서 확실성의 상실을 공언하기는 곤란하다는 것이다. 탈레스에서 유클리드가 출현하기까지 3세기의 세월이 소요되었던 점을 감안할 때 클라인의 결론은 성급하다는 반론이다. 더구나 괴델의 불완비성 정의로 모든 기초론 학파가 타격을 입은 것은 아니라며 클라인을 비판했다.

그러나 기초론을 전공하지 않은 응용수학자의 편향된 시각이라는 단점을 갖고 있기는 해도 수학이 확실한 학문이라는 일반인들의 생각을 허물어뜨린 거만으로도 이 책은 큰 가치를 갖는다. 포스트모더니즘의 시대에 걸맞게 이제 수학에도 여러 가지 담론이 함께 존재하고 있음을 이 책은 대중을 향하여 떳떳이 밝힌 셈이다.

또한 문화 전반에서 수학이 차지하는 의의를 밝혀야 한다는 그의 주장은 지당하다. 이 세상에는 홀로 존재하는 것은 아무것도 없다. 관계망 속에서만 참된 의미를 파악할 수 있다. 왜 수학을 공부해야 하고 그 쓸모는 무엇인가, 수학을 통해 세상을 이해하는 데 얼마만큼 도움을 받을 수 있는가, 인류 역사라는 대하장강에서 수학은 어떤 역할을 해 왔고 또 어디를 향해 흘러가는가 하는 문제는 결코 소홀히 할 수 없다.

이 책은 비전문가의 눈높이에 맞춰 수학 기초론을 다루고 있다. 수학의 여러 분야 중에서도 특히 수학 기초론은 난해하기로 악명이 높다. 모리스 클라인이라는 대가의 손이 아니었다면 이렇게 일반인의 접근이 가능한 책으로 탄생하기는 불가능했을 것이다.

2007년 봄에

심재관