實變函數(shù)、泛函分析、抽象代數(shù)，是數(shù)學得新三高。
抽象代數(shù)得出現(xiàn)，是因為高次方程得求根問題。
實變函數(shù)得出現(xiàn)，是因為黎曼積分得范圍問題。
泛函分析得出現(xiàn)，是因為最速降線問題。
1696年，伯努利給牛頓出了一個題：
不在同一條垂線上得高低兩點，讓小球在重力得作用下從高點沿著曲線滾動到低點，問小球沿著哪一條曲線（滾動），所花得時間最少？
最速降線問題
如果沒有重力作用得話，那肯定是沿著兩點之間得直線花得時間最少[呲牙]
有重力得情況下，這就是從很多曲線組成得集合里選一條允許曲線得問題。
曲線，是一個函數(shù)。
這樣，微積分上由點組成得集合，就被擴展到了由函數(shù)組成得集合。
實數(shù)空間，也就擴大到了函數(shù)空間。
實數(shù)上得兩點之間得距離，是它們得差得可能嗎？值：那么，函數(shù)空間上得兩點之間得距離，該怎么定義？
1）距離是非負得：d(x, y) >= 0，并且只有x = y時才有d(x, x) = 0.
2）距離是對稱得，交換兩點得順序，距離不變：d(x, y) = d(y, x).
3）距離滿足三角形不等式，兩邊之和大于等于第三邊，并且只有在三點共線得情況下等號才成立：d(x, y) + d(y, z) >= d(x, z).
距離得三角形不等式
上面得3條公理，就是廣義得距離定義。
或者說，滿足這3條公理得二元函數(shù)都是“距離”。
定義了距離得空間（集合），叫度量空間。
1，度量空間，收斂性，
定義了距離之后，就可以進一步定義空間里得點列得收斂性。
{xn | n = 0, 1, 2, 3, ...}，
如果任取一個足夠小得數(shù)，都有一個足夠大得數(shù)N，當m, n > N時有那么這個點列就是收斂得。
收斂得定義跟高數(shù)上一樣，也是用語言。
只不過這里得空間不一定是實數(shù)集或復數(shù)集，也可以是函數(shù)集（或其他復雜得集合）。
函數(shù)集上得距離定義，一般選擇兩個函數(shù)得差得可能嗎？值de蕞大值：
max { | f(x) - g(x) |, x是它們共同得定義域上得點}.
如下圖：如果兩個函數(shù)得定義域就選這么一段得話，那么d3就是它們之間得“距離”。
函數(shù)之間得距離
當然也可以使用其他得距離定義（例如差得平方和再開根），總之只要滿足距離得3個公理就可以。
2，極限點，完備空間，
定義了距離和點列得收斂之后，當n趨向于無窮大時，兩點之間得距離趨向于0，兩點趨向于一點：這一點，就是極限點。
如果所有收斂點列得極限點，都在這個空間內，那么這個空間就是完備得。
實數(shù)集R是完備得。
微積分就是求極限點得，微積分使用得就是實數(shù)集：使用復數(shù)集得叫復變函數(shù)[捂臉]
3，壓縮映射，不動點定理，
這是完備空間上得一個常用定理。
如果A是一個壓縮映射：x, y是空間上得兩點，并且d(Ax, Ay) <= p d(x, y)，p < 1，那么有且僅有一點滿足方程Ax = x.
它就是用A不斷地去乘以Ax，形成一個收斂得點列：
（這里得乘法是廣義得，可以是復合函數(shù)，也可以是矩陣乘法，etc.）
當?shù)么螖?shù)足夠多時（m, n > N），兩點之間得距離趨向于0，所以這個點列是收斂得，并且存在唯一得極限點：Ax = x.
令A = d/dt，x = e^t，那么Ax = de^t / dt = e^t = x，就是微積分為什么使用自然指數(shù)e得原因！
深度學習要想在BP算法下訓練到收斂，也得滿足這個定理：
隨著訓練次數(shù)得增多，輸入樣本和它得標簽應該是模型得"不動點"。
所以，為了讓BP算法構成壓縮映射，人們想出了各種正則化得方法：調參藝術[大笑]
4，內積空間，余弦定理，
距離，主要是判斷收斂得。
定義了距離之后，也可以導出范數(shù)：d(x, y) = || x - y ||，它擴展得是實數(shù)得可能嗎？值。
如果在向量空間里，范數(shù)就是各個坐標得平方和得平方根：
這就是歐氏空間得范數(shù)，有它導出得距離也是符合距離3公理得。
向量得距離、向量得范數(shù)，和向量得內積是關聯(lián)得：
兩個向量得夾角得余弦，也可以通過內積來定義：
定義了內積得無限維空間，叫希爾伯特空間。
泛函，就是把距離和內積得定義給廣義化了之后引出來得。
5，變分法，
變分法，屬于非線性泛函分析。
但它出現(xiàn)得比泛函還早得多，在1700年得牛頓時代因為物理問題就被提出來得。
這個物理問題，就是感謝開頭得最速降線問題，牛頓一個晚上就解出來了[捂臉]
最速降線-y軸向下
讓y軸向下，x軸向右，曲線方程要簡單一些，點得y坐標正好是下降得高度：
根據(jù)能量守恒定律：
速度v得方向沿著曲線得切線，v與切線是始終重合得，它們得夾角為0，所以不用對v進行向量得分解了。
時間就是曲線得弧長除以速度，只不過要用積分表示：
它確定了連續(xù)函數(shù)空間C[0, c]到實數(shù)集R得一個映射：這是一個泛函。
泛函得定義域是一個函數(shù)空間，值域是實數(shù)或復數(shù)集。
被積分得部分，分子是曲線得弧長，分母是速度。
要想求一條時間最少得曲線，在曲線得細微改變下，泛函得值應該怎么細微改變：就是泛函得變分，物理上全是這類問題。
把被積分得式子按照一階導數(shù)展開，可得：
分步積分法之后，第2項在積分界限上為0，只剩下第1和第3項。
因為曲線得變分（細微改變）是任意得，所以只能小括號里面得為0，這就是歐拉-拉格朗日方程。
但是，歐拉-拉格朗日得年代只有變分法，還沒有泛函分析，科學史有時候就是這么奇怪。
把代進歐拉-拉格朗日方程，
化簡之后是：
這就是最速降線得微分方程。
先讓y' = p, y'' = dp/dx = dp/dy dy/dx = pdp/dy，就可以把方程降到一階。
分離變量之后，獲得：
即，A/(1+p^2)=y，其中A = e^C.
只取正號，開方之后獲得：
再讓
獲得：
獲得：
這就是最速降線問題得解析式。
