http://ccjou.twbbs.org/blog/?p=3101&cpage=1#comment-9607
函数的长度和相互之间的角度（相关度）也可以定义计算，函数空间因此也是有内积的向量空间，希空间;
TA: 长度和相互之间的角度!
從幾何向量空間到函數空間
八月 18th, 2009 by 大俠
本文的閱讀等級：中級
基礎線性代數課程常將討論的向量空間侷限於有限維度的幾何向量空間 ，主要原因有二，第一是不需要透過座標映射便可將矩陣結構與向量空間結合在一起；第二是幾何向量空間，如 ，，是高中座標幾何的延伸，由此較容易建立起向量空間的觀念。本文參考 Gilbert Strang 的 Linear Algebra and its Applications (3rd ed.，1988)，採用問答方式，一步步系統化地介紹如何將幾何向量空間延伸推廣至函數空間。
Q：如果將 -維實數向量空間 擴展至無限維實數向量空間 ，此空間需滿足何種條件始有利於實際應用？
A：很明顯， 裡的向量 包含無限多個元，如
如果我們不對向量的元 加入限制，那麼此空間將過於龐大，反而令我們無所適從。對 設限的最簡單方式是透過向量 的長度，我們只對那些有限長度向量感到興趣，同時也希望幾何向量空間的向量長度定義在此依然適用，亦即
這個無窮級數必須收斂至一有限數值，例如，無限維空間包含向量 ，但不含 。
加入了有限向量長度的限制，此無限維空間仍符合向量空間的定義嗎？是的。有限長度向量 與 之和其長度還是有限的，因為
而且純量乘積 長度也是有限的。很容易 (也很乏味) 驗證向量空間的八個向量加法和純量乘法性質依然成立，我們稱此空間為 Hilbert 空間，即一個保有一般幾何性質的無限維度實數向量空間。
Hilbert 空間也具有正交性質，向量 和 是正交的，若其內積為零：
當然，歌西—舒瓦茲 (Cauchy-Schwarz) 不等式也成立：
。
Q：Hilbert 空間與函數空間有甚麼關係？函數空間又該如何定義向量內積？
A：不需要受過專業數學訓練，吾等業餘人士也可以看穿 Hilbert 空間的外表偽裝。用一個例子說明，考慮定義於區間 的正弦函數 ，我們將函數 當作一個無限維度的向量，向量的各元即為連續區間內的函數值 。當向量的元是連續時，前述向量長度定義已不適用，各元平方和應該改為積分，如下
此算式的意義重大，我們確實可以量測函數的長度，等於指出函數也是向量，而僅包含有限長度的函數可以形成向量空間，因此 Hilbert 空間變成了一個函數空間 (function space)。
哂猛瑯拥南敕ǎ瑢?盗兄?吞鎿Q為積分可以產生二函數的內積。若 ，，以 表示函數 和 的內積，定義如下：
可知 與 正交。函數的長度可由內積求得，，舒瓦茲不等式則表示為 。
Q：能否舉個實用的函數空間例子，它包含哪些基底函數，如何產生座標？
A：最有名的例子是傅立葉級數 (Fourier series)，函數 表示為正弦函數和餘弦函數的展開式：
傅立葉級數的基底函數包含
傅立葉級數的係數即為參考此基底的座標，如要計算 ，可於等號兩端同乘 ，再從 積分至 ：
等號右邊除了對應係數 的項，其餘所有項皆為零，讀者可自行驗證正弦函數與餘弦函數互為正交。因此， 可由下式得到
其他係數也可以使用同樣方式求得，如欲計算 ，將 改為 ，又如欲計算 ，則將 改為 。
傅立葉級數的應用相當廣泛，一方面因為傅立葉選擇了一組正交基底函數， 的係數很容易得到，另一方面這組由正弦與餘弦構成的基底能將問題轉移至等價且適合發展理論分析的空間。
Q：萬一給定的基底函數彼此不互為正交，那該怎麼辦？Gram-Schmidt 正交化過程仍然適用嗎？
A：的確很多有用的函數並非週期函數，因此不能以正弦以及餘弦函數表示，這些非週期函數也未必彼此正交。例如，不存在一區間使得多項式函數 ，， 兩兩正交，這是因為 ，而 和 的內積總是正數。實際應用時，為了降低數值計算造成的捨去誤差 (roundoff error)，我們願意多執行一個步驟—正交化。
函數空間的正交過程與一般幾何向量空間的 Gram-Schmidt 正交過程無異，僅需將內積定義替換即可。看下例，考慮定義於區間 的三個函數 ，，，設第一個基底為 ，計算
故第二個基底為 。下一步將 至 和 的投影扣除，因為 ，就得到第三個基底
對函數的長度再加點限制，這個正交函數基底就稱為 Legendre 多項式。令 表示 階 Legendre 多項式，滿足
其中 若 ，否則 。有興趣的讀者請參考維基百科 http://en.wikipedia.org/wiki/Legendre_polynomials，下圖是 至 的圖形，引用自 http://www.efunda.com/math/legendre/images/LegendrePPlot.gif
Q：函數空間也可以實現最小平方近似嗎？和幾何向量空間裡的最小平方近似有何不同？
A：是的，函數空間也可以實現最小平方近似，我們只需要修改內積的計算方式即可。下面我用一個例子來說明過程，重點是將函數想成我們習慣的向量，並且將問題以矩陣形式描述。
問題：試求區間 到 ，與函數 最近似的直線。考慮由正交基底 和 擴張的函數空間，在此我們省略正交化步驟，設矩陣 包含二個行向量 ，想像函數是向量 且 。又設 ，滿足最小平方近似的正規方程式為
注意，計算時請將幾何向量內積 取代為函數內積 ，代入數值計算可得
由此解出 ，，故函數 在區間 的最佳近似直線為 。
相關文章
•Givens 旋轉於 QR 分解的應用 (0)
•線性代數基本定理 (四) (0)
•線性代數基本定理 (二) (6)
•線性代數基本定理 (三) (0)
•破解矩陣秩的等式與不等式證明 (0)
Tags: Gram-Schmidt 正交化, Hilbert 空間, Legendre 多項式, 傅立葉級數, 函數空間, 向量空間, 最小平方法.
9 Responses to “從幾何向量空間到函數空間”
--------------------------------------------------------------------------------
凤来
这是我看过的最清楚的关于函数空间以及几何向量空间之间的说明了。赞一个！！！
Comment on 一月 14th, 2010 at 21:41:43
大俠
谢谢…
也欢迎你提供改进意见。
Comment on 一月 15th, 2010 at 08:38:26
Watt Lin
(1) 傅立葉級數，可由『積分』算出來。
20年前，我自學傅立葉級數，不懂函數空間、基底，也不知道什麼是正交。
(2) 兩個月前，翻閱一本複分析的書，裡頭有談到經由泰勒展開式，相當於使用『微分』的方法，也能得到傅立葉級數。
(3) 這個月，看完老師的DVD課程，再來看網站：傅立葉級數，也可由函數空間來解釋，感覺觀念更加清晰。
真有趣，同一件事，可以由多方面去瞭解。
用不同的角度，來看傅立葉級數，有了更深刻的認識。
Comment on 二月 18th, 2010 at 20:39:12
ccjou
青原惟信禪師說過一段話正是「同一件事，可以由多方面去瞭解」的最佳註解：
老僧三十年前未參禪時，
見山是山，見水是水。
及至後來親見知識，有個入處，
見山不是山，見水不是水。
而今得個休歇處，依前
見山只是山，見水只是水。
Comment on 二月 19th, 2010 at 19:38:08
Watt Lin
線性代數的手法，經常把複雜的東西，拆開成幾個簡單的小東西：
一個複雜的矩陣，變化成幾個簡單矩陣的乘法，藉以快速作處理。
以上動作，可以說是「簡單表示」。
「禪」這個字，也可說是簡「單」表「示」。
中文字的結構很奇妙，好像
「禪」矩陣 等於 「示」矩陣 乘上 「單」矩陣。
在看DVD的課程，也有一種參禪的感覺，領悟不少。
周老師有點像一位 現代禪師 (線代禪師)。
Comment on 二月 20th, 2010 at 09:23:59
ccjou
「我不會禪，立無一法可示於人，故不勞汝久立，且自歇去。」這是唐代高僧大珠慧海禪師對門徒說的話。我要說的則是：「我不會禪，不開玩笑，真的不會。」
大珠和尚寫了一本「頓悟入道要門論」，全書採現代人熟悉的FAQ問答文體論述，一開始是…
問：欲修何法？即得解脫。答：唯有頓悟一門，即得解脫。云何為頓悟？答：頓者，頓除妄念；悟者，悟無所得。
機緣來到那天，或許我也寫一本「線代入道要門論」。
Comment on 二月 20th, 2010 at 12:01:47
Watt Lin
「對角線矩陣」，像不像是「頓除妄念」的矩陣？
只有對角線上存在非0的值，其餘元素皆為 0
對角線矩陣的 n次方 或 e指數咚悖?灰?褜?蔷
函数的长度和相互之间的角度（相关度）也可以定义计算，函数空间因此也是有内积的向量空间，希空间;
TA: 长度和相互之间的角度!
從幾何向量空間到函數空間
八月 18th, 2009 by 大俠
本文的閱讀等級：中級
基礎線性代數課程常將討論的向量空間侷限於有限維度的幾何向量空間 ，主要原因有二，第一是不需要透過座標映射便可將矩陣結構與向量空間結合在一起；第二是幾何向量空間，如 ，，是高中座標幾何的延伸，由此較容易建立起向量空間的觀念。本文參考 Gilbert Strang 的 Linear Algebra and its Applications (3rd ed.，1988)，採用問答方式，一步步系統化地介紹如何將幾何向量空間延伸推廣至函數空間。
Q：如果將 -維實數向量空間 擴展至無限維實數向量空間 ，此空間需滿足何種條件始有利於實際應用？
A：很明顯， 裡的向量 包含無限多個元，如
如果我們不對向量的元 加入限制，那麼此空間將過於龐大，反而令我們無所適從。對 設限的最簡單方式是透過向量 的長度，我們只對那些有限長度向量感到興趣，同時也希望幾何向量空間的向量長度定義在此依然適用，亦即
這個無窮級數必須收斂至一有限數值，例如，無限維空間包含向量 ，但不含 。
加入了有限向量長度的限制，此無限維空間仍符合向量空間的定義嗎？是的。有限長度向量 與 之和其長度還是有限的，因為
而且純量乘積 長度也是有限的。很容易 (也很乏味) 驗證向量空間的八個向量加法和純量乘法性質依然成立，我們稱此空間為 Hilbert 空間，即一個保有一般幾何性質的無限維度實數向量空間。
Hilbert 空間也具有正交性質，向量 和 是正交的，若其內積為零：
當然，歌西—舒瓦茲 (Cauchy-Schwarz) 不等式也成立：
。
Q：Hilbert 空間與函數空間有甚麼關係？函數空間又該如何定義向量內積？
A：不需要受過專業數學訓練，吾等業餘人士也可以看穿 Hilbert 空間的外表偽裝。用一個例子說明，考慮定義於區間 的正弦函數 ，我們將函數 當作一個無限維度的向量，向量的各元即為連續區間內的函數值 。當向量的元是連續時，前述向量長度定義已不適用，各元平方和應該改為積分，如下
此算式的意義重大，我們確實可以量測函數的長度，等於指出函數也是向量，而僅包含有限長度的函數可以形成向量空間，因此 Hilbert 空間變成了一個函數空間 (function space)。
哂猛瑯拥南敕ǎ瑢?盗兄?吞鎿Q為積分可以產生二函數的內積。若 ，，以 表示函數 和 的內積，定義如下：
可知 與 正交。函數的長度可由內積求得，，舒瓦茲不等式則表示為 。
Q：能否舉個實用的函數空間例子，它包含哪些基底函數，如何產生座標？
A：最有名的例子是傅立葉級數 (Fourier series)，函數 表示為正弦函數和餘弦函數的展開式：
傅立葉級數的基底函數包含
傅立葉級數的係數即為參考此基底的座標，如要計算 ，可於等號兩端同乘 ，再從 積分至 ：
等號右邊除了對應係數 的項，其餘所有項皆為零，讀者可自行驗證正弦函數與餘弦函數互為正交。因此， 可由下式得到
其他係數也可以使用同樣方式求得，如欲計算 ，將 改為 ，又如欲計算 ，則將 改為 。
傅立葉級數的應用相當廣泛，一方面因為傅立葉選擇了一組正交基底函數， 的係數很容易得到，另一方面這組由正弦與餘弦構成的基底能將問題轉移至等價且適合發展理論分析的空間。
Q：萬一給定的基底函數彼此不互為正交，那該怎麼辦？Gram-Schmidt 正交化過程仍然適用嗎？
A：的確很多有用的函數並非週期函數，因此不能以正弦以及餘弦函數表示，這些非週期函數也未必彼此正交。例如，不存在一區間使得多項式函數 ，， 兩兩正交，這是因為 ，而 和 的內積總是正數。實際應用時，為了降低數值計算造成的捨去誤差 (roundoff error)，我們願意多執行一個步驟—正交化。
函數空間的正交過程與一般幾何向量空間的 Gram-Schmidt 正交過程無異，僅需將內積定義替換即可。看下例，考慮定義於區間 的三個函數 ，，，設第一個基底為 ，計算
故第二個基底為 。下一步將 至 和 的投影扣除，因為 ，就得到第三個基底
對函數的長度再加點限制，這個正交函數基底就稱為 Legendre 多項式。令 表示 階 Legendre 多項式，滿足
其中 若 ，否則 。有興趣的讀者請參考維基百科 http://en.wikipedia.org/wiki/Legendre_polynomials，下圖是 至 的圖形，引用自 http://www.efunda.com/math/legendre/images/LegendrePPlot.gif
Q：函數空間也可以實現最小平方近似嗎？和幾何向量空間裡的最小平方近似有何不同？
A：是的，函數空間也可以實現最小平方近似，我們只需要修改內積的計算方式即可。下面我用一個例子來說明過程，重點是將函數想成我們習慣的向量，並且將問題以矩陣形式描述。
問題：試求區間 到 ，與函數 最近似的直線。考慮由正交基底 和 擴張的函數空間，在此我們省略正交化步驟，設矩陣 包含二個行向量 ，想像函數是向量 且 。又設 ，滿足最小平方近似的正規方程式為
注意，計算時請將幾何向量內積 取代為函數內積 ，代入數值計算可得
由此解出 ，，故函數 在區間 的最佳近似直線為 。
相關文章
•Givens 旋轉於 QR 分解的應用 (0)
•線性代數基本定理 (四) (0)
•線性代數基本定理 (二) (6)
•線性代數基本定理 (三) (0)
•破解矩陣秩的等式與不等式證明 (0)
Tags: Gram-Schmidt 正交化, Hilbert 空間, Legendre 多項式, 傅立葉級數, 函數空間, 向量空間, 最小平方法.
9 Responses to “從幾何向量空間到函數空間”
--------------------------------------------------------------------------------
凤来
这是我看过的最清楚的关于函数空间以及几何向量空间之间的说明了。赞一个！！！
Comment on 一月 14th, 2010 at 21:41:43
大俠
谢谢…
也欢迎你提供改进意见。
Comment on 一月 15th, 2010 at 08:38:26
Watt Lin
(1) 傅立葉級數，可由『積分』算出來。
20年前，我自學傅立葉級數，不懂函數空間、基底，也不知道什麼是正交。
(2) 兩個月前，翻閱一本複分析的書，裡頭有談到經由泰勒展開式，相當於使用『微分』的方法，也能得到傅立葉級數。
(3) 這個月，看完老師的DVD課程，再來看網站：傅立葉級數，也可由函數空間來解釋，感覺觀念更加清晰。
真有趣，同一件事，可以由多方面去瞭解。
用不同的角度，來看傅立葉級數，有了更深刻的認識。
Comment on 二月 18th, 2010 at 20:39:12
ccjou
青原惟信禪師說過一段話正是「同一件事，可以由多方面去瞭解」的最佳註解：
老僧三十年前未參禪時，
見山是山，見水是水。
及至後來親見知識，有個入處，
見山不是山，見水不是水。
而今得個休歇處，依前
見山只是山，見水只是水。
Comment on 二月 19th, 2010 at 19:38:08
Watt Lin
線性代數的手法，經常把複雜的東西，拆開成幾個簡單的小東西：
一個複雜的矩陣，變化成幾個簡單矩陣的乘法，藉以快速作處理。
以上動作，可以說是「簡單表示」。
「禪」這個字，也可說是簡「單」表「示」。
中文字的結構很奇妙，好像
「禪」矩陣 等於 「示」矩陣 乘上 「單」矩陣。
在看DVD的課程，也有一種參禪的感覺，領悟不少。
周老師有點像一位 現代禪師 (線代禪師)。
Comment on 二月 20th, 2010 at 09:23:59
ccjou
「我不會禪，立無一法可示於人，故不勞汝久立，且自歇去。」這是唐代高僧大珠慧海禪師對門徒說的話。我要說的則是：「我不會禪，不開玩笑，真的不會。」
大珠和尚寫了一本「頓悟入道要門論」，全書採現代人熟悉的FAQ問答文體論述，一開始是…
問：欲修何法？即得解脫。答：唯有頓悟一門，即得解脫。云何為頓悟？答：頓者，頓除妄念；悟者，悟無所得。
機緣來到那天，或許我也寫一本「線代入道要門論」。
Comment on 二月 20th, 2010 at 12:01:47
Watt Lin
「對角線矩陣」，像不像是「頓除妄念」的矩陣？
只有對角線上存在非0的值，其餘元素皆為 0
對角線矩陣的 n次方 或 e指數咚悖?灰?褜?蔷
选择“Disable on www.wenxuecity.com”
选择“don't run on pages on this domain”
