如何用重向量(dyadic)協助梯度運算

重向量(dyadic)中國翻譯叫做並矢量，外觀看起來是並列的向量，本身並不代表數值或是代數對象。 它其實是某種梯度運算的中間結果。就像函數式程式設計一樣，你可以 partial apply 一個函數，也就是 像例如$\,\text{f(a,b)}$，我們只對它應用了一個參數得到$\,\text{f(a)}$，這在函數式程式設計是有意義的，它代表另一 個函數$\,\text{g}$，可以繼續應用剩下的那一個參數，使得$\,\text{g(b)=f(a,b)}$。並列的向量$\,\textbf{a}\textbf{b}$ 可以視為一個運算，它還需要另外一個向量對它進行內積才能得到最後的結果：$\,\textbf{u}\cdot\textbf{a}\textbf{b} =(\textbf{u}\cdot\textbf{a})\textbf{b}\,$或是$\,\textbf{a}\textbf{b}\cdot\textbf{u} =\textbf{a}(\textbf{b}\cdot\textbf{u})$。回顧一下梯度運算$$\nabla=\textbf{i}\frac{\partial}{\partial{x}} +\textbf{j}\frac{\partial}{\partial{y}}+\textbf{k}\frac{\partial}{\partial{z}}$$這是用在純量上的， 但是如果像下列的運算$\,\nabla(\textbf{f}\cdot\textbf{f})\,$，可以先寫出中間結果$\,2\nabla\textbf{f}\cdot\textbf{f}\,$ 其中$\,\nabla\textbf{f}=\textbf{i}\textbf{f}_x+\textbf{j}\textbf{f}_y+\textbf{k}\textbf{f}_z\,$是一個重向量。

梯度運算有另一種表示方法。令$\,\textbf{r}=(x, y, z)$，則 $$\frac{\partial{f}}{\partial\textbf{r}}=\textbf{i}f_x+\textbf{j}f_y+\textbf{k}f_z$$ 回顧一下純量三重積 $$\textbf{a}\times\textbf{b}\cdot\textbf{c}=\begin{vmatrix} a_1 & a_2 & a_3 \\ b_1 & b_2 & b_3 \\ c_1 & c_2 & c_3 \end{vmatrix}$$ 根據行列式定義可以得到 $$\textbf{a}\times\textbf{b}\cdot\textbf{c}=\textbf{b}\times\textbf{c}\cdot\textbf{a}= \textbf{c}\times\textbf{a}\cdot\textbf{b}$$ 假如$\,\textbf{f}=\textbf{r}$，可以得到 $$\frac{\partial\textbf{r}}{\partial\textbf{r}}=\textbf{i}\textbf{i}+\textbf{j}\textbf{j}+\textbf{k}\textbf{k}$$ 令$\,\textbf{I}=\textbf{i}\textbf{i}+\textbf{j}\textbf{j}+\textbf{k}\textbf{k}$，這是一個很有趣的重向量，因為 $\mathbf{u}\cdot\mathbf{I}=\mathbf{u}=\mathbf{I}\cdot\mathbf{u}$，而
$\partial\mathbf{r}/\partial\mathbf{r}=\mathbf{I}\,$也很直觀。

作為範例，接下來計算$\,(\partial/\partial\mathbf{x^\prime})(\textbf{ω}\times\mathbf{x}^\prime)^2$ ，這是在用拉格朗日力學導出旋轉坐標系當中的運動方程會遇到的。 $$\begin{aligned} \frac{\partial}{\partial\mathbf{x}^\prime}(\textbf{ω}\times\mathbf{x}^\prime)^2 &= 2(\textbf{ω}\times\frac{\partial{\mathbf{x}}^\prime}{\partial{\mathbf{x}}^\prime}) \cdot(\textbf{ω}\times\mathbf{x}^\prime) \\ 
&= 2(\underbrace{\textbf{ω}}_{\textbf{a}}\times\underbrace{\mathbf{I}}_{\textbf{b}}) \cdot\underbrace{(\textbf{ω}\times\mathbf{x}^\prime)}_{\textbf{c}} \\ &=2(\textbf{ω}\times\mathbf{x}^\prime)\times\mathbf{ω}\cdot\mathbf{I} \\ &=2(\textbf{ω}\times\mathbf{x}^\prime)\times\mathbf{ω} \end{aligned}$$其中第二行到第三行使用了純量三重積的換序。

廣義力的觀點看座標變換後的梯度

其實座標變換後的梯度公式不是很重要(什麼！)，因為座標變換後的處理，可以直接使用拉格朗日力學(分析力學)，將新座標視為廣義座標。 這時我們就可以轉而在廣義力下工作，不用管狹義力(牛頓力學下的力)了。

採用分析力學的符號，廣義座標以$\ q\ $表示。眾所周知，狹義力就是勢函數梯度的負值，座標方向上的分量就是對於該座標的 偏微分。廣義力的定義類似，這裡用功函數($\ U\ $)來表示更容易，功函數就是勢函數的負值，廣義力的$\ q\ $分量就是功函數對 $\ q\ $的偏微分$\ U_q\ $。梯度就是功函數對應的狹義力。例如把座標轉換成球座標，那麼球座標當中的$\ \theta\ $對應的廣義力 就是$\ U_\theta\ $。廣義力其實就是推動廣義座標產生變化的「力」，只是廣義力的量綱跟狹義力不同，會隨著廣義座標的量綱而變化。 既然$\ U_\theta\ $是推動$\ \theta\ $變化的廣義力，以牛頓力學的觀點，$\ U_\theta\ $其實就是力矩。

在上述的觀點下，座標變換後的梯度可以直接「瞪」出答案。以球座標當例子，現在把$\ r,\ \theta,\ \phi\ $當成廣義座標。因為 我們要探討的是某一點上的力，所以我們只看無窮小的範圍 $\ {\delta}r,\ {\delta}\theta,\ \delta\phi\ $，上面提過一般的廣義座標 用$\ q\ $表示，因此： $$沿\ q\ 方向上的功=U_q*\delta{q}=沿\ q\ 方向上的力*\delta{q}\ 的長度$$ 所以$$沿\ q\ 方向上的力=\frac{U_q*\delta{q}}{|\delta{q}|}$$其中$\ |\delta{q}|\ $是$\ \delta{q}\ $的長度。

接下來可以直接瞪出答案了，$\ |\delta{r}|=\delta{r},\ |\delta\theta|=r\delta\theta,\ |\delta\phi|=r\sin\theta\delta\phi\ $, 這些只要畫出圖形應該很容易瞪出來。不過會這麼容易也有條件，就是新座標的三個座標線是正交的，也就是互相垂直，這樣 某座標的微小變化長度才不會跟其他座標的微小變化相關。以下把完整答案再列一遍，符號很直觀，就不予說明了： $$U的梯度=U_r\hat{r}+U_\theta\frac{1}{r}\hat{\theta}+U_\phi\frac{1}{r\sin\theta}\hat{\phi}$$

解一維熱傳導方程

眾所周知，Black-Sholes 方程可以化為一維的熱傳導方程，而這個方程可以用傅立葉變換來解。但是一般財經書籍不會去解 Black-Sholes 方程，而是用了 risk neutral 方法直接解出。不過這有種天外飛來一筆的感覺，因為當初是先解了 Black-Sholes 方程，解出來以後才知道可以用 risk neutral 方法來解。所以導致一個奇怪的現象，明明列了 Black-Sholes 方程，卻不去解它。傅立葉變換的代數操作複雜些，以下就來介紹。

首先我們需要一個傅立葉積分的結果，這裡就不推導怎麼算出來的：$$\int_0^\infty e^{-ax^2} \cos bx\ dx=\frac{1}{2} \sqrt{\frac{\pi}{a}}e^{\frac{-b^2}{4a}}\tag{1}$$另外，傅立葉變換不同的作者會採用不同的定義，通常是只是差一個係數，只要變換和反變換係數的乘積為$1/2\pi$就好。這裡採用的定義是：$$\mathcal{F}\{f\}=\hat f(\omega)=\int_{-\infty}^{\infty}f(x)e^{-i\omega x}\ dx\\ \mathcal{F}^{-1}\{\hat f\}=f(x)=\frac{1}{2\pi}\int_{-\infty}^{\infty}\hat f(\omega)e^{i\omega x}\ d\omega$$這裡 $\mathcal{F}\{f\}$ 就是對 $f(x)$ 做傅立葉變換。
我們還需要一些傅立葉變換的性質。首先是 $f(x)$ 的微分性質，在傅立葉變換下就變成簡單的代數操作，也就是乘以 $i\omega$。若 $f$ 是多元函數，而傅立葉變換只對 $x$ 變換，則 $f$ 關於其他變數的偏微分可以直接提到積分號外。若只關心被提到積分號外的變數，可以寫成常微分。$$ (a)\ \ \ \  \mathcal{F}\left\{\frac{\partial f}{\partial x}\right\}=i\omega\mathcal{F}\{f\},\ \ \ \ (b)\ \ \ \  \mathcal{F}\left\{\frac{\partial^2 f}{\partial x^2}\right\}=-\omega^2\mathcal{F}\{f\},\ \ \ \ (c)\ \ \ \  \mathcal{F}\left\{\frac{\partial f}{\partial t}\right\}=\frac{\partial}{\partial t}\mathcal{F}\{f\}$$其次是卷積性質。首先兩個函數 $f(x)$ 和 $g(x)$ 的卷積定義為$$f\ast g = \int_{-\infty}^{\infty}f(u)g(x-u)\ du$$傅立葉變換的卷積性質為$$\mathcal{F}\{f\ast g\}=\mathcal{F}\{f\}\mathcal{F}\{g\}$$傅立葉變換傅立葉變換所需性質已經條列完畢，正式開始解一維熱傳導方程：$$\frac{\partial f}{\partial t}=\kappa\frac{\partial^2 f}{\partial x^2},\ \ \ \ f(x,0)=g(x),\ \ \ \ |f(x,t)|<M$$求解 $f$ 。對偏微分式兩端做傅立葉變換，並利用其微分性質可得$$\frac{d}{dt}\mathcal{F}\{ f\}=-\kappa\omega^2 \mathcal{F}\{ f\}$$這是一基本的對自變數 $t$ 的微分方程，其解為$$\mathcal{F}\{ f\}=Ce^{-\kappa\omega^2 t}$$根據邊界條件可得$$\mathcal{F}\{f(x,0)\}=C=\mathcal{F}\{g(x)\}$$因此$$\mathcal{F}\{ f\}=\mathcal{F}\{g(x)\}e^{-\kappa\omega^2 t}\tag{2}$$接下來我們利用 $(1)$ 找出 $e^{-\kappa\omega^2 t}$是哪一個函數的傅立葉變換。利用歐拉公式 $e^{i\theta}=\cos\theta+i\sin\theta$ 和奇偶函數的積分性質可得 $$\int_{-\infty}^{\infty}e^{-ax^2}e^{-ibx}dx=2\int_0^{\infty}e^{-ax^2}\cos bx\ dx=\sqrt{\frac{\pi}{a}}e^{\frac{-b^2}{4a}}$$令 $b=\omega$得 $$\int_{-\infty}^{\infty}e^{-ax^2}e^{-i\omega x}dx=\mathcal{F}\{e^{-ax^2}\}=\sqrt{\frac{\pi}{a}}e^{\frac{-\omega^2}{4a}}$$令 $\frac{-\omega^2}{4a}=-\kappa\omega^2 t$ 得 $a=\frac{1}{4\kappa t}$ 代入上式得$$\mathcal{F}\{e^{-x^2/4\kappa t}\}=\sqrt{4\kappa\pi t}e^{-\kappa\omega^2t}$$利用傅立葉變換的線性性質調整係數得$$\mathcal{F}\{\sqrt{\frac{1}{4\kappa\pi t}}e^{-x^2/4\kappa t}\}=e^{-\kappa\omega^2t}$$代入 $(2)$ 式得$$\mathcal{F}\{ f\}=\mathcal{F}\{g\}\mathcal{F}\{\sqrt{\frac{1}{4\kappa\pi t}}e^{-x^2/4\kappa t}\}$$因此$$f(x,t)=g\ast\sqrt{\frac{1}{4\kappa\pi t}}e^{-x^2/4\kappa t}=\int_{-\infty}^{\infty}g(u)\sqrt{\frac{1}{4\kappa\pi t}}e^{-(x-u)^2/4\kappa t}du$$

解偏微分方程的特徵曲線法(characteristic curve)

 在大學生數學競賽習題精講（第3版）的 4.2 節有如下題目：$$解偏微分方程\  y\frac{\partial z}{\partial x}-x\frac{\partial z}{\partial y}=0\ \tag{1}$$解法是設 $u=x,\ v=x^2+y^2$。這個解法挺無厘頭，因為等於是事先知道了答案再代回去。實際上解這類微分方程有標準方式，就是特徵曲線法，以下介紹，用的符號也改用一般講偏微分方程的書的符號。

如下的一階線性偏微分方程：$$\frac{\partial u}{\partial x}+p(x,y)\frac{\partial u}{\partial y}=0$$，可以用特徵曲線法來解。首先來研究這個方程的幾何意義。這個方程可以改寫成$$ (1,\ p(x,y)) \cdot \nabla u=0$$也就是 $u$ 的梯度和沿著 $(1,\ p(x,y))$ 這個方向的內積等於零。多元微積分告訴我們這就是
$u$ 在 $(1, \ p(x,y))$ 這個方向的變化為零，或說是 $u$ 在這方向為定值。而 $(1, \ p(x,y))$ 就是 $dy/dx = p(x,y)$ 的解曲線的切線方向。我們把 $dy/dx = p(x,y)$ 的解曲線寫成這個形式：$\varphi(x,y)=C$ 。所以 $u$ 在 $\varphi(x,y)$ 這條曲線 (稱之為特徵曲線) 上為定值，也就是 $u$ 是 $\varphi$ 的函數，可以寫成 $u=f(\varphi(x,y))$ ，$f$ 為任意函數(當然要符合微分條件)，而這就是解了。

總結一下解法。首先解出：$$\frac{dy}{dx}=p(x,y)$$這個微分方程，解為 $\varphi(x,y)=C$ 。$u$ 的解就是：$$ u = f(\varphi(x,y))$$

作為範例，我們試著來解 $(1)$ 式。將 $(1)$ 式改寫成$$  \frac{\partial z}{\partial x}-\frac{x}{y}\frac{\partial z}{\partial y}=0$$所以特徵曲線的微分方程就是$$\frac{dy}{dx}=-\frac{x}{y}$$此式可以用變數分離法解出$$\varphi(x,y)=x^2+y^2=C$$，答案就是$$ z=f(x^2+y^2)$$。也因此我們可以發現變數代換 $v=x^2+y^2$ 本身就已經是答案了，所以用這種變數代換去解沒有意義。

量綱函數的形式

$f(\alpha x)=\varphi(\alpha)f(x)$，其中 $f$ 和 $\varphi$ 是可微函數。現在欲證明：$\varphi(\alpha)={\alpha}^{d}$。這裏的 $\varphi$ 就是大名鼎鼎的量綱函數，現在要證明它的形式只能是冪函數。

這裏我們還需要以下定理：
$$ \boxed{\begin{align*}
\textbf{Euler 齊次函數定理}：\\ 
xf_x+yf_y+zf_z&=nf(x,y,z)\\
\Leftrightarrow\,f(tx,ty,tz)&=t^nf(x,y,z)
\end{align*}}$$
現在證明開頭的量綱函數形式。$$\begin{align*} f(\alpha x)=\varphi(\alpha)f(x) \tag{1}            \end{align*}$$令 $\alpha = 1$ 代入 $(1)$ 式可得 $\varphi(1)=1$。
令 $u=\alpha x $，$(1)$式對 $\alpha$ 微分： $$\begin{align*} f_u x &=\varphi '(\alpha)f(x) \\f_u \frac{u}{\alpha}&=\varphi '(\alpha)f(\frac{u}{\alpha}) \\ &=\varphi '(\alpha) \varphi(\frac{1}{\alpha})f(u)  \end{align*}$$令 $\alpha = 1$ 代入上式可得：$$\begin{align*} f_u u &= \varphi '(1)\varphi(1)f(u) \\ &=\varphi '(1)f(u)\end{align*}$$ 由 Euler 齊次函數定理可得$$f(\alpha x)=\alpha^{\varphi '(1)}f(x)$$ 因此$\varphi(\alpha)=\alpha^d$。核查正確性，$\varphi ' (1)$ 確實等於 $d$。

拉格朗日乘數法一個簡易的證明

先簡述一下拉格朗日乘數法：
$f$ 是定義在 $R^n$ 中一開集 $U$ 的一階連續可微的實函數，它被限制在由$$
g_1(x_1,\cdots,x_n)=c_1 \\
\vdots \\
g_m(x_1,\cdots,x_n)=c_m \\
$$所定義的緊致曲面 $S$ 上，並且 $S\subset U$ 。其中各 $g_i$ 都連續可微，並且它們的梯度 $\nabla g_i$ 都線性獨立。如果 $f$ 在 $S$ 中的 $p$ 點達到極值，那麼 $f$ 在 $p$ 點的梯度 $\nabla_p f$ 是 $\nabla_p g_1,\cdots,\nabla _p g_m$ 的線性組合。

這個定理在Charles Chapman Pugh所著的Real Mathematical Analysis一書中有很簡短的證明，以下採用該書的證明。

用微分形式為什麼可以導出散度，梯度，旋度等等的物理量

在這兩篇：
用微分形式導出正交曲線座標系的散度、梯度、旋度和拉普拉斯算符
續上篇，用微分形式導出拉普拉斯算符
當中，對微分形式作幾次d運算，並且把例如$\sigma_1$和$dx$對位起來，就能得到所需要的各種物理量，這中間完全沒提及物理量的定義，用機械式的方式就算出來了，這是為什麼？

續上篇，例題

做一些例題，看上兩篇（1，2）的公式怎麼使用。

續上篇，用微分形式導出拉普拉斯算符

 符號都沿用上一篇的設定。

首先來看歐氏座標的拉普拉斯算符如何跟微分形式對應。這裡我們需要另一個微分形式的運算，其實它就是說$\ *\ $運算具有分配律而已。$$\ast(\omega_1+\omega_2)={\omega_1}^\ast+{\omega_2}^\ast$$

用微分形式導出正交曲線座標系的散度、梯度、旋度和拉普拉斯算符

正交曲線座標系的各種向量分析的物理量(散度、旋度、梯度等等)，不論公式和推導看起來都很複雜，可是一旦引入微分形式，只要一直偏微分就可以導出所有的公式！微分形式的簡單運算律就包含了所有的幾何意義，相當神奇。

Haskell的函數庫和沙盒

 Haskell 管理 package 和編譯專案的軟體 cabal，以前有沙盒功能，建立沙盒環境後，自己的專案所引入的函數庫不會污染到別的地方，只在自己的專案有用。現在這功能已經拿掉了。為何呢？

座標變換後新的基向量如何導出

如果只是要答案，那很簡單，假設位置向量$\bf{X}$，
$x=x(u,v,w)$，$y=y(u,v,w)$，$z=z(u,v,w)$，那麼新座標系$(u,v,w)$的基向量可以取為
$$\mathbf{g}_1=\frac{\partial \mathbf{X}}{\partial u},\ \mathbf{g}_2=\frac{\partial \mathbf{X}}{\partial v}, \ \mathbf{g}_3=\frac{\partial \mathbf{X}}{\partial w}$$這是未標準化的向量，物理上常常要取基向量的長度為1，那就把上述的向量除以各自的長度。

Courant的數學分析的第二卷第一分冊，練習3.6d就是在問如何導出新座標系的基向量，以及在新的基向量之下如何表示梯度。這是很有代表性的問題，因為這些問題通常是物理課本的內容，一般數學書不會提到，所以這本書把它放在練習題。題目如下：

Haskell當中的List monad用do notation時如何作到篩選

很神奇，在List monad中do notation的篩選功能guard不是語言內核，而是一個用Haskell寫的函數而已。

Haskell report 2010對於guard有如下敘述：

guard :: MonadPlus m => Bool -> m ()

guard b is return () if b is True, and mzero if b is False

部落格中用到的幾個Latex的Math語法說明

\$...內容...\$：行內使用Latex語法。
\$\$ ...內容...\$\$：獨立段落使用Latex語法。
行內使用語法會把數學式調整成一行高。

$\verb|\begin{align*}|$
$\verb|\\|$
$\verb|&|$ 
$\verb|&=|$ 
$\verb|\end{align*}|$

{align*}：標示區塊中使用&語法對齊。*代表不自動對式子編號。
\\：換行。
&：放在行首表示該行靠左對齊
&=：將此等號對齊上一個有前綴&的等號。

\tag{1a}：在行尾加標籤，可用於式子編號。
\mathbf{}：粗體。
\overbrace{}^{}：上括弧，說明文字在上。
\underbrace{}_{}：下括弧，說明文字在下。
\left(：自動調整大小的左括弧，必須跟\right)對應。其實可用在任何成對的左右標記上。例如\left| \right| ...等等。

測度論講義中的定理10.5.5的證明補充說明

跟上一篇一樣是出自測度論講義(嚴加安著)第三版，這次書中的證明過程都沒錯了，只是有一個地方很難明白，所以補充說明。
定理如下：

設 $\mu$ 是 $E$ (同上一篇)上的實值集函數，滿足四條公理(Shapley值必須符合的公理)的函數$\phi$是唯一的，等於下式：
$$
\phi_i(\mu)=\sum_{T \subset E}\gamma_n(|T|)[\mu(T)-\mu(T \backslash \{i\})], i=1,\cdots,n \\
\gamma_n(|T|)=\frac{(n-|T|)!(|T|-1)!}{n!}
$$

測度論講義中的引理10.5.1的證明補充說明

書籍是測度論講義 (嚴加安著) 第三版。以下按照書中證明，只是難懂的部份加上補充以及錯誤的地方改正。 要證明的是

$$\sum_{T \subset F \subset A}(-1)^{|F|-|T|} \frac{1}{|F|}=\frac{(|A|-|T|)!(|T|-1)!}{|A|!}\ \ \ \  \ (10.5.2)$$

這裡假設 $E=\{1,2,...n\},A \subset E,A \neq \varnothing,T \subset A$。

Euler的絕招

Euler 的絕招很多，介紹一個最有名的。

 

$$P(x)=1+Ax+Bx^2+Cx^3+\cdots=(1+\alpha_1x)(1+\alpha_2x)(1+\alpha_3x)\cdots$$

 

這式子有什麼大不了呢？根據Euler的看法，這式子延伸到無窮項也成立，$P(x)$不是多項式也成立。這就非常大不了了。兩邊取對數之後微分，可以得到

$$\frac{P'(x)}{P(x)} = \frac{\alpha_1}{1+\alpha_1x}+\frac{\alpha_2}{1+\alpha_2x}+\frac{\alpha_3}{1+\alpha_3x}+\cdots$$

兩個方法求冪次和公式

以$1^2+2^2+3^2+...+n^2$為例。更高次仿此可得。

方法一：牛頓差分法

首先我們需要一個數列，這個數列的每一項都是冪次和。 注意必須從零開始，因為我們要用的公式是差分版的麥克勞林級數：

假定數列是$F(0),F(1),F(2),...$

$$
\begin{multline*}
F(n)=F(0)+\Delta F(0)n+\frac{1}{2!}\Delta^2F(0)n(n-1)+\frac{1}{3!}\Delta^3F(0)n(n-1)(n-2) \\
+\cdots+\frac{1}{r!}\Delta^rF(0)n(n-1)(n-2)...(n-r+1)+\cdots
\end{multline*}
$$

Burnside 定理的證明

    這是一個計數定理，用來計算一個有限集合被群作用(排列)下的等價類個數。其實這定理不是 Burnside 發現或證明的，只是 Burnside 最早把它寫進教科書。證明這定理要用到一些群論的定理，雖然這些定理的證明也可以直接全部寫入本定理的證明當中，但是證明會變得很冗長，其實會更不容易懂。

如何做 Haskell 的 η conversion，以 (.).(.)為例

 Haskell的函數直接支援 η(eta) conversion，也就是說函數的撰寫可以變成完全無參數。事實上還是會接收參數，只是經過 η conversion 之後可以不寫。於是就有像 (.).(.) 這種完全不知道在幹什麼的函數。這不是乳房的象形文字，是一個合法的函數，而且還很有用。當然最好別這樣寫，這樣寫沒人看得懂。(.).(.) 函數可以經由 η conversion 轉回來變成有參數，Haskell當中有一種機械化的代數運算方式計算出 (.).(.) 的型別，有了型別就知道它在幹什麼了。