備忘録です。
微分公式一覧
- \((\sin x)’=\cos x\)
- \((\cos x)’=-\sin x\)
- \(\displaystyle (\tan x)’=\left( \frac{\sin x}{\cos x} \right)’ = \frac{1}{\cos^2 x}\)
- \(\displaystyle (cot x)’=\left( \frac{1}{\tan x} \right)’=-\frac{1}{\sin^2 x}\)
- \((e^x)’=e^x\)
- \((a^x)’=a^x \log_e a\)
- \((x^x)’=(\log_e x +1)x^x\)
- \(\displaystyle \left\{(\cos x)^n \right\}’=\left\{\cos \left( x+\frac{1}{2}n\pi \right)\right\}’=-\sin \left( x+\frac{1}{2}n\pi \right) \)???
- \(\displaystyle (\log_a x)’=\frac{1}{x\log_e a}\)
- \(\displaystyle (\log_e □)’=□’*\frac{1}{□}\)
- \(\displaystyle (\log_e x)’=x’\frac{1}{x}=\frac{1}{x}\)
- \(\displaystyle (\log_e |f(x)|)’=f'(x)*\frac{1}{f(x)}=\frac{f'(x)}{f(x)}\)
- \(\displaystyle \left\{(\log_e ax)^n \right\}’=\frac{an}{x}(\log_e ax)^{(n-1)}\)
- \(\displaystyle (\arcsin x)’=\frac{1}{\sqrt{1-x^2}}\)
- \(\displaystyle(\arccos x)’=-\frac{1}{\sqrt{1-x^2}}\)
- \(\displaystyle(\arctan x)’=\frac{1}{1+x^2}\)
- \((\sinh x)’=\cosh x\)
- \((\cosh x)’=\sinh x\)
- \(\displaystyle (\tanh x)’=1-\tanh^2 x =\frac{1}{\cosh^2 x}\)
- \(\displaystyle \left\{ \log(x+\sqrt{x^2+a}) \right\}’=\frac{1}{\sqrt{x^2+a}}\)
トレースの微分の公式
- \(\displaystyle \frac{\partial tr(XA)}{\partial X}=A^T\)
- \(\displaystyle \frac{\partial tr(AX^T)X}{\partial X}=A\)
- \(\displaystyle \frac{\partial tr(XAX^T)X}{\partial X}=X(A+A^T)\)
線形性(Linearity)
\(\left\{af(x)+bg(x) \right\}’=af'(x) + bg'(x)\)
\(\{log(f(x))\}’\)
\(\{log(f(x))\}’=0\) の時、\(f(x)’=0\)となるので、\(log\)をとっても極値は同じとなるので、最大化や最小化の場合、\(log\)化が使われる。 その他にも、\(log\)は単調増加関数であり、\(log\)内の掛け算や割り算は\(log\)毎の足し算や引き算に出来き、各項の単純化が出来る為、機械学習の複雑な計算で\(log\)化が良く使われる。
\(\displaystyle (\log |f(x)|)’=\frac{f'(x)}{f(x)}\)
積の微分(product rule), ライプニッツ則(Leibniz rule)
\(\left\{f(x)g(x)\right\}’=f'(x)g(x)+f(x)g'(x)\)
\(\left\{f(x)g(x)h(x)\right\}’=f'(x)h(x)g(x)+f(x)h'(x)g(x)+f(x)h(x)g'(x)\)
ライプニッツの記法
\(\displaystyle \frac{d}{dx}(u\cdot v)=u\cdot\frac{dv}{dx}+v\cdot\frac{du}{dx} \quad\) 又は \(\quad d(uv)=u\,dv+v\,du\)
商の微分(quotient rule)
\(\displaystyle f'(x)=\left\{ \frac{g(x)}{h(x)} \right\}’=\frac{g'(x)h(x)-g(x)h'(x))}{h(x)^2}\)
2階微分以上の場合は、\(f\cdot h=g\)とし、積の微分をした後で、\(f”\)について解く
\(\displaystyle f”(x)=\left\{ \frac{g(x)}{h(x)} \right\}”=\frac{g”(x)-2f'(x)h'(x)-fh”(x))}{h(x)}\)
合成関数(composite function)
\(\left\{f(g(x))\right\}’=f'(g(x))g'(x)\)
\(y=(2x+1)^2\)の微分は、\(f(x)=x^2とg(x)=2x+1の合成関数y=f(g(x))\)なので、
\(\begin{align} y’&=2(2x+1)\cdot (2x+1)’\\ &=2(2x+1)\cdot2\\ &=4(2x+1)\end{align}\)
または、
\(\displaystyle \frac{dy}{dx}=\frac{dy}{du}\frac{du}{dx}\)
\(y=(x^2+3x+1)^4\)の微分
\(u=x^2+3x+1\)とおくと、\(y=u^4\)
\(\displaystyle \frac{du}{dx}=2x+3\qquad \longleftarrow \qquad\) \(u\)を\(x\)で微分した。
\(\displaystyle \frac{dy}{du}=4u^3\qquad \longleftarrow \qquad\) \(y\)を\(u\)で微分した。
\(\displaystyle \begin{align}\frac{dy}{dx}&=\frac{dy}{du}\frac{du}{dx}\\ &=4u^3\cdot (2x+3) \\ &= 4(x^2+3x+1)^3(2x+3)\end{align}\)
チェーンルール
\(\displaystyle f(x)=f(s(x)) \frac{df(s(x))}{dx}=\frac{df(s)}{ds}\frac{ds(x)}{dx}\)
\(\displaystyle f(x)=f(s(x))=f(u(s(x))) \frac{df(u(s(x)))}{dx}=\frac{df(u)}{du}\frac{du(s)}{ds}\frac{ds(x)}{dx}\)
例、\(\displaystyle f(x)-log(x)2 \)の微分のとき、\(\displaystyle s=log(x) \)として \(f(s)=s^2\)とすれば、
\(\displaystyle \frac{df(s)}{ds}=\frac{d(s^2)}{ds}=2s \\ \frac{ds(x)}{dx}=\frac{d(log(x))}{dx}=\frac{1}{x}\)
\(\begin{align}\displaystyle \frac{df(s(x))}{dx}&=\frac{df(s)}{ds}\frac{ds(x)}{dx}\\&=\frac{d(s^2)}{ds}\frac{d(log(x))}{dx}\\&=2s\frac{1}{x}\\&=\frac{2log(x)}{x}\end{align}\)
媒介変数で表された関数： \(x=f(t), y=g(t)\)のとき、
\(\displaystyle \frac{dy}{dx}=\frac{g'(t)}{f'(t)}\)
全微分(total derivative)
\(\begin{align}\displaystyle f'(x,y,z)&=df(x,y,z)=\frac{df(x,y,z)}{dt}\\&=\frac{\partial f(x,y,z)}{\partial x}\frac{dx}{dt}+\frac{\partial f(x,y,z)}{\partial y}\frac{dy}{dt}+\frac{\partial f(x,y,z)}{\partial z}\frac{dz}{dt}\end{align}\)
\(\displaystyle \)
平均値の定理(mean value theorem)
\(f(x)\)が\([a,b]\)で連続、\((a,b)\)で微分可能のとき、ある点\(c\)が存在する。
\(\displaystyle \frac{f(b)-f(a)}{g(b)-g(a)}=f'(c) \qquad (a<c<b)\)
コーシーの平均の定理 (Cauchy’s mean value theorem)
\(f(x), g(x)\)が\([a,b]\)で連続、\((a,b)\)で微分可能のとき、ある点\(c\)が存在して以下が成り立つ。
\(\displaystyle \frac{f(b)-f(a)}{g(b)-g(a)}=\frac{f'(c)}{g'(c)} \qquad (a<c<b)\)
ロピタルの定理(l’Hopital’s rule)
\(f(x), g(x)\)が\(x=1\)近くで微分可能で、\(f(a)=0, g(a)=0\)かつ\(\displaystyle \lim_{x \to a} \frac{f'(x)}{g'(x)}\)が存在するならば以下が成り立つ。
\(\displaystyle \lim_{x \to a}\frac{f(x)}{g(x)}=\lim_{x \to a}\frac{f'(x)}{g'(x)}\)
オイラーラグランジュ方程式 (Euler Lagrange equation)
\(\displaystyle \frac{\partial L}{\partial x}-\frac{d}{dt}\frac{\partial L}{\partial \dot{x}}=0\)
汎関数の最小値や最大値を求めたいときに使用する事がある。
ガトー微分 (G\(\mathrm{\hat{a}}\)teaux differential)
関数の関数である汎関数の入力\(f\)を\(f+\varepsilon g\)少し変化した時のに出力がどれくらい変化するかを表す。 \(L\)の\(f\)における\(g\)方向のガトー微分という。 方向微分の汎関数バージョン。
\(\displaystyle \lim_{\varepsilon \to 0} \frac{L(f+\varepsilon g)-L(f)}{\varepsilon}\)
性質
関数\(y=f(x)\)の凹凸
\(f”(x)>0\)となる区間\(\rightarrow y=f(x)\)は下に凸。
\(f”(x)<0\)となる区間\(\rightarrow y=f(x)\)は上に凸。
関数\(y=f(x)\)の極大値と極小値
\(f'(a)=0\)かつ\(f”(a)>0\rightarrow y=f(x)\)は極小値。
\(f'(a)=0\)かつ\(f”(a)<0\rightarrow y=f(x)\)は極大値。
極値判定の定理
- 極値の必要条件：\(f(x)\)が\(x=a\)で極大か極小の時は、\(f`(a)=0\)となる。
- 極小の十分条件：\(f'(a)=0\)かつ\(f”(a)>0\)の時、\(x=a\)で極小となる。
- 極大の十分条件：\(f'(a)=0\)かつ\(f””(a)<0\)の時、\(x=a\)で極大となる。
- 極値の必要条件：ある点極大か極小の時、偏導関数の値が全て０となる。
- 極小の十分条件：１を満たした点で、ヘッセ行列が正定値の時、極小となる。
- 極大の十分条件：１を満たした点で、ヘッセ行列が負定値の時、極大となる。
- １を満たした点で、ヘッセ行列が正定値でも負定値でもない時は、極小か極大か不明。
その他
消えるまで微分すると
\(\displaystyle \left\{(\log (-x))^n \right\}’^{\dots}=\frac{(-1)^{n-1}(n-1)!}{x^n}\)
用語
導関数(derivative function)
\(f(x)\)を微分した\(f'(x)\)を関数とみなしたもの。
\(f(x)=4x^2+3\)の導関数は\(f'(x)=8x\)
\(\mathrm{C}\)級
微分可能で導関数が連続な関数が\(\mathrm{Ｃ}\)級。
- \(\mathrm{Ｃ}^1\)級は微分可能でその導関数が連続な関数。
- \(\mathrm{Ｃ}^2\)級は、2変数関数\(f(x,y)\)で偏導関数\(f_{xx},f_{xy},f_{yx},f_{yy}\)が連続である関数。
- \(\mathrm{Ｃ}^n\)級は、\(n\)階微分できて、その\(n\)次導関数が連続である関数。
- また,\(n\)個の多変数関数\(f(x_1,x_2, \cdots,x_n)\)で\(n\)階の全ての変数に対する偏導関数が連続である関数。
- \(\mathrm{Ｃ}^{\infty}\)級は、無限回微分でき全ての導関数が連続である関数。
- \(\mathrm{Ｃ}^{\omega}\)級は、べき級数展開（テイラー展開）可能である関数。また\(\mathrm{Ｃ}^{\omega} \in \mathrm{Ｃ}^{\infty}\)が成り立つ。
コメント