Изворни код странице Рекурзивни алгоритам најмањих квадрата

'''Рекурзивни алгоритам најмањих квадрата''' (RLS) је [[адаптивни филтер]] који рекурзивно утврђује коефицијенте који смањују пондерисани линеарни најмањи квадрат функција трошкова у вези улазних сигнала. Ово је за разлика у односу на друге алгоритме као што је [[алгоритам најмањих средњих квадрата]] (LMS) чији је циљ да смањи средње квадратне грешке. У извођење рекурзивног алгоритма најмањих квадрата, улазни сигнал се сматра [[Determinizam|детерминистичким]], док се алгоритам најмањих средњих квадрата и слични алгоритми сматрају стохастичком. У поређењу са већином својих конкурената, експонати рекурзивног алгоритма најмањих квадрат изузетно брзо конвергирају. Међутим, ова корист долази по цену високог рачунарске комплексности.

== Мотивација ==
RLS је открио [[Карл Фридрих Гаус]] али остаје неискоришћен или игнорисан до 1950. године, када Плацкет открива оригинални рад Гауса од 1821. У принципу, RLS алгоритми могу да се користе за решавање сваког проблема који могу да реше адаптивни филтери, На пример, претпоставимо да је сигнал d(n) који се преноси преко еха, бучни канал који узрокује да буде примљен као

:<math>x(n)=\sum_{k=0}^q b_n(k) d(n-k)+v(n)</math> 

где <math>v(n)</math> представља додатну буку. Ми ћемо покушати да опоравимо жељени сигнал <math>d(n)</math> употребом <math>p+1</math>-tap импулса коначних одзива, <math>\mathbf{w}</math>:
:<math>\hat{d}(n) = \sum_{k=0}^{p} w_n(k)x(n-k)=\mathbf{w}_n^\mathit{T} \mathbf{x}_n</math>

где <math>\mathbf{x}_n=[x(n)\quad x(n-1)\quad\ldots\quad x(n-p)]^T</math> је вектор који садржи <math>p+1</math> Најновији узорци <math>x(n)</math>. Наш циљ је да се процени параметре филтера <math>\mathbf{w}</math>, и у сваком тренутку ''n'' мислимо на нове најмањих квадрата процена <math>\mathbf{w}_n</math>. Како време пролази, желимо да се у потпуности избегну преправке алгоритма најмањих квадрата и да пронађу нову процену за <math>\mathbf{w}_{n+1}</math>, у смислу <math>\mathbf{w}_n</math>.

Корист од RLS алгоритма је да нема потребе обрнути матрицу, чиме се штеди рачунарска снага. Још једна предност је у томе што даје интуицију иза таквих резултата као Калман филтер.

== Дискусија ==
Идеја РЛС филтера је да минимизира функцију трошкова <math>C</math> и адекватно одабира филтер коефицијенти <math>\mathbf{w}_n</math>, ажурирање филтера кад стигну нови подаци. Сигнал грешке <math>e(n)</math> и жељени сигнал <math>d(n)</math> су дефинисани у [[Појачавач са негативном повратном спрегом|дијаграму негативне повратне спреге]] :

[[Датотека:AdaptiveFilter C.png|500px]]

Грешка имплицитно зависи од коефицијента филтера путем процене. <math>\hat{d}(n)</math>:

:<math>e(n)=d(n)-\hat{d}(n)</math>

Најмања функција квадрата грешка <math>C</math>— желимо да се цена функција минимизира-као функција e(n) стога такође зависи од коефицијента филтера:
<math>C(\mathbf{w}_n)=\sum_{i=0}^{n}\lambda^{n-i}e^{2}(i)</math>
где је <math>0<\lambda\le 1</math> " фактор заборављања " који даје експоненцијално мању тежину старијим узорцима грешака.

Функција трошкова је сведена на минимум узимањем парцијалног извода за све ставке <math>k</math> коефицијента вектора <math>\mathbf{w}_{n}</math> и постављање резултата на нулу:<math>\frac{\partial C(\mathbf{w}_{n})}{\partial w_{n}(k)}=\sum_{i=0}^{n}\,2\lambda^{n-i}e(i)\,\frac{\partial e(i)}{\partial w_{n}(k)}={-}\sum_{i=0}^{n}\,2\lambda^{n-i}e(i)\,x(i-k)=0 \qquad k=0,1,\cdots,p</math>
Даље, замени <math>e(n)</math> са дефиницијом сигнала грешке
:<math>\sum_{i=0}^{n}\lambda^{n-i}\left[d(i)-\sum_{l=0}^{p}w_{n}(l)x(i-l)\right]x(i-k)= 0\qquad k=0,1,\cdots,p</math>
Преуређивање једначине приноса
:<math>\sum_{l=0}^{p}w_{n}(l)\left[\sum_{i=0}^{n}\lambda^{n-i}\,x(i-l)x(i-k)\right]= \sum_{i=0}^{n}\lambda^{n-i}d(i)x(i-k)\qquad k=0,1,\cdots,p</math>
Овај облик може да се изрази у смислу матрице
:<math>\mathbf{R}_{x}(n)\,\mathbf{w}_{n}=\mathbf{r}_{dx}(n)</math>
where <math>\mathbf{R}_{x}(n)</math> је измерен узорак коваријанси матрица за <math>x(n)</math>, и <math>\mathbf{r}_{dx}(n)</math> је еквивалентна процена за попречну-коваријансу од <math>d(n)</math> и <math>x(n)</math> На основу овог израза налазимо коефицијенте који минимизирају трошкове функције као::<math>\mathbf{w}_{n}=\mathbf{R}_{x}^{-1}(n)\,\mathbf{r}_{dx}(n)</math>
Ово је главни резултат дискусије.

=== Избор <math>\lambda</math> ===
Мањи <math>\lambda</math> је, мали допринос претходним узорцима. То чини филтер '' више '' осетљивим на недавне узорке, што значи више флуктуације у филтеру коефицијента. За <math>\lambda=1</math> случај се узима као пример '' растућег РЛС алгоритма. У пракси, <math>\lambda</math> се обично бира између 0,98 и 1.<ref>Emannual C. Ifeacor, Barrie W. Jervis. Digital signal processing: a practical approach, second edition. Indianapolis: Pearson Education Limited. (2002). стр. 718.</ref>

== Рекурзивни алгоритам ==
Расправа је резултирала у једној једначини да се одреди коефицијент вектор који минимизира функцију трошкова. У овом одељку желимо да изведемо рекурзивно решење у облику

:<math>\mathbf{w}_{n}=\mathbf{w}_{n-1}+\Delta\mathbf{w}_{n-1}</math> 
где <math>\Delta\mathbf{w}_{n-1}</math> је корективни фактор у времену <math>{n-1}</math>. Истражујемо порекло рекурзивног алгоритма изражавајући унакрсно коваријансу<math>\mathbf{r}_{dx}(n)</math> поводом <math>\mathbf{r}_{dx}(n-1)</math>
:{|
|-
|<math>\mathbf{r}_{dx}(n)</math>
|<math>=\sum_{i=0}^{n}\lambda^{n-i}d(i)\mathbf{x}(i)</math>
|-
|
|<math>=\sum_{i=0}^{n-1}\lambda^{n-i}d(i)\mathbf{x}(i)+\lambda^{0}d(n)\mathbf{x}(n)</math>
|-
|
|<math>=\lambda\mathbf{r}_{dx}(n-1)+d(n)\mathbf{x}(n)</math>
|}
где је<math>\mathbf{x}(i)</math><math>{p+1}</math>димензионални вектор података:<math>\mathbf{x}(i)=[x(i), x(i-1), \dots , x(i-p) ]^{T}</math>
Слично изражавамо <math>\mathbf{R}_{x}(n)</math> У погледу <math>\mathbf{R}_{x}(n-1)</math> 
од
:{|
|-
|<math>\mathbf{R}_{x}(n)</math>
|<math>=\sum_{i=0}^{n}\lambda^{n-i}\mathbf{x}(i)\mathbf{x}^{T}(i)</math>
|-
|
|<math>=\lambda\mathbf{R}_{x}(n-1)+\mathbf{x}(n)\mathbf{x}^{T}(n)</math>
|}
Да би генерисали коефицијент вектора ми смо заинтересовани за супротност од детерминистичке матрице. Из тог задатка идентитет матрица долази у комбинацији.
Са
:{|
|-
|<math>A</math>
|<math>=\lambda\mathbf{R}_{x}(n-1)</math> is <math>(p+1)</math>-by-<math>(p+1)</math>
|-
|<math>U</math>
|<math>=\mathbf{x}(n)</math> is <math>(p+1)</math>-by-1
|-
|<math>V</math>
|<math>=\mathbf{x}^{T}(n)</math> is 1-by-<math>(p+1)</math>
|-
|<math>C</math>
|<math>=\mathbf{I}_1</math> is the 1-by-1 
|}
Следи идентитет матрица
:{|
|-
|<math>\mathbf{R}_{x}^{-1}(n)</math>
|<math>=</math>
|<math>\left[\lambda\mathbf{R}_{x}(n-1)+\mathbf{x}(n)\mathbf{x}^{T}(n)\right]^{-1}</math>
|-
|
|<math>=</math>
|<math>\lambda^{-1}\mathbf{R}_{x}^{-1}(n-1)</math>
|-
|
|
|<math>-\lambda^{-1}\mathbf{R}_{x}^{-1}(n-1)\mathbf{x}(n)</math>
|-
|
|
|<math>\left\{1+\mathbf{x}^{T}(n)\lambda^{-1}\mathbf{R}_{x}^{-1}(n-1)\mathbf{x}(n)\right\}^{-1} \mathbf{x}^{T}(n)\lambda^{-1}\mathbf{R}_{x}^{-1}(n-1)</math>
|}
У складу са стандардном литературом, дефинишемо
:{|
|-
|<math>\mathbf{P}(n)</math>
|<math>=\mathbf{R}_{x}^{-1}(n)</math>
|-
|
|<math>=\lambda^{-1}\mathbf{P}(n-1)-\mathbf{g}(n)\mathbf{x}^{T}(n)\lambda^{-1}\mathbf{P}(n-1)</math>
|}
где је "добијен вектор"<math>g(n)</math> 
:{|
|-
|<math>\mathbf{g}(n)</math>
|<math>=\lambda^{-1}\mathbf{P}(n-1)\mathbf{x}(n)\left\{1+\mathbf{x}^{T}(n)\lambda^{-1}\mathbf{P}(n-1)\mathbf{x}(n)\right\}^{-1}</math>
|-
|
|<math>=\mathbf{P}(n-1)\mathbf{x}(n)\left\{\lambda+\mathbf{x}^{T}(n)\mathbf{P}(n-1)\mathbf{x}(n)\right\}^{-1}</math>
|}
Пре него што кренемо даље, неопходно је да се донесе <math>\mathbf{g}(n)</math> у другом облику
:{|
|-
|<math>\mathbf{g}(n)\left\{1+\mathbf{x}^{T}(n)\lambda^{-1}\mathbf{P}(n-1)\mathbf{x}(n)\right\}</math>
|<math>=\lambda^{-1}\mathbf{P}(n-1)\mathbf{x}(n)</math>
|-
|<math>\mathbf{g}(n)+\mathbf{g}(n)\mathbf{x}^{T}(n)\lambda^{-1}\mathbf{P}(n-1)\mathbf{x}(n)</math>
|<math>=\lambda^{-1}\mathbf{P}(n-1)\mathbf{x}(n)</math>
|}
Одузимањем другог мандата на левој страни приноса
:{|
|-
|<math>\mathbf{g}(n)</math>
|<math>=\lambda^{-1}\mathbf{P}(n-1)\mathbf{x}(n)-\mathbf{g}(n)\mathbf{x}^{T}(n)\lambda^{-1}\mathbf{P}(n-1)\mathbf{x}(n)</math>
|-
|
|<math>=\lambda^{-1}\left[\mathbf{P}(n-1)-\mathbf{g}(n)\mathbf{x}^{T}(n)\mathbf{P}(n-1)\right]\mathbf{x}(n)</math>
|}
Са рекурзивном дефиницијом <math>\mathbf{P}(n)</math> жељена форма прати
:<math>\mathbf{g}(n)=\mathbf{P}(n)\mathbf{x}(n)</math>
Сада смо спремни да завршимо рекурзију. Као што је наведено
:{|
|-
|<math>\mathbf{w}_{n}</math>
|<math>=\mathbf{P}(n)\,\mathbf{r}_{dx}(n)</math>
|-
|
|<math>=\lambda\mathbf{P}(n)\,\mathbf{r}_{dx}(n-1)+d(n)\mathbf{P}(n)\,\mathbf{x}(n)</math>
|}
Други корак произлази из рекурзивне дефиниције<math>\mathbf{r}_{dx}(n )</math>. Затим смо уградили рекурзивно дефиниције <math>\mathbf{P}(n)</math> заједно са алтернативним обликом <math>\mathbf{g}(n)</math> и добијамо
:{|
|-
|<math>\mathbf{w}_{n}</math>
|<math>=\lambda\left[\lambda^{-1}\mathbf{P}(n-1)-\mathbf{g}(n)\mathbf{x}^{T}(n)\lambda^{-1}\mathbf{P}(n-1)\right]\mathbf{r}_{dx}(n-1)+d(n)\mathbf{g}(n)</math>
|-
|
|<math>=\mathbf{P}(n-1)\mathbf{r}_{dx}(n-1)-\mathbf{g}(n)\mathbf{x}^{T}(n)\mathbf{P}(n-1)\mathbf{r}_{dx}(n-1)+d(n)\mathbf{g}(n)</math>
|-
|
|<math>=\mathbf{P}(n-1)\mathbf{r}_{dx}(n-1)+\mathbf{g}(n)\left[d(n)-\mathbf{x}^{T}(n)\mathbf{P}(n-1)\mathbf{r}_{dx}(n-1)\right]</math>
|}
Са<math>\mathbf{w}_{n-1}=\mathbf{P}(n-1)\mathbf{r}_{dx}(n-1)</math> долазимо до једначине за ажурирање
:{|
|-
|<math>\mathbf{w}_{n}</math>
|<math>=\mathbf{w}_{n-1}+\mathbf{g}(n)\left[d(n)-\mathbf{x}^{T}(n)\mathbf{w}_{n-1}\right]</math>
|-
|
|<math>=\mathbf{w}_{n-1}+\mathbf{g}(n)\alpha(n)</math>
|}
Где је <math>\alpha(n)=d(n)-\mathbf{x}^{T}(n)\mathbf{w}_{n-1}</math>Грешка израчунавања "после"
филтера се ажурира::<math>e(n)=d(n)-\mathbf{x}^{T}(n)\mathbf{w}_n</math> 
То значи да смо нашли фактор корекције:<math>\Delta\mathbf{w}_{n-1}=\mathbf{g}(n)\alpha(n)</math>

Овај интуитивно задовољавајући резултат указује да је корективни фактор директно пропорционалан грешкама и појачањима вектора, и да контролише колика осетљивост се жели.

== RLS алгоритам резиме ==
RLS алгоритам за ''p''се помоћу RLS филтера може сумирати на:
{|
|-
| Параметри: || <math>p=</math> поредак филтера
|-
|  || <math>\lambda=</math> фактор заборављања
|-
|  || <math>\delta=</math> вредност да се покрене <math>\mathbf{P}(0)</math>
|-
|Иницијализација: || <math>\mathbf{w}(n)=0</math>,
|-
| ||<math>x(k)=0, k=-p,\dots,-1</math>,
|-
| ||<math>d(k)=0, k=-p,\dots,-1</math>
|-
| ||<math>\mathbf{P}(0)=\delta^{-1}I</math> где је <math>I</math> матрица идентитета ранга <math>p+1</math>
|-
| Обрачун: || За <math>n=1,2,\dots </math>
|-
|||
<math> \mathbf{x}(n) = 
\left[
\begin{matrix}
x(n)\\
x(n-1)\\
\vdots\\
x(n-p)
\end{matrix}
\right]
</math>
|-
|||<math> \alpha(n) = d(n)-\mathbf{x}^T(n)\mathbf{w}(n-1)</math>
|-
|||<math>\mathbf{g}(n)=\mathbf{P}(n-1)\mathbf{x}^*(n)\left\{\lambda+\mathbf{x}^{T}(n)\mathbf{P}(n-1)\mathbf{x}^*(n)\right\}^{-1}</math>
|-
|||<math>\mathbf{P}(n)=\lambda^{-1}\mathbf{P}(n-1)-\mathbf{g}(n)\mathbf{x}^{T}(n)\lambda^{-1}\mathbf{P}(n-1)</math>
|-
|||<math> \mathbf{w}(n) = \mathbf{w}(n-1)+\,\alpha(n)\mathbf{g}(n)</math>.
|}

Имајте на уму да рекурзија за <math>P</math> следи алгебарска Рикатијева једначина и тако повлачи паралеле до Калман филтера.<ref>Welch, Greg and Bishop, Gary [http://www.cs.unc.edu/~welch/media/pdf/kalman_intro.pdf "An Introduction to the Kalman Filter"], Department of Computer Science, University of North Carolina at Chapel Hill, September 17, 1997, accessed July 19, 2011.</ref>

== Рекурзивне решетке најмањих квадрата филтера (LRLS) ==
'' Рекурзивне решетке најмањих квадрата филтера '' се односи на стандардни RLS, осим да је потребно мање аритметичких операција . Она нуди додатне предности у односу на конвенционалне LMS алгоритме као што су брже стопе конвергенције, модуларне структуре, и неосетљивост на варијацијама у ширења улазне корелационе матрице.LRLS алгоритам заснован је на грешкама и укључује нормализовани облик. Извођење је слична стандардном RLS алгоритму и заснива се на дефиницији <math>d(k)\,\!</math>. У предикционом случају, имамо <math>d(k) = x(k)\,\!</math> са улазним сигналом <math>x(k-1)\,\!</math> као највиши узорак. Предвиђање заосталих случајева <math>d(k) = x(k-i-1)\,\!</math>, где индекс узорка у прошлости желимо да предвидимо, а улазни сигнал <math>x(k)\,\!</math> је најновији узорак.<ref>Albu, Kadlec, Softley, Matousek, Hermanek, Coleman, Fagan [http://wwwdsp.ucd.ie/dspfiles/main_files/pdf_files/hsla_fpl2001.pdf "Implementation of (Normalised) RLS Lattice on Virtex"] {{Wayback|url=http://wwwdsp.ucd.ie/dspfiles/main_files/pdf_files/hsla_fpl2001.pdf |date=20160304040205 }}, Digital Signal Processing, 2001, accessed December 24, 2011.</ref>

=== Преглед параметара ===
:<math>\kappa_f(k,i)\,\!</math> је напредни коефицијент рефлексије

:<math>\kappa_b(k,i)\,\!</math> је назадан коефицијент рефлексије

:<math>e_f(k,i)\,\!</math> представља тренутно '' апостериори '' напредно предвиђање о грешци

:<math>e_b(k,i)\,\!</math> представља тренутно '' апостериори '' назадно предвиђање о грешци

:<math>\xi^d_{b_{min}}(k,i)\,\!</math> је минимум најмањих квадрата назадно предвиђање грешака

:<math>\xi^d_{f_{min}}(k,i)\,\!</math>је минимум најмањих квадрата напредно предвиђање грешака

:<math>\gamma(k,i)\,\!</math> је фактор конверзије између '' априори '' и '' апостериори, '' грешке

:<math>v_i(k)\,\!</math> су вишеструки коефицијенти.

:<math>\epsilon\,\!</math> је мала позитивна константа која може бити 0.01

=== LRLS преглед алгоритма ===
Алгоритам за LRLS филтер се може сажети у
{|
|-
| Иницијализација:
|-
||| For i = 0,1,...,N
|-
||| {{pad|2em}}<math>\delta(-1,i) = \delta_D(-1,i) = 0\,\!</math> (if x(k) = 0 for k < 0)
|-
||| {{pad|2em}}<math>\xi^d_{b_{min}}(-1,i) = \xi^d_{f_{min}}(-1,i) = \epsilon</math>
|-
||| {{pad|2em}}<math>\gamma(-1,i) = 1\,\!</math>
|-
||| {{pad|2em}}<math>e_b(-1,i) = 0\,\!</math>
|-
||| End
|-
| Израчунавање:
|-
||| For k ≥ 0
|-
||| {{pad|2em}}<math>\gamma(k,0) = 1\,\!</math>
|-
||| {{pad|2em}}<math>e_b(k,0) = e_f(k,0) = x(k)\,\!</math>
|-
||| {{pad|2em}}<math>\xi^d_{b_{min}}(k,0) = \xi^d_{f_{min}}(k,0) = x^2(k) + \lambda\xi^d_{f_{min}}(k-1,0)\,\!</math>
|-
||| {{pad|2em}}<math>e(k,0) = d(k)\,\!</math>
|-
||| {{pad|2em}}For i = 0,1,...,N
|-
||| {{pad|4em}}<math>\delta(k,i) = \lambda\delta(k-1,i) + \frac{e_b(k-1,i)e_f(k,i)}{\gamma(k-1,i)}</math>
|-
||| {{pad|4em}}<math>\gamma(k,i+1) = \gamma(k,i) - \frac{e_b^2(k,i)}{\xi^d_{b_{min}}(k,i)}</math>
|-
||| {{pad|4em}}<math>\kappa_b(k,i) = \frac{\delta(k,i)}{\xi^d_{f_{min}}(k,i)}</math>
|-
||| {{pad|4em}}<math>\kappa_f(k,i) = \frac{\delta(k,i)}{\xi^d_{b_{min}}(k-1,i)}</math>
|-
||| {{pad|4em}}<math>e_b(k,i+1) = e_b(k-1,i) - \kappa_b(k,i)e_f(k,i)\,\!</math>
|-
||| {{pad|4em}}<math>e_f(k,i+1) = e_f(k,i) - \kappa_f(k,i)e_b(k-1,i)\,\!</math>
|-
||| {{pad|4em}}<math>\xi^d_{b_{min}}(k,i+1) = \xi^d_{b_{min}}(k-1,i) - \delta(k,i)\kappa_b(k,i)</math>
|-
||| {{pad|4em}}<math>\xi^d_{f_{min}}(k,i+1) = \xi^d_{f_{min}}(k,i) - \delta(k,i)\kappa_f(k,i)</math>
|-
||| {{pad|2em}}
|-
||| {{pad|4em}}<math>\delta_D(k,i) = \lambda\delta_D(k-1,i) + \frac{e(k,i)e_b(k,i)}{\gamma(k,i)}</math>
|-
||| {{pad|4em}}<math>v_i(k) = \frac{\delta_D(k,i)}{\xi^d_{b_{min}}(k,i)}</math>
|-
||| {{pad|4em}}<math>e(k,i+1) = e(k,i) - v_i(k)e_b(k,i)\,\!</math>
|-
||| {{pad|2em}}End
|-
||| End
|-
|||
|}

== Нормализован рекурзиван филтер најмањих квадрата (NLRLS) ==
Нормализована форма LRLS има мање рекурзије и променљивих. Може се израчунати применом нормализације интерних варијабли алгоритма који ће задржати своју величину. Ово се углавном не користи у реалном времену апликације због броја одељења и квадратног корена операција која долази са високим рачунарским оптерећењем.

=== NLRLS преглед алгоритма ===
Алгоритам за NLRLS филтер се може сажети у
{|
|-
| Иницијализација:
|-
||| For i = 0,1,...,N
|-
||| {{pad|2em}}<math>\overline{\delta}(-1,i) = 0\,\!</math> (if x(k) = d(k) = 0 for k < 0)
|-
||| {{pad|2em}}<math>\overline{\delta}_D(-1,i) = 0\,\!</math>
|-
||| {{pad|2em}}<math>\overline{e}_b(-1,i) = 0\,\!</math>
|-
||| End
|-
||| {{pad|2em}}<math>\sigma_x^2(-1) = \lambda\sigma_d^2(-1) = \epsilon\,\!</math>
|-
| Израчунавање:
|-
||| For k ≥ 0
|-
||| {{pad|2em}}<math>\sigma_x^2(k) = \lambda\sigma_x^2(k-1) + x^2(k)\,\!</math> (улазни сигнал снаге)
|-
||| {{pad|2em}}<math>\sigma_d^2(k) = \lambda\sigma_d^2(k-1) + d^2(k)\,\!</math> (референтни сигнал снаге)
|-
||| {{pad|2em}}<math>\overline{e}_b(k,0) = \overline{e}_f(k,0) = \frac{x(k)}{\sigma_x(k)}\,\!</math>
|-
||| {{pad|2em}}<math>\overline{e}(k,0) = \frac{d(k)}{\sigma_d(k)}\,\!</math>
|-
||| {{pad|2em}} For i = 0,1,...,N
|-
||| {{pad|4em}}<math>\overline{\delta}(k,i) = \delta(k-1,i)\sqrt{(1 - \overline{e}_b^2(k-1,i))(1 - \overline{e}_f^2(k,i))} + \overline{e}_b(k-1,i)\overline{e}_f(k,i)</math>
|-
||| {{pad|4em}}<math>\overline{e}_b(k,i+1) = \frac{\overline{e}_b(k-1,i) - \overline{\delta}(k,i)\overline{e}_f(k,i)}{\sqrt{(1 - \overline{\delta}^2(k,i))(1 - \overline{e}_f^2(k,i))}}</math>
|-
||| {{pad|4em}}<math>\overline{e}_f(k,i+1) = \frac{\overline{e}_f(k,i) - \overline{\delta}(k,i)\overline{e}_b(k-1,i)}{\sqrt{(1 - \overline{\delta}^2(k,i))(1 - \overline{e}_b^2(k-1,i))}}</math>
|-
||| {{pad|2em}}
|-
||| {{pad|4em}}<math>\overline{\delta}_D(k,i) = \overline{\delta}_D(k-1,i)\sqrt{(1 - \overline{e}_b^2(k,i))(1 - \overline{e}^2(k,i))} + \overline{e}(k,i)\overline{e}_b(k,i)</math>
|-
||| {{pad|4em}}<math>\overline{e}(k,i+1) = \frac{1}{\sqrt{(1 - \overline{e}_b^2(k,i))(1 - \overline{\delta}_D^2(k,i))}}[\overline{e}(k,i) - \overline{\delta}_D(k,i)\overline{e}_b(k,i)]</math>
|-
||| {{pad|2em}}End
|-
||| End
|-
|||
|}

== Референце ==
{{reflist}}

== Литература ==
* {{Cite book|author=Hayes, Monson H.|title=Statistical Digital Signal Processing and Modeling|url=https://archive.org/details/statisticaldigit00haye|chapter=9.4: Recursive Least Squares|publisher=Wiley|year=1996|isbn=978-0-471-59431-4|pages=[https://archive.org/details/statisticaldigit00haye/page/n554 541]}}
* {{cite book|ref= harv|last=Haykin|first=Simon|title=Adaptive Filter Theory|location=|publisher=Prentice Hall|year=2002|isbn=978-0-13-048434-5|pages=}}
* {{cite book|author=M.H.A Davis, R.B. Vinter|title=Stochastic Modelling and Control|location=|publisher=Springer|year=1985|isbn=978-0-412-16200-8|pages=}}
* {{cite book|author=Weifeng Liu, Jose Principe and Simon Haykin|title=Kernel Adaptive Filtering: A Comprehensive Introduction|location=|publisher=John Wiley|year=2010|isbn=978-0-470-44753-6|pages=}}
* R.L.Plackett, ''Some Theorems in Least Squares'', Biometrika, 1950, 37, 149-157, {{ISSN|0006-3444}}
* C.F.Gauss, ''Theoria combinationis observationum erroribus minimis obnoxiae'', 1821, Werke, 4. Gottinge

{{нормативна контрола}}

[[Категорија:Дигитална обрада сигнала]]
[[Категорија:Теорија филтера]]