Перцептрон

У машинском учењу, перцептрон је алгоритам за надгледано учење бинарних класификатора. Бинарни класификатор је функција која може одлучити да ли улаз, представљен вектором бројева, припада некој одређеној класи. То је тип линеарног класификатора, тј. алгоритма класификације који чини своја предвиђања заснована на функцији линеарног предиктора комбинујући скуп тежина са вектором својства. Перцептрон је измислио Френк Розенблат 1958. године.

Дефиниција

У модерном смислу, перцептрон је алгоритам за учење бинарног класификатора који се назива функција прага: функција која пресликава свој улаз $𝐱$ (вектор реалних вредности) на излаз $f(𝐱)$ (једна бинарна вредност):

$f(𝐱)=\{\begin{array}{cc}1& \text{ако је }𝐰\cdot 𝐱+b>0,\\ 0& \text{иначе}\end{array}$

где је $𝐰$ вектор реалних тежина, а $𝐰\cdot 𝐱$ је скаларни производ вектора $\sum _{i=1}^m{w}_i{x}_i$, где је m број улаза у перцептрон, а b је бијас. Бијас помера границу одлуке даље од оригинала и не зависи ни од једне улазне вредности.

Вредност $f(𝐱)$ (0 или 1) се користи за класификацију $𝐱$ као или позитивне или негативне инстанце, у случају проблема бинарне класификације. Ако је b негативно, тада комбинација улаза помножених са тежином мора дати позитивну вредност већу од $|b|$ да би класификаторски неурон прешао преко прага који је вредности 0. Просторно, бијас мења положај (али не и оријентацију) границе одлуке. Алгоритам учења перцептрона не престаје ако скуп за учење није линеарно сепарабилан. Ако вектори нису линеарно сепарабилни, учење никада неће достићи тачку где су сви вектори класификовани на одговарајући начин. Најпознатији пример немогућности перцептрона да реши проблеме са линеарно несепарабилним векторима је Булов проблем XOR-а.

У контексту неуронских мрежа, перцептрон је вештачки неурон који користи Хевисајдову функцију као активациону функцију. Алгоритам перцептрон се такође назива и једнослојни перцептрон, како би се разликовао од вишеслојног перцептрона, што је погрешан назив за компликованију неуронску мрежу. Као линеарни класификатор, једнослојни перцептрон је најједноставнија фидфорвард неуронска мрежа.

Додатна литература

• Шаблон:Cite journal.
• Шаблон:Cite journal.
• Rosenblatt, Frank (1962), Principles of Neurodynamics. Washington, DC:Spartan Books.
• Minsky M. L. and Papert S. A. 1969. Perceptrons. Cambridge, MA: MIT Press.
• Gallant, S. I.. Perceptron-based learning algorithms. IEEE Transactions on Neural Networks,. Шаблон:Cite journal
• Шаблон:Cite journal
• Novikoff, A. B. (1962). On convergence proofs on perceptrons. Symposium on the Mathematical Theory of Automata, 12, 615-622. Polytechnic Institute of Brooklyn.
• Widrow, B., Lehr, M.A., "30 years of Adaptive Neural Networks: Perceptron, Madaline, and Backpropagation," Proc. IEEE, vol 78, no 9, pp. 1415–1442, (1990).
• Collins, M. 2002. Discriminative training methods for hidden Markov models: Theory and experiments with the perceptron algorithm in Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP '02).
• Yin, Hongfeng (1996), Perceptron-Based Algorithms and Analysis, Spectrum Library, Concordia University, Canada

Спољашње везе

• A Perceptron implemented in MATLAB to learn binary NAND functionШаблон:Мртва веза
• Шаблон:Cite book
• History of perceptrons
• Mathematics of perceptrons