TroostplekDe internet rustplaats

In memoriam · condoleanceregister

Bernard Widrow

ook bekend als Bernard Widrow

Geboren
24 december 1929
Overleden
30 september 2025
Leeftijd
95 jaar
Rustplaatsen
Wetenschappers & uitvinders Bekende mensen, Verenigde Staten Landen

Biografie

Bernard Widrow (December 24, 1929 – September 30, 2025) was an American professor of electrical engineering at Stanford University known for his work on artificial neural networks. He co-invented the Widrow–Hoff least mean squares filter (LMS) adaptive algorithm with his doctoral student Ted Hoff. The LMS algorithm led to the ADALINE and MADALINE artificial neural networks, and to the backpropagation technique. He made fundamental contributions to the development of digital signal processing in the fields of geophysics, adaptive antennas, and adaptive filtering.

Widrow was the namesake of "Uncle Bernie's Rule": the training sample size should be ten times the number of weights in a network.

Biography

This section is based on.

Early life and education

Widrow was born in Norwich, Connecticut. While young, he was interested in electronics. During WWII, he found an entry on "Radios" in the World Book Encyclopedia, and built a one-tube radio.

He entered MIT in 1947, studied electrical engineering and electronics, and graduated in 1951. After that, he got a research assistantship in the MIT Digital Computer Laboratory, in the magnetic core memory group. The DCL was a division of the Servomechanisms Laboratory, which was building the Whirlwind I computer. The experience of building magnetic core memory shaped his understanding of computers into a "memory's eye view", that is, he "look for the memory and see what you have to connect around it".

For his masters thesis (1953, advised by William Linvill), he worked on raising the signal-to-noise ratio of the sensing signal of magnetic core memory. Back then, the hysteresis loops for magnetic core memory was not square enough, making sensing signal noisy.

For his PhD (1956, advised by William Linvill), he worked on the statistical theory of quantization noise, inspired by work by William Linvill and David Middleton.

During PhD, he learned the Wiener filter from Lee Yuk-wing. To design a Wiener filter, one must know the statistics of the noiseless signal that one wants to recover. However, if the statistics of the noiseless signal is unknown, this cannot be designed. Widrow thus designed an adaptive filter that uses gradient descent to minimize the mean square error. He also attended the Dartmouth workshop in 1956 and was inspired to work on artificial intelligence

Work on AI

In 1959, he got his first graduate student, Ted Hoff. They improved the previous adaptive filter so that it made a gradient descent for each datapoint, resulting in the delta rule and the ADALINE. To avoid having to hand-tune the weights in ADALINE, they invented the memistor, with conductance (ADALINE weights) being the thickness of the copper on the graphite.

During a meeting with Frank Rosenblatt, Widrow argued that the S-units in the perceptron machine should not be connected randomly to the A-units. Instead, the S-units should be removed, so that the photocell inputs would be directly inputted into the A-units. Rosenblatt objected that "the human retina is built that way".

Despite many attempts, they never succeeded in developing a training algorithm for a multilayered neural network. The furthest they got was with Madaline Rule I (1962), which had two weight layers. The first was trainable, but the second was fixed. Widrow stated their problem would have been solved by the backpropagation algorithm. "This was long before Paul Werbos. Backprop to me is almost miraculous."

Adaptive filtering

Unable to train multilayered neural networks, Widrow turned to adaptive filtering and adaptive signal processing, using techniques based on the LMS filter for applications such as adaptive antenna, adaptive noise canceling, and applications to medicine.

At a 1985 conference in Snowbird, Utah, he noticed that neural network research was returning, and he also learned of the backpropagation algorithm. After that, he returned to neural network research.

Publications

1965 "A critical comparison of two kinds of adaptive classification networks", K. Steinbuch and B. Widrow, IEEE Transactions on Electronic Computers, pp. 737–740.

1985 B. Widrow and S. D. Stearns. Adaptive Signal Processing. New Jersey: Prentice-Hall, Inc., 1985.

1994 B. Widrow and E. Walach. Adaptive Inverse Control. New Jersey: Prentice-Hall, Inc., 1994.

2008 B. Widrow and I. Kollar. Quantization Noise: Roundoff Error in Digital Computation, Signal Processing, Control, and Communications. Cambridge University Press, 2008.

Honors

He was one of the Board of Governors of the International Neural Network Society (INNIS) in 2003.

Bron: Wikipedia, beschikbaar onder de licentie CC BY-SA 4.0.

In Memoriam weblink

en.wikipedia.org/wiki/Bernard_Widrow

Foto's

Medeleven en bloemen 0

Het condoleanceregister van Bernard Widrow: betuig hieronder uw medeleven aan de nabestaanden, leg een bloem of steek een kaars aan.

  • TroostplekSterkte aan alle nabestaanden.

Betuig als eerste uw medeleven of leg een bloem.

Uw medeleven of een bloem

Wat wilt u plaatsen?
Hoe lang is uw bericht?
Kies een bloem

Alle 27

Rouwkransen 4

Rouwboeketten 3

Klassiek 20

Hoe lang blijft uw bloem liggen?

Vaker een bloem leggen? Word lid: dan legt u zoveel bloemen als u wilt, en ze blijven allemaal voor altijd liggen. € 6,00 per maand of € 60,00 per jaar. Lid worden (met een gratis account)

0 / 500 tekens

Troostplek is een plek om te gedenken. Berichten worden eerst gelezen en daarna geplaatst; berichten die daar niet passen, verwijderen wij zonder uitleg.

Uw bloem voor altijd laten liggenEen langer medeleven plaatsen

€ 3,95€ 3,45 eenmalig

  • Uw bloem wordt nu gelegd en is meteen te zien.
  • Zodra uw betaling binnen is, blijft hij voor altijd liggen.
  • Lukt het betalen niet, dan blijft hij een maand liggen, zoals een gratis bloem.
  • Uw medeleven wordt nu geplaatst. Tot uw betaling binnen is, zijn alleen de eerste 500 tekens te lezen.
  • Zodra uw betaling binnen is, is de hele tekst te lezen.
  • Liever gratis? Ga terug en maak uw bericht korter dan 501 tekens.
Hoe wilt u betalen?

Bij crypto betaalt u de transactiekosten van het netwerk zelf, bovenop het bedrag. Bij iDEAL en een bankoverschrijving zijn er geen extra kosten.

Bij een bankoverschrijving of crypto ziet u na het plaatsen hoe u betaalt. Vul uw e-mailadres in om dat ook per mail te krijgen.

Vaker een bloem leggen? Als lid legt u zoveel bloemen als u wilt, voor altijd, vanaf € 6,00 per maand.Vaker een langer bericht? Als lid schrijft u zo lang als u wilt, gratis, vanaf € 6,00 per maand. Lid worden

Melden

Past dit bericht of deze bloem niet op Troostplek? Na uw melding is het niet meer te zien, tot wij ernaar hebben gekeken.

Meld een fout of aanvulling

Over het register van Bernard Widrow. Vul in wat er anders moet; de rest mag leeg blijven.

Nu: Bernard Widrow

Nu: 24 december 1929

Nu: 30 september 2025

Nu: Wetenschappers & uitvinders