Baer kwam in 1966 op het idee om gamen op een televisie mogelijk te maken, zo stelt de New York Times in een uitgebreide necrologie. Uiteindelijk vroeg hij in 1971 het allereerste videogamepatent aan op alle producten die het mogelijk maakten om pixels op een scherm te creëren en controleren.
In 1972 verscheen de Magnavox Odyssey, het eerste systeem dat gebruikmaakte van het patent. Dat apparaat zelf bevatte geen software, maar maakte gebruik van losse gamecartridges. Uiteindelijk zouden 330.000 exemplaren van de console worden verkocht.
Enkele maanden na de verschijning van de Odyssey kwam Pong op de markt. Baer zag dat als patentschending en startte een rechtszaak. Uiteindelijk schikte Atari, maker van Pong, voor een bedrag van 700.000 dollar.
In de volgende twintig jaar klaagde Magnavox tientallen bedrijven aan met het patent van Baer. Het bedrijf verdiende daar meer dan 100 miljoen dollar aan.
Baer kreeg in 2006 de National Medal of Technology van toenmalig president George W. Bush. In 2010 werd hij opgenomen in de Amerikaanse Inventors Hall of Fame.
De uitvinder had in totaal ruim 150 patenten. Behalve zijn gameconsole patenteerde hij ook een pratende deurmat en wenskaart.