4 neural network

import%20marimo%0A%0A__generated_with%20%3D%20%220.20.4%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20math%0A%20%20%20%20import%20random%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20pyodide.http%2C%20pathlib%0A%20%20%20%20%20%20%20%20resp%20%3D%20await%20pyodide.http.pyfetch(%22%2Futils.py%22)%0A%20%20%20%20%20%20%20%20pathlib.Path(%22%2Futils.py%22).write_text(await%20resp.string())%0A%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20%22%2F%22)%0A%20%20%20%20from%20utils%20import%20Value%2C%20draw_dot%0A%0A%20%20%20%20return%20Value%2C%20draw_dot%2C%20mo%2C%20random%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Let's%20make%20a%20Neuron%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Value%2C%20random)%3A%0A%20%20%20%20class%20Neuron%3A%0A%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20nin)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.w%20%3D%20%5BValue(random.uniform(-1%2C1))%20for%20_%20in%20range(nin)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20self.b%20%3D%20Value(random.uniform(-1%2C1))%0A%0A%20%20%20%20%20%20%20%20def%20__call__(self%2C%20x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20w*x%20%2B%20b%0A%20%20%20%20%20%20%20%20%20%20%20%20act%20%3D%20sum((wi*xi%20for%20wi%2C%20xi%20in%20zip(self.w%2C%20x))%2C%20self.b)%0A%20%20%20%20%20%20%20%20%20%20%20%20out%20%3D%20act.tanh()%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20out%0A%0A%20%20%20%20%20%20%20%20def%20parameters(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20self.w%20%2B%20%5Bself.b%5D%0A%0A%20%20%20%20return%20(Neuron%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Let's%20make%20a%20Neural%20Network%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Layer%3A%20a%20class%20combining%20multiple%20neurons%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Neuron)%3A%0A%20%20%20%20class%20Layer%3A%0A%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20nin%2C%20nout)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.neurons%20%3D%20%5BNeuron(nin)%20for%20_%20in%20range(nout)%5D%0A%0A%20%20%20%20%20%20%20%20def%20__call__(self%2C%20x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20outs%20%3D%20%5Bn(x)%20for%20n%20in%20self.neurons%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20outs%5B0%5D%20if%20len(outs)%20%3D%3D%201%20else%20outs%0A%0A%20%20%20%20%20%20%20%20def%20parameters(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%5Bp%20for%20neuron%20in%20self.neurons%20for%20p%20in%20neuron.parameters()%5D%0A%0A%20%20%20%20return%20(Layer%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Multi-Layer%20Perceptron%20(MLP)%3A%0A%0A%20%20%20%20A%20network%20consisting%20of%20at%20least%20three%20Layers%20(input%2C%20hidden%2C%20and%20output)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Layer)%3A%0A%20%20%20%20class%20MLP%3A%0A%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20nin%2C%20nouts)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20nouts%20%3D%20list%20of%20output%20sizes%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20sz%20%3D%20%5Bnin%5D%20%2B%20nouts%0A%20%20%20%20%20%20%20%20%20%20%20%20self.layers%20%3D%20%5BLayer(sz%5Bi%5D%2C%20sz%5Bi%2B1%5D)%20for%20i%20in%20range(len(nouts))%5D%0A%0A%20%20%20%20%20%20%20%20def%20__call__(self%2C%20x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20layer%20in%20self.layers%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%20%3D%20layer(x)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20x%0A%0A%20%20%20%20%20%20%20%20def%20parameters(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%5Bp%20for%20layer%20in%20self.layers%20for%20p%20in%20layer.parameters()%5D%0A%0A%20%20%20%20return%20(MLP%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Implement%20a%20Multilayer%20Perceptron%0A%0A%20%20%20%20Following%20the%20image%20below%2C%20we%20will%20be%20implementing%20the%20structure%20shown%20on%20the%20right%3A%0A%0A%20%20%20%20-%203%20input%20neurons%0A%20%20%20%20-%202%20layers%20of%204%20neurons%0A%20%20%20%20-%201%20output%20layer%20of%201%20neuron%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.image(src%3D%22public%2FMLP.png%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(MLP)%3A%0A%20%20%20%20x%20%3D%20%5B2.0%2C%203.0%2C%20-1.0%5D%20%23%20input%20layer%20of%203%20neurons%0A%20%20%20%20n%20%3D%20MLP(3%2C%20%5B4%2C4%2C1%5D)%20%23%203%20%3D%20size%20of%20input%2C%20%5B4%2C4%2C1%5D%20%3D%20sizes%20of%20the%20remaining%20hidden%20layers%20%26%20output%20layer%0A%20%20%20%20n(x)%0A%20%20%20%20return%20n%2C%20x%0A%0A%0A%40app.cell%0Adef%20_(n)%3A%0A%20%20%20%20%23%20This%20shows%20all%20the%20weights%20AND%20biases%20in%20the%20entire%20neural%20net%0A%20%20%20%20n.parameters()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20The%20graph%20is%20getting%20gnarly%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(draw_dot%2C%20n%2C%20x)%3A%0A%20%20%20%20draw_dot(n(x))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Neural%20net%20with%20multiple%20input%20layers%0A%0A%20%20%20%20The%20following%20is%20an%20example%20of%20a%20very%20basic%20binary%20classifier%20neural%20net.%20We%20start%20with%20a%20set%20of%204%20inputs%20(xs)%20that%20each%20have%20a%20corresponding%20target%20values%20(ys).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(n)%3A%0A%20%20%20%20%23%20four%20inputs%20to%20the%20neural%20net%0A%20%20%20%20xs%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%5B2.0%2C%203.0%2C%20-1.0%5D%2C%20%23desired%20target%20of%20ys%5B0%5D%0A%20%20%20%20%20%20%20%20%5B3.0%2C%20-1.0%2C%200.5%5D%2C%20%23desired%20target%20of%20ys%5B1%5D%20...%20etc%20(these%20correspond%20to%20the%20ys)%0A%20%20%20%20%20%20%20%20%5B0.5%2C%201.0%2C%201.0%5D%2C%0A%20%20%20%20%20%20%20%20%5B1.0%2C%201.0%2C%20-1.0%5D%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20%23%20desired%20targets%20(xs%5Bn%5D%20%3D%3E%20ys%5Bn%5D)%0A%20%20%20%20ys%20%3D%20%5B1.0%2C%20-1.0%2C%20-1.0%2C%201.0%5D%0A%0A%20%20%20%20%23%20n%20is%20the%20neural%20network%20that%20...%0A%20%20%20%20%23%20ypred%20is%20the%20set%20of%20predicted%20values%20for%20the%20input%20xs%20from%20the%20starting%20state%20of%20the%20neural%20network.%0A%20%20%20%20%23%20These%20predictions%20will%20be%20shitty%2C%20so%20the%20act%20of%20training%20will%20modify%20the%20weights%20of%20the%20model%20and%20stuff%0A%20%20%20%20ypred%20%3D%20%5Bn(x)%20for%20x%20in%20xs%5D%0A%20%20%20%20ypred%0A%20%20%20%20return%20ypred%2C%20ys%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Loss%0A%0A%20%20%20%20In%20order%20to%20tune%20the%20weights%20to%20get%20better%20predictions%2C%20we%20calculate%20a%20single%20number%20measuring%20the%20total%20performance%20of%20the%20neural%20net%3A%20the%20%22loss.%22%0A%0A%20%20%20%20To%20do%20this%2C%20we%20will%20implement%20mean%20squared%20loss.%20For%20each%20predicted%20value%2C%20we%20can%20square%20the%20amount%20it%20differs%20from%20its%20target%3A%0A%0A%20%20%20%20%60%5B(ygt%20-%20yout)**2%20for%20ygt%2C%20yout%20in%20zip(ys%2C%20ypred)%5D%60%0A%0A%20%20%20%20This%20gives%20us%20an%20array%20that%20shows%20us%20how%20far%20off%20each%20prediction%20was%20from%20its%20target.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ypred%2C%20ys)%3A%0A%20%20%20%20%5B(ygt%20-%20yout)**2%20for%20ygt%2C%20yout%20in%20zip(ys%2C%20ypred)%5D%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20We%20sum%20up%20these%20squared%20differences%20in%20order%20to%20compute%20the%20final%20loss.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(ypred%2C%20ys)%3A%0A%20%20%20%20%23%20pair%20up%20the%20target%20values%20(ys)%20with%20the%20predicted%20values%20(ypred)%20to%20coumpute%20the%20loss%0A%20%20%20%20loss%20%3D%20sum(%5B(ygt%20-%20yout)**2%20for%20ygt%2C%20yout%20in%20zip(ys%2C%20ypred)%5D)%0A%20%20%20%20loss%0A%20%20%20%20return%20(loss%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Our%20goal%20is%20to%20**minimize%20this%20loss%20value**%20by%20tuning%20the%20weights%20of%20the%20neural%20network.%0A%0A%20%20%20%20Then%20we%20run%20%60backward()%60%20on%20this%20loss%2C%20backpropagating%20gradients%20all%20along%20the%20neural%20network.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(loss)%3A%0A%20%20%20%20loss.backward()%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(n)%3A%0A%20%20%20%20%23%20We%20can%20inspect%20the%20value%20of%20the%20first%20weight%20in%20the%20first%20neuron%20of%20the%20first%20layer%3A%0A%20%20%20%20n.layers%5B0%5D.neurons%5B0%5D.w%5B0%5D.data%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(n)%3A%0A%20%20%20%20%23%20And%20now%20that%20weight%20has%20a%20gradient%20because%20of%20the%20backward()%20pass%3A%0A%20%20%20%20n.layers%5B0%5D.neurons%5B0%5D.w%5B0%5D.grad%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(draw_dot%2C%20loss)%3A%0A%20%20%20%20draw_dot(loss)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Now%20we%20want%20handy%20code%20to%20gather%20up%20all%20the%20parameters%20of%20the%20neural%20net%20so%20we%20can%20operate%20on%20them%20simultaneously.%0A%0A%20%20%20%20Each%20one%20will%20be%20nudged%20a%20tiny%20amount%20based%20on%20the%20gradients.%0A%0A%20%20%20%20For%20this%2C%20we%20need%20to%20add%20%60parameters%60%20to%20the%20Neuron%2C%20Layer%2C%20and%20MLP%20classes.%0A%0A%20%20%20%20Neuron%3A%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20def%20parameters(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20self.w%20%2B%20%5Bself.b%5D%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20Layer%3A%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20def%20parameters(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%5Bp%20for%20neuron%20in%20self.neurons%20for%20p%20in%20neuron.parameters()%5D%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20MLP%3A%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20def%20parameters(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%5Bp%20for%20layer%20in%20self.layers%20for%20p%20in%20layer.parameters()%5D%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Now%20the%20neural%20network's%20%60parameters%60%20is%20big%20beautiful%20vector%20containing%20**all%20of%20the%20weights%20and%20biases%20of%20the%20neural%20net%3A**%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(n)%3A%0A%20%20%20%20n.parameters()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Next%20up%3A%20gradient%20descent%0A%0A%20%20%20%20We%20now%20have%20a%20neural%20network%20that%20computes%20a%20forward%20pass%2C%20calculates%20loss%2C%20and%20backpropagates%20gradients.%20In%20the%20next%20notebook%2C%20we'll%20use%20those%20gradients%20to%20actually%20*train*%20the%20network.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A