2 manual backpropagation

import%20marimo%0A%0A__generated_with%20%3D%20%220.20.4%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20math%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20pyodide.http%2C%20pathlib%0A%20%20%20%20%20%20%20%20resp%20%3D%20await%20pyodide.http.pyfetch(%22%2Futils.py%22)%0A%20%20%20%20%20%20%20%20pathlib.Path(%22%2Futils.py%22).write_text(await%20resp.string())%0A%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20%22%2F%22)%0A%20%20%20%20from%20utils%20import%20Value%2C%20draw_dot%0A%0A%20%20%20%20return%20Value%2C%20draw_dot%2C%20mo%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Manual%20backpropagation%0A%0A%20%20%20%20n%20%3D%20x1%5C*w1%20%2B%20x2%5C*w2%20%2B%20b%0A%20%20%20%20o%20%3D%20tanh(n)%0A%0A%20%20%20%20n%20is%20a%20neuron%20representing%20the%20combined%20output%20of%20weighted%20and%20summed%20inputs%20plus%20a%20scalar%20bias%20factor.%0A%0A%20%20%20%20o%20represents%20the%20final%20output%20of%20the%20neuron%2C%20which%20applies%20a%20tanh%20**activation%20function**%20to%20squash%20*n*%20into%20a%20value%20between%20-1%20and%20%2B1.%20This%20makes%20it%20so%20that%20no%20matter%20how%20large%20or%20small%20are%20the%20input%20values%20to%20the%20function%2C%20every%20neuron's%20output%20is%20on%20the%20same%20scale%2C%20so%20that%20their%20gradients%20can%20all%20contribute%20to%20the%20network's%20learning%20regardless%20of%20the%20scale%20of%20the%20original%20inputs.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Value%2C%20draw_dot)%3A%0A%20%20%20%20%23%20inputs%20x1%2Cx2%0A%20%20%20%20x1%20%3D%20Value(2.0%2C%20label%3D'x1')%0A%20%20%20%20x2%20%3D%20Value(0.0%2C%20label%3D'x2')%0A%0A%20%20%20%20%23%20weights%20w1%2Cw2%0A%20%20%20%20w1%20%3D%20Value(-3.0%2C%20label%3D'w1')%0A%20%20%20%20w2%20%3D%20Value(1.0%2C%20label%3D'w2')%0A%0A%20%20%20%20%23%20bias%20of%20the%20neuron%0A%20%20%20%20b%20%3D%20Value(6.7%2C%20label%3D'b')%0A%0A%20%20%20%20%23%20x1*w1%20%2B%20x2%2Bw2%20%2B%20b%0A%20%20%20%20x1w1%20%3D%20x1*w1%3B%20x1w1.label%20%3D%20'x1w1'%0A%20%20%20%20x2w2%20%3D%20x2*w2%3B%20x2w2.label%20%3D%20'x2w2'%0A%20%20%20%20x1w1x2w2%20%3D%20x1w1%20%2B%20x2w2%3B%20x1w1x2w2.label%20%3D%20'x1w1%20%2B%20x2w2'%0A%0A%20%20%20%20n%20%3D%20x1w1x2w2%20%2B%20b%3B%20n.label%20%3D%20'n'%0A%20%20%20%20o%20%3D%20n.tanh()%0A%20%20%20%20draw_dot(o)%0A%20%20%20%20return%20o%2C%20x1w1%2C%20x1w1x2w2%2C%20x2w2%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Manual%20backpropagation%0A%0A%20%20%20%20Below%2C%20we%20initialize%20the%20gradient%20of%20the%20final%20output%20o%20to%20%601.0%60%2C%20then%20call%20backward()%20on%20each%20node%20working%20backwards%20through%20the%20graph%2C%20populating%20gradients%20one%20step%20at%20a%20time.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(draw_dot%2C%20o)%3A%0A%20%20%20%20o.grad%20%3D%201.0%0A%20%20%20%20o._backward()%0A%20%20%20%20draw_dot(o)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(draw_dot%2C%20o)%3A%0A%20%20%20%20%23%20n%20is%20tanh's%20direct%20input%20%E2%80%94%20the%20only%20node%20in%20o._prev%0A%20%20%20%20_n%20%3D%20list(o._prev)%5B0%5D%0A%20%20%20%20_n._backward()%0A%20%20%20%20draw_dot(o)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(draw_dot%2C%20o%2C%20x1w1x2w2)%3A%0A%20%20%20%20x1w1x2w2._backward()%0A%20%20%20%20draw_dot(o)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(draw_dot%2C%20o%2C%20x1w1%2C%20x2w2)%3A%0A%20%20%20%20x1w1._backward()%0A%20%20%20%20x2w2._backward()%0A%20%20%20%20draw_dot(o)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A