3 autograd engine

import%20marimo%0A%0A__generated_with%20%3D%20%220.20.4%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20math%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20pyodide.http%2C%20pathlib%0A%20%20%20%20%20%20%20%20resp%20%3D%20await%20pyodide.http.pyfetch(%22%2Futils.py%22)%0A%20%20%20%20%20%20%20%20pathlib.Path(%22%2Futils.py%22).write_text(await%20resp.string())%0A%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20%22%2F%22)%0A%20%20%20%20from%20utils%20import%20Value%2C%20draw_dot%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20import%20torch%0A%20%20%20%20except%20ImportError%3A%0A%20%20%20%20%20%20%20%20torch%20%3D%20None%0A%20%20%20%20return%20Value%2C%20draw_dot%2C%20mo%2C%20torch%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Automated%20Backpropagation%0A%0A%20%20%20%20Instead%20of%20calling%20%60_backward()%60%20on%20each%20node%20manually%2C%20we%20can%20automate%20backpropagation%20by%20building%20a%20topological%20ordering%20of%20the%20graph%20%E2%80%94%20ensuring%20every%20node%20comes%20after%20its%20children%20%E2%80%94%20then%20walking%20it%20in%20reverse%2C%20so%20each%20node's%20gradient%20is%20already%20set%20before%20it%20propagates%20further%20back.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Value)%3A%0A%20%20%20%20x1%20%3D%20Value(2.0%2C%20label%3D'x1')%0A%20%20%20%20x2%20%3D%20Value(0.0%2C%20label%3D'x2')%0A%20%20%20%20w1%20%3D%20Value(-3.0%2C%20label%3D'w1')%0A%20%20%20%20w2%20%3D%20Value(1.0%2C%20label%3D'w2')%0A%20%20%20%20b%20%3D%20Value(6.7%2C%20label%3D'b')%0A%0A%20%20%20%20x1w1%20%3D%20x1*w1%3B%20x1w1.label%20%3D%20'x1w1'%0A%20%20%20%20x2w2%20%3D%20x2*w2%3B%20x2w2.label%20%3D%20'x2w2'%0A%20%20%20%20x1w1x2w2%20%3D%20x1w1%20%2B%20x2w2%3B%20x1w1x2w2.label%20%3D%20'x1w1%20%2B%20x2w2'%0A%20%20%20%20n%20%3D%20x1w1x2w2%20%2B%20b%3B%20n.label%20%3D%20'n'%0A%20%20%20%20o%20%3D%20n.tanh()%3B%20o.label%20%3D%20'o'%0A%20%20%20%20return%20(o%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20topo%20sort%20%2B%20reversed%20walk%20is%20what%20%60backward()%60%20does%20internally.%20You%20can%20just%20call%20it%20on%20the%20output%20node%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(draw_dot%2C%20o)%3A%0A%20%20%20%20o.backward()%0A%20%20%20%20draw_dot(o)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Expanding%20tanh%20into%20Primitives%0A%0A%20%20%20%20%60tanh%60%20is%20a%20compound%20operation.%20We%20can%20break%20it%20into%20ops%20the%20engine%20already%20knows%20(%60exp%60%2C%20%60%2B%60%2C%20%60*%60%2C%20%60%2F%60)%20and%20get%20the%20same%20gradients%20%E2%80%94%20confirming%20the%20chain%20rule%20works%20through%20arbitrary%20graphs.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Value%2C%20draw_dot)%3A%0A%20%20%20%20_x1%20%3D%20Value(2.0%2C%20label%3D'x1')%0A%20%20%20%20_x2%20%3D%20Value(0.0%2C%20label%3D'x2')%0A%20%20%20%20_w1%20%3D%20Value(-3.0%2C%20label%3D'w1')%0A%20%20%20%20_w2%20%3D%20Value(1.0%2C%20label%3D'w2')%0A%20%20%20%20_b%20%3D%20Value(6.7%2C%20label%3D'b')%0A%0A%20%20%20%20_x1w1%20%3D%20_x1*_w1%3B%20_x1w1.label%20%3D%20'x1w1'%0A%20%20%20%20_x2w2%20%3D%20_x2*_w2%3B%20_x2w2.label%20%3D%20'x2w2'%0A%20%20%20%20_n%20%3D%20_x1w1%20%2B%20_x2w2%20%2B%20_b%3B%20_n.label%20%3D%20'n'%0A%0A%20%20%20%20%23%20tanh%20expanded%3A%20(e%5E2x%20-%201)%20%2F%20(e%5E2x%20%2B%201)%0A%20%20%20%20_e%20%3D%20(2*_n).exp()%0A%20%20%20%20_o%20%3D%20(_e%20-%201)%20%2F%20(_e%20%2B%201)%3B%20_o.label%20%3D%20'o'%0A%0A%20%20%20%20_o.backward()%0A%20%20%20%20draw_dot(_o)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Verifying%20with%20PyTorch%0A%0A%20%20%20%20Same%20expression%20in%20PyTorch.%20The%20gradients%20should%20match%20exactly.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(torch)%3A%0A%20%20%20%20pt_x1%20%3D%20torch.Tensor(%5B2.0%5D).double()%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pt_x1.requires_grad%20%3D%20True%0A%20%20%20%20pt_x2%20%3D%20torch.Tensor(%5B0.0%5D).double()%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pt_x2.requires_grad%20%3D%20True%0A%20%20%20%20pt_w1%20%3D%20torch.Tensor(%5B-3.0%5D).double()%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pt_w1.requires_grad%20%3D%20True%0A%20%20%20%20pt_w2%20%3D%20torch.Tensor(%5B1.0%5D).double()%3B%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pt_w2.requires_grad%20%3D%20True%0A%20%20%20%20pt_b%20%20%3D%20torch.Tensor(%5B6.8813735870195432%5D).double()%3B%20pt_b.requires_grad%20%20%3D%20True%0A%0A%20%20%20%20pt_n%20%3D%20pt_x1*pt_w1%20%2B%20pt_x2*pt_w2%20%2B%20pt_b%0A%20%20%20%20pt_o%20%3D%20torch.tanh(pt_n)%0A%20%20%20%20pt_o.backward()%0A%0A%20%20%20%20print('x1'%2C%20pt_x1.grad.item())%0A%20%20%20%20print('x2'%2C%20pt_x2.grad.item())%0A%20%20%20%20print('w1'%2C%20pt_w1.grad.item())%0A%20%20%20%20print('w2'%2C%20pt_w2.grad.item())%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A