0 char rnn

import%20marimo%0A%0A__generated_with%20%3D%20%220.20.4%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20%23%20Fetch%20Shakespeare%20text%0A%20%20%20%20shakespeare_url%20%3D%20%22https%3A%2F%2Fgist.githubusercontent.com%2Fblakesanie%2Fdde3a2b7e698f52f389532b4b52bc254%2Fraw%22%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20pyodide.http%0A%20%20%20%20%20%20%20%20resp%20%3D%20await%20pyodide.http.pyfetch(shakespeare_url)%0A%20%20%20%20%20%20%20%20text%20%3D%20await%20resp.string()%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20import%20urllib.request%0A%20%20%20%20%20%20%20%20text%20%3D%20urllib.request.urlopen(shakespeare_url).read().decode(%22utf-8%22)%0A%0A%20%20%20%20%23%20Clean%20up%3A%20strip%20sonnet%20numbers%2C%20lowercase%2C%20trim%20before%20copyright%20notice%0A%20%20%20%20import%20re%0A%20%20%20%20text%20%3D%20re.sub(r'%5Cn%5Cs%2B%5Cd%2B%5Cn'%2C%20'%5Cn%5Cn'%2C%20text)%0A%20%20%20%20text%20%3D%20text.lower()%0A%20%20%20%20text%20%3D%20text%5B%3A98_000%5D%0A%0A%20%20%20%20%23%20Build%20vocabulary%0A%20%20%20%20chars%20%3D%20sorted(set(text))%0A%20%20%20%20vocab_size%20%3D%20len(chars)%0A%20%20%20%20char_to_ix%20%3D%20%7Bch%3A%20i%20for%20i%2C%20ch%20in%20enumerate(chars)%7D%0A%20%20%20%20ix_to_char%20%3D%20%7Bi%3A%20ch%20for%20i%2C%20ch%20in%20enumerate(chars)%7D%0A%0A%20%20%20%20print(f%22Loaded%20%7Blen(text)%7D%20characters%20of%20Shakespeare%22)%0A%20%20%20%20print(f%22Vocabulary%3A%20%7Bvocab_size%7D%20unique%20characters%20%E2%80%94%20%7B''.join(chars)%7D%22)%0A%20%20%20%20return%20char_to_ix%2C%20ix_to_char%2C%20mo%2C%20np%2C%20text%2C%20vocab_size%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Character-Level%20RNN%3A%20From%20Gibberish%20to%20Shakespeare%0A%0A%20%20%20%20We're%20going%20to%20build%20a%20**recurrent%20neural%20network**%20(RNN)%20from%20scratch%20using%20only%20numpy%20%E2%80%94%20no%20PyTorch%2C%20no%20frameworks%20%E2%80%94%20and%20train%20it%20to%20generate%20Shakespeare%20one%20character%20at%20a%20time.%0A%0A%20%20%20%20%23%23%20Why%20RNNs%3F%0A%0A%20%20%20%20The%20neural%20networks%20we%20built%20previously%20(MLPs)%20take%20a%20fixed-size%20input%20and%20produce%20a%20fixed-size%20output.%20But%20language%20is%20*sequential*%20%E2%80%94%20the%20meaning%20of%20a%20word%20depends%20on%20what%20came%20before%20it.%20RNNs%20handle%20this%20by%20maintaining%20a%20**hidden%20state**%20that%20gets%20updated%20at%20each%20time%20step%2C%20giving%20the%20network%20a%20form%20of%20memory.%0A%0A%20%20%20%20%23%23%20The%20plan%0A%0A%20%20%20%201.%20Build%20a%20vocabulary%20from%20individual%20characters%20(no%20tokenizer%20needed!)%0A%20%20%20%202.%20Build%20the%20RNN%20and%20generate%20text%20with%20random%20weights%20(gibberish)%0A%20%20%20%203.%20Train%20and%20watch%20it%20learn%20%E2%80%94%20snapshots%20at%201%2C%205%2C%20and%2010%20epochs%0A%20%20%20%204.%20Compare%20two%20optimizers%3A%20Adagrad%20vs%20Adam%0A%20%20%20%205.%20Interactive%20generation%20with%20a%20temperature%20slider%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Character%20Vocabulary%0A%0A%20%20%20%20Instead%20of%20a%20tokenizer%2C%20we%20treat%20each%20unique%20character%20as%20its%20own%20%22token.%22%20We%20lowercase%20everything%20so%20the%20model%20doesn't%20waste%20capacity%20learning%20that%20'T'%20and%20't'%20are%20related.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20The%20RNN%0A%0A%20%20%20%20At%20each%20time%20step%20%24t%24%2C%20the%20RNN%20takes%20a%20character%20%24x_t%24%20and%20the%20previous%20hidden%20state%20%24h_%7Bt-1%7D%24%2C%20and%20produces%20a%20new%20hidden%20state%20and%20an%20output%3A%0A%0A%20%20%20%20%24%24h_t%20%3D%20%5Ctanh(W_%7Bxh%7D%20%5Ccdot%20x_t%20%2B%20W_%7Bhh%7D%20%5Ccdot%20h_%7Bt-1%7D%20%2B%20b_h)%24%24%0A%0A%20%20%20%20%24%24y_t%20%3D%20W_%7Bhy%7D%20%5Ccdot%20h_t%20%2B%20b_y%24%24%0A%0A%20%20%20%20The%20hidden%20state%20%24h_t%24%20is%20the%20RNN's%20%22memory.%22%20The%20output%20%24y_t%24%20gives%20scores%20for%20each%20character%2C%20which%20softmax%20converts%20to%20probabilities.%0A%0A%20%20%20%20Three%20weight%20matrices%2C%20two%20bias%20vectors%20%E2%80%94%20that's%20the%20entire%20model.%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Input%20(one-hot%20char)%20%E2%94%80%E2%94%80%E2%86%92%20%5BWxh%5D%20%E2%94%80%E2%94%80%E2%94%90%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%9C%E2%94%80%E2%94%80%E2%86%92%20tanh%20%E2%94%80%E2%94%80%E2%86%92%20hidden%20state%20%E2%94%80%E2%94%80%E2%86%92%20%5BWhy%5D%20%E2%94%80%E2%94%80%E2%86%92%20softmax%20%E2%94%80%E2%94%80%E2%86%92%20next%20char%0A%20%20%20%20Previous%20hidden%20state%20%E2%94%80%E2%94%80%E2%86%92%20%5BWhh%5D%20%E2%94%80%E2%94%80%E2%94%98%20%20%20%20%20%20%20%20%20%E2%94%82%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%94%E2%94%80%E2%94%80%20fed%20back%20as%20input%20to%20next%20step%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20That%20feedback%20loop%20is%20what%20makes%20it%20%22recurrent.%22%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20vocab_size)%3A%0A%20%20%20%20class%20CharRNN%3A%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20vocab_size%2C%20hidden_size%2C%20seed%3D42)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20%20%20%20%20scale%20%3D%200.01%0A%20%20%20%20%20%20%20%20%20%20%20%20self.hidden_size%20%3D%20hidden_size%0A%20%20%20%20%20%20%20%20%20%20%20%20self.vocab_size%20%3D%20vocab_size%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.Wxh%20%3D%20rng.standard_normal((hidden_size%2C%20vocab_size))%20*%20scale%20%20%20%23%20input%20-%3E%20hidden%0A%20%20%20%20%20%20%20%20%20%20%20%20self.Whh%20%3D%20rng.standard_normal((hidden_size%2C%20hidden_size))%20*%20scale%20%20%23%20hidden%20-%3E%20hidden%0A%20%20%20%20%20%20%20%20%20%20%20%20self.Why%20%3D%20rng.standard_normal((vocab_size%2C%20hidden_size))%20*%20scale%20%20%20%23%20hidden%20-%3E%20output%0A%20%20%20%20%20%20%20%20%20%20%20%20self.bh%20%3D%20np.zeros((hidden_size%2C%201))%0A%20%20%20%20%20%20%20%20%20%20%20%20self.by%20%3D%20np.zeros((vocab_size%2C%201))%0A%0A%20%20%20%20%20%20%20%20def%20params(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%5Bself.Wxh%2C%20self.Whh%2C%20self.Why%2C%20self.bh%2C%20self.by%5D%0A%0A%20%20%20%20%20%20%20%20def%20forward_and_loss(self%2C%20inputs%2C%20targets%2C%20h_prev)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Forward%20pass%20%2B%20backpropagation%20through%20time%20(BPTT).%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20xs%2C%20hs%2C%20ys%2C%20ps%20%3D%20%7B%7D%2C%20%7B%7D%2C%20%7B%7D%2C%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20hs%5B-1%5D%20%3D%20h_prev.copy()%0A%20%20%20%20%20%20%20%20%20%20%20%20loss%20%3D%200.0%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Forward%3A%20process%20each%20character%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20t%20in%20range(len(inputs))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xs%5Bt%5D%20%3D%20np.zeros((self.vocab_size%2C%201))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xs%5Bt%5D%5Binputs%5Bt%5D%5D%20%3D%201.0%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hs%5Bt%5D%20%3D%20np.tanh(self.Wxh%20%40%20xs%5Bt%5D%20%2B%20self.Whh%20%40%20hs%5Bt-1%5D%20%2B%20self.bh)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ys%5Bt%5D%20%3D%20self.Why%20%40%20hs%5Bt%5D%20%2B%20self.by%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20exp_ys%20%3D%20np.exp(ys%5Bt%5D%20-%20np.max(ys%5Bt%5D))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ps%5Bt%5D%20%3D%20exp_ys%20%2F%20exp_ys.sum()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20loss%20%2B%3D%20-np.log(ps%5Bt%5D%5Btargets%5Bt%5D%2C%200%5D)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Backward%3A%20compute%20gradients%0A%20%20%20%20%20%20%20%20%20%20%20%20dWxh%20%3D%20np.zeros_like(self.Wxh)%0A%20%20%20%20%20%20%20%20%20%20%20%20dWhh%20%3D%20np.zeros_like(self.Whh)%0A%20%20%20%20%20%20%20%20%20%20%20%20dWhy%20%3D%20np.zeros_like(self.Why)%0A%20%20%20%20%20%20%20%20%20%20%20%20dbh%20%3D%20np.zeros_like(self.bh)%0A%20%20%20%20%20%20%20%20%20%20%20%20dby%20%3D%20np.zeros_like(self.by)%0A%20%20%20%20%20%20%20%20%20%20%20%20dh_next%20%3D%20np.zeros_like(hs%5B0%5D)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20t%20in%20reversed(range(len(inputs)))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dy%20%3D%20ps%5Bt%5D.copy()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dy%5Btargets%5Bt%5D%5D%20-%3D%201%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dWhy%20%2B%3D%20dy%20%40%20hs%5Bt%5D.T%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dby%20%2B%3D%20dy%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dh%20%3D%20self.Why.T%20%40%20dy%20%2B%20dh_next%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dh_raw%20%3D%20(1%20-%20hs%5Bt%5D%20**%202)%20*%20dh%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dWxh%20%2B%3D%20dh_raw%20%40%20xs%5Bt%5D.T%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dWhh%20%2B%3D%20dh_raw%20%40%20hs%5Bt-1%5D.T%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dbh%20%2B%3D%20dh_raw%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dh_next%20%3D%20self.Whh.T%20%40%20dh_raw%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20grads%20%3D%20%5BdWxh%2C%20dWhh%2C%20dWhy%2C%20dbh%2C%20dby%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20range(len(grads))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.clip(grads%5Bi%5D%2C%20-5%2C%205%2C%20out%3Dgrads%5Bi%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20loss%2C%20grads%2C%20hs%5Blen(inputs)%20-%201%5D%0A%0A%20%20%20%20%20%20%20%20def%20sample(self%2C%20h%2C%20seed_ix%2C%20n%2C%20temperature%3D1.0%2C%20rng%3DNone)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Generate%20n%20characters.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20rng%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng()%0A%20%20%20%20%20%20%20%20%20%20%20%20x%20%3D%20np.zeros((self.vocab_size%2C%201))%0A%20%20%20%20%20%20%20%20%20%20%20%20x%5Bseed_ix%5D%20%3D%201.0%0A%20%20%20%20%20%20%20%20%20%20%20%20indices%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_%20in%20range(n)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20h%20%3D%20np.tanh(self.Wxh%20%40%20x%20%2B%20self.Whh%20%40%20h%20%2B%20self.bh)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%20%3D%20self.Why%20%40%20h%20%2B%20self.by%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%20%3D%20y%20%2F%20temperature%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20exp_y%20%3D%20np.exp(y%20-%20np.max(y))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20p%20%3D%20exp_y%20%2F%20exp_y.sum()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ix%20%3D%20rng.choice(range(self.vocab_size)%2C%20p%3Dp.ravel())%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%20%3D%20np.zeros((self.vocab_size%2C%201))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%5Bix%5D%20%3D%201.0%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20indices.append(ix)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20indices%0A%0A%20%20%20%20hidden_size%20%3D%20128%0A%20%20%20%20seq_length%20%3D%2050%0A%0A%20%20%20%20print(f%22RNN%3A%20%7Bvocab_size%7D%20vocab%20%C3%97%20%7Bhidden_size%7D%20hidden%22)%0A%20%20%20%20total_params%20%3D%20hidden_size%20*%20vocab_size%20%2B%20hidden_size%20*%20hidden_size%20%2B%20vocab_size%20*%20hidden_size%20%2B%20hidden_size%20%2B%20vocab_size%0A%20%20%20%20print(f%22Total%20parameters%3A%20%7Btotal_params%3A%2C%7D%22)%0A%20%20%20%20return%20CharRNN%2C%20hidden_size%2C%20seq_length%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Before%20Training%3A%20Random%20Weights%0A%0A%20%20%20%20With%20random%20weights%2C%20the%20RNN%20has%20no%20idea%20what%20Shakespeare%20looks%20like.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(CharRNN%2C%20char_to_ix%2C%20hidden_size%2C%20ix_to_char%2C%20np%2C%20vocab_size)%3A%0A%20%20%20%20_rnn_untrained%20%3D%20CharRNN(vocab_size%2C%20hidden_size%2C%20seed%3D42)%0A%20%20%20%20_h%20%3D%20np.zeros((hidden_size%2C%201))%0A%20%20%20%20_ixs%20%3D%20_rnn_untrained.sample(_h%2C%20char_to_ix%5B'%5Cn'%5D%2C%20300%2C%20rng%3Dnp.random.default_rng(0))%0A%20%20%20%20untrained_text%20%3D%20''.join(ix_to_char%5Bix%5D%20for%20ix%20in%20_ixs)%0A%20%20%20%20print(%22%3D%3D%3D%20RANDOM%20WEIGHTS%20%3D%3D%3D%5Cn%22)%0A%20%20%20%20print(untrained_text)%0A%20%20%20%20return%20(untrained_text%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Pure%20gibberish.%20Now%20let's%20train%20it%20and%20watch%20it%20learn.%0A%0A%20%20%20%20%23%23%20Training%3A%20Watching%20the%20RNN%20Learn%0A%0A%20%20%20%20**Iterations%20vs%20epochs%3A**%20an%20iteration%20is%20one%20weight%20update%20(one%20batch%20of%20~50%20characters).%20An%20epoch%20is%20one%20full%20pass%20through%20the%20entire%20dataset.%20With%20our%2098k%20characters%20and%20sequence%20length%20of%2050%3A%0A%0A%20%20%20%20%24%241%20%5Ctext%7B%20epoch%7D%20%3D%20%5Cfrac%7B98%7B%2C%7D000%7D%7B50%7D%20%3D%201%7B%2C%7D960%20%5Ctext%7B%20iterations%7D%24%24%0A%0A%20%20%20%20We'll%20train%20for%20**10%20epochs**%20(~19%2C600%20iterations)%20and%20snapshot%20the%20output%20at%20each%20epoch%20to%20watch%20the%20RNN%20gradually%20learn%20English.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20CharRNN%2C%0A%20%20%20%20char_to_ix%2C%0A%20%20%20%20hidden_size%2C%0A%20%20%20%20ix_to_char%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20seq_length%2C%0A%20%20%20%20text%2C%0A%20%20%20%20vocab_size%2C%0A)%3A%0A%20%20%20%20%23%20Encode%20text%0A%20%20%20%20_data%20%3D%20%5Bchar_to_ix%5Bch%5D%20for%20ch%20in%20text%5D%0A%20%20%20%20_data_size%20%3D%20len(_data)%0A%20%20%20%20_iters_per_epoch%20%3D%20_data_size%20%2F%2F%20seq_length%0A%20%20%20%20_num_epochs%20%3D%2010%0A%20%20%20%20_num_iters%20%3D%20_num_epochs%20*%20_iters_per_epoch%0A%0A%20%20%20%20%23%20Create%20fresh%20model%20with%20Adam%20optimizer%0A%20%20%20%20rnn%20%3D%20CharRNN(vocab_size%2C%20hidden_size%2C%20seed%3D42)%0A%20%20%20%20_params%20%3D%20rnn.params()%0A%20%20%20%20_base_lr%20%3D%201e-3%0A%20%20%20%20_beta1%2C%20_beta2%2C%20_eps%20%3D%200.9%2C%200.999%2C%201e-8%0A%20%20%20%20_m%20%3D%20%5Bnp.zeros_like(p)%20for%20p%20in%20_params%5D%0A%20%20%20%20_v%20%3D%20%5Bnp.zeros_like(p)%20for%20p%20in%20_params%5D%0A%0A%20%20%20%20_smooth_loss%20%3D%20-np.log(1.0%20%2F%20vocab_size)%20*%20seq_length%0A%20%20%20%20_h_prev%20%3D%20np.zeros((hidden_size%2C%201))%0A%20%20%20%20_ptr%20%3D%200%0A%20%20%20%20adam_loss_history%20%3D%20%5B%5D%0A%20%20%20%20adam_snapshots%20%3D%20%7B%7D%0A%0A%20%20%20%20for%20_i%20in%20range(_num_iters)%3A%0A%20%20%20%20%20%20%20%20if%20_ptr%20%2B%20seq_length%20%2B%201%20%3E%3D%20_data_size%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ptr%20%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20_h_prev%20%3D%20np.zeros((hidden_size%2C%201))%0A%0A%20%20%20%20%20%20%20%20_inputs%20%3D%20_data%5B_ptr%3A_ptr%20%2B%20seq_length%5D%0A%20%20%20%20%20%20%20%20_targets%20%3D%20_data%5B_ptr%20%2B%201%3A_ptr%20%2B%20seq_length%20%2B%201%5D%0A%20%20%20%20%20%20%20%20_loss%2C%20_grads%2C%20_h_prev%20%3D%20rnn.forward_and_loss(_inputs%2C%20_targets%2C%20_h_prev)%0A%20%20%20%20%20%20%20%20_smooth_loss%20%3D%20_smooth_loss%20*%200.999%20%2B%20_loss%20*%200.001%0A%0A%20%20%20%20%20%20%20%20%23%20Adam%20with%20cosine%20LR%20decay%0A%20%20%20%20%20%20%20%20_lr%20%3D%20_base_lr%20*%200.5%20*%20(1%20%2B%20np.cos(np.pi%20*%20_i%20%2F%20_num_iters))%0A%20%20%20%20%20%20%20%20_t%20%3D%20_i%20%2B%201%0A%20%20%20%20%20%20%20%20for%20_p%2C%20_g%2C%20_mi%2C%20_vi%20in%20zip(_params%2C%20_grads%2C%20_m%2C%20_v)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_mi%5B%3A%5D%20%3D%20_beta1%20*%20_mi%20%2B%20(1%20-%20_beta1)%20*%20_g%0A%20%20%20%20%20%20%20%20%20%20%20%20_vi%5B%3A%5D%20%3D%20_beta2%20*%20_vi%20%2B%20(1%20-%20_beta2)%20*%20_g%20*%20_g%0A%20%20%20%20%20%20%20%20%20%20%20%20_mhat%20%3D%20_mi%20%2F%20(1%20-%20_beta1%20**%20_t)%0A%20%20%20%20%20%20%20%20%20%20%20%20_vhat%20%3D%20_vi%20%2F%20(1%20-%20_beta2%20**%20_t)%0A%20%20%20%20%20%20%20%20%20%20%20%20_p%20-%3D%20_lr%20*%20_mhat%20%2F%20(np.sqrt(_vhat)%20%2B%20_eps)%0A%0A%20%20%20%20%20%20%20%20_ptr%20%2B%3D%20seq_length%0A%0A%20%20%20%20%20%20%20%20if%20_i%20%25%20100%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20adam_loss_history.append((_i%2C%20_smooth_loss%20%2F%20seq_length))%0A%0A%20%20%20%20%20%20%20%20%23%20Snapshot%20at%20each%20epoch%0A%20%20%20%20%20%20%20%20if%20(_i%20%2B%201)%20%25%20_iters_per_epoch%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_epoch%20%3D%20(_i%20%2B%201)%20%2F%2F%20_iters_per_epoch%0A%20%20%20%20%20%20%20%20%20%20%20%20_h0%20%3D%20np.zeros((hidden_size%2C%201))%0A%20%20%20%20%20%20%20%20%20%20%20%20_ixs%20%3D%20rnn.sample(_h0%2C%20char_to_ix%5B'%5Cn'%5D%2C%20300%2C%20temperature%3D0.8%2C%20rng%3Dnp.random.default_rng(42))%0A%20%20%20%20%20%20%20%20%20%20%20%20adam_snapshots%5B_epoch%5D%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'text'%3A%20''.join(ix_to_char%5Bix%5D%20for%20ix%20in%20_ixs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'loss'%3A%20_smooth_loss%20%2F%20seq_length%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20adam_loss_history.append((_num_iters%2C%20_smooth_loss%20%2F%20seq_length))%0A%0A%20%20%20%20mo.md(f%22**Training%20complete%3A**%20%7B_num_epochs%7D%20epochs%20(%7B_num_iters%3A%2C%7D%20iterations)%2C%20final%20per-char%20loss%3A%20%7B_smooth_loss%20%2F%20seq_length%3A.3f%7D%22)%0A%20%20%20%20return%20adam_loss_history%2C%20adam_snapshots%2C%20rnn%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Loss%20Curve%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(adam_loss_history%2C%20mo)%3A%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%0A%20%20%20%20fig%2C%20ax%20%3D%20plt.subplots(figsize%3D(10%2C%204))%0A%20%20%20%20_iters%2C%20_losses%20%3D%20zip(*adam_loss_history)%0A%20%20%20%20ax.plot(_iters%2C%20_losses%2C%20color%3D'%234CAF50'%2C%20linewidth%3D2)%0A%20%20%20%20ax.set_xlabel('Iteration')%0A%20%20%20%20ax.set_ylabel('Loss%20per%20Character')%0A%20%20%20%20ax.set_title('Training%20Loss%20(Adam%2C%2010%20epochs)')%0A%20%20%20%20ax.grid(True%2C%20alpha%3D0.3)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20mo.output.replace(mo.as_html(fig))%0A%20%20%20%20return%20(plt%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Generated%20Text%20at%20Each%20Epoch%0A%0A%20%20%20%20Watch%20the%20RNN%20gradually%20learn%20English%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(adam_snapshots%2C%20mo%2C%20untrained_text)%3A%0A%20%20%20%20_sections%20%3D%20%5Bf%22%22%22**Epoch%200**%20(random%20weights)%20%E2%80%94%20loss%3A%203.81%0A%20%20%20%20%60%60%60%0A%20%20%20%20%7Buntrained_text%5B%3A250%5D%7D%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22%5D%0A%20%20%20%20for%20_epoch%20in%20sorted(adam_snapshots.keys())%3A%0A%20%20%20%20%20%20%20%20_s%20%3D%20adam_snapshots%5B_epoch%5D%0A%20%20%20%20%20%20%20%20_sections.append(f%22%22%22**Epoch%20%7B_epoch%7D**%20%E2%80%94%20loss%3A%20%7B_s%5B'loss'%5D%3A.3f%7D%0A%20%20%20%20%60%60%60%0A%20%20%20%20%7B_s%5B'text'%5D%5B%3A250%5D%7D%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20mo.md(%22%5Cn%22.join(_sections))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20What's%20Happening%20at%20Each%20Stage%0A%0A%20%20%20%20-%20**Epoch%200**%20(random)%3A%20Uniform%20gibberish.%20Every%20character%20is%20roughly%20equally%20likely.%0A%20%20%20%20-%20**Epoch%201**%3A%20Spaces%20appear.%20Common%20letters%20like%20'e'%2C%20't'%2C%20'h'%20dominate.%20Word-like%20chunks%20emerge.%0A%20%20%20%20-%20**Epoch%203**%3A%20Real%20English%20digrams%20(%22th%22%2C%20%22he%22%2C%20%22in%22).%20Many%20recognizable%20words%3A%20%22the%22%2C%20%22and%22%2C%20%22thou%22.%0A%20%20%20%20-%20**Epoch%205**%3A%20Sentence-like%20structure.%20Commas%20and%20line%20breaks%20in%20plausible%20places.%20Shakespeare%20vocabulary%3A%20%22love%22%2C%20%22beauty%22%2C%20%22sweet%22.%0A%20%20%20%20-%20**Epoch%2010**%3A%20Longer%20coherent%20phrases.%20Still%20makes%20up%20words%2C%20but%20the%20rhythm%20and%20vocabulary%20are%20distinctly%20Shakespearean.%0A%0A%20%20%20%20With%2050%20epochs%20(~5%20min)%20the%20output%20gets%20even%20better%20%E2%80%94%20here's%20what%20that%20looks%20like%3A%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20that%20thou%20prien%20someting%20afrowed%20defander%20to%20fool%0A%20%20%20%20with%20me%20things%20happete%20mear%2C%0A%20%20%20%20all%20the%20time%20mady's%20words%20to%20forthard%20shade%20desire%0A%20%20%20%20may%20the%20world%20i%20speed%2C%0A%20%20%20%20thou%20hath%20the%20willuss%20them%20say%20their%20sweeted%20and%20cllame%2C%0A%20%20%20%20when%20you%20more%20with%20that%20her%20life%2C%20my%20stall%20that%20i%0A%20%20%20%20ag%20false%20it%20again%2C%0A%20%20%20%20and%20but%20the...%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20Not%20Shakespeare%20%E2%80%94%20but%20recognizably%20*trying*%20to%20be.%20A%20vanilla%20RNN's%20ceiling%20is%20limited%20by%20the%20**vanishing%20gradient%20problem**%2C%20where%20gradients%20shrink%20exponentially%20as%20they%20flow%20backward%20through%20time.%20**LSTMs**%20and%20**Transformers**%20were%20invented%20to%20fix%20this.%0A%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%20Why%20Adam%3F%20Comparing%20Optimizers%0A%0A%20%20%20%20We%20used%20**Adam**%20as%20our%20optimizer%20above.%20But%20what%20is%20an%20optimizer%2C%20and%20why%20does%20the%20choice%20matter%3F%0A%0A%20%20%20%20During%20training%2C%20we%20compute%20gradients%20that%20tell%20us%20which%20direction%20to%20nudge%20each%20weight.%20The%20optimizer%20decides%20*how%20much*%20to%20nudge.%20The%20simplest%20approach%20%E2%80%94%20vanilla%20gradient%20descent%20%E2%80%94%20uses%20the%20same%20fixed%20learning%20rate%20for%20every%20weight.%20**Adagrad**%20and%20**Adam**%20both%20give%20each%20weight%20its%20own%20adaptive%20learning%20rate.%20But%20they%20do%20it%20very%20differently.%0A%0A%20%20%20%20Let's%20train%20the%20same%20RNN%20with%20Adagrad%20and%20compare.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20CharRNN%2C%0A%20%20%20%20char_to_ix%2C%0A%20%20%20%20hidden_size%2C%0A%20%20%20%20ix_to_char%2C%0A%20%20%20%20np%2C%0A%20%20%20%20seq_length%2C%0A%20%20%20%20text%2C%0A%20%20%20%20vocab_size%2C%0A)%3A%0A%20%20%20%20%23%20Train%20a%20second%20RNN%20with%20Adagrad%20for%20comparison%0A%20%20%20%20_data2%20%3D%20%5Bchar_to_ix%5Bch%5D%20for%20ch%20in%20text%5D%0A%20%20%20%20_data_size2%20%3D%20len(_data2)%0A%20%20%20%20_iters_per_epoch2%20%3D%20_data_size2%20%2F%2F%20seq_length%0A%20%20%20%20_num_iters2%20%3D%2010%20*%20_iters_per_epoch2%20%20%23%20same%2010%20epochs%0A%0A%20%20%20%20_rnn_ag%20%3D%20CharRNN(vocab_size%2C%20hidden_size%2C%20seed%3D42)%20%20%23%20identical%20starting%20weights%0A%20%20%20%20_params_ag%20%3D%20_rnn_ag.params()%0A%20%20%20%20_lr_ag%20%3D%200.1%0A%20%20%20%20_mem_ag%20%3D%20%5Bnp.zeros_like(p)%20for%20p%20in%20_params_ag%5D%0A%0A%20%20%20%20_sl_ag%20%3D%20-np.log(1.0%20%2F%20vocab_size)%20*%20seq_length%0A%20%20%20%20_hp_ag%20%3D%20np.zeros((hidden_size%2C%201))%0A%20%20%20%20_ptr_ag%20%3D%200%0A%20%20%20%20adagrad_loss_hist%20%3D%20%5B%5D%0A%20%20%20%20_ag_snaps%20%3D%20%7B%7D%0A%0A%20%20%20%20for%20_i%20in%20range(_num_iters2)%3A%0A%20%20%20%20%20%20%20%20if%20_ptr_ag%20%2B%20seq_length%20%2B%201%20%3E%3D%20_data_size2%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ptr_ag%20%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20_hp_ag%20%3D%20np.zeros((hidden_size%2C%201))%0A%0A%20%20%20%20%20%20%20%20_inp%20%3D%20_data2%5B_ptr_ag%3A_ptr_ag%20%2B%20seq_length%5D%0A%20%20%20%20%20%20%20%20_tgt%20%3D%20_data2%5B_ptr_ag%20%2B%201%3A_ptr_ag%20%2B%20seq_length%20%2B%201%5D%0A%20%20%20%20%20%20%20%20_loss%2C%20_grads%2C%20_hp_ag%20%3D%20_rnn_ag.forward_and_loss(_inp%2C%20_tgt%2C%20_hp_ag)%0A%20%20%20%20%20%20%20%20_sl_ag%20%3D%20_sl_ag%20*%200.999%20%2B%20_loss%20*%200.001%0A%0A%20%20%20%20%20%20%20%20for%20_p%2C%20_g%2C%20_m%20in%20zip(_params_ag%2C%20_grads%2C%20_mem_ag)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_m%20%2B%3D%20_g%20*%20_g%20%20%23%20accumulate%20forever%20%E2%80%94%20this%20is%20the%20problem%0A%20%20%20%20%20%20%20%20%20%20%20%20_p%20-%3D%20_lr_ag%20*%20_g%20%2F%20(np.sqrt(_m)%20%2B%201e-8)%0A%0A%20%20%20%20%20%20%20%20_ptr_ag%20%2B%3D%20seq_length%0A%0A%20%20%20%20%20%20%20%20if%20_i%20%25%20100%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20adagrad_loss_hist.append((_i%2C%20_sl_ag%20%2F%20seq_length))%0A%0A%20%20%20%20%20%20%20%20if%20(_i%20%2B%201)%20%25%20_iters_per_epoch2%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_epoch%20%3D%20(_i%20%2B%201)%20%2F%2F%20_iters_per_epoch2%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_epoch%20in%20%7B1%2C%205%2C%2010%7D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_h0%20%3D%20np.zeros((hidden_size%2C%201))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_ixs%20%3D%20_rnn_ag.sample(_h0%2C%20char_to_ix%5B'%5Cn'%5D%2C%20300%2C%20temperature%3D0.8%2C%20rng%3Dnp.random.default_rng(42))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_ag_snaps%5B_epoch%5D%20%3D%20''.join(ix_to_char%5Bix%5D%20for%20ix%20in%20_ixs)%0A%0A%20%20%20%20adagrad_loss_hist.append((_num_iters2%2C%20_sl_ag%20%2F%20seq_length))%0A%20%20%20%20adagrad_snaps%20%3D%20_ag_snaps%0A%20%20%20%20print(f%22Adagrad%20done%3A%20final%20per-char%20loss%20%7B_sl_ag%20%2F%20seq_length%3A.3f%7D%22)%0A%20%20%20%20return%20adagrad_loss_hist%2C%20adagrad_snaps%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Adagrad%20(Duchi%2C%20Hazan%20%26%20Singer%2C%202011)%0A%0A%20%20%20%20Adagrad%20gives%20each%20weight%20its%20own%20learning%20rate%2C%20based%20on%20a%20running%20**sum**%20of%20all%20past%20squared%20gradients%3A%0A%0A%20%20%20%20%24%24G_t%20%3D%20G_%7Bt-1%7D%20%2B%20g_t%5E2%24%24%0A%20%20%20%20%24%24%5Ctheta%20%5Cleftarrow%20%5Ctheta%20-%20%5Cfrac%7B%5Ceta%7D%7B%5Csqrt%7BG_t%7D%20%2B%20%5Cepsilon%7D%20%5Ccdot%20g_t%24%24%0A%0A%20%20%20%20Weights%20with%20historically%20large%20gradients%20get%20smaller%20steps.%20Weights%20barely%20touched%20get%20bigger%20steps.%0A%0A%20%20%20%20**The%20fatal%20flaw%3A**%20%24G_t%24%20only%20ever%20grows.%20The%20effective%20learning%20rate%20monotonically%20shrinks%20toward%20zero.%20The%20model%20eventually%20stops%20learning.%0A%0A%20%20%20%20%23%23%23%20Adam%20(Kingma%20%26%20Ba%2C%202014)%0A%0A%20%20%20%20Adam%20uses%20**exponential%20moving%20averages**%20instead%20of%20sums%20%E2%80%94%20old%20gradients%20fade%20away%3A%0A%0A%20%20%20%20%24%24m_t%20%3D%200.9%20%5Ccdot%20m_%7Bt-1%7D%20%2B%200.1%20%5Ccdot%20g_t%20%5Cquad%20%5Ctext%7B(momentum%20%E2%80%94%20smooths%20direction)%7D%24%24%0A%20%20%20%20%24%24v_t%20%3D%200.999%20%5Ccdot%20v_%7Bt-1%7D%20%2B%200.001%20%5Ccdot%20g_t%5E2%20%5Cquad%20%5Ctext%7B(velocity%20%E2%80%94%20adapts%20step%20size)%7D%24%24%0A%20%20%20%20%24%24%5Ctheta%20%5Cleftarrow%20%5Ctheta%20-%20%5Cfrac%7B%5Ceta%7D%7B%5Csqrt%7B%5Chat%7Bv%7D_t%7D%20%2B%20%5Cepsilon%7D%20%5Chat%7Bm%7D_t%24%24%0A%0A%20%20%20%20Because%20%24v_t%24%20decays%2C%20the%20learning%20rate%20doesn't%20die.%20Adam%20keeps%20learning%20where%20Adagrad%20gives%20up.%0A%0A%20%20%20%20**The%20family%20tree%3A**%20SGD%20%E2%86%92%20Momentum%20(Polyak%2C%201964)%20%E2%86%92%20Adagrad%20(2011)%20%E2%86%92%20RMSprop%20(Hinton%2C%20unpublished%20lecture%2C%202012)%20%E2%86%92%20Adam%20(2014).%20Each%20step%20fixed%20a%20limitation%20of%20the%20previous%20one.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(adagrad_loss_hist%2C%20adam_loss_history%2C%20mo%2C%20plt)%3A%0A%20%20%20%20fig2%2C%20ax2%20%3D%20plt.subplots(figsize%3D(10%2C%204))%0A%20%20%20%20_ai%2C%20_al%20%3D%20zip(*adagrad_loss_hist)%0A%20%20%20%20ax2.plot(_ai%2C%20_al%2C%20color%3D'%23FF9800'%2C%20linewidth%3D2%2C%20label%3D'Adagrad%20(lr%3D0.1)')%0A%20%20%20%20_ji%2C%20_jl%20%3D%20zip(*adam_loss_history)%0A%20%20%20%20ax2.plot(_ji%2C%20_jl%2C%20color%3D'%234CAF50'%2C%20linewidth%3D2%2C%20label%3D'Adam%20(lr%3D1e-3%2C%20cosine)')%0A%20%20%20%20ax2.set_xlabel('Iteration')%0A%20%20%20%20ax2.set_ylabel('Loss%20per%20Character')%0A%20%20%20%20ax2.set_title('Adagrad%20vs%20Adam%3A%20Same%20RNN%2C%20Same%20Data%2C%20Same%2010%20Epochs')%0A%20%20%20%20ax2.legend(fontsize%3D11)%0A%20%20%20%20ax2.grid(True%2C%20alpha%3D0.3)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20mo.output.replace(mo.as_html(fig2))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Adagrad%20(orange)%20drops%20fast%20then%20**flatlines**.%20Adam%20(green)%20keeps%20improving%20throughout.%0A%0A%20%20%20%20%23%23%23%20Side-by-Side%3A%20Generated%20Text%20After%2010%20Epochs%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(adagrad_snaps%2C%20adam_snapshots%2C%20mo)%3A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20**Adagrad**%20(10%20epochs)%3A%0A%20%20%20%20%60%60%60%0A%20%20%20%20%7Badagrad_snaps.get(10%2C%20'(training%20still%20running)')%7D%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20**Adam**%20(10%20epochs)%3A%0A%20%20%20%20%60%60%60%0A%20%20%20%20%7Badam_snapshots%5B10%5D%5B'text'%5D%7D%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20Adam%20produces%20noticeably%20more%20coherent%20text%20%E2%80%94%20more%20real%20words%2C%20better%20structure%20%E2%80%94%20because%20it%20kept%20learning%20for%20the%20full%2010%20epochs%20while%20Adagrad%20effectively%20stopped%20after%20~3.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Interactive%20Generation%0A%0A%20%20%20%20Try%20different%20temperatures%3A%0A%20%20%20%20-%20**Low%20(0.3)**%3A%20conservative%2C%20repetitive%2C%20but%20recognizable%20words%0A%20%20%20%20-%20**Medium%20(0.8)**%3A%20balanced%0A%20%20%20%20-%20**High%20(1.5)**%3A%20creative%2Fchaotic%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20temp_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.1%2C%20stop%3D2.0%2C%20step%3D0.1%2C%20value%3D0.8%2C%0A%20%20%20%20%20%20%20%20label%3D%22Temperature%22%0A%20%20%20%20)%0A%20%20%20%20temp_slider%0A%20%20%20%20return%20(temp_slider%2C)%0A%0A%0A%40app.cell%0Adef%20_(char_to_ix%2C%20hidden_size%2C%20ix_to_char%2C%20np%2C%20rnn%2C%20temp_slider)%3A%0A%20%20%20%20_h%20%3D%20np.zeros((hidden_size%2C%201))%0A%20%20%20%20_ixs%20%3D%20rnn.sample(_h%2C%20char_to_ix%5B'%5Cn'%5D%2C%20500%2C%20temperature%3Dtemp_slider.value%2C%20rng%3Dnp.random.default_rng(7))%0A%20%20%20%20print(f%22Temperature%20%3D%20%7Btemp_slider.value%3A.1f%7D%5Cn%22)%0A%20%20%20%20print(''.join(ix_to_char%5Bix%5D%20for%20ix%20in%20_ixs))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20What%20We%20Learned%0A%0A%20%20%20%201.%20**RNNs%20learn%20sequentially**%20%E2%80%94%20the%20hidden%20state%20carries%20information%20from%20character%20to%20character%2C%20allowing%20the%20network%20to%20learn%20patterns%20like%20common%20letter%20pairs%2C%20word%20boundaries%2C%20and%20even%20punctuation%20habits.%0A%0A%20%20%20%202.%20**Training%20is%20iterative**%20%E2%80%94%20the%20model%20starts%20with%20random%20gibberish%20and%20gradually%20learns.%20After%201%20epoch%20it%20knows%20spaces%20exist%3B%20after%2010%20it%20produces%20Shakespearean%20fragments.%0A%0A%20%20%20%203.%20**The%20optimizer%20matters**%20%E2%80%94%20Adagrad's%20accumulator%20kills%20learning%3B%20Adam's%20exponential%20averages%20keep%20it%20alive.%20Adam%20is%20the%20default%20choice%20for%20modern%20deep%20learning.%0A%0A%20%20%20%204.%20**Vanilla%20RNNs%20hit%20a%20ceiling**%20%E2%80%94%20the%20vanishing%20gradient%20problem%20limits%20how%20far%20back%20the%20hidden%20state%20can%20remember.%20This%20is%20exactly%20what%20**LSTMs**%20(1997)%20and%20**Transformers**%20(2017)%20were%20designed%20to%20fix.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A