Marin Speedrun

Marin Speedrun Marin Speedrun - Leaderboard

import%20marimo%0A%0A__generated_with%20%3D%20%220.14.17%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22full%22%2C%0A%20%20%20%20app_title%3D%22Marin%20Speedrun%22%2C%0A%20%20%20%20css_file%3D%22custom.css%22%2C%0A%20%20%20%20html_head_file%3D%22head.html%22%2C%0A)%0A%0A%0A%40app.cell%0Adef%20base_import()%3A%0A%20%20%20%20%22%22%22Import%20%60%60marimo%60%60%20and%20return%20it.%0A%0A%20%20%20%20Returns%0A%20%20%20%20-------%0A%20%20%20%20tuple%0A%20%20%20%20%20%20%20%20A%20single-element%20tuple%20containing%20the%20imported%20%60%60marimo%60%60%20module.%20The%0A%20%20%20%20%20%20%20%20tuple%20form%20is%20used%20so%20that%20the%20value%20can%20be%20captured%20by%20subsequent%0A%20%20%20%20%20%20%20%20cells%20in%20the%20notebook.%0A%20%20%20%20%22%22%22%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20render_header(mo)%3A%0A%20%20%20%20%22%22%22Render%20the%20page%20header.%0A%0A%20%20%20%20Parameters%0A%20%20%20%20----------%0A%20%20%20%20mo%20%3A%20ModuleType%0A%20%20%20%20%20%20%20%20The%20%60%60marimo%60%60%20module%20used%20to%20create%20HTML%20elements.%0A%0A%20%20%20%20Returns%0A%20%20%20%20-------%0A%20%20%20%20None%0A%20%20%20%20%20%20%20%20The%20header%20is%20rendered%20for%20its%20side%20effect%3B%20nothing%20is%20returned.%0A%20%20%20%20%22%22%22%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%3Cheader%20class%3D%22bg-marin-dark%20text-white%20shadow-lg%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22container%20mx-auto%20px-4%20py-6%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22flex%20items-center%20gap-5%20group%20hover%3Aopacity-90%20transition-opacity%20duration-150%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cimg%20src%3D%22https%3A%2F%2Fgithub.com%2Fmarin-community%2Fspeedrun%2Fblob%2F5684db1a26feca7d32855a359fca7e0cfaec4267%2Fassets%2Fmarin-logo.png%3Fraw%3Dtrue%22%20alt%3D%22Marin%20Logo%22%20class%3D%22h-14%20w-14%20object-contain%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22flex%20flex-col%20justify-center%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ch1%20class%3D%22text-3xl%20font-bold%20leading-tight%22%3EMarin%20Speedrun%20-%20Leaderboard%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22text-gray-300%20text-sm%20mt-0.5%22%3ECommunity-driven%20model%20training%20leaderboard%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fheader%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20render_intro_paragraph(mo)%3A%0A%20%20%20%20%22%22%22Display%20the%20introductory%20paragraph.%0A%0A%20%20%20%20Parameters%0A%20%20%20%20----------%0A%20%20%20%20mo%20%3A%20ModuleType%0A%20%20%20%20%20%20%20%20The%20%60%60marimo%60%60%20module%20used%20for%20HTML%20rendering.%0A%0A%20%20%20%20Returns%0A%20%20%20%20-------%0A%20%20%20%20None%0A%20%20%20%20%20%20%20%20This%20function%20only%20produces%20HTML%20output%20in%20the%20notebook.%0A%20%20%20%20%22%22%22%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22bg-white%20rounded-lg%20shadow%20p-8%20mb-8%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22flex%20justify-between%20items-start%20mb-6%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch2%20class%3D%22text-3xl%20font-extrabold%20text-gray-900%20font-display%22%3EWhat%20is%20Speedrun%3F%3C%2Fh2%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ca%20href%3D%22https%3A%2F%2Fgithub.com%2Fmarin-community%2Fmarin%2Fblob%2Fmain%2Fdocs%2Ftutorials%2Fsubmitting-speedrun.md%22%20target%3D%22_blank%22%20rel%3D%22noopener%22%20class%3D%22inline-flex%20items-center%20px-6%20py-3%20border%20border-transparent%20text-base%20font-medium%20rounded-md%20text-white%20bg-marin-blue%20hover%3Abg-blue-600%20focus%3Aoutline-none%20focus%3Aring-2%20focus%3Aring-offset-2%20focus%3Aring-marin-blue%20transition-colors%20duration-150%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Get%20started%20with%20Speedrun%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fa%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cp%20class%3D%22text-gray-600%20leading-relaxed%20text-lg%20mb-8%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20Speedrun%20is%20a%20community-driven%20initiative%20by%20the%20%3Ca%20href%3D%22https%3A%2F%2Fmarin.community%2F%22%20target%3D%22_blank%22%20rel%3D%22noopener%22%20class%3D%22text-marin-blue%20hover%3Atext-blue-600%20transition-colors%20duration-150%22%3EMarin%20project%3C%2Fa%3E%20to%20track%20and%20optimize%20the%20training%20efficiency%20of%20large%20language%20models.%20%0A%20%20%20%20%20%20%20%20%20%20%20%20Have%20a%20new%20architecture%20or%20training%20procedure%20that%20you%20think%20is%20more%20efficient%3F%20Participate%20in%20the%20Marin%20speedrun%20competition%20(inspired%20by%20%0A%20%20%20%20%20%20%20%20%20%20%20%20the%20%3Ca%20href%3D%22https%3A%2F%2Fgithub.com%2FKellerJordan%2Fmodded-nanogpt%3Ftab%3Dreadme-ov-file%23world-record-history%22%20class%3D%22text-marin-blue%20hover%3Atext-blue-600%20transition-colors%20duration-150%22%3Enanogpt%20speedrun%3C%2Fa%3E)%2C%20pick%20your%20compute%20budget%2C%20and%20create%20the%20fastest%20method%20to%20train%20a%20model%20to%20a%20%0A%20%20%20%20%20%20%20%20%20%20%20%20certain%20quality!%20%0A%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3Cp%20class%3D%22text-gray-600%20leading-relaxed%20text-lg%20mb-8%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20On%20this%20page%2C%20you%20can%20find%20leaderboards%20for%20different%20speedrun%20tracks%2C%20each%20targeting%20a%20specific%20loss%20threshold.%20You%20can%20click%20on%20any%20run%20to%20view%20the%20code%20that%0A%20%20%20%20%20%20%20%20%20%20%20%20generated%20it%2C%20or%20view%20the%20Weights%20%26%20Biases%20link%20for%20the%20model!%20We%20also%20track%20the%20overall%20Pareto%20frontier%20of%20models%2C%20allowing%20us%20to%20track%20efficiency-performance%20tradeoffs%20across%20all%20tracks.%0A%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3Cp%20class%3D%22text-gray-600%20leading-relaxed%20text-lg%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20We%20invite%20you%20to%20join%20us%20in%20the%20search%20for%20more%20performant%20and%20efficient%20training%20methods!%0A%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20load_leaderboard_data()%3A%0A%20%20%20%20%22%22%22Load%20run%20and%20track%20information%20from%20disk.%0A%0A%20%20%20%20Returns%0A%20%20%20%20-------%0A%20%20%20%20tuple%0A%20%20%20%20%20%20%20%20%60%60(df_runs%2C%20df_tracks%2C%20pd)%60%60%20where%20%60%60df_runs%60%60%20contains%20run%20metadata%0A%20%20%20%20%20%20%20%20and%20%60%60df_tracks%60%60%20describes%20the%20available%20leaderboard%20tracks.%20The%0A%20%20%20%20%20%20%20%20%60%60pd%60%60%20return%20value%20is%20the%20imported%20%3Amod%3A%60pandas%60%20module%20for%20reuse%20in%0A%20%20%20%20%20%20%20%20later%20cells.%0A%20%20%20%20%22%22%22%0A%20%20%20%20import%20json%0A%20%20%20%20import%20pandas%20as%20pd%0A%0A%20%20%20%20df_runs%20%3D%20pd.read_json(%0A%20%20%20%20%20%20%20%20%22https%3A%2F%2Fraw.githubusercontent.com%2Fmarin-community%2Fspeedrun%2Frefs%2Fheads%2Fmain%2Fdata%2Fruns.json%22%0A%20%20%20%20)%0A%20%20%20%20df_runs%20%3D%20pd.json_normalize(df_runs.to_dict(orient%3D%22records%22))%0A%20%20%20%20df_tracks%20%3D%20pd.read_json(%0A%20%20%20%20%20%20%20%20%22https%3A%2F%2Fraw.githubusercontent.com%2Fmarin-community%2Fspeedrun%2Frefs%2Fheads%2Fmain%2Fdata%2Ftracks.json%22%0A%20%20%20%20)%0A%20%20%20%20return%20df_runs%2C%20df_tracks%2C%20pd%0A%0A%0A%40app.cell%0Adef%20render_track_tabs(df_tracks%2C%20mo)%3A%0A%20%20%20%20%22%22%22Create%20tabs%20allowing%20the%20user%20to%20choose%20a%20track.%0A%0A%20%20%20%20Parameters%0A%20%20%20%20----------%0A%20%20%20%20df_tracks%20%3A%20pandas.DataFrame%0A%20%20%20%20%20%20%20%20Data%20frame%20describing%20all%20available%20leaderboard%20tracks.%0A%20%20%20%20mo%20%3A%20ModuleType%0A%20%20%20%20%20%20%20%20The%20%60%60marimo%60%60%20module%20for%20constructing%20UI%20elements.%0A%0A%20%20%20%20Returns%0A%20%20%20%20-------%0A%20%20%20%20tuple%0A%20%20%20%20%20%20%20%20%60%60(q%2C%20tab_map%2C%20tabs)%60%60%20where%20%60%60q%60%60%20represents%20the%20current%20query%0A%20%20%20%20%20%20%20%20parameters%2C%20%60%60tab_map%60%60%20maps%20the%20displayed%20tab%20name%20to%20its%20underlying%0A%20%20%20%20%20%20%20%20track%20identifier%20and%20%60%60tabs%60%60%20is%20the%20tab%20widget%20itself.%0A%20%20%20%20%22%22%22%0A%20%20%20%20q%20%3D%20mo.query_params()%0A%20%20%20%20tab_map%20%3D%20%7Brow%5B%22name%22%5D.capitalize()%3A%20row%5B%22id%22%5D%20for%20_%2C%20row%20in%20df_tracks.iterrows()%7D%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%0A%20%20%20%20%20%20%20%20%7Brow%5B%22name%22%5D.capitalize()%3A%20%22%22%20for%20_%2C%20row%20in%20df_tracks.iterrows()%7D%2C%0A%20%20%20%20%20%20%20%20value%3D(q.get(%22track%22)%20or%20%22Scaling%22).capitalize()%2C%0A%20%20%20%20)%0A%20%20%20%20tabs.center()%0A%20%20%20%20return%20q%2C%20tab_map%2C%20tabs%0A%0A%0A%40app.cell%0Adef%20filter_data_by_selected_track(df_runs%2C%20df_tracks%2C%20pd%2C%20q%2C%20tab_map%2C%20tabs)%3A%0A%20%20%20%20%22%22%22Filter%20runs%20according%20to%20the%20selected%20track.%0A%0A%20%20%20%20Parameters%0A%20%20%20%20----------%0A%20%20%20%20df_runs%20%3A%20pandas.DataFrame%0A%20%20%20%20%20%20%20%20Data%20for%20all%20submitted%20runs.%0A%20%20%20%20df_tracks%20%3A%20pandas.DataFrame%0A%20%20%20%20%20%20%20%20Metadata%20describing%20available%20tracks.%0A%20%20%20%20pd%20%3A%20ModuleType%0A%20%20%20%20%20%20%20%20The%20%3Amod%3A%60pandas%60%20module.%0A%20%20%20%20q%20%3A%20Any%0A%20%20%20%20%20%20%20%20Query%20parameter%20object%20used%20to%20store%20the%20currently%20selected%20track.%0A%20%20%20%20tab_map%20%3A%20dict%5Bstr%2C%20str%5D%0A%20%20%20%20%20%20%20%20Mapping%20from%20tab%20label%20to%20track%20identifier.%0A%20%20%20%20tabs%20%3A%20Any%0A%20%20%20%20%20%20%20%20The%20tab%20widget%20created%20by%20%3Afunc%3A%60render_track_tabs%60.%0A%0A%20%20%20%20Returns%0A%20%20%20%20-------%0A%20%20%20%20tuple%0A%20%20%20%20%20%20%20%20%60%60(filtered%2C%20next_lower%2C%20t%2C%20track_id)%60%60%20where%20%60%60filtered%60%60%20is%20the%20subset%0A%20%20%20%20%20%20%20%20of%20%60%60df_runs%60%60%20matching%20the%20selected%20track%2C%20%60%60next_lower%60%60%20is%20the%20next%0A%20%20%20%20%20%20%20%20best%20BPB%20threshold%20for%20the%20track%2C%20%60%60t%60%60%20is%20the%20row%20in%20%60%60df_tracks%60%60%0A%20%20%20%20%20%20%20%20describing%20the%20track%20and%20%60%60track_id%60%60%20is%20the%20selected%20track%20identifier.%0A%20%20%20%20%22%22%22%0A%20%20%20%20track_id%20%3D%20tab_map%5Btabs.value%5D%0A%20%20%20%20q%5B%22track%22%5D%20%3D%20tabs.value%0A%20%20%20%20filtered%20%3D%20df_runs%0A%0A%20%20%20%20if%20track_id%20%3D%3D%20%22scaling%22%3A%0A%20%20%20%20%20%20%20%20t%20%3D%20df_tracks.loc%5Bdf_tracks%5B%22id%22%5D%20%3D%3D%20track_id%5D.iloc%5B0%5D%0A%20%20%20%20%20%20%20%20filtered%20%3D%20df_runs%5Bdf_runs%5B%22run_name%22%5D.str.contains(%22%2F%22)%5D%0A%20%20%20%20elif%20track_id%20!%3D%20%22all%22%3A%0A%20%20%20%20%20%20%20%20t%20%3D%20df_tracks.loc%5Bdf_tracks%5B%22id%22%5D%20%3D%3D%20track_id%5D.iloc%5B0%5D%0A%0A%20%20%20%20%20%20%20%20if%20pd.notna(t%5B%22target_bpb%22%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sorted_tracks%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_tracks%5B(df_tracks%5B%22id%22%5D%20!%3D%20%22all%22)%20%26%20df_tracks%5B%22target_bpb%22%5D.notna()%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.sort_values(%22target_bpb%22%2C%20ascending%3DFalse)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.reset_index(drop%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20idx%20%3D%20sorted_tracks.index%5Bsorted_tracks%5B%22id%22%5D%20%3D%3D%20track_id%5D%5B0%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20next_lower%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sorted_tracks.loc%5Bidx%20%2B%201%2C%20%22target_bpb%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20idx%20%3C%20len(sorted_tracks)%20-%201%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%200%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20filtered%20%3D%20df_runs%5Bdf_runs%5B%22eval_paloma_c4_en_bpb%22%5D.notna()%5D.loc%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lambda%20d%3A%20(d.eval_paloma_c4_en_bpb%20%3C%3D%20t.target_bpb)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26%20(d.eval_paloma_c4_en_bpb%20%3E%20next_lower)%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20return%20filtered%2C%20next_lower%2C%20t%2C%20track_id%0A%0A%0A%40app.cell%0Adef%20compute_and_render_high_level_track_stats(filtered%2C%20mo%2C%20track_id)%3A%0A%20%20%20%20%22%22%22Compute%20and%20display%20high-level%20statistics%20for%20a%20track.%0A%0A%20%20%20%20Parameters%0A%20%20%20%20----------%0A%20%20%20%20filtered%20%3A%20pandas.DataFrame%0A%20%20%20%20%20%20%20%20Data%20frame%20containing%20runs%20restricted%20to%20the%20chosen%20track.%0A%20%20%20%20mo%20%3A%20ModuleType%0A%20%20%20%20%20%20%20%20The%20%60%60marimo%60%60%20module%20used%20to%20render%20HTML.%0A%20%20%20%20track_id%20%3A%20str%0A%20%20%20%20%20%20%20%20Identifier%20of%20the%20selected%20track.%0A%0A%20%20%20%20Returns%0A%20%20%20%20-------%0A%20%20%20%20tuple%0A%20%20%20%20%20%20%20%20%60%60(FLOPS_BUDGET%2C%20np)%60%60%20where%20%60%60FLOPS_BUDGET%60%60%20is%20the%20reference%0A%20%20%20%20%20%20%20%20compute%20budget%20used%20for%20projections%20and%20%60%60np%60%60%20is%20the%20imported%0A%20%20%20%20%20%20%20%20%3Amod%3A%60numpy%60%20module%20for%20reuse%20by%20subsequent%20cells.%0A%20%20%20%20%22%22%22%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20FLOPS_BUDGET%20%3D%201e22%0A%20%20%20%20best_flops_header%20%3D%20%22Best%20FLOPs%20in%20Track%22%0A%0A%20%20%20%20if%20track_id%20%3D%3D%20%22scaling%22%3A%0A%20%20%20%20%20%20%20%20df%20%3D%20filtered.copy()%0A%20%20%20%20%20%20%20%20df%5B%22lead_folder%22%5D%20%3D%20df%5B%22run_name%22%5D.apply(lambda%20p%3A%20p.split(%22%2F%22)%5B0%5D)%0A%20%20%20%20%20%20%20%20preds%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20group_scaling%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20for%20_n%2C%20_g%20in%20df.groupby(%22lead_folder%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20x%20%3D%20np.log(_g%5B%22training_hardware_flops%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20y%20%3D%20np.log(_g%5B%22eval_paloma_c4_en_bpb%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20_slope%2C%20_intercept%20%3D%20np.polyfit(x%2C%20y%2C%201)%0A%20%20%20%20%20%20%20%20%20%20%20%20preds.append(np.exp(_intercept%20%2B%20_slope%20*%20np.log(FLOPS_BUDGET)))%0A%20%20%20%20%20%20%20%20%20%20%20%20group_scaling%5B_n%5D%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22slope%22%3A%20_slope%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22intercept%22%3A%20_intercept%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22projected%22%3A%20float(np.exp(_intercept%20%2B%20_slope%20*%20np.log(FLOPS_BUDGET)))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20best_bpb_value%20%3D%20f%22%7Bmin(preds)%3A.4g%7D%22%20if%20preds%20else%20%22N%2FA%22%0A%20%20%20%20%20%20%20%20best_bpb_header%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Best%20Projected%20BPB%20%40%20%7BFLOPS_BUDGET%3A.0e%7D%22.replace(%22e%2B%22%2C%20%22e%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20'%20FLOPs%3Cbr%2F%3E%3Ch4%20style%3D%22margin-top%3A%20-20px%3B%22%3E(Approx.%20Compute%20Optimal%208B%20Model)%3C%2Fh4%3E'%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20best_flops_header%20%3D%20%22Best%20Compute%20Scaling%20Term%22%0A%20%20%20%20%20%20%20%20best_flops_value%20%3D%20f%22%7B_slope%3A.4g%7D%22%0A%20%20%20%20%20%20%20%20num_runs%20%3D%20len(df.drop_duplicates(subset%3D%5B%22lead_folder%22%5D))%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20group_scaling%20%3D%20None%0A%20%20%20%20%20%20%20%20best_flops%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20filtered.training_hardware_flops.min()%20if%20not%20filtered.empty%20else%20np.nan%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20best_flops_value%20%3D%20f%22%7Bbest_flops%3A.4g%7D%22%0A%20%20%20%20%20%20%20%20best_bpb%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20filtered.eval_paloma_c4_en_bpb.min()%20if%20not%20filtered.empty%20else%20np.nan%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20best_bpb_header%20%3D%20%22Best%20C4-EN%20BPB%22%0A%20%20%20%20%20%20%20%20best_bpb_value%20%3D%20f%22%7Bbest_bpb%3A.4g%7D%22%0A%20%20%20%20%20%20%20%20num_runs%20%3D%20len(filtered)%0A%0A%20%20%20%20stats%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22grid%20grid-cols-1%20md%3Agrid-cols-3%20gap-6%20mb-8%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22bg-white%20rounded-lg%20shadow%20p-6%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch3%20class%3D%22text-lg%20font-medium%20mb-4%22%3ETotal%20Runs%20in%20Track%3C%2Fh3%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20id%3D%22total-runs%22%20class%3D%22text-2xl%20font-bold%22%3E%7Bnum_runs%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22bg-white%20rounded-lg%20shadow%20p-6%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch3%20class%3D%22text-lg%20font-medium%20mb-4%22%3E%7Bbest_flops_header%7D%3C%2Fh3%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20id%3D%22best-flops%22%20class%3D%22text-2xl%20font-bold%22%3E%7Bbest_flops_value%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22bg-white%20rounded-lg%20shadow%20p-6%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch3%20class%3D%22text-lg%20font-medium%20mb-4%22%3E%7Bbest_bpb_header%7D%3C%2Fh3%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20id%3D%22best-bpb%22%20class%3D%22text-2xl%20font-bold%22%3E%7Bbest_bpb_value%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20stats%0A%20%20%20%20return%20FLOPS_BUDGET%2C%20group_scaling%2C%20np%0A%0A%0A%40app.cell%0Adef%20render_speedrun_plot(%0A%20%20%20%20FLOPS_BUDGET%2C%0A%20%20%20%20df_runs%2C%0A%20%20%20%20filtered%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20next_lower%2C%0A%20%20%20%20np%2C%0A%20%20%20%20t%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20%22%22%22Plot%20the%20Pareto%20frontier%20for%20runs%20in%20the%20selected%20track.%0A%0A%20%20%20%20Parameters%0A%20%20%20%20----------%0A%20%20%20%20df_runs%20%3A%20pandas.DataFrame%0A%20%20%20%20%20%20%20%20All%20run%20information.%0A%20%20%20%20filtered%20%3A%20pandas.DataFrame%0A%20%20%20%20%20%20%20%20Subset%20of%20%60%60df_runs%60%60%20belonging%20to%20the%20current%20track.%0A%20%20%20%20mo%20%3A%20ModuleType%0A%20%20%20%20%20%20%20%20%60%60marimo%60%60%20module%20for%20rendering%20the%20plot.%0A%20%20%20%20next_lower%20%3A%20float%0A%20%20%20%20%20%20%20%20Lower%20BPB%20bound%20of%20the%20track%20(used%20for%20shading).%0A%20%20%20%20np%20%3A%20ModuleType%0A%20%20%20%20%20%20%20%20The%20%3Amod%3A%60numpy%60%20module.%0A%20%20%20%20t%20%3A%20pandas.Series%0A%20%20%20%20%20%20%20%20Row%20of%20%60%60df_tracks%60%60%20describing%20the%20track.%0A%20%20%20%20track_id%20%3A%20str%0A%20%20%20%20%20%20%20%20Identifier%20of%20the%20selected%20track.%0A%20%20%20%20FLOPS_BUDGET%20%3A%20float%0A%20%20%20%20%20%20%20%20Reference%20FLOPs%20budget%20used%20for%20scaling-law%20projection.%0A%0A%20%20%20%20Returns%0A%20%20%20%20-------%0A%20%20%20%20tuple%0A%20%20%20%20%20%20%20%20A%20one-element%20tuple%20%60%60(group_scaling%2C)%60%60%20containing%20a%20dictionary%20of%0A%20%20%20%20%20%20%20%20scaling%20statistics%20when%20%60%60track_id%60%60%20is%20%60%60%22scaling%22%60%60.%20Otherwise%20the%0A%20%20%20%20%20%20%20%20tuple%20contains%20%60%60None%60%60.%0A%20%20%20%20%22%22%22%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20import%20plotly.express%20as%20px%0A%0A%20%20%20%20df_all%20%3D%20df_runs.copy()%0A%20%20%20%20df_all%5B%22training_flops%22%5D%20%3D%20df_all%5B%22training_hardware_flops%22%5D%0A%20%20%20%20df_all%5B%22in_track%22%5D%20%3D%20df_all.index.isin(filtered.index)%0A%0A%20%20%20%20track_color%20%3D%20t.color%20if%20track_id%20!%3D%20%22all%22%20else%20%22%231877F2%22%20%20%23%20fallback%20blue%0A%0A%20%20%20%20if%20track_id%20%3D%3D%20%22scaling%22%3A%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20fig.layout%20%3D%20None%0A%20%20%20%20%20%20%20%20fig.data%20%3D%20None%0A%20%20%20%20%20%20%20%20df_all%5B%22lead_folder%22%5D%20%3D%20df_all%5B%22run_name%22%5D.apply(lambda%20p%3A%20p.split(%22%2F%22)%5B0%5D)%0A%20%20%20%20%20%20%20%20df_all%5B%22is_baseline%22%5D%20%3D%20df_all%5B%22lead_folder%22%5D%20%3D%3D%20%22adamw_llama_scaling%22%0A%20%20%20%20%20%20%20%20groups%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20df_all%5Bdf_all%5B%22in_track%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20.sort_values(by%3D%5B%22is_baseline%22%2C%20%22training_flops%22%5D%2C%20ascending%3DFalse)%0A%20%20%20%20%20%20%20%20%20%20%20%20.groupby(%22lead_folder%22%2C%20sort%3DFalse)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20colors%20%3D%20px.colors.qualitative.Plotly%0A%20%20%20%20%20%20%20%20baseline%20%3D%20%5Bg%20for%20(n%2C%20g)%20in%20groups%20if%20n%20%3D%3D%20%22adamw_llama_scaling%22%5D%5B0%5D%0A%20%20%20%20%20%20%20%20for%20i%2C%20(name%2C%20g)%20in%20enumerate(groups)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20color%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20colors%5B(i%20-%201)%20%25%20len(colors)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20name%20!%3D%20%22adamw_llama_scaling%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22gray%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20baselined%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20g%5B%22eval_paloma_c4_en_bpb%22%5D.values%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%20baseline%5B%22eval_paloma_c4_en_bpb%22%5D.values%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dg%5B%22training_flops%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dbaselined%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3Dcolor%2C%20size%3D10)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20name%20!%3D%20%22adamw_llama_scaling%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Baseline%20(AdamW%2C%20Llama)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3Dg%5B%22run_name%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20customdata%3Dnp.column_stack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(g%5B%22training_flops%22%5D%2C%20g%5B%22eval_paloma_c4_en_bpb%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3D%22%3Cb%3E%25%7Btext%7D%3C%2Fb%3E%3Cbr%3E%25%7Bcustomdata%5B0%5D%3A.2e%7D%20FLOPs%3Cbr%3E%25%7Bcustomdata%5B1%5D%3A.3f%7D%20BPB%3Cextra%3E%3C%2Fextra%3E%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20xlog%20%3D%20np.log(g%5B%22training_flops%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20ylog%20%3D%20baselined%0A%20%20%20%20%20%20%20%20%20%20%20%20slope%2C%20intercept%20%3D%20np.polyfit(xlog%2C%20ylog%2C%201)%0A%20%20%20%20%20%20%20%20%20%20%20%20x_fit%20%3D%20np.logspace(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.log10(g%5B%22training_flops%22%5D.min())%2C%20np.log10(FLOPS_BUDGET)%2C%20100%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20y_fit%20%3D%20intercept%20%2B%20slope%20*%20np.log(x_fit)%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx_fit%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dy_fit%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3Dcolor%2C%20dash%3D%22dash%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22%7Bname%7D%20fit%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hoverinfo%3D%22skip%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5BFLOPS_BUDGET%2C%20FLOPS_BUDGET%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_fit.min()%20-%20(y_fit.min()%20*%200.005)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_fit.max()%20%2B%20(y_fit.max()%20*%200.005)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22black%22%2C%20dash%3D%22dash%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hoverinfo%3D%22skip%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20fig.layout%20%3D%20None%0A%20%20%20%20%20%20%20%20fig.data%20%3D%20None%0A%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Ddf_all%5B%22training_flops%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Ddf_all%5B%22eval_paloma_c4_en_bpb%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3D%22rgba(156%2C163%2C175%2C0.3)%22%2C%20size%3D8%2C%20line%3Ddict(width%3D0))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22All%20Runs%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3Ddf_all%5B%22run_name%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20customdata%3Dnp.column_stack((df_all%5B%22training_flops%22%5D%2C))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3D%22%3Cb%3E%25%7Btext%7D%3C%2Fb%3E%3Cbr%3E%25%7Bcustomdata%5B0%5D%3A.2e%7D%20FLOPs%3Cbr%3E%25%7By%3A.3f%7D%20BPB%3Cextra%3E%3C%2Fextra%3E%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20highlight%20%3D%20df_all%5Bdf_all%5B%22in_track%22%5D%5D%0A%20%20%20%20%20%20%20%20if%20not%20highlight.empty%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dhighlight%5B%22training_flops%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dhighlight%5B%22eval_paloma_c4_en_bpb%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dtrack_color%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20size%3D12%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opacity%3D0.9%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22white%22%2C%20width%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Selected%20Track%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3Dhighlight%5B%22run_name%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20customdata%3Dnp.column_stack((highlight%5B%22training_flops%22%5D%2C))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3D%22%3Cb%3E%25%7Btext%7D%3C%2Fb%3E%3Cbr%3E%25%7Bcustomdata%5B0%5D%3A.2e%7D%20FLOPs%3Cbr%3E%25%7By%3A.3f%7D%20BPB%3Cextra%3E%3C%2Fextra%3E%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20valid%20%3D%20df_all.dropna(subset%3D%5B%22eval_paloma_c4_en_bpb%22%5D)%0A%20%20%20%20valid%20%3D%20valid%5Bvalid%5B%22training_hardware_flops%22%5D%20%3E%200%5D%0A%0A%20%20%20%20def%20dominated(row)%3A%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20(valid%5B%22training_hardware_flops%22%5D%20%3C%3D%20row.training_hardware_flops)%0A%20%20%20%20%20%20%20%20%20%20%20%20%26%20(valid%5B%22eval_paloma_c4_en_bpb%22%5D%20%3C%20row.eval_paloma_c4_en_bpb)%0A%20%20%20%20%20%20%20%20%20%20%20%20%26%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(valid%5B%22training_hardware_flops%22%5D%20%3C%20row.training_hardware_flops)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20(valid%5B%22eval_paloma_c4_en_bpb%22%5D%20%3C%20row.eval_paloma_c4_en_bpb)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20).any()%0A%0A%20%20%20%20pareto_df%20%3D%20valid%5B~valid.apply(dominated%2C%20axis%3D1)%5D.sort_values(%0A%20%20%20%20%20%20%20%20%22training_hardware_flops%22%0A%20%20%20%20)%0A%0A%20%20%20%20if%20not%20pareto_df.empty%20and%20track_id%20!%3D%20%22scaling%22%3A%0A%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dpareto_df%5B%22training_flops%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dpareto_df%5B%22eval_paloma_c4_en_bpb%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%2Bmarkers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22%23FF2D55%22%2C%20width%3D2)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D5%2C%20color%3D%22%23FF2D55%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Pareto%20Frontier%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hoverinfo%3D%22skip%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20if%20track_id%20not%20in%20%5B%22all%22%2C%20%22scaling%22%5D%3A%0A%20%20%20%20%20%20%20%20x_min%2C%20x_max%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20df_all%5B%22training_flops%22%5D.min()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20df_all%5B%22training_flops%22%5D.max()%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Bx_min%2C%20x_max%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Bt.target_bpb%2C%20t.target_bpb%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3Dtrack_color%2C%20dash%3D%22dash%22%2C%20width%3D2)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hoverinfo%3D%22skip%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Bx_min%2C%20x_max%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Bnext_lower%2C%20next_lower%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3Dtrack_color%2C%20dash%3D%22dash%22%2C%20width%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fill%3D%22tonexty%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fillcolor%3Df%22rgba%7B(*tuple(int(track_color.lstrip('%23')%5Bi%20%3A%20i%20%2B%202%5D%2C%2016)%20for%20i%20in%20(0%2C%202%2C%204))%2C%200.15)%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hoverinfo%3D%22skip%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20title%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22text%22%3A%20%22Marin%20Speedrun%3Cbr%3EHardware%20FLOPs%20v.s.%20C4-EN%20BPB%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22x%22%3A%200.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22xanchor%22%3A%20%22center%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20xaxis%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20type%3D%22log%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Training%20FLOPs%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ticks%3D%22outside%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showgrid%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20gridcolor%3D%22rgba(0%2C0%2C0%2C0.05)%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20yaxis%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22C4-EN%20BPB%20Relative%20to%20Baseline%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20track_id%20%3D%3D%20%22scaling%22%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20%22C4-EN%20BPB%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tickformat%3D%22.1%25%22%20if%20track_id%20%3D%3D%20%22scaling%22%20else%20%22.2f%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ticks%3D%22outside%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showgrid%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20gridcolor%3D%22rgba(0%2C0%2C0%2C0.05)%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20legend%3Ddict(x%3D0.8%2C%20xanchor%3D%22center%22%2C%20y%3D0.8%2C%20yanchor%3D%22bottom%22)%2C%0A%20%20%20%20%20%20%20%20plot_bgcolor%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D60%2C%20b%3D50)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20mo.ui.plotly(fig%2C%20label%3D%22Runs%22)%0A%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20render_speedrun_leaderboard_table(%0A%20%20%20%20FLOPS_BUDGET%2C%0A%20%20%20%20filtered%2C%0A%20%20%20%20group_scaling%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20t%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20%22%22%22Render%20the%20leaderboard%20table%20for%20the%20current%20track.%0A%0A%20%20%20%20Parameters%0A%20%20%20%20----------%0A%20%20%20%20filtered%20%3A%20pandas.DataFrame%0A%20%20%20%20%20%20%20%20Runs%20belonging%20to%20the%20selected%20track.%0A%20%20%20%20group_scaling%20%3A%20dict%5Bstr%2C%20dict%5Bstr%2C%20float%5D%5D%20%7C%20None%0A%20%20%20%20%20%20%20%20Scaling%20statistics%20returned%20from%20%3Afunc%3A%60render_speedrun_plot%60%20when%20the%0A%20%20%20%20%20%20%20%20track%20is%20%60%60%22scaling%22%60%60.%0A%20%20%20%20mo%20%3A%20ModuleType%0A%20%20%20%20%20%20%20%20%60%60marimo%60%60%20module%20for%20rendering%20UI%20elements.%0A%20%20%20%20pd%20%3A%20ModuleType%0A%20%20%20%20%20%20%20%20The%20%3Amod%3A%60pandas%60%20module.%0A%20%20%20%20t%20%3A%20pandas.Series%0A%20%20%20%20%20%20%20%20Row%20of%20%60%60df_tracks%60%60%20describing%20the%20selected%20track.%0A%20%20%20%20track_id%20%3A%20str%0A%20%20%20%20%20%20%20%20Identifier%20for%20the%20current%20track.%0A%20%20%20%20FLOPS_BUDGET%20%3A%20float%0A%20%20%20%20%20%20%20%20Compute%20budget%20used%20for%20scaling-law%20projections.%0A%0A%20%20%20%20Returns%0A%20%20%20%20-------%0A%20%20%20%20None%0A%20%20%20%20%20%20%20%20The%20leaderboard%20is%20rendered%20to%20the%20notebook%3B%20the%20function%20does%20not%0A%20%20%20%20%20%20%20%20return%20a%20value.%0A%20%20%20%20%22%22%22%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%20helpers%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20fmt_model_size(x%3A%20float)%20-%3E%20str%3A%0A%20%20%20%20%20%20%20%20%22%22%22Format%20a%20parameter%20count%20as%20a%20human%20readable%20string.%22%22%22%0A%20%20%20%20%20%20%20%20if%20pd.isna(x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22N%2FA%22%0A%20%20%20%20%20%20%20%20return%20f%22%7Bx%20%2F%201e6%3A.1f%7D%20M%22%20if%20x%20%3C%201e9%20else%20f%22%7Bx%20%2F%201e9%3A.1f%7D%20B%22%0A%0A%20%20%20%20def%20fmt_flops(x%3A%20float)%20-%3E%20str%3A%0A%20%20%20%20%20%20%20%20%22%22%22Format%20a%20FLOP%20count%20in%20scientific%20notation.%22%22%22%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22N%2FA%22%20if%20pd.isna(x)%20else%20f%22%7Bx%3A.2E%7D%22.replace(%22E%2B0%22%2C%20%22E%22).replace(%22E%2B%22%2C%20%22E%22)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20fmt_date(ts%3A%20str)%20-%3E%20str%3A%0A%20%20%20%20%20%20%20%20%22%22%22Return%20the%20ISO%20date%20component%20of%20a%20timestamp%20string.%22%22%22%0A%20%20%20%20%20%20%20%20if%20not%20ts%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22N%2FA%22%0A%20%20%20%20%20%20%20%20ts%20%3D%20ts.replace(%22%20UTC%22%2C%20%22%22)%0A%20%20%20%20%20%20%20%20return%20pd.to_datetime(ts).date().isoformat()%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%20table%20rows%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20for%20rank%2C%20(_%2C%20r)%20in%20enumerate(%0A%20%20%20%20%20%20%20%20filtered.sort_values(%22eval_paloma_c4_en_bpb%22%2C%20ascending%3DTrue).iterrows()%2C%0A%20%20%20%20%20%20%20%20start%3D1%2C%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20_website%20%3D%20r%5B%22author.url%22%5D%0A%20%20%20%20%20%20%20%20_name%20%3D%20r%5B%22author.name%22%5D%0A%20%20%20%20%20%20%20%20author%20%3D%20f'%3Ca%20href%3D%22%7B_website%7D%22%20title%3D%22%7B_website%7D%22%20target%3D%22_blank%22%20rel%3D%22noopener%22%20class%3D%22text-marin-blue%20hover%3Atext-blue-600%20transition-colors%20duration-150%22%3E%7B_name%7D%3C%2Fa%3E'%0A%20%20%20%20%20%20%20%20if%20pd.notna(r%5B%22author.affiliation%22%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20author%20%2B%3D%20f%22%3Cbr%2F%3E%7Br%5B'author.affiliation'%5D%7D%22%0A%20%20%20%20%20%20%20%20author%20%3D%20%7B%22mimetype%22%3A%20%22text%2Fhtml%22%2C%20%22data%22%3A%20author%7D%0A%0A%20%20%20%20%20%20%20%20wandb%20%3D%20r.wandb_link%20if%20pd.notna(r.wandb_link)%20else%20%22N%2FA%22%0A%20%20%20%20%20%20%20%20experiment_file%20%3D%20%22https%3A%2F%2Fgithub.com%2Fmarin-community%2Fmarin%2Ftree%2Fmain%2F%22%20%2B%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20r%5B%22results_filepath%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20track_id%20!%3D%20%22scaling%22%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20%22%2F%22.join(r%5B%22results_filepath%22%5D.split(%22%2F%22)%5B%3A-1%5D)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_run_name%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20r%5B%22run_name%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20track_id%20!%3D%20%22scaling%22%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20r%5B%22run_name%22%5D.split(%22%2F%22)%5B0%5D.strip()%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20if%20track_id%20!%3D%20%22scaling%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20perf%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Model%20Size*%22%3A%20fmt_model_size(r.model_size)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Training%20Time%22%3A%20f%22%7Br.training_time%3A.1f%7D%20m%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Total%20FLOPs*%22%3A%20fmt_flops(r.training_hardware_flops)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22C4-EN%20BPB%22%3A%20f%22%7Br.eval_paloma_c4_en_bpb%3A.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20perf%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Scaling%20Law%20Intercept%22%3A%20f%22%7Bgroup_scaling%5B_run_name%5D%5B'intercept'%5D%3A.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Scaling%20Law%20Slope%22%3A%20f%22%7Bgroup_scaling%5B_run_name%5D%5B'slope'%5D%3A.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Projected%20BPB%20%40%20%7BFLOPS_BUDGET%3A.0e%7D%22.replace(%22e%2B%22%2C%20%22e%22)%20%2B%20%22%20FLOPs%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%3A%20f%22%7Bgroup_scaling%5B_run_name%5D%5B'projected'%5D%3A.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Rank%22%3A%20rank%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Run%20Name%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22mimetype%22%3A%20%22text%2Fhtml%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22data%22%3A%20f'%3Ca%20href%3D%22%7Bexperiment_file%7D%22%20title%3D%22%7Bexperiment_file%7D%22%20target%3D%22_blank%22%20rel%3D%22noopener%22%20class%3D%22text-marin-blue%20hover%3Atext-blue-600%20transition-colors%20duration-150%22%3E%7B_run_name%7D%3C%2Fa%3E'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Author%22%3A%20author%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Date%20Added%22%3A%20fmt_date(r.run_completion_timestamp)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**perf%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22W%26B%20Run%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22mimetype%22%3A%20%22text%2Fhtml%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22data%22%3A%20f'%3Ca%20href%3D%22%7Bwandb%7D%22%20title%3D%22%7Bwandb%7D%22%20target%3D%22_blank%22%20rel%3D%22noopener%22%20class%3D%22text-marin-blue%20hover%3Atext-blue-600%20transition-colors%20duration-150%22%3EView%20Run%3C%2Fa%3E'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20df_disp%20%3D%20(%0A%20%20%20%20%20%20%20%20pd.DataFrame(rows)%0A%20%20%20%20%20%20%20%20.drop_duplicates(subset%3D%5B%22Run%20Name%22%5D)%0A%20%20%20%20%20%20%20%20.sort_values(by%3D%5B%22Scaling%20Law%20Slope%22%5D%20if%20track_id%20%3D%3D%20%22scaling%22%20else%20%5B%22Rank%22%5D)%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%20headers%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20if%20track_id%20%3D%3D%20%22scaling%22%3A%0A%20%20%20%20%20%20%20%20header%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D'display%3Aflex%3Balign-items%3Acenter%3Bgap%3A6px'%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D'width%3A14px%3Bheight%3A14px%3Bborder-radius%3A2px%3Bbackground%3A%7Bt.color%7D'%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ch3%20style%3D'margin%3A0'%3E%7Bt%5B%22name%22%5D%7D%20Leaderboard%3C%2Fh3%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20subtitle%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%3Cdiv%20style%3D'color%3A%236b7280%3Bfont-size%3A0.9rem'%3ERuns%20grouped%20by%20leading%20folder%20with%20log-linear%20fits%3C%2Fdiv%3E%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20track_id%20!%3D%20%22all%22%3A%0A%20%20%20%20%20%20%20%20header%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D'display%3Aflex%3Balign-items%3Acenter%3Bgap%3A6px'%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D'width%3A14px%3Bheight%3A14px%3Bborder-radius%3A2px%3Bbackground%3A%7Bt.color%7D'%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ch3%20style%3D'margin%3A0'%3E%7Bt%5B%22name%22%5D%7D%20(%7Bt.target_bpb%3A.2f%7D%20BPB)%20Leaderboard%3C%2Fh3%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20subtitle%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Cdiv%20style%3D'color%3A%236b7280%3Bfont-size%3A0.9rem'%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Runs%20achieving%20%E2%89%A4%20%7Bt.target_bpb%3A.4f%7D%20C4-EN%20BPB%2C%20ranked%20by%20training%20efficiency%20(FLOPs)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3C%2Fdiv%3E%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20header%20%3D%20mo.Html(%22%3Ch3%3EAll%20Runs%20Leaderboard%3C%2Fh3%3E%22)%0A%20%20%20%20%20%20%20%20subtitle%20%3D%20mo.Html(%22%22)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%20footnotes%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20footnotes%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%3Cdiv%20style%3D'font-size%3A1rem%3Bcolor%3A%236b7280%3Bmargin-top%3A6px'%3E%22%0A%20%20%20%20%20%20%20%20%22*%20Model%20size%20here%20refers%20to%20the%20total%20number%20of%20trainable%20parameters%3Cbr%3E%22%0A%20%20%20%20%20%20%20%20%22*%20Total%20FLOPs%20here%20refers%20to%20hardware%20FLOPs%20performed%20during%20training%22%0A%20%20%20%20%20%20%20%20%22%3C%2Fdiv%3E%22%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%20assemble%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20df_disp%5B%22Rank%22%5D%20%3D%20df_disp.reset_index().index%20%2B%201%0A%20%20%20%20table%20%3D%20mo.ui.table(%0A%20%20%20%20%20%20%20%20df_disp.set_index(%22Rank%22).sort_values(by%3D%22Rank%22)%2C%0A%20%20%20%20%20%20%20%20label%3D%22Leaderboard%22%2C%0A%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20)%20%20%23%20plain%20strings%20only%0A%20%20%20%20mo.vstack(%5Bheader%2C%20subtitle%2C%20table%2C%20footnotes%5D)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A