llama-13b


Find this model in the LLAMA model summary

llama-13b Model Summary Plots

llama-13b Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
3 DENSE 5120 5120 1.00 3.70 0.06 11.19 3.03 45
4 DENSE 5120 5120 1.00 2.65 0.06 7.83 2.95 50
5 DENSE 5120 5120 1.00 4.41 0.03 6.38 1.45 9
6 DENSE 5120 5120 1.00 4.19 0.01 7.42 1.77 7
7 DENSE 13824 5120 2.70 2.86 0.04 6.34 2.21 0
8 DENSE 13824 5120 2.70 5.19 0.02 12.86 2.48 0
9 DENSE 13824 5120 2.70 6.06 0.05 10.53 1.74 0
13 DENSE 5120 5120 1.00 3.70 0.06 11.19 3.03 45
14 DENSE 5120 5120 1.00 2.65 0.06 7.83 2.95 50
15 DENSE 5120 5120 1.00 4.41 0.03 6.38 1.45 9
16 DENSE 5120 5120 1.00 4.19 0.01 7.42 1.77 7
17 DENSE 13824 5120 2.70 2.86 0.04 6.34 2.21 0
18 DENSE 13824 5120 2.70 5.19 0.02 12.86 2.48 0
19 DENSE 13824 5120 2.70 6.06 0.05 10.53 1.74 0
23 DENSE 5120 5120 1.00 3.13 0.04 8.59 2.75 18
24 DENSE 5120 5120 1.00 3.36 0.04 9.43 2.81 22
25 DENSE 5120 5120 1.00 4.13 0.02 5.58 1.35 8
26 DENSE 5120 5120 1.00 4.26 0.02 6.97 1.63 6
27 DENSE 13824 5120 2.70 2.53 0.01 6.10 2.41 0
28 DENSE 13824 5120 2.70 4.87 0.02 10.60 2.17 0
29 DENSE 13824 5120 2.70 3.79 0.08 6.17 1.63 0
33 DENSE 5120 5120 1.00 2.60 0.05 6.82 2.62 11
34 DENSE 5120 5120 1.00 3.02 0.04 8.41 2.79 12
35 DENSE 5120 5120 1.00 5.17 0.02 6.01 1.16 5
36 DENSE 5120 5120 1.00 4.49 0.02 8.50 1.89 5
37 DENSE 13824 5120 2.70 2.91 0.01 7.13 2.45 0
38 DENSE 13824 5120 2.70 4.54 0.01 8.35 1.84 0
39 DENSE 13824 5120 2.70 11.67 0.07 20.16 1.73 0
43 DENSE 5120 5120 1.00 3.81 0.04 9.52 2.50 5
44 DENSE 5120 5120 1.00 3.88 0.02 9.96 2.57 5
45 DENSE 5120 5120 1.00 3.94 0.03 4.91 1.25 4
46 DENSE 5120 5120 1.00 4.04 0.01 7.32 1.81 4
47 DENSE 13824 5120 2.70 3.48 0.01 8.19 2.35 0
48 DENSE 13824 5120 2.70 5.14 0.04 9.49 1.85 0
49 DENSE 13824 5120 2.70 9.49 0.05 14.64 1.54 0
53 DENSE 5120 5120 1.00 2.40 0.03 5.93 2.47 3
54 DENSE 5120 5120 1.00 3.85 0.03 9.60 2.49 5
55 DENSE 5120 5120 1.00 5.47 0.05 6.94 1.27 3
56 DENSE 5120 5120 1.00 4.13 0.03 7.44 1.80 4
57 DENSE 13824 5120 2.70 3.32 0.01 7.98 2.41 0
58 DENSE 13824 5120 2.70 6.46 0.04 11.73 1.82 0
59 DENSE 13824 5120 2.70 9.02 0.05 14.14 1.57 0
63 DENSE 5120 5120 1.00 4.71 0.03 11.19 2.37 5
64 DENSE 5120 5120 1.00 4.21 0.03 10.29 2.44 5
65 DENSE 5120 5120 1.00 3.63 0.04 4.83 1.33 4
66 DENSE 5120 5120 1.00 3.46 0.04 6.25 1.81 5
67 DENSE 13824 5120 2.70 3.39 0.02 8.20 2.42 0
68 DENSE 13824 5120 2.70 5.28 0.04 9.84 1.86 0
69 DENSE 13824 5120 2.70 6.10 0.03 9.91 1.63 0
73 DENSE 5120 5120 1.00 4.91 0.03 11.57 2.36 4
74 DENSE 5120 5120 1.00 3.66 0.04 9.03 2.47 5
75 DENSE 5120 5120 1.00 4.22 0.04 5.63 1.33 3
76 DENSE 5120 5120 1.00 5.03 0.02 8.57 1.71 4
77 DENSE 13824 5120 2.70 3.15 0.01 7.99 2.54 0
78 DENSE 13824 5120 2.70 4.34 0.03 7.85 1.81 0
79 DENSE 13824 5120 2.70 4.58 0.04 8.38 1.83 0
83 DENSE 5120 5120 1.00 2.65 0.04 6.28 2.37 4
84 DENSE 5120 5120 1.00 2.89 0.03 7.26 2.51 3
85 DENSE 5120 5120 1.00 3.19 0.05 4.41 1.38 4
86 DENSE 5120 5120 1.00 6.24 0.05 9.97 1.60 4
87 DENSE 13824 5120 2.70 3.23 0.01 8.12 2.52 0
88 DENSE 13824 5120 2.70 3.71 0.05 6.83 1.84 0
89 DENSE 13824 5120 2.70 4.75 0.04 7.97 1.68 0
93 DENSE 5120 5120 1.00 2.43 0.04 5.57 2.29 4
94 DENSE 5120 5120 1.00 3.86 0.03 9.43 2.44 3
95 DENSE 5120 5120 1.00 3.39 0.04 4.77 1.41 4
96 DENSE 5120 5120 1.00 3.47 0.05 5.57 1.60 4
97 DENSE 13824 5120 2.70 3.29 0.01 8.18 2.49 0
98 DENSE 13824 5120 2.70 3.59 0.04 6.53 1.82 0
99 DENSE 13824 5120 2.70 4.54 0.04 7.87 1.73 0
103 DENSE 5120 5120 1.00 3.10 0.04 7.29 2.35 3
104 DENSE 5120 5120 1.00 3.04 0.02 7.67 2.52 5
105 DENSE 5120 5120 1.00 3.49 0.05 4.78 1.37 3
106 DENSE 5120 5120 1.00 4.06 0.05 6.71 1.65 3
107 DENSE 13824 5120 2.70 3.36 0.01 8.40 2.50 0
108 DENSE 13824 5120 2.70 3.34 0.04 6.28 1.88 0
109 DENSE 13824 5120 2.70 4.70 0.03 8.15 1.73 0
113 DENSE 5120 5120 1.00 3.29 0.03 7.70 2.34 4
114 DENSE 5120 5120 1.00 3.07 0.02 7.68 2.50 4
115 DENSE 5120 5120 1.00 3.30 0.06 4.60 1.39 3
116 DENSE 5120 5120 1.00 5.32 0.04 8.58 1.61 4
117 DENSE 13824 5120 2.70 3.43 0.01 8.47 2.47 0
118 DENSE 13824 5120 2.70 3.45 0.03 6.74 1.95 0
119 DENSE 13824 5120 2.70 4.73 0.03 8.30 1.75 0
123 DENSE 5120 5120 1.00 2.82 0.04 6.65 2.36 5
124 DENSE 5120 5120 1.00 2.87 0.02 7.27 2.53 4
125 DENSE 5120 5120 1.00 3.39 0.05 4.72 1.39 3
126 DENSE 5120 5120 1.00 3.99 0.06 6.15 1.54 3
127 DENSE 13824 5120 2.70 3.48 0.02 8.58 2.46 0
128 DENSE 13824 5120 2.70 3.29 0.03 6.34 1.93 0
129 DENSE 13824 5120 2.70 4.75 0.03 8.39 1.77 0
133 DENSE 5120 5120 1.00 2.70 0.04 6.34 2.35 4
134 DENSE 5120 5120 1.00 2.83 0.03 7.11 2.51 4
135 DENSE 5120 5120 1.00 7.19 0.07 9.83 1.37 5
136 DENSE 5120 5120 1.00 7.61 0.06 11.11 1.46 5
137 DENSE 13824 5120 2.70 3.35 0.01 8.48 2.53 0
138 DENSE 13824 5120 2.70 3.79 0.03 6.95 1.83 0
139 DENSE 13824 5120 2.70 4.33 0.03 7.95 1.84 0
143 DENSE 5120 5120 1.00 2.95 0.04 6.89 2.33 3
144 DENSE 5120 5120 1.00 2.76 0.02 6.93 2.51 4
145 DENSE 5120 5120 1.00 3.15 0.08 4.10 1.30 4
146 DENSE 5120 5120 1.00 4.53 0.05 6.99 1.54 4
147 DENSE 13824 5120 2.70 3.45 0.01 8.94 2.59 0
148 DENSE 13824 5120 2.70 4.07 0.02 7.54 1.85 0
149 DENSE 13824 5120 2.70 4.40 0.04 8.28 1.88 0
153 DENSE 5120 5120 1.00 2.70 0.03 6.45 2.39 4
154 DENSE 5120 5120 1.00 2.76 0.02 7.04 2.55 3
155 DENSE 5120 5120 1.00 6.75 0.06 8.85 1.31 3
156 DENSE 5120 5120 1.00 4.14 0.03 6.95 1.68 4
157 DENSE 13824 5120 2.70 3.58 0.01 9.22 2.58 0
158 DENSE 13824 5120 2.70 4.28 0.03 7.52 1.76 0
159 DENSE 13824 5120 2.70 5.19 0.04 9.83 1.89 0
163 DENSE 5120 5120 1.00 2.69 0.03 6.34 2.35 3
164 DENSE 5120 5120 1.00 2.78 0.01 6.93 2.50 4
165 DENSE 5120 5120 1.00 11.36 0.04 13.36 1.18 3
166 DENSE 5120 5120 1.00 6.99 0.03 11.60 1.66 4
167 DENSE 13824 5120 2.70 3.67 0.01 9.44 2.58 0
168 DENSE 13824 5120 2.70 4.09 0.02 7.50 1.83 0
169 DENSE 13824 5120 2.70 4.94 0.03 9.44 1.91 0
173 DENSE 5120 5120 1.00 3.18 0.03 7.59 2.39 4
174 DENSE 5120 5120 1.00 3.07 0.01 7.72 2.51 4
175 DENSE 5120 5120 1.00 9.25 0.02 12.26 1.33 3
176 DENSE 5120 5120 1.00 6.58 0.02 10.11 1.54 3
177 DENSE 13824 5120 2.70 3.76 0.02 9.46 2.52 0
178 DENSE 13824 5120 2.70 3.86 0.01 6.96 1.80 0
179 DENSE 13824 5120 2.70 5.82 0.03 10.92 1.88 0
183 DENSE 5120 5120 1.00 2.95 0.03 7.13 2.41 4
184 DENSE 5120 5120 1.00 2.94 0.01 7.53 2.56 3
185 DENSE 5120 5120 1.00 6.87 0.03 9.44 1.37 3
186 DENSE 5120 5120 1.00 5.54 0.02 9.97 1.80 3
187 DENSE 13824 5120 2.70 3.83 0.01 9.63 2.51 0
188 DENSE 13824 5120 2.70 4.02 0.01 7.22 1.79 0
189 DENSE 13824 5120 2.70 5.33 0.03 9.94 1.86 0
193 DENSE 5120 5120 1.00 2.84 0.03 6.83 2.40 3
194 DENSE 5120 5120 1.00 3.08 0.01 7.75 2.51 3
195 DENSE 5120 5120 1.00 8.93 0.03 11.13 1.25 3
196 DENSE 5120 5120 1.00 5.75 0.02 9.30 1.62 3
197 DENSE 13824 5120 2.70 3.82 0.01 9.61 2.51 0
198 DENSE 13824 5120 2.70 4.26 0.01 7.81 1.83 0
199 DENSE 13824 5120 2.70 5.32 0.02 9.77 1.83 0
203 DENSE 5120 5120 1.00 2.92 0.03 6.97 2.39 4
204 DENSE 5120 5120 1.00 3.00 0.01 7.46 2.49 4
205 DENSE 5120 5120 1.00 8.77 0.02 11.58 1.32 4
206 DENSE 5120 5120 1.00 6.12 0.02 10.23 1.67 3
207 DENSE 13824 5120 2.70 3.85 0.01 9.74 2.53 0
208 DENSE 13824 5120 2.70 4.50 0.01 8.22 1.83 0
209 DENSE 13824 5120 2.70 5.69 0.02 10.38 1.82 0
213 DENSE 5120 5120 1.00 3.07 0.03 7.42 2.41 4
214 DENSE 5120 5120 1.00 3.13 0.01 7.84 2.50 5
215 DENSE 5120 5120 1.00 11.39 0.07 15.06 1.32 3
216 DENSE 5120 5120 1.00 6.21 0.02 10.53 1.70 5
217 DENSE 13824 5120 2.70 3.83 0.01 9.64 2.52 0
218 DENSE 13824 5120 2.70 5.01 0.02 9.15 1.83 0
219 DENSE 13824 5120 2.70 5.59 0.01 10.00 1.79 0
223 DENSE 5120 5120 1.00 2.89 0.02 6.98 2.41 3
224 DENSE 5120 5120 1.00 2.96 0.02 7.42 2.51 4
225 DENSE 5120 5120 1.00 9.16 0.02 11.72 1.28 3
226 DENSE 5120 5120 1.00 7.02 0.02 10.19 1.45 2
227 DENSE 13824 5120 2.70 3.92 0.01 9.79 2.50 0
228 DENSE 13824 5120 2.70 5.55 0.02 10.23 1.84 0
229 DENSE 13824 5120 2.70 6.08 0.02 10.87 1.79 0
233 DENSE 5120 5120 1.00 3.11 0.02 7.60 2.44 5
234 DENSE 5120 5120 1.00 3.23 0.01 8.16 2.53 7
235 DENSE 5120 5120 1.00 8.19 0.03 11.03 1.35 3
236 DENSE 5120 5120 1.00 6.10 0.04 10.79 1.77 3
237 DENSE 13824 5120 2.70 3.80 0.01 9.51 2.50 0
238 DENSE 13824 5120 2.70 6.46 0.03 11.66 1.81 0
239 DENSE 13824 5120 2.70 5.96 0.01 10.73 1.80 0
243 DENSE 5120 5120 1.00 3.18 0.01 7.75 2.43 5
244 DENSE 5120 5120 1.00 3.29 0.01 8.16 2.48 4
245 DENSE 5120 5120 1.00 11.41 0.03 14.59 1.28 3
246 DENSE 5120 5120 1.00 8.34 0.02 12.37 1.48 2
247 DENSE 13824 5120 2.70 3.77 0.02 9.50 2.52 0
248 DENSE 13824 5120 2.70 7.74 0.03 12.98 1.68 0
249 DENSE 13824 5120 2.70 6.17 0.02 10.85 1.76 0
253 DENSE 5120 5120 1.00 3.19 0.02 7.75 2.43 5
254 DENSE 5120 5120 1.00 3.28 0.01 8.16 2.49 5
255 DENSE 5120 5120 1.00 8.90 0.04 11.50 1.29 3
256 DENSE 5120 5120 1.00 7.86 0.04 13.95 1.77 2
257 DENSE 13824 5120 2.70 3.74 0.02 9.36 2.50 0
258 DENSE 13824 5120 2.70 8.28 0.04 13.66 1.65 0
259 DENSE 13824 5120 2.70 6.58 0.02 11.40 1.73 0
263 DENSE 5120 5120 1.00 3.18 0.01 7.88 2.47 4
264 DENSE 5120 5120 1.00 3.27 0.02 8.25 2.52 5
265 DENSE 5120 5120 1.00 10.03 0.03 13.05 1.30 4
266 DENSE 5120 5120 1.00 6.96 0.02 13.34 1.92 3
267 DENSE 13824 5120 2.70 3.75 0.03 9.33 2.49 0
268 DENSE 13824 5120 2.70 8.65 0.04 14.05 1.62 0
269 DENSE 13824 5120 2.70 7.52 0.02 12.47 1.66 0
273 DENSE 5120 5120 1.00 3.46 0.01 8.44 2.44 4
274 DENSE 5120 5120 1.00 3.50 0.02 8.70 2.49 5
275 DENSE 5120 5120 1.00 10.41 0.06 13.29 1.28 3
276 DENSE 5120 5120 1.00 8.33 0.04 14.08 1.69 3
277 DENSE 13824 5120 2.70 3.81 0.03 9.38 2.46 0
278 DENSE 13824 5120 2.70 8.55 0.03 14.17 1.66 0
279 DENSE 13824 5120 2.70 7.98 0.03 13.13 1.65 0
283 DENSE 5120 5120 1.00 3.06 0.01 7.50 2.45 5
284 DENSE 5120 5120 1.00 3.25 0.02 8.14 2.51 5
285 DENSE 5120 5120 1.00 7.39 0.07 10.25 1.39 2
286 DENSE 5120 5120 1.00 8.23 0.05 13.63 1.66 2
287 DENSE 13824 5120 2.70 3.95 0.03 9.67 2.45 0
288 DENSE 13824 5120 2.70 8.34 0.02 13.74 1.65 0
289 DENSE 13824 5120 2.70 7.92 0.03 12.97 1.64 0
293 DENSE 5120 5120 1.00 3.52 0.01 8.66 2.46 4
294 DENSE 5120 5120 1.00 3.61 0.01 9.10 2.52 5
295 DENSE 5120 5120 1.00 8.35 0.02 11.05 1.32 2
296 DENSE 5120 5120 1.00 6.81 0.03 14.04 2.06 3
297 DENSE 13824 5120 2.70 4.02 0.03 9.86 2.45 0
298 DENSE 13824 5120 2.70 7.42 0.02 11.77 1.59 0
299 DENSE 13824 5120 2.70 8.52 0.03 13.80 1.62 0
303 DENSE 5120 5120 1.00 3.58 0.01 8.88 2.48 5
304 DENSE 5120 5120 1.00 3.90 0.02 9.86 2.53 5
305 DENSE 5120 5120 1.00 8.55 0.02 11.13 1.30 3
306 DENSE 5120 5120 1.00 7.42 0.02 11.53 1.55 2
307 DENSE 13824 5120 2.70 4.18 0.03 10.18 2.43 0
308 DENSE 13824 5120 2.70 6.31 0.02 10.18 1.61 0
309 DENSE 13824 5120 2.70 9.22 0.02 15.25 1.65 0
313 DENSE 5120 5120 1.00 3.57 0.02 8.77 2.46 4
314 DENSE 5120 5120 1.00 3.57 0.01 9.00 2.52 5
315 DENSE 5120 5120 1.00 6.77 0.06 8.44 1.25 3
316 DENSE 5120 5120 1.00 10.25 0.05 17.14 1.67 3
317 DENSE 13824 5120 2.70 5.23 0.03 12.68 2.42 0
318 DENSE 13824 5120 2.70 5.51 0.02 9.19 1.67 0
319 DENSE 13824 5120 2.70 9.41 0.03 16.09 1.71 0
323 DENSE 5120 5120 1.00 3.51 0.02 8.68 2.47 3
324 DENSE 5120 5120 1.00 3.77 0.02 9.52 2.52 4
325 DENSE 5120 5120 1.00 6.99 0.03 9.78 1.40 3
326 DENSE 5120 5120 1.00 6.99 0.02 11.72 1.68 3
327 DENSE 13824 5120 2.70 5.53 0.03 13.35 2.41 0
328 DENSE 13824 5120 2.70 5.04 0.02 8.36 1.66 0
329 DENSE 13824 5120 2.70 9.14 0.04 16.57 1.81 0
333 DENSE 5120 5120 1.00 3.58 0.02 8.81 2.46 4
334 DENSE 5120 5120 1.00 3.71 0.02 9.36 2.52 4
335 DENSE 5120 5120 1.00 7.51 0.02 10.89 1.45 1
336 DENSE 5120 5120 1.00 8.04 0.03 13.18 1.64 3
337 DENSE 13824 5120 2.70 5.74 0.03 13.74 2.40 0
338 DENSE 13824 5120 2.70 4.60 0.02 7.75 1.69 0
339 DENSE 13824 5120 2.70 9.88 0.04 18.19 1.84 0
343 DENSE 5120 5120 1.00 3.56 0.02 8.68 2.44 4
344 DENSE 5120 5120 1.00 3.73 0.02 9.31 2.49 4
345 DENSE 5120 5120 1.00 5.75 0.04 7.21 1.25 2
346 DENSE 5120 5120 1.00 10.13 0.05 16.54 1.63 2
347 DENSE 13824 5120 2.70 5.61 0.03 13.40 2.39 0
348 DENSE 13824 5120 2.70 4.34 0.02 7.46 1.72 0
349 DENSE 13824 5120 2.70 8.97 0.04 17.07 1.90 0
353 DENSE 5120 5120 1.00 3.31 0.01 8.09 2.44 4
354 DENSE 5120 5120 1.00 3.54 0.01 8.96 2.53 3
355 DENSE 5120 5120 1.00 5.87 0.01 8.72 1.48 2
356 DENSE 5120 5120 1.00 5.60 0.04 9.55 1.71 3
357 DENSE 13824 5120 2.70 5.57 0.02 13.05 2.34 0
358 DENSE 13824 5120 2.70 4.73 0.02 8.85 1.87 0
359 DENSE 13824 5120 2.70 8.44 0.05 16.99 2.01 0
363 DENSE 5120 5120 1.00 3.08 0.01 7.54 2.45 5
364 DENSE 5120 5120 1.00 3.40 0.01 8.66 2.55 6
365 DENSE 5120 5120 1.00 6.53 0.03 9.75 1.49 2
366 DENSE 5120 5120 1.00 6.66 0.03 11.93 1.79 2
367 DENSE 13824 5120 2.70 5.44 0.02 12.47 2.29 0
368 DENSE 13824 5120 2.70 4.83 0.02 10.63 2.20 0
369 DENSE 13824 5120 2.70 7.51 0.04 15.47 2.06 0
373 DENSE 5120 5120 1.00 3.12 0.02 7.56 2.42 4
374 DENSE 5120 5120 1.00 3.30 0.02 8.35 2.53 4
375 DENSE 5120 5120 1.00 7.81 0.04 12.52 1.60 2
376 DENSE 5120 5120 1.00 7.24 0.03 11.98 1.65 2
377 DENSE 13824 5120 2.70 5.24 0.02 12.03 2.30 0
378 DENSE 13824 5120 2.70 4.80 0.02 10.92 2.27 0
379 DENSE 13824 5120 2.70 6.70 0.04 14.65 2.19 0
383 DENSE 5120 5120 1.00 2.95 0.01 7.13 2.42 6
384 DENSE 5120 5120 1.00 3.25 0.01 8.27 2.54 6
385 DENSE 5120 5120 1.00 5.27 0.02 8.14 1.54 3
386 DENSE 5120 5120 1.00 4.64 0.01 8.66 1.87 2
387 DENSE 13824 5120 2.70 4.77 0.03 11.23 2.36 0
388 DENSE 13824 5120 2.70 5.11 0.02 13.79 2.70 0
389 DENSE 13824 5120 2.70 5.60 0.04 13.01 2.32 0
393 DENSE 5120 5120 1.00 2.73 0.01 6.54 2.39 5
394 DENSE 5120 5120 1.00 3.02 0.01 7.61 2.52 6
395 DENSE 5120 5120 1.00 5.64 0.03 9.91 1.76 2
396 DENSE 5120 5120 1.00 4.41 0.04 13.37 3.03 2
397 DENSE 13824 5120 2.70 3.39 0.02 8.22 2.42 0
398 DENSE 13824 5120 2.70 4.94 0.03 9.21 1.86 0
399 DENSE 13824 5120 2.70 3.34 0.02 8.39 2.51 0
403 DENSE 5120 5120 1.00 2.62 0.01 6.58 2.51 12
404 DENSE 5120 5120 1.00 2.75 0.01 7.32 2.66 14
405 DENSE 5120 5120 1.00 6.73 0.03 11.41 1.70 4
406 DENSE 5120 5120 1.00 4.34 0.05 9.27 2.14 3
407 DENSE 13824 5120 2.70 2.90 0.03 7.75 2.67 0
408 DENSE 13824 5120 2.70 3.01 0.03 7.13 2.37 0
409 DENSE 13824 5120 2.70 2.88 0.03 8.02 2.78 0
412 DENSE 32000 5120 6.25 3.08 0.03 9.05 2.94 0
413 DENSE 32000 5120 6.25 4.98 0.02 17.47 3.50 0