falcon-40b


Find this model in the Falcon model summary

Model source: https://huggingface.co/tiiuae/falcon-40b

falcon-40b Model Summary Plots

falcon-40b Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
4 DENSE 9216 8192 1.12 2.44 0.02 6.88 2.81 0
5 DENSE 8192 8192 1.00 2.86 0.02 7.21 2.52 15
6 DENSE 32768 8192 4.00 2.80 0.02 10.81 3.86 0
7 DENSE 32768 8192 4.00 3.92 0.04 11.69 2.98 0
10 DENSE 9216 8192 1.12 3.35 0.03 8.20 2.45 0
11 DENSE 8192 8192 1.00 3.95 0.02 7.51 1.90 6
12 DENSE 32768 8192 4.00 2.89 0.02 9.23 3.19 0
13 DENSE 32768 8192 4.00 3.01 0.01 9.23 3.07 0
16 DENSE 9216 8192 1.12 2.28 0.05 5.50 2.41 0
17 DENSE 8192 8192 1.00 4.14 0.02 8.09 1.96 7
18 DENSE 32768 8192 4.00 2.56 0.01 8.46 3.30 0
19 DENSE 32768 8192 4.00 3.53 0.03 7.78 2.21 0
22 DENSE 9216 8192 1.12 3.53 0.03 7.84 2.22 0
23 DENSE 8192 8192 1.00 3.03 0.03 6.13 2.03 6
24 DENSE 32768 8192 4.00 3.06 0.01 9.19 3.01 0
25 DENSE 32768 8192 4.00 3.90 0.02 9.09 2.33 0
28 DENSE 9216 8192 1.12 2.55 0.05 5.56 2.18 0
29 DENSE 8192 8192 1.00 3.32 0.02 6.65 2.00 6
30 DENSE 32768 8192 4.00 3.44 0.01 10.74 3.12 0
31 DENSE 32768 8192 4.00 3.69 0.01 10.55 2.86 0
34 DENSE 9216 8192 1.12 2.74 0.04 5.98 2.18 0
35 DENSE 8192 8192 1.00 4.79 0.03 9.62 2.01 5
36 DENSE 32768 8192 4.00 3.47 0.01 10.45 3.02 0
37 DENSE 32768 8192 4.00 3.85 0.01 9.80 2.54 0
40 DENSE 9216 8192 1.12 3.59 0.03 7.63 2.13 0
41 DENSE 8192 8192 1.00 3.92 0.03 7.58 1.93 7
43 DENSE 32768 8192 4.00 3.29 0.01 9.91 3.01 0
44 DENSE 32768 8192 4.00 3.72 0.01 8.86 2.38 0
47 DENSE 9216 8192 1.12 2.50 0.04 5.01 2.00 0
48 DENSE 8192 8192 1.00 5.10 0.03 9.27 1.82 7
49 DENSE 32768 8192 4.00 3.32 0.01 10.17 3.07 0
50 DENSE 32768 8192 4.00 3.27 0.01 7.72 2.36 0
53 DENSE 9216 8192 1.12 4.06 0.03 8.49 2.09 0
54 DENSE 8192 8192 1.00 3.88 0.04 7.59 1.96 6
55 DENSE 32768 8192 4.00 3.41 0.01 10.38 3.04 0
56 DENSE 32768 8192 4.00 4.94 0.02 11.18 2.26 0
59 DENSE 9216 8192 1.12 2.96 0.04 6.38 2.15 0
60 DENSE 8192 8192 1.00 3.99 0.04 7.21 1.81 6
61 DENSE 32768 8192 4.00 3.33 0.01 10.14 3.04 0
62 DENSE 32768 8192 4.00 3.28 0.02 7.38 2.25 0
65 DENSE 9216 8192 1.12 3.05 0.03 6.25 2.05 0
66 DENSE 8192 8192 1.00 4.73 0.04 8.30 1.75 5
67 DENSE 32768 8192 4.00 3.83 0.01 11.81 3.08 0
68 DENSE 32768 8192 4.00 3.59 0.02 7.81 2.17 0
71 DENSE 9216 8192 1.12 2.58 0.04 5.19 2.01 0
72 DENSE 8192 8192 1.00 4.03 0.05 6.86 1.70 6
73 DENSE 32768 8192 4.00 3.39 0.01 10.46 3.09 0
74 DENSE 32768 8192 4.00 3.10 0.03 6.84 2.21 0
77 DENSE 9216 8192 1.12 4.22 0.04 8.71 2.06 0
78 DENSE 8192 8192 1.00 3.52 0.04 6.46 1.84 7
79 DENSE 32768 8192 4.00 3.65 0.00 11.32 3.10 0
80 DENSE 32768 8192 4.00 3.27 0.02 6.91 2.12 0
83 DENSE 9216 8192 1.12 2.92 0.04 6.15 2.11 0
84 DENSE 8192 8192 1.00 4.96 0.04 8.37 1.69 5
86 DENSE 32768 8192 4.00 3.54 0.01 11.06 3.13 0
87 DENSE 32768 8192 4.00 3.33 0.03 7.00 2.10 0
90 DENSE 9216 8192 1.12 3.17 0.04 6.48 2.04 0
91 DENSE 8192 8192 1.00 3.04 0.05 5.01 1.65 6
92 DENSE 32768 8192 4.00 3.78 0.01 11.63 3.08 0
93 DENSE 32768 8192 4.00 3.57 0.03 7.30 2.05 0
96 DENSE 9216 8192 1.12 3.11 0.03 6.55 2.10 0
97 DENSE 8192 8192 1.00 4.04 0.04 6.49 1.61 5
98 DENSE 32768 8192 4.00 3.78 0.01 11.74 3.11 0
99 DENSE 32768 8192 4.00 3.43 0.02 7.10 2.07 0
102 DENSE 9216 8192 1.12 2.81 0.03 6.01 2.14 0
103 DENSE 8192 8192 1.00 2.93 0.06 4.76 1.62 6
104 DENSE 32768 8192 4.00 3.73 0.01 11.55 3.10 0
105 DENSE 32768 8192 4.00 3.69 0.02 7.71 2.09 0
108 DENSE 9216 8192 1.12 2.76 0.03 5.77 2.09 0
109 DENSE 8192 8192 1.00 2.88 0.03 4.89 1.70 6
110 DENSE 32768 8192 4.00 3.92 0.01 12.27 3.13 0
111 DENSE 32768 8192 4.00 3.42 0.01 7.21 2.11 0
114 DENSE 9216 8192 1.12 3.08 0.03 6.94 2.26 0
115 DENSE 8192 8192 1.00 4.10 0.03 6.94 1.69 6
116 DENSE 32768 8192 4.00 3.90 0.00 12.16 3.12 0
117 DENSE 32768 8192 4.00 3.80 0.02 7.63 2.01 0
120 DENSE 9216 8192 1.12 3.20 0.02 7.30 2.28 0
121 DENSE 8192 8192 1.00 3.39 0.04 5.25 1.55 5
122 DENSE 32768 8192 4.00 3.73 0.01 11.73 3.15 0
123 DENSE 32768 8192 4.00 3.74 0.01 7.61 2.04 0
126 DENSE 9216 8192 1.12 3.04 0.03 6.68 2.20 0
127 DENSE 8192 8192 1.00 5.94 0.04 9.10 1.53 6
129 DENSE 32768 8192 4.00 3.99 0.01 12.57 3.15 0
130 DENSE 32768 8192 4.00 4.37 0.01 8.70 1.99 0
133 DENSE 9216 8192 1.12 3.20 0.02 7.52 2.35 0
134 DENSE 8192 8192 1.00 3.64 0.02 5.69 1.56 5
135 DENSE 32768 8192 4.00 3.83 0.01 12.17 3.18 0
136 DENSE 32768 8192 4.00 3.99 0.01 8.35 2.10 0
139 DENSE 9216 8192 1.12 2.94 0.01 6.40 2.17 0
140 DENSE 8192 8192 1.00 3.41 0.03 5.61 1.65 5
141 DENSE 32768 8192 4.00 3.86 0.01 12.32 3.19 0
142 DENSE 32768 8192 4.00 4.10 0.01 8.42 2.05 0
145 DENSE 9216 8192 1.12 2.97 0.02 6.58 2.22 0
146 DENSE 8192 8192 1.00 3.52 0.03 5.39 1.53 4
147 DENSE 32768 8192 4.00 3.96 0.01 12.62 3.19 0
148 DENSE 32768 8192 4.00 5.08 0.02 9.77 1.92 0
151 DENSE 9216 8192 1.12 4.06 0.01 9.13 2.25 0
152 DENSE 8192 8192 1.00 4.85 0.02 6.91 1.42 4
153 DENSE 32768 8192 4.00 3.87 0.01 12.41 3.20 0
154 DENSE 32768 8192 4.00 4.85 0.02 9.80 2.02 0
157 DENSE 9216 8192 1.12 4.32 0.02 9.55 2.21 0
158 DENSE 8192 8192 1.00 5.16 0.02 6.86 1.33 5
159 DENSE 32768 8192 4.00 4.00 0.01 12.81 3.20 0
160 DENSE 32768 8192 4.00 4.51 0.01 9.02 2.00 0
163 DENSE 9216 8192 1.12 3.49 0.01 7.96 2.28 0
164 DENSE 8192 8192 1.00 4.32 0.02 6.13 1.42 4
165 DENSE 32768 8192 4.00 4.04 0.01 12.91 3.20 0
166 DENSE 32768 8192 4.00 4.83 0.01 9.39 1.95 0
169 DENSE 9216 8192 1.12 4.09 0.02 9.23 2.25 0
170 DENSE 8192 8192 1.00 10.77 0.06 12.60 1.17 4
172 DENSE 32768 8192 4.00 3.93 0.01 12.55 3.20 0
173 DENSE 32768 8192 4.00 4.64 0.01 9.34 2.02 0
176 DENSE 9216 8192 1.12 3.38 0.01 7.46 2.21 0
177 DENSE 8192 8192 1.00 13.79 0.05 17.62 1.28 4
178 DENSE 32768 8192 4.00 3.94 0.01 12.54 3.19 0
179 DENSE 32768 8192 4.00 4.61 0.01 9.19 2.00 0
182 DENSE 9216 8192 1.12 3.66 0.01 8.35 2.28 0
183 DENSE 8192 8192 1.00 3.98 0.03 5.91 1.48 4
184 DENSE 32768 8192 4.00 3.84 0.01 12.21 3.18 0
185 DENSE 32768 8192 4.00 5.92 0.01 11.12 1.88 0
188 DENSE 9216 8192 1.12 3.59 0.02 7.86 2.19 0
189 DENSE 8192 8192 1.00 5.24 0.02 7.33 1.40 5
190 DENSE 32768 8192 4.00 3.75 0.00 11.97 3.19 0
191 DENSE 32768 8192 4.00 5.26 0.01 9.96 1.89 0
194 DENSE 9216 8192 1.12 3.81 0.01 8.69 2.28 0
195 DENSE 8192 8192 1.00 4.84 0.02 8.23 1.70 5
196 DENSE 32768 8192 4.00 3.79 0.01 12.08 3.19 0
197 DENSE 32768 8192 4.00 5.27 0.01 10.14 1.92 0
200 DENSE 9216 8192 1.12 4.28 0.02 9.56 2.23 0
201 DENSE 8192 8192 1.00 6.93 0.02 9.28 1.34 3
202 DENSE 32768 8192 4.00 3.83 0.01 12.15 3.17 0
203 DENSE 32768 8192 4.00 4.93 0.01 9.75 1.98 0
206 DENSE 9216 8192 1.12 4.90 0.02 10.80 2.20 0
207 DENSE 8192 8192 1.00 6.48 0.03 9.89 1.53 3
208 DENSE 32768 8192 4.00 3.83 0.01 12.09 3.16 0
209 DENSE 32768 8192 4.00 4.72 0.01 9.59 2.03 0
212 DENSE 9216 8192 1.12 4.12 0.01 9.10 2.21 0
213 DENSE 8192 8192 1.00 4.60 0.01 7.12 1.55 4
215 DENSE 32768 8192 4.00 3.83 0.01 12.11 3.16 0
216 DENSE 32768 8192 4.00 4.53 0.01 9.33 2.06 0
219 DENSE 9216 8192 1.12 3.17 0.01 7.17 2.26 0
220 DENSE 8192 8192 1.00 4.56 0.01 6.85 1.50 5
221 DENSE 32768 8192 4.00 3.80 0.01 12.00 3.16 0
222 DENSE 32768 8192 4.00 4.59 0.01 9.63 2.10 0
225 DENSE 9216 8192 1.12 3.37 0.02 7.72 2.29 0
226 DENSE 8192 8192 1.00 3.55 0.01 5.84 1.64 4
227 DENSE 32768 8192 4.00 3.75 0.01 11.82 3.15 0
228 DENSE 32768 8192 4.00 4.74 0.01 9.96 2.10 0
231 DENSE 9216 8192 1.12 4.04 0.01 9.06 2.24 0
232 DENSE 8192 8192 1.00 5.67 0.02 8.30 1.46 3
233 DENSE 32768 8192 4.00 3.80 0.01 11.93 3.14 0
234 DENSE 32768 8192 4.00 4.45 0.01 9.20 2.07 0
237 DENSE 9216 8192 1.12 3.94 0.01 9.00 2.28 0
238 DENSE 8192 8192 1.00 3.72 0.01 5.95 1.60 5
239 DENSE 32768 8192 4.00 3.76 0.02 11.78 3.14 0
240 DENSE 32768 8192 4.00 4.86 0.01 10.02 2.06 0
243 DENSE 9216 8192 1.12 3.10 0.01 7.24 2.34 0
244 DENSE 8192 8192 1.00 4.31 0.03 7.68 1.78 5
245 DENSE 32768 8192 4.00 3.82 0.02 11.96 3.13 0
246 DENSE 32768 8192 4.00 4.58 0.01 9.48 2.07 0
249 DENSE 9216 8192 1.12 2.81 0.01 6.61 2.35 0
250 DENSE 8192 8192 1.00 4.60 0.02 8.78 1.91 5
251 DENSE 32768 8192 4.00 3.81 0.02 11.92 3.13 0
252 DENSE 32768 8192 4.00 4.91 0.01 9.84 2.01 0
255 DENSE 9216 8192 1.12 3.34 0.02 7.36 2.20 0
256 DENSE 8192 8192 1.00 4.91 0.02 8.87 1.81 5
258 DENSE 32768 8192 4.00 3.78 0.02 11.83 3.13 0
259 DENSE 32768 8192 4.00 4.80 0.01 9.92 2.06 0
262 DENSE 9216 8192 1.12 3.41 0.02 7.70 2.26 0
263 DENSE 8192 8192 1.00 4.56 0.03 7.39 1.62 4
264 DENSE 32768 8192 4.00 3.80 0.02 11.88 3.12 0
265 DENSE 32768 8192 4.00 4.64 0.02 9.39 2.02 0
268 DENSE 9216 8192 1.12 2.99 0.01 6.87 2.30 0
269 DENSE 8192 8192 1.00 7.09 0.03 11.18 1.58 5
270 DENSE 32768 8192 4.00 3.80 0.02 11.82 3.11 0
271 DENSE 32768 8192 4.00 4.63 0.02 9.34 2.02 0
274 DENSE 9216 8192 1.12 2.94 0.01 6.62 2.25 0
275 DENSE 8192 8192 1.00 4.54 0.02 7.43 1.63 4
276 DENSE 32768 8192 4.00 4.25 0.02 13.21 3.11 0
277 DENSE 32768 8192 4.00 4.76 0.02 10.01 2.10 0
280 DENSE 9216 8192 1.12 3.25 0.02 7.31 2.25 0
281 DENSE 8192 8192 1.00 6.71 0.03 11.14 1.66 4
282 DENSE 32768 8192 4.00 4.31 0.02 13.37 3.10 0
283 DENSE 32768 8192 4.00 4.65 0.02 9.58 2.06 0
286 DENSE 9216 8192 1.12 3.79 0.01 8.75 2.31 0
287 DENSE 8192 8192 1.00 3.51 0.02 6.74 1.92 5
288 DENSE 32768 8192 4.00 4.39 0.02 13.62 3.10 0
289 DENSE 32768 8192 4.00 4.85 0.01 9.58 1.98 0
292 DENSE 9216 8192 1.12 3.09 0.02 6.82 2.21 0
293 DENSE 8192 8192 1.00 2.72 0.03 5.18 1.90 5
294 DENSE 32768 8192 4.00 4.44 0.02 13.70 3.09 0
295 DENSE 32768 8192 4.00 4.76 0.01 9.64 2.02 0
298 DENSE 9216 8192 1.12 3.92 0.03 8.95 2.28 0
299 DENSE 8192 8192 1.00 3.39 0.03 6.18 1.82 4
301 DENSE 32768 8192 4.00 4.40 0.01 13.54 3.08 0
302 DENSE 32768 8192 4.00 4.66 0.01 9.16 1.97 0
305 DENSE 9216 8192 1.12 3.12 0.01 6.83 2.19 0
306 DENSE 8192 8192 1.00 3.17 0.02 5.43 1.71 4
307 DENSE 32768 8192 4.00 4.41 0.01 13.35 3.02 0
308 DENSE 32768 8192 4.00 4.52 0.01 9.12 2.02 0
311 DENSE 9216 8192 1.12 3.13 0.01 7.32 2.34 0
312 DENSE 8192 8192 1.00 4.31 0.01 8.10 1.88 5
313 DENSE 32768 8192 4.00 4.38 0.01 13.46 3.07 0
314 DENSE 32768 8192 4.00 4.58 0.01 9.41 2.06 0
317 DENSE 9216 8192 1.12 3.67 0.02 8.54 2.33 0
318 DENSE 8192 8192 1.00 3.35 0.03 7.88 2.35 5
319 DENSE 32768 8192 4.00 4.39 0.01 13.44 3.06 0
320 DENSE 32768 8192 4.00 5.07 0.01 11.32 2.23 0
323 DENSE 9216 8192 1.12 3.12 0.02 6.98 2.24 0
324 DENSE 8192 8192 1.00 3.96 0.03 7.29 1.84 5
325 DENSE 32768 8192 4.00 4.38 0.01 13.40 3.06 0
326 DENSE 32768 8192 4.00 4.96 0.02 11.54 2.32 0
329 DENSE 9216 8192 1.12 3.28 0.01 7.51 2.29 0
330 DENSE 8192 8192 1.00 3.62 0.01 7.26 2.01 5
331 DENSE 32768 8192 4.00 4.32 0.01 13.23 3.06 0
332 DENSE 32768 8192 4.00 4.98 0.01 11.77 2.36 0
335 DENSE 9216 8192 1.12 3.14 0.01 7.13 2.27 0
336 DENSE 8192 8192 1.00 4.32 0.01 9.93 2.30 4
337 DENSE 32768 8192 4.00 4.24 0.01 12.85 3.03 0
338 DENSE 32768 8192 4.00 5.34 0.01 14.05 2.63 0
341 DENSE 9216 8192 1.12 3.34 0.02 7.53 2.26 0
342 DENSE 8192 8192 1.00 4.21 0.03 8.69 2.07 6
344 DENSE 32768 8192 4.00 4.14 0.02 12.72 3.07 0
345 DENSE 32768 8192 4.00 4.75 0.02 13.61 2.87 0
348 DENSE 9216 8192 1.12 3.12 0.02 6.89 2.21 0
349 DENSE 8192 8192 1.00 3.16 0.02 6.42 2.03 5
350 DENSE 32768 8192 4.00 4.00 0.02 12.26 3.07 0
351 DENSE 32768 8192 4.00 4.64 0.02 13.84 2.98 0
354 DENSE 9216 8192 1.12 3.11 0.03 7.10 2.28 0
355 DENSE 8192 8192 1.00 2.45 0.02 5.10 2.08 6
356 DENSE 32768 8192 4.00 3.75 0.02 11.57 3.09 0
357 DENSE 32768 8192 4.00 4.41 0.02 12.78 2.90 0
360 DENSE 9216 8192 1.12 2.92 0.02 6.46 2.21 0
361 DENSE 8192 8192 1.00 3.46 0.02 6.78 1.96 8
362 DENSE 32768 8192 4.00 3.19 0.01 9.88 3.10 0
363 DENSE 32768 8192 4.00 4.06 0.03 15.19 3.74 0
366 DENSE 9216 8192 1.12 2.50 0.02 5.95 2.38 0
367 DENSE 8192 8192 1.00 3.34 0.03 7.30 2.19 32
368 DENSE 32768 8192 4.00 3.09 0.01 9.86 3.19 0
369 DENSE 32768 8192 4.00 4.01 0.02 11.86 2.96 0