falcon-40b-instruct


Find this model in the Falcon model summary

Model source: https://huggingface.co/tiiuae/falcon-40b-instruct

falcon-40b-instruct Model Summary Plots

falcon-40b-instruct Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
4 DENSE 9216 8192 1.12 2.44 0.02 6.88 2.81 0
5 DENSE 8192 8192 1.00 2.86 0.02 7.22 2.52 15
6 DENSE 32768 8192 4.00 2.80 0.02 10.82 3.86 0
7 DENSE 32768 8192 4.00 3.87 0.04 11.54 2.98 0
10 DENSE 9216 8192 1.12 3.34 0.03 8.19 2.45 0
11 DENSE 8192 8192 1.00 3.95 0.02 7.51 1.90 7
12 DENSE 32768 8192 4.00 2.89 0.02 9.24 3.19 0
13 DENSE 32768 8192 4.00 3.01 0.01 9.22 3.07 0
16 DENSE 9216 8192 1.12 2.28 0.05 5.50 2.41 0
17 DENSE 8192 8192 1.00 4.14 0.02 8.09 1.96 5
18 DENSE 32768 8192 4.00 2.56 0.01 8.45 3.30 0
19 DENSE 32768 8192 4.00 3.53 0.03 7.78 2.21 0
22 DENSE 9216 8192 1.12 3.56 0.03 7.90 2.22 0
23 DENSE 8192 8192 1.00 3.03 0.03 6.14 2.03 6
24 DENSE 32768 8192 4.00 3.06 0.01 9.19 3.01 0
25 DENSE 32768 8192 4.00 3.90 0.02 9.09 2.33 0
28 DENSE 9216 8192 1.12 2.55 0.05 5.57 2.18 0
29 DENSE 8192 8192 1.00 3.32 0.02 6.65 2.00 6
30 DENSE 32768 8192 4.00 3.44 0.01 10.73 3.12 0
31 DENSE 32768 8192 4.00 3.69 0.01 10.55 2.86 0
34 DENSE 9216 8192 1.12 2.77 0.04 6.04 2.18 0
35 DENSE 8192 8192 1.00 4.79 0.03 9.64 2.01 4
36 DENSE 32768 8192 4.00 3.47 0.01 10.46 3.02 0
37 DENSE 32768 8192 4.00 3.85 0.01 9.80 2.55 0
40 DENSE 9216 8192 1.12 3.59 0.03 7.64 2.13 0
41 DENSE 8192 8192 1.00 3.93 0.03 7.59 1.93 6
43 DENSE 32768 8192 4.00 3.29 0.01 9.91 3.01 0
44 DENSE 32768 8192 4.00 3.72 0.01 8.88 2.38 0
47 DENSE 9216 8192 1.12 2.49 0.04 5.00 2.00 0
48 DENSE 8192 8192 1.00 5.11 0.03 9.27 1.82 6
49 DENSE 32768 8192 4.00 3.32 0.01 10.17 3.07 0
50 DENSE 32768 8192 4.00 3.27 0.01 7.73 2.36 0
53 DENSE 9216 8192 1.12 4.06 0.03 8.49 2.09 0
54 DENSE 8192 8192 1.00 3.88 0.04 7.60 1.96 7
55 DENSE 32768 8192 4.00 3.41 0.01 10.38 3.04 0
56 DENSE 32768 8192 4.00 4.94 0.02 11.18 2.26 0
59 DENSE 9216 8192 1.12 2.97 0.04 6.39 2.15 0
60 DENSE 8192 8192 1.00 4.04 0.04 7.30 1.81 6
61 DENSE 32768 8192 4.00 3.33 0.01 10.14 3.04 0
62 DENSE 32768 8192 4.00 3.28 0.02 7.38 2.25 0
65 DENSE 9216 8192 1.12 3.05 0.03 6.25 2.05 0
66 DENSE 8192 8192 1.00 4.74 0.04 8.31 1.75 6
67 DENSE 32768 8192 4.00 3.83 0.01 11.81 3.08 0
68 DENSE 32768 8192 4.00 3.64 0.02 7.92 2.17 0
71 DENSE 9216 8192 1.12 2.58 0.04 5.19 2.01 0
72 DENSE 8192 8192 1.00 4.03 0.05 6.87 1.70 5
73 DENSE 32768 8192 4.00 3.40 0.01 10.50 3.09 0
74 DENSE 32768 8192 4.00 3.09 0.03 6.82 2.21 0
77 DENSE 9216 8192 1.12 4.22 0.04 8.70 2.06 0
78 DENSE 8192 8192 1.00 3.52 0.04 6.45 1.83 6
79 DENSE 32768 8192 4.00 3.65 0.00 11.31 3.10 0
80 DENSE 32768 8192 4.00 3.32 0.02 7.02 2.12 0
83 DENSE 9216 8192 1.12 2.92 0.04 6.16 2.11 0
84 DENSE 8192 8192 1.00 4.69 0.04 7.90 1.69 5
86 DENSE 32768 8192 4.00 3.54 0.01 11.06 3.13 0
87 DENSE 32768 8192 4.00 3.33 0.03 7.01 2.10 0
90 DENSE 9216 8192 1.12 3.16 0.04 6.45 2.04 0
91 DENSE 8192 8192 1.00 3.04 0.05 5.01 1.65 6
92 DENSE 32768 8192 4.00 3.78 0.01 11.63 3.08 0
93 DENSE 32768 8192 4.00 3.57 0.03 7.30 2.05 0
96 DENSE 9216 8192 1.12 3.11 0.03 6.55 2.10 0
97 DENSE 8192 8192 1.00 4.04 0.04 6.49 1.61 6
98 DENSE 32768 8192 4.00 3.78 0.01 11.74 3.11 0
99 DENSE 32768 8192 4.00 3.43 0.02 7.09 2.07 0
102 DENSE 9216 8192 1.12 2.82 0.03 6.02 2.14 0
103 DENSE 8192 8192 1.00 2.93 0.06 4.75 1.62 5
104 DENSE 32768 8192 4.00 3.73 0.01 11.55 3.10 0
105 DENSE 32768 8192 4.00 3.69 0.02 7.72 2.09 0
108 DENSE 9216 8192 1.12 2.75 0.03 5.76 2.09 0
109 DENSE 8192 8192 1.00 2.88 0.03 4.89 1.70 5
110 DENSE 32768 8192 4.00 3.92 0.01 12.27 3.13 0
111 DENSE 32768 8192 4.00 3.42 0.01 7.21 2.11 0
114 DENSE 9216 8192 1.12 3.07 0.03 6.94 2.26 0
115 DENSE 8192 8192 1.00 4.09 0.03 6.93 1.69 6
116 DENSE 32768 8192 4.00 3.89 0.00 12.16 3.12 0
117 DENSE 32768 8192 4.00 3.80 0.02 7.63 2.01 0
120 DENSE 9216 8192 1.12 3.16 0.02 7.20 2.28 0
121 DENSE 8192 8192 1.00 3.39 0.04 5.25 1.55 5
122 DENSE 32768 8192 4.00 3.79 0.01 11.93 3.15 0
123 DENSE 32768 8192 4.00 3.74 0.01 7.61 2.04 0
126 DENSE 9216 8192 1.12 3.04 0.03 6.68 2.20 0
127 DENSE 8192 8192 1.00 5.94 0.04 9.10 1.53 7
129 DENSE 32768 8192 4.00 3.98 0.01 12.56 3.16 0
130 DENSE 32768 8192 4.00 4.39 0.01 8.74 1.99 0
133 DENSE 9216 8192 1.12 3.17 0.02 7.46 2.35 0
134 DENSE 8192 8192 1.00 3.64 0.02 5.69 1.56 4
135 DENSE 32768 8192 4.00 3.83 0.01 12.17 3.18 0
136 DENSE 32768 8192 4.00 3.99 0.01 8.36 2.10 0
139 DENSE 9216 8192 1.12 2.94 0.01 6.39 2.17 0
140 DENSE 8192 8192 1.00 3.41 0.03 5.61 1.65 6
141 DENSE 32768 8192 4.00 3.86 0.01 12.32 3.19 0
142 DENSE 32768 8192 4.00 4.10 0.01 8.42 2.05 0
145 DENSE 9216 8192 1.12 2.96 0.01 6.57 2.22 0
146 DENSE 8192 8192 1.00 3.51 0.03 5.39 1.53 5
147 DENSE 32768 8192 4.00 3.96 0.01 12.61 3.19 0
148 DENSE 32768 8192 4.00 5.08 0.02 9.77 1.92 0
151 DENSE 9216 8192 1.12 4.06 0.01 9.13 2.25 0
152 DENSE 8192 8192 1.00 4.83 0.02 6.88 1.42 4
153 DENSE 32768 8192 4.00 3.88 0.00 12.43 3.20 0
154 DENSE 32768 8192 4.00 4.85 0.02 9.80 2.02 0
157 DENSE 9216 8192 1.12 4.33 0.02 9.56 2.21 0
158 DENSE 8192 8192 1.00 5.15 0.02 6.84 1.33 5
159 DENSE 32768 8192 4.00 3.99 0.01 12.78 3.20 0
160 DENSE 32768 8192 4.00 4.51 0.01 9.02 2.00 0
163 DENSE 9216 8192 1.12 3.49 0.01 7.96 2.28 0
164 DENSE 8192 8192 1.00 4.32 0.02 6.13 1.42 5
165 DENSE 32768 8192 4.00 4.04 0.01 12.91 3.20 0
166 DENSE 32768 8192 4.00 4.82 0.01 9.38 1.95 0
169 DENSE 9216 8192 1.12 4.09 0.02 9.21 2.25 0
170 DENSE 8192 8192 1.00 10.81 0.06 12.63 1.17 4
172 DENSE 32768 8192 4.00 3.93 0.01 12.55 3.20 0
173 DENSE 32768 8192 4.00 4.64 0.01 9.35 2.02 0
176 DENSE 9216 8192 1.12 3.38 0.01 7.46 2.21 0
177 DENSE 8192 8192 1.00 13.69 0.05 17.50 1.28 4
178 DENSE 32768 8192 4.00 3.94 0.01 12.55 3.19 0
179 DENSE 32768 8192 4.00 4.60 0.01 9.19 2.00 0
182 DENSE 9216 8192 1.12 3.66 0.01 8.35 2.28 0
183 DENSE 8192 8192 1.00 3.97 0.03 5.88 1.48 5
184 DENSE 32768 8192 4.00 3.84 0.01 12.21 3.18 0
185 DENSE 32768 8192 4.00 5.92 0.01 11.12 1.88 0
188 DENSE 9216 8192 1.12 3.59 0.02 7.86 2.19 0
189 DENSE 8192 8192 1.00 5.24 0.02 7.33 1.40 4
190 DENSE 32768 8192 4.00 3.76 0.00 11.98 3.19 0
191 DENSE 32768 8192 4.00 5.25 0.01 9.96 1.90 0
194 DENSE 9216 8192 1.12 3.81 0.01 8.68 2.28 0
195 DENSE 8192 8192 1.00 4.86 0.02 8.25 1.70 5
196 DENSE 32768 8192 4.00 3.79 0.01 12.07 3.19 0
197 DENSE 32768 8192 4.00 5.26 0.01 10.13 1.92 0
200 DENSE 9216 8192 1.12 4.28 0.02 9.58 2.24 0
201 DENSE 8192 8192 1.00 6.86 0.02 9.18 1.34 5
202 DENSE 32768 8192 4.00 3.83 0.01 12.15 3.17 0
203 DENSE 32768 8192 4.00 4.93 0.01 9.75 1.98 0
206 DENSE 9216 8192 1.12 4.89 0.02 10.79 2.20 0
207 DENSE 8192 8192 1.00 6.48 0.03 9.89 1.53 4
208 DENSE 32768 8192 4.00 3.83 0.01 12.10 3.16 0
209 DENSE 32768 8192 4.00 4.72 0.01 9.59 2.03 0
212 DENSE 9216 8192 1.12 4.13 0.01 9.11 2.21 0
213 DENSE 8192 8192 1.00 4.60 0.01 7.12 1.55 4
215 DENSE 32768 8192 4.00 3.83 0.01 12.11 3.16 0
216 DENSE 32768 8192 4.00 4.53 0.01 9.33 2.06 0
219 DENSE 9216 8192 1.12 3.17 0.01 7.17 2.26 0
220 DENSE 8192 8192 1.00 4.56 0.01 6.85 1.50 4
221 DENSE 32768 8192 4.00 3.80 0.01 12.00 3.16 0
222 DENSE 32768 8192 4.00 4.59 0.01 9.64 2.10 0
225 DENSE 9216 8192 1.12 3.36 0.03 7.71 2.29 0
226 DENSE 8192 8192 1.00 3.55 0.01 5.83 1.64 4
227 DENSE 32768 8192 4.00 3.75 0.01 11.82 3.15 0
228 DENSE 32768 8192 4.00 4.75 0.01 9.97 2.10 0
231 DENSE 9216 8192 1.12 4.04 0.01 9.07 2.24 0
232 DENSE 8192 8192 1.00 5.68 0.02 8.30 1.46 3
233 DENSE 32768 8192 4.00 3.80 0.01 11.93 3.14 0
234 DENSE 32768 8192 4.00 4.45 0.01 9.20 2.07 0
237 DENSE 9216 8192 1.12 3.96 0.01 9.03 2.28 0
238 DENSE 8192 8192 1.00 3.73 0.01 5.95 1.60 6
239 DENSE 32768 8192 4.00 3.76 0.02 11.78 3.14 0
240 DENSE 32768 8192 4.00 4.86 0.01 10.03 2.06 0
243 DENSE 9216 8192 1.12 3.10 0.01 7.24 2.34 0
244 DENSE 8192 8192 1.00 4.31 0.03 7.68 1.78 4
245 DENSE 32768 8192 4.00 3.82 0.02 11.95 3.13 0
246 DENSE 32768 8192 4.00 4.58 0.01 9.48 2.07 0
249 DENSE 9216 8192 1.12 2.81 0.01 6.61 2.35 0
250 DENSE 8192 8192 1.00 4.60 0.02 8.78 1.91 4
251 DENSE 32768 8192 4.00 3.81 0.02 11.92 3.13 0
252 DENSE 32768 8192 4.00 4.90 0.01 9.84 2.01 0
255 DENSE 9216 8192 1.12 3.35 0.02 7.37 2.20 0
256 DENSE 8192 8192 1.00 4.92 0.02 8.89 1.81 6
258 DENSE 32768 8192 4.00 3.82 0.02 11.95 3.13 0
259 DENSE 32768 8192 4.00 4.80 0.01 9.91 2.06 0
262 DENSE 9216 8192 1.12 3.39 0.02 7.65 2.26 0
263 DENSE 8192 8192 1.00 4.56 0.03 7.39 1.62 4
264 DENSE 32768 8192 4.00 3.80 0.02 11.88 3.12 0
265 DENSE 32768 8192 4.00 4.64 0.02 9.38 2.02 0
268 DENSE 9216 8192 1.12 2.99 0.01 6.87 2.30 0
269 DENSE 8192 8192 1.00 7.09 0.03 11.19 1.58 5
270 DENSE 32768 8192 4.00 3.80 0.02 11.84 3.11 0
271 DENSE 32768 8192 4.00 4.61 0.02 9.30 2.02 0
274 DENSE 9216 8192 1.12 2.94 0.01 6.62 2.25 0
275 DENSE 8192 8192 1.00 4.56 0.02 7.46 1.63 5
276 DENSE 32768 8192 4.00 4.23 0.02 13.14 3.11 0
277 DENSE 32768 8192 4.00 4.76 0.02 10.01 2.10 0
280 DENSE 9216 8192 1.12 3.25 0.02 7.31 2.25 0
281 DENSE 8192 8192 1.00 6.70 0.04 11.13 1.66 4
282 DENSE 32768 8192 4.00 4.31 0.02 13.37 3.10 0
283 DENSE 32768 8192 4.00 4.66 0.02 9.58 2.06 0
286 DENSE 9216 8192 1.12 3.79 0.01 8.75 2.31 0
287 DENSE 8192 8192 1.00 3.52 0.02 6.75 1.92 5
288 DENSE 32768 8192 4.00 4.39 0.02 13.62 3.10 0
289 DENSE 32768 8192 4.00 4.85 0.01 9.57 1.98 0
292 DENSE 9216 8192 1.12 3.09 0.02 6.83 2.21 0
293 DENSE 8192 8192 1.00 2.73 0.03 5.18 1.90 4
294 DENSE 32768 8192 4.00 4.44 0.02 13.70 3.09 0
295 DENSE 32768 8192 4.00 4.76 0.01 9.63 2.02 0
298 DENSE 9216 8192 1.12 3.34 0.03 7.62 2.28 0
299 DENSE 8192 8192 1.00 3.39 0.03 6.18 1.82 5
301 DENSE 32768 8192 4.00 4.40 0.01 13.53 3.08 0
302 DENSE 32768 8192 4.00 4.66 0.01 9.15 1.97 0
305 DENSE 9216 8192 1.12 3.12 0.01 6.83 2.19 0
306 DENSE 8192 8192 1.00 3.17 0.02 5.43 1.71 4
307 DENSE 32768 8192 4.00 4.41 0.01 13.34 3.02 0
308 DENSE 32768 8192 4.00 4.52 0.01 9.12 2.02 0
311 DENSE 9216 8192 1.12 3.13 0.01 7.33 2.34 0
312 DENSE 8192 8192 1.00 4.31 0.01 8.10 1.88 6
313 DENSE 32768 8192 4.00 4.40 0.01 13.50 3.07 0
314 DENSE 32768 8192 4.00 4.58 0.01 9.42 2.06 0
317 DENSE 9216 8192 1.12 3.67 0.02 8.55 2.33 0
318 DENSE 8192 8192 1.00 3.35 0.03 7.88 2.35 5
319 DENSE 32768 8192 4.00 4.40 0.01 13.46 3.06 0
320 DENSE 32768 8192 4.00 5.08 0.01 11.35 2.23 0
323 DENSE 9216 8192 1.12 3.12 0.02 6.98 2.24 0
324 DENSE 8192 8192 1.00 3.97 0.03 7.30 1.84 6
325 DENSE 32768 8192 4.00 4.38 0.01 13.41 3.06 0
326 DENSE 32768 8192 4.00 5.01 0.02 11.65 2.33 0
329 DENSE 9216 8192 1.12 3.29 0.01 7.51 2.29 0
330 DENSE 8192 8192 1.00 3.62 0.01 7.26 2.01 5
331 DENSE 32768 8192 4.00 4.32 0.01 13.23 3.06 0
332 DENSE 32768 8192 4.00 4.97 0.01 11.75 2.36 0
335 DENSE 9216 8192 1.12 3.14 0.01 7.14 2.27 0
336 DENSE 8192 8192 1.00 4.32 0.02 9.92 2.30 6
337 DENSE 32768 8192 4.00 4.24 0.01 12.86 3.03 0
338 DENSE 32768 8192 4.00 5.34 0.01 14.05 2.63 0
341 DENSE 9216 8192 1.12 3.33 0.02 7.52 2.26 0
342 DENSE 8192 8192 1.00 4.20 0.03 8.68 2.07 6
344 DENSE 32768 8192 4.00 4.13 0.02 12.69 3.08 0
345 DENSE 32768 8192 4.00 4.75 0.02 13.62 2.87 0
348 DENSE 9216 8192 1.12 3.12 0.02 6.90 2.21 0
349 DENSE 8192 8192 1.00 3.16 0.02 6.41 2.03 6
350 DENSE 32768 8192 4.00 4.00 0.02 12.25 3.07 0
351 DENSE 32768 8192 4.00 4.64 0.02 13.84 2.98 0
354 DENSE 9216 8192 1.12 3.11 0.03 7.10 2.28 0
355 DENSE 8192 8192 1.00 2.45 0.02 5.10 2.08 7
356 DENSE 32768 8192 4.00 3.74 0.02 11.57 3.09 0
357 DENSE 32768 8192 4.00 4.41 0.02 12.77 2.90 0
360 DENSE 9216 8192 1.12 2.92 0.02 6.46 2.21 0
361 DENSE 8192 8192 1.00 3.46 0.03 6.78 1.96 7
362 DENSE 32768 8192 4.00 3.20 0.01 9.94 3.10 0
363 DENSE 32768 8192 4.00 4.04 0.03 15.11 3.74 0
366 DENSE 9216 8192 1.12 2.49 0.02 5.94 2.38 0
367 DENSE 8192 8192 1.00 3.34 0.03 7.29 2.19 33
368 DENSE 32768 8192 4.00 3.09 0.01 9.86 3.19 0
369 DENSE 32768 8192 4.00 4.01 0.02 11.86 2.96 0