airoboros-13b


Find this model in the Airoboros model summary

Model source: https://huggingface.co/jondurbin/airoboros-7b

airoboros-13b Model Summary Plots

airoboros-13b Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
1 DENSE 32000 5120 6.25 3.08 0.03 9.05 2.94 0
2 DENSE 5120 5120 1.00 3.69 0.06 11.18 3.03 45
3 DENSE 5120 5120 1.00 2.65 0.06 7.82 2.95 51
4 DENSE 5120 5120 1.00 4.41 0.03 6.38 1.45 9
5 DENSE 5120 5120 1.00 4.18 0.02 7.41 1.77 8
6 DENSE 13824 5120 2.70 2.86 0.04 6.34 2.21 0
7 DENSE 13824 5120 2.70 5.20 0.02 12.89 2.48 0
8 DENSE 13824 5120 2.70 6.05 0.05 10.52 1.74 0
11 DENSE 5120 5120 1.00 3.13 0.04 8.59 2.75 18
12 DENSE 5120 5120 1.00 3.35 0.04 9.43 2.81 22
13 DENSE 5120 5120 1.00 4.13 0.02 5.58 1.35 9
14 DENSE 5120 5120 1.00 4.26 0.02 6.97 1.63 6
15 DENSE 13824 5120 2.70 2.53 0.01 6.11 2.41 0
16 DENSE 13824 5120 2.70 4.48 0.02 9.73 2.17 0
17 DENSE 13824 5120 2.70 3.79 0.08 6.17 1.63 0
20 DENSE 5120 5120 1.00 2.60 0.05 6.82 2.62 11
21 DENSE 5120 5120 1.00 3.02 0.04 8.41 2.79 12
22 DENSE 5120 5120 1.00 5.17 0.02 6.01 1.16 4
23 DENSE 5120 5120 1.00 4.49 0.02 8.49 1.89 4
24 DENSE 13824 5120 2.70 2.91 0.01 7.13 2.45 0
25 DENSE 13824 5120 2.70 4.54 0.01 8.36 1.84 0
26 DENSE 13824 5120 2.70 11.69 0.06 20.19 1.73 0
29 DENSE 5120 5120 1.00 3.80 0.04 9.51 2.50 5
30 DENSE 5120 5120 1.00 3.88 0.02 9.96 2.57 5
31 DENSE 5120 5120 1.00 3.93 0.03 4.91 1.25 4
32 DENSE 5120 5120 1.00 4.04 0.01 7.32 1.81 4
33 DENSE 13824 5120 2.70 3.48 0.01 8.20 2.35 0
34 DENSE 13824 5120 2.70 5.14 0.04 9.50 1.85 0
35 DENSE 13824 5120 2.70 9.49 0.05 14.65 1.54 0
38 DENSE 5120 5120 1.00 2.40 0.03 5.91 2.47 4
39 DENSE 5120 5120 1.00 3.85 0.03 9.60 2.49 5
40 DENSE 5120 5120 1.00 5.48 0.05 6.95 1.27 3
41 DENSE 5120 5120 1.00 4.13 0.03 7.44 1.80 4
42 DENSE 13824 5120 2.70 3.32 0.01 7.98 2.41 0
43 DENSE 13824 5120 2.70 6.46 0.04 11.74 1.82 0
44 DENSE 13824 5120 2.70 9.03 0.05 14.15 1.57 0
47 DENSE 5120 5120 1.00 4.71 0.02 11.19 2.37 5
48 DENSE 5120 5120 1.00 4.21 0.03 10.29 2.44 5
49 DENSE 5120 5120 1.00 3.63 0.04 4.83 1.33 5
50 DENSE 5120 5120 1.00 3.46 0.04 6.26 1.81 4
51 DENSE 13824 5120 2.70 3.39 0.02 8.20 2.42 0
52 DENSE 13824 5120 2.70 5.28 0.04 9.84 1.86 0
53 DENSE 13824 5120 2.70 6.09 0.03 9.91 1.63 0
56 DENSE 5120 5120 1.00 4.90 0.03 11.57 2.36 4
57 DENSE 5120 5120 1.00 3.66 0.04 9.03 2.47 4
58 DENSE 5120 5120 1.00 4.23 0.04 5.64 1.33 4
59 DENSE 5120 5120 1.00 5.02 0.02 8.57 1.71 4
60 DENSE 13824 5120 2.70 3.15 0.01 7.99 2.54 0
61 DENSE 13824 5120 2.70 4.34 0.03 7.85 1.81 0
62 DENSE 13824 5120 2.70 4.61 0.04 8.44 1.83 0
65 DENSE 5120 5120 1.00 2.65 0.04 6.28 2.37 4
66 DENSE 5120 5120 1.00 2.89 0.03 7.26 2.51 3
67 DENSE 5120 5120 1.00 3.19 0.05 4.42 1.38 3
68 DENSE 5120 5120 1.00 6.24 0.05 9.97 1.60 4
69 DENSE 13824 5120 2.70 3.22 0.01 8.11 2.52 0
70 DENSE 13824 5120 2.70 3.71 0.05 6.83 1.84 0
71 DENSE 13824 5120 2.70 4.75 0.04 7.97 1.68 0
74 DENSE 5120 5120 1.00 2.43 0.04 5.57 2.29 5
75 DENSE 5120 5120 1.00 3.86 0.03 9.43 2.44 3
76 DENSE 5120 5120 1.00 3.39 0.04 4.77 1.41 4
77 DENSE 5120 5120 1.00 3.48 0.05 5.58 1.60 4
78 DENSE 13824 5120 2.70 3.29 0.01 8.19 2.49 0
79 DENSE 13824 5120 2.70 3.62 0.04 6.58 1.82 0
80 DENSE 13824 5120 2.70 4.54 0.04 7.87 1.73 0
83 DENSE 5120 5120 1.00 3.10 0.04 7.30 2.35 3
84 DENSE 5120 5120 1.00 3.04 0.02 7.67 2.52 5
85 DENSE 5120 5120 1.00 3.50 0.05 4.79 1.37 2
86 DENSE 5120 5120 1.00 4.09 0.05 6.76 1.65 3
87 DENSE 13824 5120 2.70 3.36 0.01 8.40 2.50 0
88 DENSE 13824 5120 2.70 3.34 0.04 6.28 1.88 0
89 DENSE 13824 5120 2.70 4.71 0.03 8.16 1.73 0
92 DENSE 5120 5120 1.00 3.29 0.03 7.70 2.34 4
93 DENSE 5120 5120 1.00 3.07 0.02 7.68 2.50 4
94 DENSE 5120 5120 1.00 3.27 0.06 4.57 1.39 2
95 DENSE 5120 5120 1.00 5.33 0.04 8.59 1.61 4
96 DENSE 13824 5120 2.70 3.43 0.01 8.47 2.47 0
97 DENSE 13824 5120 2.70 3.53 0.03 6.90 1.95 0
98 DENSE 13824 5120 2.70 4.73 0.03 8.31 1.75 0
101 DENSE 5120 5120 1.00 2.82 0.04 6.65 2.36 5
102 DENSE 5120 5120 1.00 2.87 0.02 7.28 2.53 5
103 DENSE 5120 5120 1.00 3.39 0.05 4.71 1.39 4
104 DENSE 5120 5120 1.00 4.25 0.06 6.55 1.54 3
105 DENSE 13824 5120 2.70 3.46 0.02 8.53 2.46 0
106 DENSE 13824 5120 2.70 3.26 0.03 6.28 1.93 0
107 DENSE 13824 5120 2.70 4.74 0.03 8.39 1.77 0
110 DENSE 5120 5120 1.00 2.77 0.04 6.51 2.35 3
111 DENSE 5120 5120 1.00 2.82 0.03 7.08 2.51 4
112 DENSE 5120 5120 1.00 7.28 0.07 9.94 1.37 4
113 DENSE 5120 5120 1.00 7.61 0.06 11.10 1.46 4
114 DENSE 13824 5120 2.70 3.34 0.01 8.47 2.53 0
115 DENSE 13824 5120 2.70 3.79 0.03 6.95 1.83 0
116 DENSE 13824 5120 2.70 4.35 0.03 7.99 1.84 0
119 DENSE 5120 5120 1.00 2.95 0.04 6.89 2.33 3
120 DENSE 5120 5120 1.00 2.76 0.02 6.93 2.51 4
121 DENSE 5120 5120 1.00 3.14 0.08 4.09 1.30 3
122 DENSE 5120 5120 1.00 4.53 0.05 6.99 1.54 5
123 DENSE 13824 5120 2.70 3.45 0.01 8.95 2.59 0
124 DENSE 13824 5120 2.70 4.07 0.02 7.55 1.85 0
125 DENSE 13824 5120 2.70 4.40 0.04 8.28 1.88 0
128 DENSE 5120 5120 1.00 2.70 0.03 6.47 2.39 4
129 DENSE 5120 5120 1.00 2.76 0.02 7.04 2.55 3
130 DENSE 5120 5120 1.00 6.74 0.07 8.85 1.31 3
131 DENSE 5120 5120 1.00 4.14 0.03 6.95 1.68 4
132 DENSE 13824 5120 2.70 3.58 0.01 9.22 2.58 0
133 DENSE 13824 5120 2.70 4.27 0.03 7.52 1.76 0
134 DENSE 13824 5120 2.70 5.19 0.04 9.83 1.89 0
137 DENSE 5120 5120 1.00 2.69 0.03 6.33 2.35 4
138 DENSE 5120 5120 1.00 2.78 0.01 6.93 2.50 4
140 DENSE 5120 5120 1.00 11.38 0.04 13.38 1.18 3
141 DENSE 5120 5120 1.00 6.84 0.03 11.35 1.66 4
142 DENSE 13824 5120 2.70 3.67 0.01 9.44 2.58 0
143 DENSE 13824 5120 2.70 4.09 0.02 7.50 1.83 0
144 DENSE 13824 5120 2.70 4.94 0.03 9.44 1.91 0
147 DENSE 5120 5120 1.00 3.18 0.03 7.61 2.39 4
148 DENSE 5120 5120 1.00 3.08 0.01 7.72 2.51 4
149 DENSE 5120 5120 1.00 9.27 0.02 12.29 1.33 3
150 DENSE 5120 5120 1.00 6.59 0.02 10.12 1.54 4
151 DENSE 13824 5120 2.70 3.76 0.01 9.46 2.52 0
152 DENSE 13824 5120 2.70 3.86 0.01 6.96 1.80 0
153 DENSE 13824 5120 2.70 5.82 0.03 10.93 1.88 0
156 DENSE 5120 5120 1.00 2.95 0.03 7.13 2.41 4
157 DENSE 5120 5120 1.00 2.94 0.01 7.53 2.56 3
158 DENSE 5120 5120 1.00 6.86 0.03 9.43 1.37 3
159 DENSE 5120 5120 1.00 5.54 0.02 9.96 1.80 4
160 DENSE 13824 5120 2.70 3.82 0.01 9.62 2.52 0
161 DENSE 13824 5120 2.70 4.02 0.01 7.22 1.79 0
162 DENSE 13824 5120 2.70 5.25 0.03 9.79 1.86 0
165 DENSE 5120 5120 1.00 2.84 0.03 6.83 2.40 3
166 DENSE 5120 5120 1.00 3.08 0.01 7.75 2.51 4
167 DENSE 5120 5120 1.00 8.97 0.03 11.17 1.25 3
168 DENSE 5120 5120 1.00 5.77 0.02 9.33 1.62 4
169 DENSE 13824 5120 2.70 3.82 0.01 9.60 2.51 0
170 DENSE 13824 5120 2.70 4.26 0.01 7.81 1.83 0
171 DENSE 13824 5120 2.70 5.32 0.02 9.77 1.84 0
174 DENSE 5120 5120 1.00 2.92 0.03 6.96 2.39 4
175 DENSE 5120 5120 1.00 3.00 0.01 7.46 2.49 4
176 DENSE 5120 5120 1.00 8.74 0.02 11.54 1.32 3
177 DENSE 5120 5120 1.00 6.11 0.02 10.20 1.67 3
178 DENSE 13824 5120 2.70 3.85 0.01 9.74 2.53 0
179 DENSE 13824 5120 2.70 4.50 0.01 8.23 1.83 0
180 DENSE 13824 5120 2.70 5.69 0.02 10.38 1.82 0
183 DENSE 5120 5120 1.00 3.07 0.03 7.41 2.41 5
184 DENSE 5120 5120 1.00 3.14 0.01 7.85 2.50 5
185 DENSE 5120 5120 1.00 11.43 0.07 15.11 1.32 4
186 DENSE 5120 5120 1.00 6.21 0.02 10.53 1.70 4
187 DENSE 13824 5120 2.70 3.83 0.01 9.64 2.52 0
188 DENSE 13824 5120 2.70 4.98 0.02 9.10 1.83 0
189 DENSE 13824 5120 2.70 5.58 0.02 9.98 1.79 0
192 DENSE 5120 5120 1.00 2.89 0.02 6.99 2.41 3
193 DENSE 5120 5120 1.00 2.95 0.02 7.42 2.51 3
194 DENSE 5120 5120 1.00 9.04 0.02 11.58 1.28 3
195 DENSE 5120 5120 1.00 7.02 0.02 10.20 1.45 2
196 DENSE 13824 5120 2.70 3.92 0.01 9.80 2.50 0
197 DENSE 13824 5120 2.70 5.55 0.02 10.23 1.84 0
198 DENSE 13824 5120 2.70 6.10 0.02 10.91 1.79 0
201 DENSE 5120 5120 1.00 3.11 0.02 7.60 2.44 6
202 DENSE 5120 5120 1.00 3.22 0.01 8.15 2.53 6
203 DENSE 5120 5120 1.00 8.21 0.03 11.05 1.35 3
204 DENSE 5120 5120 1.00 6.11 0.04 10.81 1.77 3
205 DENSE 13824 5120 2.70 3.80 0.01 9.51 2.50 0
206 DENSE 13824 5120 2.70 6.46 0.03 11.67 1.81 0
207 DENSE 13824 5120 2.70 5.97 0.01 10.73 1.80 0
210 DENSE 5120 5120 1.00 3.19 0.01 7.75 2.43 5
211 DENSE 5120 5120 1.00 3.28 0.01 8.15 2.48 5
212 DENSE 5120 5120 1.00 11.39 0.03 14.56 1.28 3
213 DENSE 5120 5120 1.00 8.25 0.02 12.23 1.48 2
214 DENSE 13824 5120 2.70 3.77 0.02 9.50 2.52 0
215 DENSE 13824 5120 2.70 7.85 0.03 13.15 1.68 0
216 DENSE 13824 5120 2.70 6.17 0.02 10.85 1.76 0
219 DENSE 5120 5120 1.00 3.19 0.02 7.75 2.43 5
220 DENSE 5120 5120 1.00 3.28 0.01 8.17 2.49 5
221 DENSE 5120 5120 1.00 8.98 0.04 11.60 1.29 2
222 DENSE 5120 5120 1.00 7.87 0.04 13.97 1.77 3
223 DENSE 13824 5120 2.70 3.73 0.02 9.34 2.50 0
224 DENSE 13824 5120 2.70 8.28 0.04 13.66 1.65 0
225 DENSE 13824 5120 2.70 6.60 0.02 11.43 1.73 0
228 DENSE 5120 5120 1.00 3.19 0.01 7.88 2.47 4
229 DENSE 5120 5120 1.00 3.27 0.02 8.25 2.52 5
230 DENSE 5120 5120 1.00 9.98 0.03 12.99 1.30 4
231 DENSE 5120 5120 1.00 6.96 0.02 13.34 1.92 2
232 DENSE 13824 5120 2.70 3.75 0.03 9.32 2.49 0
233 DENSE 13824 5120 2.70 8.58 0.04 13.93 1.62 0
234 DENSE 13824 5120 2.70 7.53 0.02 12.49 1.66 0
237 DENSE 5120 5120 1.00 3.46 0.01 8.44 2.44 5
238 DENSE 5120 5120 1.00 3.50 0.02 8.70 2.49 5
239 DENSE 5120 5120 1.00 10.39 0.06 13.27 1.28 4
240 DENSE 5120 5120 1.00 8.32 0.04 14.07 1.69 2
241 DENSE 13824 5120 2.70 3.81 0.03 9.38 2.46 0
242 DENSE 13824 5120 2.70 8.55 0.03 14.17 1.66 0
243 DENSE 13824 5120 2.70 7.97 0.03 13.13 1.65 0
246 DENSE 5120 5120 1.00 3.06 0.01 7.50 2.45 4
247 DENSE 5120 5120 1.00 3.25 0.02 8.16 2.51 5
248 DENSE 5120 5120 1.00 7.39 0.07 10.25 1.39 2
249 DENSE 5120 5120 1.00 8.23 0.05 13.65 1.66 2
250 DENSE 13824 5120 2.70 3.91 0.03 9.57 2.45 0
251 DENSE 13824 5120 2.70 8.37 0.02 13.78 1.65 0
252 DENSE 13824 5120 2.70 7.83 0.03 12.82 1.64 0
255 DENSE 5120 5120 1.00 3.53 0.01 8.67 2.46 4
256 DENSE 5120 5120 1.00 3.61 0.01 9.11 2.52 5
257 DENSE 5120 5120 1.00 8.35 0.02 11.05 1.32 2
258 DENSE 5120 5120 1.00 6.83 0.03 14.06 2.06 3
259 DENSE 13824 5120 2.70 4.01 0.03 9.84 2.45 0
260 DENSE 13824 5120 2.70 7.42 0.02 11.78 1.59 0
261 DENSE 13824 5120 2.70 8.51 0.03 13.80 1.62 0
264 DENSE 5120 5120 1.00 3.59 0.01 8.89 2.48 6
265 DENSE 5120 5120 1.00 3.91 0.02 9.89 2.53 5
266 DENSE 5120 5120 1.00 8.56 0.02 11.14 1.30 3
267 DENSE 5120 5120 1.00 7.42 0.02 11.54 1.55 2
268 DENSE 13824 5120 2.70 4.18 0.03 10.18 2.43 0
269 DENSE 13824 5120 2.70 6.31 0.02 10.18 1.61 0
270 DENSE 13824 5120 2.70 9.23 0.02 15.27 1.65 0
273 DENSE 5120 5120 1.00 3.57 0.02 8.76 2.46 5
274 DENSE 5120 5120 1.00 3.57 0.01 9.00 2.52 5
275 DENSE 5120 5120 1.00 6.76 0.06 8.43 1.25 3
276 DENSE 5120 5120 1.00 10.65 0.05 17.81 1.67 3
277 DENSE 13824 5120 2.70 5.30 0.03 12.85 2.42 0
278 DENSE 13824 5120 2.70 5.51 0.02 9.19 1.67 0
280 DENSE 13824 5120 2.70 9.42 0.03 16.12 1.71 0
283 DENSE 5120 5120 1.00 3.51 0.02 8.68 2.47 4
284 DENSE 5120 5120 1.00 3.77 0.02 9.51 2.52 3
285 DENSE 5120 5120 1.00 6.99 0.03 9.77 1.40 2
286 DENSE 5120 5120 1.00 7.01 0.02 11.75 1.68 3
287 DENSE 13824 5120 2.70 5.53 0.03 13.34 2.41 0
288 DENSE 13824 5120 2.70 5.04 0.02 8.36 1.66 0
289 DENSE 13824 5120 2.70 9.13 0.04 16.56 1.81 0
292 DENSE 5120 5120 1.00 3.58 0.02 8.80 2.46 4
293 DENSE 5120 5120 1.00 3.73 0.02 9.41 2.52 4
294 DENSE 5120 5120 1.00 7.45 0.02 10.80 1.45 1
295 DENSE 5120 5120 1.00 8.03 0.03 13.16 1.64 3
296 DENSE 13824 5120 2.70 5.74 0.03 13.74 2.40 0
297 DENSE 13824 5120 2.70 4.59 0.02 7.74 1.69 0
298 DENSE 13824 5120 2.70 9.88 0.04 18.20 1.84 0
301 DENSE 5120 5120 1.00 3.55 0.02 8.67 2.44 4
302 DENSE 5120 5120 1.00 3.76 0.02 9.37 2.49 4
303 DENSE 5120 5120 1.00 5.77 0.04 7.23 1.25 3
304 DENSE 5120 5120 1.00 10.20 0.05 16.65 1.63 2
305 DENSE 13824 5120 2.70 5.61 0.03 13.40 2.39 0
306 DENSE 13824 5120 2.70 4.34 0.02 7.46 1.72 0
307 DENSE 13824 5120 2.70 8.96 0.04 17.06 1.90 0
310 DENSE 5120 5120 1.00 3.31 0.01 8.08 2.44 4
311 DENSE 5120 5120 1.00 3.55 0.01 8.99 2.53 3
312 DENSE 5120 5120 1.00 5.85 0.01 8.69 1.48 2
313 DENSE 5120 5120 1.00 5.60 0.04 9.56 1.71 3
314 DENSE 13824 5120 2.70 5.57 0.02 13.05 2.34 0
315 DENSE 13824 5120 2.70 4.73 0.02 8.86 1.87 0
316 DENSE 13824 5120 2.70 8.46 0.05 17.05 2.01 0
319 DENSE 5120 5120 1.00 3.08 0.01 7.53 2.45 6
320 DENSE 5120 5120 1.00 3.40 0.01 8.65 2.55 6
321 DENSE 5120 5120 1.00 6.53 0.03 9.75 1.49 2
322 DENSE 5120 5120 1.00 6.65 0.03 11.90 1.79 3
323 DENSE 13824 5120 2.70 5.43 0.02 12.46 2.29 0
324 DENSE 13824 5120 2.70 4.83 0.02 10.63 2.20 0
325 DENSE 13824 5120 2.70 7.58 0.04 15.63 2.06 0
328 DENSE 5120 5120 1.00 3.12 0.02 7.54 2.42 4
329 DENSE 5120 5120 1.00 3.29 0.02 8.34 2.53 3
330 DENSE 5120 5120 1.00 7.83 0.04 12.56 1.60 2
331 DENSE 5120 5120 1.00 7.20 0.03 11.92 1.66 2
332 DENSE 13824 5120 2.70 5.24 0.02 12.03 2.30 0
333 DENSE 13824 5120 2.70 4.80 0.02 10.91 2.27 0
334 DENSE 13824 5120 2.70 6.69 0.04 14.65 2.19 0
337 DENSE 5120 5120 1.00 2.95 0.01 7.13 2.42 5
338 DENSE 5120 5120 1.00 3.25 0.01 8.27 2.54 6
339 DENSE 5120 5120 1.00 5.25 0.02 8.10 1.54 3
340 DENSE 5120 5120 1.00 4.63 0.01 8.65 1.87 3
341 DENSE 13824 5120 2.70 4.77 0.03 11.25 2.36 0
342 DENSE 13824 5120 2.70 5.11 0.02 13.81 2.70 0
343 DENSE 13824 5120 2.70 5.61 0.04 13.02 2.32 0
346 DENSE 5120 5120 1.00 2.73 0.01 6.53 2.39 5
347 DENSE 5120 5120 1.00 3.01 0.01 7.61 2.52 6
348 DENSE 5120 5120 1.00 5.64 0.03 9.90 1.76 3
349 DENSE 5120 5120 1.00 4.41 0.04 13.37 3.03 3
350 DENSE 13824 5120 2.70 3.39 0.02 8.22 2.43 0
351 DENSE 13824 5120 2.70 4.94 0.03 9.21 1.86 0
352 DENSE 13824 5120 2.70 3.33 0.02 8.35 2.51 0
355 DENSE 5120 5120 1.00 2.63 0.01 6.58 2.50 13
356 DENSE 5120 5120 1.00 2.75 0.01 7.33 2.66 14
357 DENSE 5120 5120 1.00 6.73 0.03 11.43 1.70 4
358 DENSE 5120 5120 1.00 4.34 0.05 9.27 2.14 4
359 DENSE 13824 5120 2.70 2.90 0.03 7.75 2.67 0
360 DENSE 13824 5120 2.70 3.07 0.03 7.28 2.37 0
361 DENSE 13824 5120 2.70 2.88 0.03 8.02 2.78 0
365 DENSE 32000 5120 6.25 4.97 0.02 17.42 3.51 0