koala-13b-details


Find this model in the Koala model summary

Model source: https://huggingface.co/TheBloke/koala-13B-HF

koala-13b-details Model Summary Plots

koala-13b-details Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
1 DENSE 32000 5120 6.25 3.08 0.03 9.05 2.94 0
2 DENSE 5120 5120 1.00 3.66 0.06 11.08 3.03 44
3 DENSE 5120 5120 1.00 2.57 0.06 7.59 2.95 52
4 DENSE 5120 5120 1.00 4.46 0.03 6.42 1.44 9
5 DENSE 5120 5120 1.00 4.18 0.02 7.40 1.77 8
6 DENSE 13824 5120 2.70 2.86 0.04 6.34 2.21 0
7 DENSE 13824 5120 2.70 5.15 0.02 12.77 2.48 0
8 DENSE 13824 5120 2.70 6.06 0.04 10.51 1.73 0
11 DENSE 5120 5120 1.00 3.13 0.04 8.61 2.75 17
12 DENSE 5120 5120 1.00 3.36 0.04 9.48 2.82 23
13 DENSE 5120 5120 1.00 4.13 0.02 5.56 1.35 7
14 DENSE 5120 5120 1.00 4.27 0.02 6.97 1.63 6
15 DENSE 13824 5120 2.70 2.53 0.01 6.12 2.42 0
16 DENSE 13824 5120 2.70 4.49 0.02 9.75 2.17 0
17 DENSE 13824 5120 2.70 3.71 0.08 6.05 1.63 0
20 DENSE 5120 5120 1.00 2.61 0.04 6.86 2.63 9
21 DENSE 5120 5120 1.00 3.04 0.04 8.50 2.80 13
22 DENSE 5120 5120 1.00 5.17 0.02 6.07 1.17 3
23 DENSE 5120 5120 1.00 4.50 0.02 8.51 1.89 5
24 DENSE 13824 5120 2.70 2.92 0.01 7.13 2.45 0
25 DENSE 13824 5120 2.70 4.53 0.01 8.34 1.84 0
26 DENSE 13824 5120 2.70 11.72 0.06 20.16 1.72 0
29 DENSE 5120 5120 1.00 3.81 0.04 9.54 2.50 6
30 DENSE 5120 5120 1.00 3.89 0.02 10.01 2.57 6
31 DENSE 5120 5120 1.00 3.94 0.03 4.91 1.25 4
32 DENSE 5120 5120 1.00 4.05 0.01 7.34 1.81 4
33 DENSE 13824 5120 2.70 3.48 0.01 8.20 2.35 0
34 DENSE 13824 5120 2.70 5.10 0.04 9.42 1.85 0
35 DENSE 13824 5120 2.70 10.61 0.05 16.35 1.54 0
38 DENSE 5120 5120 1.00 2.40 0.03 5.93 2.47 4
39 DENSE 5120 5120 1.00 3.84 0.03 9.61 2.50 4
40 DENSE 5120 5120 1.00 4.54 0.05 5.74 1.27 4
41 DENSE 5120 5120 1.00 4.15 0.03 7.46 1.80 3
42 DENSE 13824 5120 2.70 3.40 0.01 8.18 2.41 0
43 DENSE 13824 5120 2.70 6.45 0.04 11.71 1.82 0
44 DENSE 13824 5120 2.70 5.44 0.05 8.52 1.57 0
47 DENSE 5120 5120 1.00 4.70 0.02 11.14 2.37 5
48 DENSE 5120 5120 1.00 4.18 0.03 10.24 2.45 5
49 DENSE 5120 5120 1.00 3.63 0.04 4.83 1.33 4
50 DENSE 5120 5120 1.00 3.46 0.04 6.25 1.80 3
51 DENSE 13824 5120 2.70 3.39 0.02 8.21 2.42 0
52 DENSE 13824 5120 2.70 5.28 0.04 9.83 1.86 0
53 DENSE 13824 5120 2.70 6.05 0.03 9.82 1.62 0
56 DENSE 5120 5120 1.00 4.89 0.03 11.53 2.36 4
57 DENSE 5120 5120 1.00 3.67 0.04 9.07 2.47 3
58 DENSE 5120 5120 1.00 4.22 0.04 5.62 1.33 4
59 DENSE 5120 5120 1.00 5.05 0.03 8.60 1.70 4
60 DENSE 13824 5120 2.70 3.15 0.01 7.99 2.54 0
61 DENSE 13824 5120 2.70 4.32 0.03 7.81 1.81 0
62 DENSE 13824 5120 2.70 4.61 0.04 8.52 1.85 0
65 DENSE 5120 5120 1.00 2.63 0.04 6.23 2.37 3
66 DENSE 5120 5120 1.00 2.89 0.03 7.26 2.52 5
67 DENSE 5120 5120 1.00 3.22 0.05 4.46 1.38 4
68 DENSE 5120 5120 1.00 6.26 0.04 9.99 1.60 4
69 DENSE 13824 5120 2.70 3.22 0.01 8.11 2.52 0
70 DENSE 13824 5120 2.70 3.71 0.05 6.82 1.84 0
71 DENSE 13824 5120 2.70 4.74 0.04 7.96 1.68 0
74 DENSE 5120 5120 1.00 2.45 0.04 5.62 2.29 4
75 DENSE 5120 5120 1.00 3.87 0.03 9.45 2.45 4
76 DENSE 5120 5120 1.00 3.39 0.04 4.77 1.41 5
77 DENSE 5120 5120 1.00 3.46 0.05 5.55 1.60 4
78 DENSE 13824 5120 2.70 3.29 0.01 8.19 2.49 0
79 DENSE 13824 5120 2.70 3.60 0.04 6.53 1.82 0
80 DENSE 13824 5120 2.70 4.54 0.04 7.87 1.73 0
83 DENSE 5120 5120 1.00 3.11 0.04 7.33 2.35 5
84 DENSE 5120 5120 1.00 3.05 0.02 7.70 2.53 4
85 DENSE 5120 5120 1.00 3.46 0.05 4.75 1.37 3
86 DENSE 5120 5120 1.00 4.06 0.05 6.70 1.65 3
87 DENSE 13824 5120 2.70 3.36 0.01 8.41 2.50 0
88 DENSE 13824 5120 2.70 3.32 0.04 6.25 1.88 0
89 DENSE 13824 5120 2.70 4.70 0.03 8.17 1.74 0
92 DENSE 5120 5120 1.00 3.28 0.03 7.69 2.34 3
93 DENSE 5120 5120 1.00 3.06 0.02 7.66 2.50 3
94 DENSE 5120 5120 1.00 3.28 0.06 4.57 1.39 4
95 DENSE 5120 5120 1.00 5.33 0.04 8.59 1.61 3
96 DENSE 13824 5120 2.70 3.43 0.01 8.47 2.47 0
97 DENSE 13824 5120 2.70 3.52 0.03 6.87 1.95 0
98 DENSE 13824 5120 2.70 4.73 0.03 8.31 1.76 0
101 DENSE 5120 5120 1.00 2.82 0.04 6.65 2.36 3
102 DENSE 5120 5120 1.00 2.87 0.02 7.28 2.54 4
103 DENSE 5120 5120 1.00 3.39 0.05 4.71 1.39 3
104 DENSE 5120 5120 1.00 3.88 0.06 5.98 1.54 4
105 DENSE 13824 5120 2.70 3.48 0.02 8.58 2.47 0
106 DENSE 13824 5120 2.70 3.26 0.03 6.27 1.92 0
107 DENSE 13824 5120 2.70 4.74 0.03 8.39 1.77 0
110 DENSE 5120 5120 1.00 2.74 0.04 6.43 2.35 4
111 DENSE 5120 5120 1.00 2.82 0.03 7.08 2.51 5
112 DENSE 5120 5120 1.00 7.34 0.06 10.01 1.36 3
113 DENSE 5120 5120 1.00 7.95 0.06 11.59 1.46 4
114 DENSE 13824 5120 2.70 3.35 0.01 8.49 2.53 0
115 DENSE 13824 5120 2.70 3.75 0.03 6.87 1.83 0
116 DENSE 13824 5120 2.70 4.39 0.03 8.06 1.84 0
119 DENSE 5120 5120 1.00 2.95 0.04 6.89 2.33 5
120 DENSE 5120 5120 1.00 2.77 0.02 6.95 2.51 3
121 DENSE 5120 5120 1.00 3.28 0.08 4.27 1.30 4
122 DENSE 5120 5120 1.00 4.54 0.05 7.01 1.54 4
123 DENSE 13824 5120 2.70 3.45 0.01 8.95 2.59 0
124 DENSE 13824 5120 2.70 4.18 0.02 7.75 1.85 0
125 DENSE 13824 5120 2.70 4.39 0.04 8.27 1.89 0
128 DENSE 5120 5120 1.00 2.70 0.03 6.46 2.39 3
129 DENSE 5120 5120 1.00 2.76 0.02 7.04 2.55 4
130 DENSE 5120 5120 1.00 6.74 0.06 8.84 1.31 4
131 DENSE 5120 5120 1.00 4.14 0.03 6.95 1.68 4
132 DENSE 13824 5120 2.70 3.59 0.01 9.26 2.58 0
133 DENSE 13824 5120 2.70 4.13 0.03 7.27 1.76 0
134 DENSE 13824 5120 2.70 5.19 0.03 9.82 1.89 0
137 DENSE 5120 5120 1.00 2.69 0.03 6.33 2.35 3
138 DENSE 5120 5120 1.00 2.78 0.01 6.94 2.50 4
140 DENSE 5120 5120 1.00 11.33 0.04 13.31 1.17 3
141 DENSE 5120 5120 1.00 7.04 0.03 11.69 1.66 2
142 DENSE 13824 5120 2.70 3.66 0.01 9.43 2.58 0
143 DENSE 13824 5120 2.70 4.09 0.02 7.49 1.83 0
144 DENSE 13824 5120 2.70 4.93 0.03 9.44 1.91 0
147 DENSE 5120 5120 1.00 3.17 0.03 7.58 2.39 4
148 DENSE 5120 5120 1.00 3.07 0.01 7.72 2.51 5
149 DENSE 5120 5120 1.00 9.23 0.02 12.23 1.32 3
150 DENSE 5120 5120 1.00 6.62 0.02 10.15 1.53 3
151 DENSE 13824 5120 2.70 3.75 0.01 9.45 2.52 0
152 DENSE 13824 5120 2.70 3.85 0.01 6.94 1.80 0
153 DENSE 13824 5120 2.70 5.81 0.03 10.91 1.88 0
156 DENSE 5120 5120 1.00 2.95 0.03 7.13 2.41 5
157 DENSE 5120 5120 1.00 2.94 0.01 7.53 2.56 4
158 DENSE 5120 5120 1.00 6.87 0.03 9.42 1.37 4
159 DENSE 5120 5120 1.00 5.48 0.02 9.84 1.80 4
160 DENSE 13824 5120 2.70 3.83 0.01 9.62 2.52 0
161 DENSE 13824 5120 2.70 4.02 0.01 7.22 1.80 0
162 DENSE 13824 5120 2.70 5.35 0.03 9.98 1.86 0
165 DENSE 5120 5120 1.00 2.79 0.03 6.71 2.40 5
166 DENSE 5120 5120 1.00 3.09 0.01 7.77 2.52 4
167 DENSE 5120 5120 1.00 8.95 0.02 11.14 1.24 4
168 DENSE 5120 5120 1.00 5.78 0.02 9.35 1.62 3
169 DENSE 13824 5120 2.70 3.82 0.01 9.60 2.51 0
170 DENSE 13824 5120 2.70 4.26 0.01 7.81 1.83 0
171 DENSE 13824 5120 2.70 5.32 0.02 9.76 1.84 0
174 DENSE 5120 5120 1.00 2.92 0.03 6.96 2.38 5
175 DENSE 5120 5120 1.00 3.00 0.01 7.46 2.49 4
176 DENSE 5120 5120 1.00 8.81 0.02 11.60 1.32 4
177 DENSE 5120 5120 1.00 6.14 0.02 10.26 1.67 3
178 DENSE 13824 5120 2.70 3.85 0.01 9.74 2.53 0
179 DENSE 13824 5120 2.70 4.49 0.01 8.21 1.83 0
180 DENSE 13824 5120 2.70 5.68 0.02 10.38 1.83 0
183 DENSE 5120 5120 1.00 3.04 0.03 7.34 2.41 4
184 DENSE 5120 5120 1.00 3.13 0.01 7.83 2.50 4
185 DENSE 5120 5120 1.00 11.47 0.06 15.15 1.32 3
186 DENSE 5120 5120 1.00 6.20 0.02 10.51 1.69 2
187 DENSE 13824 5120 2.70 3.83 0.01 9.63 2.52 0
188 DENSE 13824 5120 2.70 4.97 0.02 9.08 1.83 0
189 DENSE 13824 5120 2.70 5.61 0.01 10.03 1.79 0
192 DENSE 5120 5120 1.00 2.89 0.02 6.97 2.41 3
193 DENSE 5120 5120 1.00 2.95 0.02 7.42 2.51 3
194 DENSE 5120 5120 1.00 9.06 0.03 11.59 1.28 3
195 DENSE 5120 5120 1.00 7.06 0.02 10.24 1.45 2
196 DENSE 13824 5120 2.70 3.93 0.01 9.82 2.50 0
197 DENSE 13824 5120 2.70 5.55 0.02 10.24 1.84 0
198 DENSE 13824 5120 2.70 6.12 0.02 10.94 1.79 0
201 DENSE 5120 5120 1.00 3.12 0.02 7.63 2.44 5
202 DENSE 5120 5120 1.00 3.23 0.01 8.17 2.53 6
203 DENSE 5120 5120 1.00 8.27 0.03 11.11 1.34 2
204 DENSE 5120 5120 1.00 6.12 0.04 10.83 1.77 3
205 DENSE 13824 5120 2.70 3.80 0.01 9.50 2.50 0
206 DENSE 13824 5120 2.70 6.46 0.03 11.68 1.81 0
207 DENSE 13824 5120 2.70 5.99 0.01 10.76 1.80 0
210 DENSE 5120 5120 1.00 3.18 0.01 7.74 2.43 5
211 DENSE 5120 5120 1.00 3.29 0.01 8.17 2.48 4
212 DENSE 5120 5120 1.00 11.46 0.03 14.65 1.28 3
213 DENSE 5120 5120 1.00 8.28 0.03 12.28 1.48 2
214 DENSE 13824 5120 2.70 3.76 0.02 9.47 2.52 0
215 DENSE 13824 5120 2.70 7.84 0.03 13.16 1.68 0
216 DENSE 13824 5120 2.70 6.17 0.02 10.84 1.76 0
219 DENSE 5120 5120 1.00 3.20 0.02 7.75 2.43 6
220 DENSE 5120 5120 1.00 3.27 0.01 8.15 2.49 5
221 DENSE 5120 5120 1.00 8.46 0.05 10.92 1.29 3
222 DENSE 5120 5120 1.00 7.90 0.04 14.02 1.78 3
223 DENSE 13824 5120 2.70 3.72 0.02 9.30 2.50 0
224 DENSE 13824 5120 2.70 8.25 0.04 13.60 1.65 0
225 DENSE 13824 5120 2.70 6.59 0.02 11.41 1.73 0
228 DENSE 5120 5120 1.00 3.18 0.01 7.87 2.47 5
229 DENSE 5120 5120 1.00 3.26 0.02 8.23 2.53 5
230 DENSE 5120 5120 1.00 9.87 0.04 12.82 1.30 2
231 DENSE 5120 5120 1.00 7.04 0.02 13.49 1.92 3
232 DENSE 13824 5120 2.70 3.75 0.03 9.31 2.49 0
233 DENSE 13824 5120 2.70 8.63 0.04 14.01 1.62 0
234 DENSE 13824 5120 2.70 7.53 0.03 12.48 1.66 0
237 DENSE 5120 5120 1.00 3.46 0.01 8.45 2.44 5
238 DENSE 5120 5120 1.00 3.51 0.02 8.74 2.49 5
239 DENSE 5120 5120 1.00 9.99 0.06 12.73 1.27 2
240 DENSE 5120 5120 1.00 8.34 0.04 14.13 1.69 2
241 DENSE 13824 5120 2.70 3.87 0.03 9.51 2.46 0
242 DENSE 13824 5120 2.70 8.56 0.03 14.18 1.66 0
243 DENSE 13824 5120 2.70 7.98 0.03 13.14 1.65 0
246 DENSE 5120 5120 1.00 3.06 0.01 7.50 2.45 4
247 DENSE 5120 5120 1.00 3.25 0.02 8.16 2.51 5
248 DENSE 5120 5120 1.00 6.81 0.07 9.44 1.39 1
249 DENSE 5120 5120 1.00 8.31 0.05 13.81 1.66 3
250 DENSE 13824 5120 2.70 3.92 0.03 9.61 2.45 0
251 DENSE 13824 5120 2.70 8.35 0.02 13.77 1.65 0
252 DENSE 13824 5120 2.70 7.85 0.03 12.86 1.64 0
255 DENSE 5120 5120 1.00 3.52 0.01 8.64 2.46 5
256 DENSE 5120 5120 1.00 3.61 0.01 9.11 2.52 5
257 DENSE 5120 5120 1.00 8.35 0.03 11.06 1.32 2
258 DENSE 5120 5120 1.00 6.82 0.03 14.05 2.06 3
259 DENSE 13824 5120 2.70 4.01 0.03 9.83 2.45 0
260 DENSE 13824 5120 2.70 7.41 0.02 11.77 1.59 0
261 DENSE 13824 5120 2.70 8.50 0.03 13.78 1.62 0
264 DENSE 5120 5120 1.00 3.59 0.01 8.90 2.48 5
265 DENSE 5120 5120 1.00 3.90 0.02 9.86 2.53 5
266 DENSE 5120 5120 1.00 8.56 0.02 11.14 1.30 2
267 DENSE 5120 5120 1.00 7.44 0.02 11.60 1.56 2
268 DENSE 13824 5120 2.70 4.18 0.03 10.18 2.43 0
269 DENSE 13824 5120 2.70 6.33 0.02 10.21 1.61 0
270 DENSE 13824 5120 2.70 9.24 0.02 15.27 1.65 0
273 DENSE 5120 5120 1.00 3.57 0.02 8.75 2.45 4
274 DENSE 5120 5120 1.00 3.56 0.01 8.97 2.52 5
275 DENSE 5120 5120 1.00 6.71 0.06 8.37 1.25 2
276 DENSE 5120 5120 1.00 10.45 0.05 17.52 1.68 2
277 DENSE 13824 5120 2.70 5.33 0.03 12.93 2.42 0
278 DENSE 13824 5120 2.70 5.51 0.02 9.19 1.67 0
280 DENSE 13824 5120 2.70 9.40 0.03 16.09 1.71 0
283 DENSE 5120 5120 1.00 3.51 0.02 8.66 2.47 4
284 DENSE 5120 5120 1.00 3.77 0.02 9.51 2.52 5
285 DENSE 5120 5120 1.00 7.00 0.03 9.78 1.40 3
286 DENSE 5120 5120 1.00 7.02 0.02 11.78 1.68 3
287 DENSE 13824 5120 2.70 5.48 0.03 13.21 2.41 0
288 DENSE 13824 5120 2.70 5.04 0.02 8.35 1.66 0
289 DENSE 13824 5120 2.70 9.11 0.04 16.53 1.81 0
292 DENSE 5120 5120 1.00 3.59 0.02 8.82 2.46 3
293 DENSE 5120 5120 1.00 3.73 0.02 9.40 2.52 4
294 DENSE 5120 5120 1.00 7.47 0.02 10.82 1.45 3
295 DENSE 5120 5120 1.00 8.03 0.03 13.19 1.64 3
296 DENSE 13824 5120 2.70 5.74 0.03 13.76 2.40 0
297 DENSE 13824 5120 2.70 4.59 0.02 7.74 1.69 0
298 DENSE 13824 5120 2.70 9.68 0.04 17.83 1.84 0
301 DENSE 5120 5120 1.00 3.55 0.02 8.65 2.44 4
302 DENSE 5120 5120 1.00 3.74 0.02 9.32 2.49 5
303 DENSE 5120 5120 1.00 5.70 0.04 7.14 1.25 3
304 DENSE 5120 5120 1.00 10.17 0.05 16.62 1.64 3
305 DENSE 13824 5120 2.70 5.63 0.03 13.45 2.39 0
306 DENSE 13824 5120 2.70 4.35 0.02 7.46 1.72 0
307 DENSE 13824 5120 2.70 8.97 0.04 17.08 1.90 0
310 DENSE 5120 5120 1.00 3.32 0.01 8.10 2.44 4
311 DENSE 5120 5120 1.00 3.55 0.01 8.99 2.53 4
312 DENSE 5120 5120 1.00 5.84 0.01 8.66 1.48 2
313 DENSE 5120 5120 1.00 5.60 0.04 9.58 1.71 2
314 DENSE 13824 5120 2.70 5.53 0.02 12.97 2.34 0
315 DENSE 13824 5120 2.70 4.73 0.02 8.85 1.87 0
316 DENSE 13824 5120 2.70 8.45 0.05 17.01 2.01 0
319 DENSE 5120 5120 1.00 3.09 0.01 7.55 2.44 5
320 DENSE 5120 5120 1.00 3.40 0.01 8.67 2.55 4
321 DENSE 5120 5120 1.00 6.53 0.03 9.72 1.49 4
322 DENSE 5120 5120 1.00 6.73 0.03 12.05 1.79 3
323 DENSE 13824 5120 2.70 5.44 0.02 12.49 2.30 0
324 DENSE 13824 5120 2.70 4.81 0.02 10.57 2.20 0
325 DENSE 13824 5120 2.70 7.57 0.04 15.61 2.06 0
328 DENSE 5120 5120 1.00 3.12 0.02 7.55 2.42 4
329 DENSE 5120 5120 1.00 3.29 0.02 8.33 2.53 3
330 DENSE 5120 5120 1.00 7.86 0.04 12.57 1.60 3
331 DENSE 5120 5120 1.00 7.20 0.03 11.90 1.65 2
332 DENSE 13824 5120 2.70 5.25 0.02 12.07 2.30 0
333 DENSE 13824 5120 2.70 4.80 0.02 10.90 2.27 0
334 DENSE 13824 5120 2.70 6.68 0.04 14.61 2.19 0
337 DENSE 5120 5120 1.00 2.95 0.01 7.13 2.42 6
338 DENSE 5120 5120 1.00 3.24 0.01 8.25 2.54 6
339 DENSE 5120 5120 1.00 5.28 0.01 8.14 1.54 3
340 DENSE 5120 5120 1.00 4.65 0.01 8.66 1.86 4
341 DENSE 13824 5120 2.70 4.76 0.03 11.25 2.36 0
342 DENSE 13824 5120 2.70 5.10 0.02 13.75 2.70 0
343 DENSE 13824 5120 2.70 5.61 0.04 13.01 2.32 0
346 DENSE 5120 5120 1.00 2.73 0.01 6.53 2.39 4
347 DENSE 5120 5120 1.00 3.02 0.01 7.62 2.52 5
348 DENSE 5120 5120 1.00 5.67 0.03 9.91 1.75 2
349 DENSE 5120 5120 1.00 4.40 0.04 13.33 3.03 3
350 DENSE 13824 5120 2.70 3.38 0.02 8.21 2.43 0
351 DENSE 13824 5120 2.70 4.89 0.03 9.12 1.87 0
352 DENSE 13824 5120 2.70 3.34 0.02 8.37 2.51 0
355 DENSE 5120 5120 1.00 2.62 0.01 6.57 2.50 13
356 DENSE 5120 5120 1.00 2.75 0.01 7.32 2.66 14
357 DENSE 5120 5120 1.00 6.73 0.03 11.40 1.69 3
358 DENSE 5120 5120 1.00 4.33 0.05 9.26 2.14 4
359 DENSE 13824 5120 2.70 2.90 0.02 7.75 2.67 0
360 DENSE 13824 5120 2.70 3.07 0.03 7.29 2.37 0
361 DENSE 13824 5120 2.70 2.88 0.03 8.02 2.78 0
365 DENSE 32000 5120 6.25 4.94 0.02 17.40 3.52 0