guanaco-13b


Find this model in the Guanaco model summary

Model source: https://huggingface.co/TheBloke/guanaco-13B-HF

guanaco-13b Model Summary Plots

guanaco-13b Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
1 DENSE 32000 5120 6.25 3.08 0.03 9.05 2.94 0
2 DENSE 5120 5120 1.00 3.69 0.06 11.18 3.03 45
3 DENSE 5120 5120 1.00 2.65 0.06 7.82 2.95 50
4 DENSE 5120 5120 1.00 4.40 0.03 6.38 1.45 8
5 DENSE 5120 5120 1.00 4.18 0.01 7.41 1.77 6
6 DENSE 13824 5120 2.70 2.86 0.04 6.33 2.21 0
7 DENSE 13824 5120 2.70 5.18 0.02 12.85 2.48 0
8 DENSE 13824 5120 2.70 6.09 0.04 10.57 1.74 0
11 DENSE 5120 5120 1.00 3.13 0.04 8.59 2.75 18
12 DENSE 5120 5120 1.00 3.36 0.04 9.43 2.81 21
13 DENSE 5120 5120 1.00 4.12 0.02 5.57 1.35 7
14 DENSE 5120 5120 1.00 4.27 0.02 6.97 1.63 7
15 DENSE 13824 5120 2.70 2.53 0.01 6.11 2.41 0
16 DENSE 13824 5120 2.70 4.87 0.02 10.59 2.17 0
17 DENSE 13824 5120 2.70 3.46 0.08 5.64 1.63 0
20 DENSE 5120 5120 1.00 2.67 0.04 7.00 2.62 10
21 DENSE 5120 5120 1.00 3.02 0.04 8.41 2.79 13
22 DENSE 5120 5120 1.00 5.19 0.02 6.03 1.16 4
23 DENSE 5120 5120 1.00 4.47 0.02 8.47 1.89 4
24 DENSE 13824 5120 2.70 2.92 0.01 7.13 2.45 0
25 DENSE 13824 5120 2.70 4.51 0.01 8.31 1.84 0
26 DENSE 13824 5120 2.70 11.34 0.06 19.60 1.73 0
29 DENSE 5120 5120 1.00 3.81 0.04 9.52 2.50 5
30 DENSE 5120 5120 1.00 3.91 0.02 10.03 2.57 5
31 DENSE 5120 5120 1.00 3.93 0.03 4.91 1.25 4
32 DENSE 5120 5120 1.00 4.04 0.01 7.33 1.81 4
33 DENSE 13824 5120 2.70 3.49 0.01 8.20 2.35 0
34 DENSE 13824 5120 2.70 5.16 0.04 9.54 1.85 0
35 DENSE 13824 5120 2.70 9.31 0.06 14.37 1.54 0
38 DENSE 5120 5120 1.00 2.40 0.03 5.92 2.47 3
39 DENSE 5120 5120 1.00 3.84 0.03 9.57 2.49 6
40 DENSE 5120 5120 1.00 5.32 0.05 6.75 1.27 3
41 DENSE 5120 5120 1.00 4.14 0.03 7.46 1.80 4
42 DENSE 13824 5120 2.70 3.40 0.01 8.18 2.41 0
43 DENSE 13824 5120 2.70 6.48 0.04 11.77 1.82 0
44 DENSE 13824 5120 2.70 5.40 0.05 8.48 1.57 0
47 DENSE 5120 5120 1.00 4.72 0.03 11.20 2.37 4
48 DENSE 5120 5120 1.00 4.21 0.03 10.28 2.44 5
49 DENSE 5120 5120 1.00 3.52 0.04 4.69 1.33 4
50 DENSE 5120 5120 1.00 3.67 0.04 6.63 1.81 4
51 DENSE 13824 5120 2.70 3.38 0.02 8.20 2.42 0
52 DENSE 13824 5120 2.70 5.28 0.04 9.84 1.86 0
53 DENSE 13824 5120 2.70 5.99 0.03 9.73 1.63 0
56 DENSE 5120 5120 1.00 4.87 0.03 11.49 2.36 4
57 DENSE 5120 5120 1.00 3.66 0.04 9.02 2.47 4
58 DENSE 5120 5120 1.00 4.22 0.04 5.63 1.33 3
59 DENSE 5120 5120 1.00 5.02 0.02 8.55 1.71 4
60 DENSE 13824 5120 2.70 3.14 0.01 7.97 2.54 0
61 DENSE 13824 5120 2.70 4.31 0.03 7.80 1.81 0
62 DENSE 13824 5120 2.70 4.55 0.04 8.34 1.83 0
65 DENSE 5120 5120 1.00 2.63 0.04 6.24 2.37 3
66 DENSE 5120 5120 1.00 2.88 0.03 7.24 2.51 3
67 DENSE 5120 5120 1.00 3.19 0.05 4.42 1.38 3
68 DENSE 5120 5120 1.00 6.25 0.05 9.98 1.60 3
69 DENSE 13824 5120 2.70 3.22 0.01 8.10 2.52 0
70 DENSE 13824 5120 2.70 3.67 0.05 6.75 1.84 0
71 DENSE 13824 5120 2.70 4.73 0.04 7.94 1.68 0
74 DENSE 5120 5120 1.00 2.45 0.04 5.61 2.29 5
75 DENSE 5120 5120 1.00 3.86 0.03 9.42 2.44 3
76 DENSE 5120 5120 1.00 3.28 0.05 4.63 1.41 4
77 DENSE 5120 5120 1.00 3.47 0.05 5.57 1.60 3
78 DENSE 13824 5120 2.70 3.27 0.01 8.15 2.49 0
79 DENSE 13824 5120 2.70 3.41 0.04 6.19 1.82 0
80 DENSE 13824 5120 2.70 4.51 0.04 7.83 1.73 0
83 DENSE 5120 5120 1.00 3.10 0.04 7.31 2.35 3
84 DENSE 5120 5120 1.00 3.04 0.02 7.68 2.52 4
85 DENSE 5120 5120 1.00 3.47 0.05 4.76 1.37 3
86 DENSE 5120 5120 1.00 4.03 0.05 6.66 1.65 4
87 DENSE 13824 5120 2.70 3.35 0.01 8.37 2.50 0
88 DENSE 13824 5120 2.70 3.36 0.04 6.33 1.88 0
89 DENSE 13824 5120 2.70 4.66 0.03 8.10 1.74 0
92 DENSE 5120 5120 1.00 3.29 0.03 7.70 2.34 5
93 DENSE 5120 5120 1.00 3.08 0.02 7.68 2.50 4
94 DENSE 5120 5120 1.00 3.30 0.06 4.60 1.39 3
95 DENSE 5120 5120 1.00 5.32 0.05 8.57 1.61 3
96 DENSE 13824 5120 2.70 3.42 0.01 8.45 2.47 0
97 DENSE 13824 5120 2.70 3.55 0.03 6.93 1.95 0
98 DENSE 13824 5120 2.70 4.69 0.03 8.23 1.76 0
101 DENSE 5120 5120 1.00 2.81 0.04 6.64 2.36 4
102 DENSE 5120 5120 1.00 2.87 0.02 7.26 2.53 4
103 DENSE 5120 5120 1.00 3.39 0.05 4.71 1.39 3
104 DENSE 5120 5120 1.00 4.26 0.06 6.57 1.54 3
105 DENSE 13824 5120 2.70 3.45 0.02 8.50 2.46 0
106 DENSE 13824 5120 2.70 3.25 0.03 6.27 1.93 0
107 DENSE 13824 5120 2.70 4.69 0.03 8.28 1.77 0
110 DENSE 5120 5120 1.00 2.76 0.04 6.47 2.35 4
111 DENSE 5120 5120 1.00 2.82 0.02 7.08 2.51 4
112 DENSE 5120 5120 1.00 7.25 0.06 9.90 1.37 3
113 DENSE 5120 5120 1.00 7.84 0.06 11.44 1.46 4
114 DENSE 13824 5120 2.70 3.32 0.01 8.43 2.54 0
115 DENSE 13824 5120 2.70 3.78 0.03 6.93 1.83 0
116 DENSE 13824 5120 2.70 4.34 0.03 7.97 1.84 0
119 DENSE 5120 5120 1.00 2.95 0.04 6.89 2.33 4
120 DENSE 5120 5120 1.00 2.77 0.02 6.93 2.51 4
121 DENSE 5120 5120 1.00 3.27 0.08 4.26 1.30 4
122 DENSE 5120 5120 1.00 4.54 0.05 7.01 1.54 4
123 DENSE 13824 5120 2.70 3.43 0.01 8.90 2.59 0
124 DENSE 13824 5120 2.70 4.06 0.02 7.52 1.85 0
125 DENSE 13824 5120 2.70 4.35 0.03 8.19 1.88 0
128 DENSE 5120 5120 1.00 2.70 0.03 6.47 2.39 4
129 DENSE 5120 5120 1.00 2.76 0.01 7.05 2.55 3
130 DENSE 5120 5120 1.00 4.99 0.07 6.55 1.31 2
131 DENSE 5120 5120 1.00 4.13 0.04 6.94 1.68 4
132 DENSE 13824 5120 2.70 3.55 0.01 9.16 2.58 0
133 DENSE 13824 5120 2.70 4.25 0.03 7.47 1.76 0
134 DENSE 13824 5120 2.70 5.05 0.03 9.56 1.89 0
137 DENSE 5120 5120 1.00 2.68 0.03 6.31 2.35 3
138 DENSE 5120 5120 1.00 2.78 0.01 6.93 2.50 3
140 DENSE 5120 5120 1.00 11.55 0.05 13.60 1.18 3
141 DENSE 5120 5120 1.00 6.94 0.03 11.51 1.66 3
142 DENSE 13824 5120 2.70 3.63 0.01 9.36 2.58 0
143 DENSE 13824 5120 2.70 4.08 0.02 7.48 1.83 0
144 DENSE 13824 5120 2.70 5.07 0.03 9.69 1.91 0
147 DENSE 5120 5120 1.00 3.19 0.03 7.63 2.39 5
148 DENSE 5120 5120 1.00 3.07 0.01 7.71 2.51 3
149 DENSE 5120 5120 1.00 9.43 0.03 12.51 1.33 3
150 DENSE 5120 5120 1.00 6.59 0.02 10.12 1.54 2
151 DENSE 13824 5120 2.70 3.75 0.01 9.44 2.52 0
152 DENSE 13824 5120 2.70 3.85 0.01 6.95 1.80 0
153 DENSE 13824 5120 2.70 5.74 0.03 10.78 1.88 0
156 DENSE 5120 5120 1.00 2.95 0.03 7.12 2.41 6
157 DENSE 5120 5120 1.00 2.94 0.01 7.52 2.56 3
158 DENSE 5120 5120 1.00 6.93 0.03 9.53 1.38 2
159 DENSE 5120 5120 1.00 5.62 0.02 10.10 1.80 3
160 DENSE 13824 5120 2.70 3.80 0.01 9.57 2.52 0
161 DENSE 13824 5120 2.70 4.01 0.01 7.20 1.79 0
162 DENSE 13824 5120 2.70 5.20 0.03 9.69 1.86 0
165 DENSE 5120 5120 1.00 2.84 0.03 6.83 2.40 3
166 DENSE 5120 5120 1.00 3.08 0.01 7.76 2.52 4
167 DENSE 5120 5120 1.00 8.93 0.03 11.13 1.25 3
168 DENSE 5120 5120 1.00 5.76 0.02 9.32 1.62 3
169 DENSE 13824 5120 2.70 3.79 0.01 9.54 2.52 0
170 DENSE 13824 5120 2.70 4.26 0.01 7.80 1.83 0
171 DENSE 13824 5120 2.70 5.24 0.02 9.63 1.84 0
174 DENSE 5120 5120 1.00 2.92 0.03 6.96 2.39 4
175 DENSE 5120 5120 1.00 3.00 0.01 7.46 2.49 4
176 DENSE 5120 5120 1.00 8.78 0.02 11.59 1.32 3
177 DENSE 5120 5120 1.00 6.11 0.02 10.21 1.67 3
178 DENSE 13824 5120 2.70 3.82 0.01 9.67 2.53 0
179 DENSE 13824 5120 2.70 4.48 0.01 8.20 1.83 0
180 DENSE 13824 5120 2.70 5.55 0.01 10.15 1.83 0
183 DENSE 5120 5120 1.00 3.04 0.03 7.33 2.41 4
184 DENSE 5120 5120 1.00 3.13 0.01 7.83 2.50 5
185 DENSE 5120 5120 1.00 10.95 0.06 14.49 1.32 4
186 DENSE 5120 5120 1.00 6.13 0.02 10.40 1.69 3
187 DENSE 13824 5120 2.70 3.80 0.01 9.59 2.52 0
188 DENSE 13824 5120 2.70 4.96 0.02 9.06 1.83 0
189 DENSE 13824 5120 2.70 5.50 0.01 9.87 1.79 0
192 DENSE 5120 5120 1.00 2.89 0.02 6.99 2.41 3
193 DENSE 5120 5120 1.00 2.96 0.02 7.43 2.51 4
194 DENSE 5120 5120 1.00 9.05 0.02 11.59 1.28 3
195 DENSE 5120 5120 1.00 7.03 0.02 10.20 1.45 2
196 DENSE 13824 5120 2.70 3.90 0.01 9.77 2.50 0
197 DENSE 13824 5120 2.70 5.53 0.02 10.18 1.84 0
198 DENSE 13824 5120 2.70 5.88 0.01 10.75 1.83 0
201 DENSE 5120 5120 1.00 3.07 0.02 7.50 2.44 6
202 DENSE 5120 5120 1.00 3.22 0.01 8.16 2.53 8
203 DENSE 5120 5120 1.00 8.14 0.02 10.99 1.35 2
204 DENSE 5120 5120 1.00 6.12 0.04 10.81 1.77 3
205 DENSE 13824 5120 2.70 3.78 0.01 9.46 2.50 0
206 DENSE 13824 5120 2.70 6.41 0.03 11.59 1.81 0
207 DENSE 13824 5120 2.70 5.77 0.02 10.40 1.80 0
210 DENSE 5120 5120 1.00 3.18 0.01 7.75 2.43 4
211 DENSE 5120 5120 1.00 3.29 0.01 8.16 2.48 4
212 DENSE 5120 5120 1.00 10.60 0.03 13.56 1.28 4
213 DENSE 5120 5120 1.00 8.27 0.02 12.26 1.48 2
214 DENSE 13824 5120 2.70 3.75 0.02 9.46 2.52 0
215 DENSE 13824 5120 2.70 7.72 0.03 12.95 1.68 0
216 DENSE 13824 5120 2.70 6.04 0.02 10.74 1.78 0
219 DENSE 5120 5120 1.00 3.19 0.02 7.74 2.43 5
220 DENSE 5120 5120 1.00 3.27 0.01 8.15 2.49 7
221 DENSE 5120 5120 1.00 8.45 0.04 10.93 1.29 2
222 DENSE 5120 5120 1.00 7.84 0.04 13.92 1.77 3
223 DENSE 13824 5120 2.70 3.71 0.02 9.30 2.51 0
224 DENSE 13824 5120 2.70 8.22 0.04 13.56 1.65 0
225 DENSE 13824 5120 2.70 6.28 0.02 10.96 1.74 0
228 DENSE 5120 5120 1.00 3.18 0.01 7.87 2.47 4
229 DENSE 5120 5120 1.00 3.27 0.02 8.25 2.53 5
230 DENSE 5120 5120 1.00 8.94 0.03 12.12 1.36 4
231 DENSE 5120 5120 1.00 6.83 0.02 13.06 1.91 2
232 DENSE 13824 5120 2.70 3.72 0.02 9.25 2.49 0
233 DENSE 13824 5120 2.70 8.53 0.04 13.85 1.62 0
234 DENSE 13824 5120 2.70 7.37 0.03 12.33 1.67 0
237 DENSE 5120 5120 1.00 3.45 0.01 8.43 2.44 5
238 DENSE 5120 5120 1.00 3.49 0.02 8.67 2.48 7
239 DENSE 5120 5120 1.00 9.63 0.05 12.31 1.28 3
240 DENSE 5120 5120 1.00 8.33 0.04 14.07 1.69 3
241 DENSE 13824 5120 2.70 3.80 0.03 9.35 2.46 0
242 DENSE 13824 5120 2.70 8.42 0.03 13.94 1.66 0
243 DENSE 13824 5120 2.70 7.68 0.03 12.73 1.66 0
246 DENSE 5120 5120 1.00 3.06 0.01 7.50 2.45 5
247 DENSE 5120 5120 1.00 3.25 0.02 8.14 2.51 4
248 DENSE 5120 5120 1.00 7.34 0.07 10.20 1.39 2
249 DENSE 5120 5120 1.00 8.24 0.05 13.65 1.66 3
250 DENSE 13824 5120 2.70 3.90 0.03 9.56 2.45 0
251 DENSE 13824 5120 2.70 8.23 0.02 13.56 1.65 0
252 DENSE 13824 5120 2.70 7.54 0.03 12.41 1.65 0
255 DENSE 5120 5120 1.00 3.32 0.01 8.17 2.46 4
256 DENSE 5120 5120 1.00 3.59 0.01 9.07 2.53 5
257 DENSE 5120 5120 1.00 8.04 0.03 10.63 1.32 2
258 DENSE 5120 5120 1.00 6.80 0.03 14.01 2.06 2
259 DENSE 13824 5120 2.70 4.00 0.03 9.81 2.45 0
260 DENSE 13824 5120 2.70 7.36 0.02 11.69 1.59 0
261 DENSE 13824 5120 2.70 8.10 0.03 13.26 1.64 0
264 DENSE 5120 5120 1.00 3.59 0.01 8.89 2.48 4
265 DENSE 5120 5120 1.00 3.89 0.02 9.83 2.53 4
266 DENSE 5120 5120 1.00 8.12 0.02 11.05 1.36 2
267 DENSE 5120 5120 1.00 7.42 0.02 11.53 1.55 2
268 DENSE 13824 5120 2.70 4.17 0.03 10.16 2.44 0
269 DENSE 13824 5120 2.70 6.25 0.02 10.12 1.62 0
270 DENSE 13824 5120 2.70 8.51 0.03 14.25 1.67 0
273 DENSE 5120 5120 1.00 3.56 0.02 8.73 2.46 5
274 DENSE 5120 5120 1.00 3.56 0.01 8.98 2.52 4
275 DENSE 5120 5120 1.00 9.45 0.06 12.60 1.33 3
276 DENSE 5120 5120 1.00 9.91 0.05 16.55 1.67 4
277 DENSE 13824 5120 2.70 5.24 0.03 12.71 2.43 0
278 DENSE 13824 5120 2.70 5.44 0.02 9.20 1.69 0
280 DENSE 13824 5120 2.70 8.76 0.03 15.21 1.74 0
283 DENSE 5120 5120 1.00 3.50 0.02 8.64 2.47 4
284 DENSE 5120 5120 1.00 3.75 0.02 9.47 2.52 4
285 DENSE 5120 5120 1.00 6.75 0.03 9.45 1.40 3
286 DENSE 5120 5120 1.00 6.72 0.03 11.25 1.68 2
287 DENSE 13824 5120 2.70 5.44 0.03 13.12 2.41 0
288 DENSE 13824 5120 2.70 5.00 0.02 8.33 1.66 0
289 DENSE 13824 5120 2.70 8.90 0.04 16.18 1.82 0
292 DENSE 5120 5120 1.00 3.61 0.02 8.89 2.46 4
293 DENSE 5120 5120 1.00 3.70 0.02 9.35 2.52 4
294 DENSE 5120 5120 1.00 7.39 0.02 10.71 1.45 2
295 DENSE 5120 5120 1.00 8.00 0.03 13.12 1.64 3
296 DENSE 13824 5120 2.70 5.70 0.03 13.67 2.40 0
297 DENSE 13824 5120 2.70 4.57 0.02 7.71 1.69 0
298 DENSE 13824 5120 2.70 9.36 0.04 17.24 1.84 0
301 DENSE 5120 5120 1.00 3.52 0.02 8.58 2.44 5
302 DENSE 5120 5120 1.00 3.71 0.02 9.26 2.50 4
303 DENSE 5120 5120 1.00 5.68 0.03 8.09 1.42 3
304 DENSE 5120 5120 1.00 9.86 0.05 16.11 1.63 2
305 DENSE 13824 5120 2.70 5.62 0.03 13.41 2.39 0
306 DENSE 13824 5120 2.70 4.32 0.02 7.42 1.72 0
307 DENSE 13824 5120 2.70 8.37 0.05 16.08 1.92 0
310 DENSE 5120 5120 1.00 3.32 0.01 8.10 2.44 4
311 DENSE 5120 5120 1.00 3.54 0.01 8.97 2.53 3
312 DENSE 5120 5120 1.00 5.86 0.01 8.70 1.49 2
313 DENSE 5120 5120 1.00 5.60 0.04 9.56 1.71 2
314 DENSE 13824 5120 2.70 5.51 0.02 12.90 2.34 0
315 DENSE 13824 5120 2.70 4.69 0.02 8.78 1.87 0
316 DENSE 13824 5120 2.70 8.03 0.05 16.28 2.03 0
319 DENSE 5120 5120 1.00 3.06 0.01 7.49 2.45 5
320 DENSE 5120 5120 1.00 3.39 0.01 8.64 2.55 6
321 DENSE 5120 5120 1.00 6.50 0.03 9.69 1.49 3
322 DENSE 5120 5120 1.00 6.60 0.03 11.83 1.79 3
323 DENSE 13824 5120 2.70 5.37 0.02 12.35 2.30 0
324 DENSE 13824 5120 2.70 4.81 0.02 10.59 2.20 0
325 DENSE 13824 5120 2.70 7.14 0.05 14.84 2.08 0
328 DENSE 5120 5120 1.00 3.11 0.02 7.54 2.42 4
329 DENSE 5120 5120 1.00 3.20 0.02 8.11 2.53 3
330 DENSE 5120 5120 1.00 7.81 0.04 12.53 1.60 3
331 DENSE 5120 5120 1.00 7.12 0.03 11.78 1.65 2
332 DENSE 13824 5120 2.70 5.22 0.02 12.01 2.30 0
333 DENSE 13824 5120 2.70 4.74 0.02 10.79 2.27 0
334 DENSE 13824 5120 2.70 6.33 0.05 13.94 2.20 0
337 DENSE 5120 5120 1.00 2.93 0.01 7.11 2.42 5
338 DENSE 5120 5120 1.00 3.24 0.01 8.26 2.55 6
339 DENSE 5120 5120 1.00 5.25 0.02 8.10 1.54 3
340 DENSE 5120 5120 1.00 4.63 0.01 8.64 1.86 3
341 DENSE 13824 5120 2.70 4.70 0.03 11.14 2.37 0
342 DENSE 13824 5120 2.70 5.06 0.02 13.65 2.70 0
343 DENSE 13824 5120 2.70 5.48 0.04 12.84 2.34 0
346 DENSE 5120 5120 1.00 2.72 0.01 6.54 2.40 5
347 DENSE 5120 5120 1.00 3.00 0.01 7.61 2.53 5
348 DENSE 5120 5120 1.00 5.63 0.03 9.91 1.76 3
349 DENSE 5120 5120 1.00 4.48 0.04 13.57 3.03 2
350 DENSE 13824 5120 2.70 3.39 0.02 8.24 2.43 0
351 DENSE 13824 5120 2.70 4.86 0.03 9.09 1.87 0
352 DENSE 13824 5120 2.70 3.24 0.02 8.17 2.52 0
355 DENSE 5120 5120 1.00 2.62 0.01 6.55 2.50 12
356 DENSE 5120 5120 1.00 2.75 0.01 7.32 2.66 14
357 DENSE 5120 5120 1.00 6.63 0.02 11.24 1.70 4
358 DENSE 5120 5120 1.00 4.34 0.05 9.26 2.14 4
359 DENSE 13824 5120 2.70 2.89 0.02 7.73 2.67 0
360 DENSE 13824 5120 2.70 3.07 0.03 7.28 2.37 0
361 DENSE 13824 5120 2.70 2.86 0.02 7.97 2.78 0
365 DENSE 32000 5120 6.25 4.98 0.02 17.47 3.50 0