guanaco-7b


Find this model in the Guanaco model summary

Model source: https://huggingface.co/TheBloke/guanaco-7B-HF

guanaco-7b Model Summary Plots

guanaco-7b Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
1 DENSE 32000 4096 7.81 2.88 0.02 8.48 2.94 0
2 DENSE 4096 4096 1.00 2.72 0.05 8.19 3.02 30
3 DENSE 4096 4096 1.00 1.37 0.06 3.97 2.90 35
4 DENSE 4096 4096 1.00 4.22 0.03 5.42 1.28 7
5 DENSE 4096 4096 1.00 3.78 0.02 6.36 1.68 6
6 DENSE 11008 4096 2.69 2.79 0.04 5.83 2.09 0
7 DENSE 11008 4096 2.69 4.80 0.03 11.07 2.30 0
8 DENSE 11008 4096 2.69 5.39 0.04 9.70 1.80 0
11 DENSE 4096 4096 1.00 3.60 0.04 9.54 2.65 13
12 DENSE 4096 4096 1.00 3.67 0.04 10.55 2.87 18
13 DENSE 4096 4096 1.00 4.38 0.02 5.10 1.16 7
14 DENSE 4096 4096 1.00 4.50 0.02 6.71 1.49 7
15 DENSE 11008 4096 2.69 2.79 0.02 6.29 2.26 0
16 DENSE 11008 4096 2.69 4.24 0.03 8.86 2.09 0
17 DENSE 11008 4096 2.69 5.40 0.06 8.20 1.52 0
20 DENSE 4096 4096 1.00 2.66 0.03 6.97 2.62 7
21 DENSE 4096 4096 1.00 3.07 0.02 8.75 2.85 10
22 DENSE 4096 4096 1.00 4.42 0.02 4.42 1.00 4
23 DENSE 4096 4096 1.00 4.65 0.02 8.37 1.80 4
24 DENSE 11008 4096 2.69 2.88 0.01 6.75 2.34 0
25 DENSE 11008 4096 2.69 4.85 0.02 8.73 1.80 0
26 DENSE 11008 4096 2.69 4.12 0.06 6.96 1.69 0
29 DENSE 4096 4096 1.00 2.56 0.03 6.68 2.61 4
30 DENSE 4096 4096 1.00 3.42 0.03 9.09 2.65 5
31 DENSE 4096 4096 1.00 4.44 0.04 5.14 1.16 3
32 DENSE 4096 4096 1.00 3.85 0.03 6.68 1.74 3
33 DENSE 11008 4096 2.69 3.60 0.01 7.76 2.16 0
34 DENSE 11008 4096 2.69 4.55 0.03 7.94 1.74 0
35 DENSE 11008 4096 2.69 8.32 0.02 12.39 1.49 0
38 DENSE 4096 4096 1.00 3.13 0.04 8.01 2.56 4
39 DENSE 4096 4096 1.00 2.78 0.04 7.31 2.63 3
40 DENSE 4096 4096 1.00 4.01 0.06 4.46 1.11 4
41 DENSE 4096 4096 1.00 4.14 0.03 7.04 1.70 4
42 DENSE 11008 4096 2.69 3.53 0.01 8.04 2.28 0
43 DENSE 11008 4096 2.69 6.50 0.03 11.66 1.79 0
44 DENSE 11008 4096 2.69 8.98 0.04 13.63 1.52 0
47 DENSE 4096 4096 1.00 3.86 0.04 9.46 2.45 5
48 DENSE 4096 4096 1.00 3.69 0.02 9.41 2.55 6
49 DENSE 4096 4096 1.00 4.27 0.04 4.87 1.14 2
50 DENSE 4096 4096 1.00 3.79 0.04 6.84 1.81 3
51 DENSE 11008 4096 2.69 3.38 0.02 8.04 2.38 0
52 DENSE 11008 4096 2.69 6.66 0.04 11.68 1.75 0
53 DENSE 11008 4096 2.69 5.56 0.02 8.46 1.52 0
56 DENSE 4096 4096 1.00 2.80 0.04 6.77 2.42 5
57 DENSE 4096 4096 1.00 3.18 0.03 8.09 2.55 4
58 DENSE 4096 4096 1.00 4.29 0.05 4.76 1.11 3
59 DENSE 4096 4096 1.00 4.27 0.04 7.15 1.67 3
60 DENSE 11008 4096 2.69 3.41 0.01 7.92 2.33 0
61 DENSE 11008 4096 2.69 3.86 0.05 6.65 1.72 0
62 DENSE 11008 4096 2.69 5.17 0.03 8.20 1.59 0
65 DENSE 4096 4096 1.00 2.51 0.04 6.03 2.40 4
66 DENSE 4096 4096 1.00 2.79 0.04 7.03 2.52 3
67 DENSE 4096 4096 1.00 4.46 0.05 5.25 1.18 4
68 DENSE 4096 4096 1.00 4.74 0.03 7.25 1.53 3
69 DENSE 11008 4096 2.69 3.39 0.01 7.86 2.32 0
70 DENSE 11008 4096 2.69 6.22 0.05 10.83 1.74 0
71 DENSE 11008 4096 2.69 4.77 0.03 7.81 1.64 0
74 DENSE 4096 4096 1.00 2.56 0.03 6.00 2.34 3
75 DENSE 4096 4096 1.00 2.96 0.03 7.22 2.44 3
76 DENSE 4096 4096 1.00 3.29 0.05 4.06 1.24 3
77 DENSE 4096 4096 1.00 3.72 0.04 5.63 1.51 3
78 DENSE 11008 4096 2.69 3.22 0.01 7.70 2.39 0
79 DENSE 11008 4096 2.69 4.45 0.04 8.08 1.81 0
80 DENSE 11008 4096 2.69 4.51 0.03 7.51 1.66 0
83 DENSE 4096 4096 1.00 4.17 0.03 9.72 2.33 3
84 DENSE 4096 4096 1.00 3.57 0.04 8.79 2.46 4
85 DENSE 4096 4096 1.00 2.91 0.05 3.78 1.30 4
86 DENSE 4096 4096 1.00 3.52 0.05 5.35 1.52 4
87 DENSE 11008 4096 2.69 3.32 0.02 7.79 2.34 0
88 DENSE 11008 4096 2.69 3.46 0.04 6.37 1.84 0
89 DENSE 11008 4096 2.69 4.32 0.03 7.47 1.73 0
92 DENSE 4096 4096 1.00 3.00 0.03 6.93 2.31 2
93 DENSE 4096 4096 1.00 2.86 0.03 7.00 2.45 3
94 DENSE 4096 4096 1.00 3.17 0.06 4.07 1.28 3
95 DENSE 4096 4096 1.00 3.89 0.04 5.74 1.48 2
96 DENSE 11008 4096 2.69 3.42 0.02 7.93 2.32 0
97 DENSE 11008 4096 2.69 3.33 0.04 5.96 1.79 0
98 DENSE 11008 4096 2.69 4.42 0.03 7.66 1.73 0
101 DENSE 4096 4096 1.00 4.15 0.04 9.90 2.39 2
102 DENSE 4096 4096 1.00 2.85 0.03 7.28 2.55 4
103 DENSE 4096 4096 1.00 3.17 0.07 3.82 1.21 4
104 DENSE 4096 4096 1.00 8.85 0.07 11.62 1.31 4
105 DENSE 11008 4096 2.69 3.42 0.02 8.09 2.37 0
106 DENSE 11008 4096 2.69 3.72 0.04 6.55 1.76 0
107 DENSE 11008 4096 2.69 4.18 0.03 7.66 1.83 0
110 DENSE 4096 4096 1.00 2.74 0.04 6.32 2.30 3
111 DENSE 4096 4096 1.00 2.68 0.02 6.61 2.46 3
112 DENSE 4096 4096 1.00 4.01 0.06 4.82 1.20 3
113 DENSE 4096 4096 1.00 4.28 0.05 6.09 1.42 4
114 DENSE 11008 4096 2.69 3.46 0.01 8.42 2.44 0
115 DENSE 11008 4096 2.69 3.83 0.03 6.75 1.76 0
116 DENSE 11008 4096 2.69 4.62 0.03 8.30 1.80 0
119 DENSE 4096 4096 1.00 2.87 0.03 6.59 2.30 3
120 DENSE 4096 4096 1.00 2.85 0.02 6.95 2.44 3
121 DENSE 4096 4096 1.00 6.95 0.07 8.42 1.21 4
122 DENSE 4096 4096 1.00 4.65 0.05 6.62 1.42 4
123 DENSE 11008 4096 2.69 3.53 0.01 8.40 2.38 0
124 DENSE 11008 4096 2.69 3.87 0.02 6.73 1.74 0
125 DENSE 11008 4096 2.69 4.55 0.03 8.39 1.85 0
128 DENSE 4096 4096 1.00 2.72 0.05 6.32 2.32 3
129 DENSE 4096 4096 1.00 2.98 0.03 7.33 2.46 4
130 DENSE 4096 4096 1.00 6.88 0.04 7.97 1.16 2
131 DENSE 4096 4096 1.00 4.07 0.04 5.80 1.43 3
132 DENSE 11008 4096 2.69 3.66 0.01 8.53 2.33 0
133 DENSE 11008 4096 2.69 3.74 0.01 6.41 1.72 0
134 DENSE 11008 4096 2.69 4.95 0.03 9.04 1.82 0
137 DENSE 4096 4096 1.00 2.68 0.04 6.23 2.32 3
138 DENSE 4096 4096 1.00 2.69 0.01 6.64 2.47 3
139 DENSE 4096 4096 1.00 9.01 0.06 9.78 1.09 2
140 DENSE 4096 4096 1.00 5.83 0.04 8.57 1.47 2
141 DENSE 11008 4096 2.69 3.71 0.01 8.56 2.31 0
142 DENSE 11008 4096 2.69 4.02 0.01 6.76 1.68 0
143 DENSE 11008 4096 2.69 4.75 0.02 8.85 1.86 0
146 DENSE 4096 4096 1.00 2.89 0.03 6.85 2.37 2
147 DENSE 4096 4096 1.00 2.92 0.01 7.33 2.51 3
148 DENSE 4096 4096 1.00 6.56 0.05 7.87 1.20 3
149 DENSE 4096 4096 1.00 6.20 0.02 9.96 1.61 2
150 DENSE 11008 4096 2.69 3.68 0.01 8.65 2.35 0
151 DENSE 11008 4096 2.69 4.69 0.01 7.86 1.68 0
152 DENSE 11008 4096 2.69 4.92 0.01 9.28 1.89 0
155 DENSE 4096 4096 1.00 2.82 0.04 6.57 2.33 2
156 DENSE 4096 4096 1.00 2.85 0.01 7.03 2.46 3
157 DENSE 4096 4096 1.00 13.72 0.05 15.60 1.14 3
158 DENSE 4096 4096 1.00 7.34 0.02 11.08 1.51 3
159 DENSE 11008 4096 2.69 3.72 0.01 8.75 2.35 0
160 DENSE 11008 4096 2.69 5.13 0.01 8.49 1.66 0
161 DENSE 11008 4096 2.69 5.00 0.01 9.17 1.83 0
164 DENSE 4096 4096 1.00 2.58 0.04 6.07 2.36 3
165 DENSE 4096 4096 1.00 2.75 0.02 6.78 2.47 3
166 DENSE 4096 4096 1.00 9.24 0.05 10.00 1.08 3
167 DENSE 4096 4096 1.00 7.16 0.03 10.52 1.47 2
168 DENSE 11008 4096 2.69 3.76 0.01 8.70 2.32 0
169 DENSE 11008 4096 2.69 5.27 0.02 8.81 1.67 0
170 DENSE 11008 4096 2.69 5.30 0.01 9.62 1.81 0
173 DENSE 4096 4096 1.00 2.76 0.02 6.54 2.37 2
174 DENSE 4096 4096 1.00 2.91 0.02 7.18 2.46 3
175 DENSE 4096 4096 1.00 9.97 0.03 12.42 1.25 2
176 DENSE 4096 4096 1.00 7.19 0.04 10.71 1.49 1
177 DENSE 11008 4096 2.69 3.77 0.01 8.68 2.30 0
178 DENSE 11008 4096 2.69 5.78 0.02 9.62 1.66 0
179 DENSE 11008 4096 2.69 5.39 0.01 9.41 1.75 0
182 DENSE 4096 4096 1.00 3.09 0.02 7.35 2.38 3
183 DENSE 4096 4096 1.00 3.24 0.02 8.00 2.47 3
184 DENSE 4096 4096 1.00 7.90 0.05 9.05 1.15 4
185 DENSE 4096 4096 1.00 7.46 0.04 11.11 1.49 2
186 DENSE 11008 4096 2.69 3.79 0.01 8.69 2.29 0
187 DENSE 11008 4096 2.69 7.15 0.03 11.52 1.61 0
188 DENSE 11008 4096 2.69 5.46 0.01 9.53 1.74 0
191 DENSE 4096 4096 1.00 2.81 0.02 6.65 2.37 3
192 DENSE 4096 4096 1.00 2.87 0.03 7.02 2.45 4
193 DENSE 4096 4096 1.00 5.25 0.05 6.15 1.17 2
194 DENSE 4096 4096 1.00 8.60 0.06 15.02 1.75 1
195 DENSE 11008 4096 2.69 3.79 0.01 8.74 2.31 0
196 DENSE 11008 4096 2.69 6.64 0.04 10.08 1.52 0
197 DENSE 11008 4096 2.69 5.91 0.02 9.98 1.69 0
200 DENSE 4096 4096 1.00 3.27 0.01 7.75 2.37 4
201 DENSE 4096 4096 1.00 3.56 0.02 8.62 2.42 4
202 DENSE 4096 4096 1.00 7.02 0.02 9.06 1.29 2
203 DENSE 4096 4096 1.00 5.54 0.02 9.76 1.76 3
204 DENSE 11008 4096 2.69 3.85 0.02 8.62 2.24 0
205 DENSE 11008 4096 2.69 7.98 0.03 12.14 1.52 0
206 DENSE 11008 4096 2.69 6.34 0.03 10.47 1.65 0
209 DENSE 4096 4096 1.00 2.71 0.02 6.45 2.38 3
210 DENSE 4096 4096 1.00 2.97 0.03 7.26 2.45 3
211 DENSE 4096 4096 1.00 4.35 0.06 5.32 1.22 3
212 DENSE 4096 4096 1.00 6.24 0.02 11.24 1.80 2
213 DENSE 11008 4096 2.69 3.96 0.02 8.84 2.23 0
214 DENSE 11008 4096 2.69 7.98 0.02 11.98 1.50 0
215 DENSE 11008 4096 2.69 6.82 0.03 11.06 1.62 0
217 DENSE 4096 4096 1.00 3.04 0.03 7.16 2.35 3
218 DENSE 4096 4096 1.00 3.11 0.04 7.55 2.43 3
219 DENSE 4096 4096 1.00 5.32 0.06 6.27 1.18 3
220 DENSE 4096 4096 1.00 9.18 0.04 14.94 1.63 2
221 DENSE 11008 4096 2.69 4.10 0.02 9.00 2.19 0
222 DENSE 11008 4096 2.69 6.77 0.02 10.44 1.54 0
223 DENSE 11008 4096 2.69 7.43 0.04 11.84 1.59 0
226 DENSE 4096 4096 1.00 3.83 0.02 9.05 2.36 2
227 DENSE 4096 4096 1.00 3.34 0.03 8.12 2.43 4
228 DENSE 4096 4096 1.00 8.61 0.04 10.50 1.22 2
229 DENSE 4096 4096 1.00 8.48 0.03 13.65 1.61 1
230 DENSE 11008 4096 2.69 4.28 0.02 9.36 2.19 0
231 DENSE 11008 4096 2.69 5.72 0.02 8.73 1.53 0
232 DENSE 11008 4096 2.69 7.67 0.03 12.77 1.67 0
235 DENSE 4096 4096 1.00 3.78 0.02 8.78 2.32 3
236 DENSE 4096 4096 1.00 3.31 0.03 7.86 2.38 2
237 DENSE 4096 4096 1.00 10.44 0.03 12.16 1.16 2
238 DENSE 4096 4096 1.00 8.89 0.04 13.35 1.50 2
239 DENSE 11008 4096 2.69 4.95 0.02 10.72 2.17 0
240 DENSE 11008 4096 2.69 5.04 0.02 7.91 1.57 0
241 DENSE 11008 4096 2.69 7.73 0.03 13.44 1.74 0
244 DENSE 4096 4096 1.00 3.88 0.02 9.06 2.34 3
245 DENSE 4096 4096 1.00 4.12 0.03 9.83 2.38 3
246 DENSE 4096 4096 1.00 8.38 0.04 10.94 1.31 1
247 DENSE 4096 4096 1.00 7.06 0.04 12.72 1.80 2
248 DENSE 11008 4096 2.69 4.98 0.01 10.85 2.18 0
249 DENSE 11008 4096 2.69 4.65 0.02 7.17 1.54 0
250 DENSE 11008 4096 2.69 7.30 0.04 13.90 1.90 0
253 DENSE 4096 4096 1.00 3.10 0.03 7.21 2.33 4
254 DENSE 4096 4096 1.00 3.27 0.04 7.87 2.41 3
255 DENSE 4096 4096 1.00 7.05 0.04 8.98 1.27 3
256 DENSE 4096 4096 1.00 7.83 0.05 12.95 1.65 2
257 DENSE 11008 4096 2.69 4.95 0.02 10.81 2.18 0
258 DENSE 11008 4096 2.69 5.08 0.02 7.87 1.55 0
259 DENSE 11008 4096 2.69 6.52 0.04 13.52 2.07 0
262 DENSE 4096 4096 1.00 3.12 0.02 7.13 2.28 2
263 DENSE 4096 4096 1.00 3.17 0.03 7.47 2.36 4
264 DENSE 4096 4096 1.00 9.11 0.05 13.67 1.50 2
265 DENSE 4096 4096 1.00 7.88 0.07 13.88 1.76 2
266 DENSE 11008 4096 2.69 4.82 0.02 10.73 2.22 0
267 DENSE 11008 4096 2.69 5.64 0.02 9.30 1.65 0
268 DENSE 11008 4096 2.69 5.64 0.04 12.79 2.27 0
271 DENSE 4096 4096 1.00 3.21 0.02 7.43 2.32 3
272 DENSE 4096 4096 1.00 3.49 0.02 8.40 2.40 3
273 DENSE 4096 4096 1.00 8.37 0.04 11.94 1.43 2
274 DENSE 4096 4096 1.00 6.93 0.04 11.94 1.72 2
275 DENSE 11008 4096 2.69 3.39 0.02 7.70 2.27 0
276 DENSE 11008 4096 2.69 5.56 0.03 16.55 2.98 0
277 DENSE 11008 4096 2.69 3.31 0.03 8.07 2.44 0
280 DENSE 4096 4096 1.00 2.70 0.01 6.40 2.37 8
281 DENSE 4096 4096 1.00 2.91 0.01 7.43 2.55 8
282 DENSE 4096 4096 1.00 6.18 0.04 8.90 1.44 3
283 DENSE 4096 4096 1.00 4.10 0.05 10.60 2.59 2
284 DENSE 11008 4096 2.69 3.84 0.04 10.24 2.67 0
285 DENSE 11008 4096 2.69 4.81 0.03 9.62 2.00 0
286 DENSE 11008 4096 2.69 2.94 0.03 7.73 2.62 0
290 DENSE 32000 4096 7.81 5.22 0.03 17.48 3.35 0