vicuna-13b-1.1


Find this model in the Vicuna model summary

Model source: https://huggingface.co/TheBloke/vicuna-13B-1.1-HF

vicuna-13b-1.1 Model Summary Plots

vicuna-13b-1.1 Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
1 DENSE 32000 5120 6.25 3.09 0.03 9.07 2.94 0
2 DENSE 5120 5120 1.00 3.70 0.06 11.21 3.03 43
3 DENSE 5120 5120 1.00 2.65 0.06 7.83 2.95 51
4 DENSE 5120 5120 1.00 4.45 0.03 6.45 1.45 9
5 DENSE 5120 5120 1.00 4.21 0.01 7.45 1.77 7
6 DENSE 13824 5120 2.70 2.86 0.04 6.33 2.22 0
7 DENSE 13824 5120 2.70 5.21 0.02 12.93 2.48 0
8 DENSE 13824 5120 2.70 6.06 0.04 10.57 1.74 0
11 DENSE 5120 5120 1.00 3.13 0.04 8.62 2.75 18
12 DENSE 5120 5120 1.00 3.35 0.03 9.43 2.81 22
13 DENSE 5120 5120 1.00 4.12 0.02 5.55 1.35 7
14 DENSE 5120 5120 1.00 4.29 0.02 7.01 1.63 7
15 DENSE 13824 5120 2.70 2.53 0.01 6.11 2.42 0
16 DENSE 13824 5120 2.70 4.49 0.02 9.77 2.18 0
17 DENSE 13824 5120 2.70 3.51 0.08 5.73 1.63 0
20 DENSE 5120 5120 1.00 2.60 0.05 6.81 2.62 9
21 DENSE 5120 5120 1.00 3.01 0.04 8.41 2.79 11
22 DENSE 5120 5120 1.00 5.23 0.02 6.09 1.16 5
23 DENSE 5120 5120 1.00 4.53 0.02 8.58 1.89 4
24 DENSE 13824 5120 2.70 2.92 0.01 7.14 2.45 0
25 DENSE 13824 5120 2.70 4.54 0.01 8.36 1.84 0
26 DENSE 13824 5120 2.70 11.66 0.06 20.16 1.73 0
29 DENSE 5120 5120 1.00 3.81 0.04 9.54 2.50 5
30 DENSE 5120 5120 1.00 3.90 0.02 10.02 2.57 6
31 DENSE 5120 5120 1.00 3.95 0.03 4.93 1.25 4
32 DENSE 5120 5120 1.00 4.06 0.01 7.37 1.81 3
33 DENSE 13824 5120 2.70 3.48 0.01 8.21 2.36 0
34 DENSE 13824 5120 2.70 5.12 0.04 9.47 1.85 0
35 DENSE 13824 5120 2.70 9.47 0.05 14.65 1.55 0
38 DENSE 5120 5120 1.00 2.40 0.03 5.93 2.47 4
39 DENSE 5120 5120 1.00 3.83 0.03 9.58 2.50 5
40 DENSE 5120 5120 1.00 5.44 0.05 6.90 1.27 4
41 DENSE 5120 5120 1.00 4.17 0.03 7.50 1.80 4
42 DENSE 13824 5120 2.70 3.32 0.01 8.00 2.41 0
43 DENSE 13824 5120 2.70 6.48 0.04 11.79 1.82 0
44 DENSE 13824 5120 2.70 5.44 0.05 8.54 1.57 0
47 DENSE 5120 5120 1.00 4.71 0.02 11.19 2.37 4
48 DENSE 5120 5120 1.00 4.18 0.03 10.23 2.45 4
49 DENSE 5120 5120 1.00 3.49 0.04 4.64 1.33 3
50 DENSE 5120 5120 1.00 3.66 0.04 6.62 1.81 5
51 DENSE 13824 5120 2.70 3.39 0.02 8.23 2.42 0
52 DENSE 13824 5120 2.70 5.28 0.04 9.84 1.86 0
53 DENSE 13824 5120 2.70 6.05 0.03 9.86 1.63 0
56 DENSE 5120 5120 1.00 4.87 0.03 11.49 2.36 4
57 DENSE 5120 5120 1.00 3.66 0.03 9.05 2.47 4
58 DENSE 5120 5120 1.00 4.18 0.04 5.58 1.33 3
59 DENSE 5120 5120 1.00 5.08 0.02 8.67 1.71 3
60 DENSE 13824 5120 2.70 3.15 0.01 8.01 2.54 0
61 DENSE 13824 5120 2.70 4.34 0.03 7.86 1.81 0
62 DENSE 13824 5120 2.70 4.67 0.04 8.56 1.83 0
65 DENSE 5120 5120 1.00 2.63 0.04 6.25 2.37 3
66 DENSE 5120 5120 1.00 2.88 0.03 7.26 2.52 4
67 DENSE 5120 5120 1.00 3.18 0.05 4.40 1.38 3
68 DENSE 5120 5120 1.00 6.29 0.04 10.05 1.60 3
69 DENSE 13824 5120 2.70 3.23 0.01 8.13 2.52 0
70 DENSE 13824 5120 2.70 3.70 0.05 6.81 1.84 0
71 DENSE 13824 5120 2.70 4.76 0.04 8.00 1.68 0
74 DENSE 5120 5120 1.00 2.43 0.04 5.57 2.29 4
75 DENSE 5120 5120 1.00 3.86 0.03 9.45 2.45 3
76 DENSE 5120 5120 1.00 3.40 0.04 4.79 1.41 5
77 DENSE 5120 5120 1.00 3.45 0.05 5.52 1.60 4
78 DENSE 13824 5120 2.70 3.29 0.01 8.20 2.49 0
79 DENSE 13824 5120 2.70 3.50 0.04 6.36 1.82 0
80 DENSE 13824 5120 2.70 4.51 0.04 7.83 1.74 0
83 DENSE 5120 5120 1.00 3.10 0.04 7.31 2.36 2
84 DENSE 5120 5120 1.00 3.04 0.02 7.69 2.53 4
85 DENSE 5120 5120 1.00 3.47 0.05 4.76 1.37 3
86 DENSE 5120 5120 1.00 4.02 0.05 6.66 1.65 4
87 DENSE 13824 5120 2.70 3.37 0.01 8.42 2.50 0
88 DENSE 13824 5120 2.70 3.53 0.04 6.65 1.88 0
89 DENSE 13824 5120 2.70 4.68 0.03 8.15 1.74 0
92 DENSE 5120 5120 1.00 3.29 0.03 7.71 2.35 3
93 DENSE 5120 5120 1.00 3.06 0.02 7.66 2.50 3
94 DENSE 5120 5120 1.00 3.28 0.06 4.57 1.39 3
95 DENSE 5120 5120 1.00 5.35 0.04 8.63 1.61 4
96 DENSE 13824 5120 2.70 3.43 0.01 8.48 2.47 0
97 DENSE 13824 5120 2.70 3.51 0.03 6.85 1.95 0
98 DENSE 13824 5120 2.70 4.75 0.03 8.36 1.76 0
101 DENSE 5120 5120 1.00 2.78 0.04 6.57 2.36 2
102 DENSE 5120 5120 1.00 2.87 0.02 7.28 2.54 4
103 DENSE 5120 5120 1.00 3.40 0.05 4.72 1.39 3
104 DENSE 5120 5120 1.00 4.31 0.06 6.66 1.54 3
105 DENSE 13824 5120 2.70 3.48 0.02 8.60 2.47 0
106 DENSE 13824 5120 2.70 3.26 0.03 6.28 1.93 0
107 DENSE 13824 5120 2.70 4.71 0.03 8.35 1.77 0
110 DENSE 5120 5120 1.00 2.76 0.04 6.49 2.35 4
111 DENSE 5120 5120 1.00 2.77 0.02 6.97 2.51 4
112 DENSE 5120 5120 1.00 7.28 0.06 9.93 1.37 4
113 DENSE 5120 5120 1.00 7.59 0.06 11.09 1.46 4
114 DENSE 13824 5120 2.70 3.35 0.01 8.49 2.54 0
115 DENSE 13824 5120 2.70 3.74 0.03 6.86 1.83 0
116 DENSE 13824 5120 2.70 4.32 0.03 7.96 1.84 0
119 DENSE 5120 5120 1.00 2.96 0.04 6.91 2.34 4
120 DENSE 5120 5120 1.00 2.77 0.02 6.96 2.51 4
121 DENSE 5120 5120 1.00 3.41 0.08 4.45 1.30 3
122 DENSE 5120 5120 1.00 4.56 0.05 7.04 1.54 3
123 DENSE 13824 5120 2.70 3.46 0.01 8.98 2.60 0
124 DENSE 13824 5120 2.70 4.07 0.02 7.55 1.85 0
125 DENSE 13824 5120 2.70 4.32 0.04 8.16 1.89 0
128 DENSE 5120 5120 1.00 2.69 0.03 6.46 2.40 5
129 DENSE 5120 5120 1.00 2.76 0.01 7.04 2.55 4
130 DENSE 5120 5120 1.00 4.99 0.07 6.55 1.31 3
131 DENSE 5120 5120 1.00 4.14 0.04 6.96 1.68 4
132 DENSE 13824 5120 2.70 3.59 0.01 9.27 2.58 0
133 DENSE 13824 5120 2.70 4.13 0.03 7.27 1.76 0
134 DENSE 13824 5120 2.70 5.18 0.03 9.83 1.90 0
137 DENSE 5120 5120 1.00 2.69 0.03 6.35 2.36 3
138 DENSE 5120 5120 1.00 2.77 0.01 6.94 2.50 3
140 DENSE 5120 5120 1.00 11.11 0.05 13.09 1.18 3
141 DENSE 5120 5120 1.00 6.85 0.03 11.38 1.66 2
142 DENSE 13824 5120 2.70 3.68 0.01 9.49 2.58 0
143 DENSE 13824 5120 2.70 4.11 0.02 7.53 1.83 0
144 DENSE 13824 5120 2.70 4.95 0.03 9.49 1.92 0
147 DENSE 5120 5120 1.00 3.17 0.03 7.59 2.39 4
148 DENSE 5120 5120 1.00 3.07 0.01 7.73 2.52 4
149 DENSE 5120 5120 1.00 9.31 0.02 12.34 1.33 4
150 DENSE 5120 5120 1.00 6.59 0.02 10.14 1.54 3
151 DENSE 13824 5120 2.70 3.76 0.01 9.48 2.52 0
152 DENSE 13824 5120 2.70 3.86 0.01 6.96 1.80 0
153 DENSE 13824 5120 2.70 5.81 0.03 10.92 1.88 0
156 DENSE 5120 5120 1.00 2.96 0.03 7.15 2.42 4
157 DENSE 5120 5120 1.00 2.94 0.01 7.53 2.56 4
158 DENSE 5120 5120 1.00 6.98 0.03 9.61 1.38 3
159 DENSE 5120 5120 1.00 5.50 0.02 9.89 1.80 3
160 DENSE 13824 5120 2.70 3.82 0.01 9.63 2.52 0
161 DENSE 13824 5120 2.70 4.02 0.01 7.22 1.80 0
162 DENSE 13824 5120 2.70 5.37 0.03 10.03 1.87 0
165 DENSE 5120 5120 1.00 2.84 0.03 6.84 2.41 3
166 DENSE 5120 5120 1.00 3.08 0.01 7.77 2.52 4
167 DENSE 5120 5120 1.00 9.02 0.03 11.26 1.25 2
168 DENSE 5120 5120 1.00 5.81 0.02 9.41 1.62 4
169 DENSE 13824 5120 2.70 3.82 0.01 9.62 2.52 0
170 DENSE 13824 5120 2.70 4.27 0.01 7.83 1.83 0
171 DENSE 13824 5120 2.70 5.30 0.02 9.74 1.84 0
174 DENSE 5120 5120 1.00 2.94 0.03 7.04 2.39 4
175 DENSE 5120 5120 1.00 3.00 0.01 7.47 2.49 5
176 DENSE 5120 5120 1.00 8.78 0.02 11.57 1.32 3
177 DENSE 5120 5120 1.00 6.09 0.02 10.19 1.67 3
178 DENSE 13824 5120 2.70 3.86 0.01 9.76 2.53 0
179 DENSE 13824 5120 2.70 4.51 0.01 8.24 1.83 0
180 DENSE 13824 5120 2.70 5.69 0.02 10.40 1.83 0
183 DENSE 5120 5120 1.00 3.07 0.03 7.42 2.42 5
184 DENSE 5120 5120 1.00 3.13 0.01 7.84 2.51 6
185 DENSE 5120 5120 1.00 10.79 0.07 14.29 1.32 3
186 DENSE 5120 5120 1.00 6.22 0.02 10.56 1.70 2
187 DENSE 13824 5120 2.70 3.83 0.01 9.67 2.52 0
188 DENSE 13824 5120 2.70 4.98 0.02 9.11 1.83 0
189 DENSE 13824 5120 2.70 5.58 0.01 9.99 1.79 0
192 DENSE 5120 5120 1.00 2.90 0.02 7.00 2.42 4
193 DENSE 5120 5120 1.00 2.95 0.02 7.42 2.52 4
194 DENSE 5120 5120 1.00 9.06 0.03 11.61 1.28 3
195 DENSE 5120 5120 1.00 7.03 0.02 10.20 1.45 3
196 DENSE 13824 5120 2.70 3.92 0.01 9.82 2.50 0
197 DENSE 13824 5120 2.70 5.56 0.02 10.25 1.84 0
198 DENSE 13824 5120 2.70 6.14 0.01 10.99 1.79 0
201 DENSE 5120 5120 1.00 3.06 0.02 7.50 2.45 6
202 DENSE 5120 5120 1.00 3.22 0.01 8.16 2.53 7
203 DENSE 5120 5120 1.00 8.12 0.03 10.95 1.35 2
204 DENSE 5120 5120 1.00 6.15 0.04 10.88 1.77 2
205 DENSE 13824 5120 2.70 3.80 0.01 9.50 2.50 0
206 DENSE 13824 5120 2.70 6.47 0.03 11.68 1.81 0
207 DENSE 13824 5120 2.70 5.95 0.02 10.71 1.80 0
210 DENSE 5120 5120 1.00 3.19 0.01 7.78 2.44 5
211 DENSE 5120 5120 1.00 3.28 0.01 8.16 2.49 4
212 DENSE 5120 5120 1.00 11.45 0.02 14.65 1.28 3
213 DENSE 5120 5120 1.00 8.26 0.02 12.25 1.48 2
214 DENSE 13824 5120 2.70 3.75 0.02 9.46 2.52 0
215 DENSE 13824 5120 2.70 7.76 0.03 13.02 1.68 0
216 DENSE 13824 5120 2.70 6.19 0.02 10.88 1.76 0
219 DENSE 5120 5120 1.00 3.19 0.02 7.76 2.43 4
220 DENSE 5120 5120 1.00 3.28 0.01 8.18 2.49 6
221 DENSE 5120 5120 1.00 8.90 0.04 11.50 1.29 2
222 DENSE 5120 5120 1.00 7.79 0.04 13.84 1.78 2
223 DENSE 13824 5120 2.70 3.73 0.02 9.36 2.51 0
224 DENSE 13824 5120 2.70 8.23 0.04 13.58 1.65 0
225 DENSE 13824 5120 2.70 6.66 0.03 11.54 1.73 0
228 DENSE 5120 5120 1.00 3.18 0.01 7.89 2.48 5
229 DENSE 5120 5120 1.00 3.27 0.02 8.26 2.53 5
230 DENSE 5120 5120 1.00 10.17 0.04 13.38 1.32 3
231 DENSE 5120 5120 1.00 6.95 0.02 13.33 1.92 3
232 DENSE 13824 5120 2.70 3.74 0.03 9.29 2.49 0
233 DENSE 13824 5120 2.70 8.65 0.04 14.04 1.62 0
234 DENSE 13824 5120 2.70 7.64 0.03 12.67 1.66 0
237 DENSE 5120 5120 1.00 3.46 0.01 8.47 2.45 5
238 DENSE 5120 5120 1.00 3.49 0.02 8.69 2.49 5
239 DENSE 5120 5120 1.00 10.20 0.06 13.03 1.28 2
240 DENSE 5120 5120 1.00 8.37 0.04 14.17 1.69 3
241 DENSE 13824 5120 2.70 3.81 0.03 9.39 2.46 0
242 DENSE 13824 5120 2.70 8.61 0.02 14.25 1.66 0
243 DENSE 13824 5120 2.70 7.94 0.03 13.10 1.65 0
246 DENSE 5120 5120 1.00 3.07 0.01 7.53 2.46 5
247 DENSE 5120 5120 1.00 3.25 0.02 8.16 2.51 5
248 DENSE 5120 5120 1.00 7.44 0.07 10.32 1.39 3
249 DENSE 5120 5120 1.00 8.25 0.05 13.69 1.66 2
250 DENSE 13824 5120 2.70 3.90 0.03 9.57 2.45 0
251 DENSE 13824 5120 2.70 8.39 0.02 13.81 1.65 0
252 DENSE 13824 5120 2.70 7.90 0.03 12.97 1.64 0
255 DENSE 5120 5120 1.00 3.53 0.01 8.68 2.46 5
256 DENSE 5120 5120 1.00 3.60 0.01 9.10 2.53 5
257 DENSE 5120 5120 1.00 8.37 0.03 11.08 1.32 3
258 DENSE 5120 5120 1.00 6.85 0.03 14.14 2.06 2
259 DENSE 13824 5120 2.70 4.03 0.03 9.87 2.45 0
260 DENSE 13824 5120 2.70 7.46 0.02 11.84 1.59 0
261 DENSE 13824 5120 2.70 8.51 0.03 13.81 1.62 0
264 DENSE 5120 5120 1.00 3.58 0.01 8.88 2.48 5
265 DENSE 5120 5120 1.00 3.89 0.02 9.86 2.53 5
266 DENSE 5120 5120 1.00 8.55 0.02 11.12 1.30 3
267 DENSE 5120 5120 1.00 7.48 0.02 11.65 1.56 2
268 DENSE 13824 5120 2.70 4.14 0.03 10.09 2.44 0
269 DENSE 13824 5120 2.70 6.33 0.02 10.22 1.61 0
270 DENSE 13824 5120 2.70 9.21 0.02 15.25 1.65 0
273 DENSE 5120 5120 1.00 3.56 0.02 8.76 2.46 4
274 DENSE 5120 5120 1.00 3.58 0.01 9.04 2.53 4
275 DENSE 5120 5120 1.00 6.73 0.06 8.38 1.24 3
276 DENSE 5120 5120 1.00 10.32 0.05 17.30 1.68 4
277 DENSE 13824 5120 2.70 5.30 0.03 12.86 2.43 0
278 DENSE 13824 5120 2.70 5.52 0.02 9.22 1.67 0
280 DENSE 13824 5120 2.70 9.40 0.03 16.09 1.71 0
283 DENSE 5120 5120 1.00 3.51 0.02 8.68 2.47 4
284 DENSE 5120 5120 1.00 3.77 0.02 9.51 2.53 4
285 DENSE 5120 5120 1.00 7.00 0.03 9.80 1.40 2
286 DENSE 5120 5120 1.00 6.99 0.03 11.74 1.68 3
287 DENSE 13824 5120 2.70 5.55 0.03 13.40 2.41 0
288 DENSE 13824 5120 2.70 5.06 0.02 8.39 1.66 0
289 DENSE 13824 5120 2.70 9.21 0.04 16.71 1.82 0
292 DENSE 5120 5120 1.00 3.61 0.02 8.90 2.46 4
293 DENSE 5120 5120 1.00 3.72 0.02 9.38 2.53 3
294 DENSE 5120 5120 1.00 7.40 0.02 10.74 1.45 2
295 DENSE 5120 5120 1.00 8.04 0.03 13.21 1.64 2
296 DENSE 13824 5120 2.70 5.64 0.03 13.54 2.40 0
297 DENSE 13824 5120 2.70 4.60 0.02 7.76 1.69 0
298 DENSE 13824 5120 2.70 9.89 0.04 18.21 1.84 0
301 DENSE 5120 5120 1.00 3.55 0.02 8.67 2.44 4
302 DENSE 5120 5120 1.00 3.72 0.02 9.28 2.49 5
303 DENSE 5120 5120 1.00 5.70 0.04 7.16 1.26 3
304 DENSE 5120 5120 1.00 10.16 0.05 16.61 1.64 2
305 DENSE 13824 5120 2.70 5.59 0.03 13.39 2.39 0
306 DENSE 13824 5120 2.70 4.34 0.02 7.46 1.72 0
307 DENSE 13824 5120 2.70 8.97 0.04 17.09 1.91 0
310 DENSE 5120 5120 1.00 3.32 0.01 8.10 2.44 4
311 DENSE 5120 5120 1.00 3.54 0.01 8.96 2.53 4
312 DENSE 5120 5120 1.00 5.90 0.01 8.77 1.49 3
313 DENSE 5120 5120 1.00 5.58 0.04 9.54 1.71 2
314 DENSE 13824 5120 2.70 5.58 0.02 13.10 2.35 0
315 DENSE 13824 5120 2.70 4.74 0.02 8.87 1.87 0
316 DENSE 13824 5120 2.70 8.45 0.05 17.01 2.01 0
319 DENSE 5120 5120 1.00 3.07 0.01 7.51 2.44 4
320 DENSE 5120 5120 1.00 3.39 0.01 8.65 2.55 4
321 DENSE 5120 5120 1.00 6.53 0.03 9.74 1.49 2
322 DENSE 5120 5120 1.00 6.61 0.03 11.82 1.79 3
323 DENSE 13824 5120 2.70 5.43 0.02 12.50 2.30 0
324 DENSE 13824 5120 2.70 4.85 0.02 10.66 2.20 0
325 DENSE 13824 5120 2.70 7.54 0.04 15.55 2.06 0
328 DENSE 5120 5120 1.00 3.13 0.02 7.56 2.42 3
329 DENSE 5120 5120 1.00 3.29 0.02 8.34 2.53 4
330 DENSE 5120 5120 1.00 7.78 0.04 12.49 1.60 2
331 DENSE 5120 5120 1.00 7.18 0.03 11.87 1.65 2
332 DENSE 13824 5120 2.70 5.24 0.02 12.11 2.31 0
333 DENSE 13824 5120 2.70 4.81 0.02 10.94 2.27 0
334 DENSE 13824 5120 2.70 6.70 0.04 14.65 2.19 0
337 DENSE 5120 5120 1.00 2.95 0.01 7.13 2.42 6
338 DENSE 5120 5120 1.00 3.25 0.01 8.27 2.54 7
339 DENSE 5120 5120 1.00 5.27 0.01 8.17 1.55 3
340 DENSE 5120 5120 1.00 4.64 0.01 8.66 1.87 4
341 DENSE 13824 5120 2.70 4.77 0.03 11.30 2.37 0
342 DENSE 13824 5120 2.70 5.12 0.02 13.82 2.70 0
343 DENSE 13824 5120 2.70 3.96 0.04 9.20 2.32 0
346 DENSE 5120 5120 1.00 2.74 0.01 6.55 2.39 5
347 DENSE 5120 5120 1.00 3.02 0.01 7.62 2.53 5
348 DENSE 5120 5120 1.00 5.66 0.03 9.88 1.75 3
349 DENSE 5120 5120 1.00 4.40 0.04 13.35 3.03 2
350 DENSE 13824 5120 2.70 3.38 0.02 8.23 2.44 0
351 DENSE 13824 5120 2.70 4.92 0.03 9.17 1.87 0
352 DENSE 13824 5120 2.70 3.34 0.02 8.37 2.51 0
355 DENSE 5120 5120 1.00 2.63 0.01 6.58 2.50 13
356 DENSE 5120 5120 1.00 2.75 0.01 7.33 2.66 15
357 DENSE 5120 5120 1.00 6.70 0.03 11.42 1.71 4
358 DENSE 5120 5120 1.00 4.36 0.05 9.31 2.14 4
359 DENSE 13824 5120 2.70 2.90 0.02 7.77 2.68 0
360 DENSE 13824 5120 2.70 3.04 0.03 7.20 2.37 0
361 DENSE 13824 5120 2.70 2.89 0.03 8.03 2.78 0
365 DENSE 32000 5120 6.25 4.99 0.02 17.46 3.50 0