koala-7b-details


Find this model in the Koala model summary

Model source: https://huggingface.co/TheBloke/koala-7B-HF

koala-7b-details Model Summary Plots

koala-7b-details Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
1 DENSE 32000 4096 7.81 2.88 0.02 8.48 2.94 0
2 DENSE 4096 4096 1.00 2.72 0.05 8.20 3.02 30
3 DENSE 4096 4096 1.00 1.37 0.06 3.97 2.91 35
4 DENSE 4096 4096 1.00 4.23 0.03 5.40 1.28 6
5 DENSE 4096 4096 1.00 3.76 0.02 6.32 1.68 6
6 DENSE 11008 4096 2.69 2.79 0.04 5.84 2.09 0
7 DENSE 11008 4096 2.69 4.80 0.03 11.05 2.30 0
8 DENSE 11008 4096 2.69 5.39 0.04 9.70 1.80 0
11 DENSE 4096 4096 1.00 3.60 0.04 9.55 2.65 14
12 DENSE 4096 4096 1.00 3.65 0.04 10.51 2.88 18
13 DENSE 4096 4096 1.00 4.38 0.02 5.07 1.16 6
14 DENSE 4096 4096 1.00 4.47 0.02 6.66 1.49 8
15 DENSE 11008 4096 2.69 2.79 0.02 6.29 2.25 0
16 DENSE 11008 4096 2.69 4.21 0.02 8.81 2.09 0
17 DENSE 11008 4096 2.69 5.41 0.06 8.20 1.52 0
20 DENSE 4096 4096 1.00 2.67 0.03 7.03 2.63 7
21 DENSE 4096 4096 1.00 3.07 0.02 8.76 2.86 11
22 DENSE 4096 4096 1.00 4.43 0.02 4.43 1.00 4
23 DENSE 4096 4096 1.00 4.64 0.02 8.36 1.80 5
24 DENSE 11008 4096 2.69 2.88 0.01 6.72 2.33 0
25 DENSE 11008 4096 2.69 4.87 0.02 8.78 1.80 0
26 DENSE 11008 4096 2.69 4.11 0.06 6.91 1.68 0
29 DENSE 4096 4096 1.00 2.56 0.03 6.68 2.61 4
30 DENSE 4096 4096 1.00 3.45 0.03 9.22 2.67 6
31 DENSE 4096 4096 1.00 4.30 0.05 4.95 1.15 3
32 DENSE 4096 4096 1.00 3.89 0.03 6.75 1.73 3
33 DENSE 11008 4096 2.69 3.60 0.01 7.78 2.16 0
34 DENSE 11008 4096 2.69 4.39 0.03 7.65 1.74 0
35 DENSE 11008 4096 2.69 8.22 0.02 12.22 1.49 0
38 DENSE 4096 4096 1.00 3.12 0.04 7.99 2.56 4
39 DENSE 4096 4096 1.00 2.79 0.04 7.37 2.64 5
40 DENSE 4096 4096 1.00 4.07 0.06 4.52 1.11 3
41 DENSE 4096 4096 1.00 4.16 0.03 7.07 1.70 3
42 DENSE 11008 4096 2.69 3.54 0.01 8.04 2.27 0
43 DENSE 11008 4096 2.69 6.28 0.03 11.25 1.79 0
44 DENSE 11008 4096 2.69 9.03 0.04 13.77 1.53 0
47 DENSE 4096 4096 1.00 3.91 0.03 9.58 2.45 5
48 DENSE 4096 4096 1.00 3.68 0.02 9.39 2.56 5
49 DENSE 4096 4096 1.00 4.27 0.04 4.86 1.14 4
50 DENSE 4096 4096 1.00 3.76 0.04 6.79 1.81 4
51 DENSE 11008 4096 2.69 3.37 0.02 8.02 2.38 0
52 DENSE 11008 4096 2.69 6.63 0.04 11.62 1.75 0
53 DENSE 11008 4096 2.69 5.60 0.02 8.50 1.52 0
56 DENSE 4096 4096 1.00 2.82 0.04 6.82 2.42 4
57 DENSE 4096 4096 1.00 3.30 0.03 8.41 2.55 6
58 DENSE 4096 4096 1.00 4.24 0.05 4.70 1.11 3
59 DENSE 4096 4096 1.00 4.29 0.04 7.17 1.67 2
60 DENSE 11008 4096 2.69 3.41 0.01 7.94 2.32 0
61 DENSE 11008 4096 2.69 6.33 0.05 10.90 1.72 0
62 DENSE 11008 4096 2.69 5.19 0.03 8.23 1.59 0
65 DENSE 4096 4096 1.00 2.51 0.04 6.02 2.40 4
66 DENSE 4096 4096 1.00 2.78 0.04 7.02 2.53 3
67 DENSE 4096 4096 1.00 4.49 0.05 5.28 1.18 4
68 DENSE 4096 4096 1.00 4.74 0.03 7.24 1.53 5
69 DENSE 11008 4096 2.69 3.39 0.01 7.89 2.32 0
70 DENSE 11008 4096 2.69 6.10 0.05 10.60 1.74 0
71 DENSE 11008 4096 2.69 4.79 0.03 7.83 1.64 0
74 DENSE 4096 4096 1.00 2.56 0.03 6.00 2.34 4
75 DENSE 4096 4096 1.00 2.95 0.03 7.24 2.45 3
76 DENSE 4096 4096 1.00 3.30 0.05 4.08 1.23 3
77 DENSE 4096 4096 1.00 3.73 0.04 5.64 1.51 5
78 DENSE 11008 4096 2.69 3.24 0.01 7.73 2.39 0
79 DENSE 11008 4096 2.69 4.42 0.04 8.01 1.81 0
80 DENSE 11008 4096 2.69 4.61 0.03 7.66 1.66 0
83 DENSE 4096 4096 1.00 4.17 0.03 9.72 2.33 3
84 DENSE 4096 4096 1.00 3.57 0.04 8.79 2.46 3
85 DENSE 4096 4096 1.00 2.89 0.05 3.76 1.30 5
86 DENSE 4096 4096 1.00 3.51 0.05 5.34 1.52 2
87 DENSE 11008 4096 2.69 3.32 0.02 7.79 2.34 0
88 DENSE 11008 4096 2.69 3.50 0.04 6.44 1.84 0
89 DENSE 11008 4096 2.69 4.54 0.03 7.86 1.73 0
92 DENSE 4096 4096 1.00 3.01 0.03 6.94 2.31 3
93 DENSE 4096 4096 1.00 2.85 0.03 6.99 2.45 3
94 DENSE 4096 4096 1.00 3.32 0.06 4.25 1.28 3
95 DENSE 4096 4096 1.00 3.91 0.04 5.76 1.47 4
96 DENSE 11008 4096 2.69 3.45 0.02 8.01 2.32 0
97 DENSE 11008 4096 2.69 3.39 0.04 6.04 1.78 0
98 DENSE 11008 4096 2.69 4.44 0.04 7.71 1.73 0
101 DENSE 4096 4096 1.00 4.16 0.04 9.93 2.39 3
102 DENSE 4096 4096 1.00 2.90 0.03 7.40 2.56 2
103 DENSE 4096 4096 1.00 3.17 0.07 3.82 1.20 3
104 DENSE 4096 4096 1.00 9.01 0.07 11.80 1.31 4
105 DENSE 11008 4096 2.69 3.44 0.02 8.15 2.37 0
106 DENSE 11008 4096 2.69 3.98 0.04 7.01 1.76 0
107 DENSE 11008 4096 2.69 4.20 0.03 7.69 1.83 0
110 DENSE 4096 4096 1.00 2.78 0.04 6.40 2.30 3
111 DENSE 4096 4096 1.00 2.68 0.03 6.62 2.47 3
112 DENSE 4096 4096 1.00 3.88 0.07 4.66 1.20 4
113 DENSE 4096 4096 1.00 4.29 0.05 6.10 1.42 3
114 DENSE 11008 4096 2.69 3.47 0.01 8.47 2.44 0
115 DENSE 11008 4096 2.69 3.83 0.03 6.73 1.76 0
116 DENSE 11008 4096 2.69 4.66 0.03 8.39 1.80 0
119 DENSE 4096 4096 1.00 2.89 0.03 6.63 2.30 2
120 DENSE 4096 4096 1.00 2.85 0.02 6.94 2.44 3
121 DENSE 4096 4096 1.00 6.96 0.07 8.43 1.21 4
122 DENSE 4096 4096 1.00 4.63 0.05 6.59 1.42 4
123 DENSE 11008 4096 2.69 3.54 0.01 8.42 2.38 0
124 DENSE 11008 4096 2.69 3.85 0.02 6.69 1.74 0
125 DENSE 11008 4096 2.69 4.61 0.03 8.51 1.85 0
128 DENSE 4096 4096 1.00 2.69 0.05 6.25 2.32 4
129 DENSE 4096 4096 1.00 2.97 0.03 7.34 2.47 4
130 DENSE 4096 4096 1.00 6.87 0.04 7.94 1.16 3
131 DENSE 4096 4096 1.00 4.07 0.04 5.81 1.43 3
132 DENSE 11008 4096 2.69 3.67 0.01 8.56 2.33 0
133 DENSE 11008 4096 2.69 3.73 0.01 6.41 1.72 0
134 DENSE 11008 4096 2.69 4.99 0.03 9.10 1.83 0
137 DENSE 4096 4096 1.00 2.68 0.04 6.23 2.32 4
138 DENSE 4096 4096 1.00 2.69 0.01 6.66 2.47 2
139 DENSE 4096 4096 1.00 9.00 0.06 9.74 1.08 3
140 DENSE 4096 4096 1.00 5.77 0.04 8.47 1.47 4
141 DENSE 11008 4096 2.69 3.73 0.01 8.60 2.31 0
142 DENSE 11008 4096 2.69 4.02 0.01 6.77 1.68 0
143 DENSE 11008 4096 2.69 4.81 0.03 8.98 1.87 0
146 DENSE 4096 4096 1.00 2.89 0.03 6.84 2.37 3
147 DENSE 4096 4096 1.00 2.92 0.01 7.34 2.51 2
148 DENSE 4096 4096 1.00 6.59 0.05 7.89 1.20 4
149 DENSE 4096 4096 1.00 6.17 0.02 9.92 1.61 3
150 DENSE 11008 4096 2.69 3.69 0.01 8.69 2.35 0
151 DENSE 11008 4096 2.69 4.69 0.01 7.87 1.68 0
152 DENSE 11008 4096 2.69 4.95 0.01 9.33 1.88 0
155 DENSE 4096 4096 1.00 2.85 0.03 6.64 2.33 3
156 DENSE 4096 4096 1.00 2.86 0.02 7.04 2.46 3
157 DENSE 4096 4096 1.00 13.80 0.05 15.68 1.14 3
158 DENSE 4096 4096 1.00 7.23 0.03 10.90 1.51 4
159 DENSE 11008 4096 2.69 3.74 0.01 8.78 2.35 0
160 DENSE 11008 4096 2.69 5.13 0.01 8.50 1.66 0
161 DENSE 11008 4096 2.69 5.05 0.01 9.26 1.83 0
164 DENSE 4096 4096 1.00 2.59 0.04 6.09 2.35 3
165 DENSE 4096 4096 1.00 2.74 0.02 6.77 2.47 4
166 DENSE 4096 4096 1.00 9.49 0.05 10.28 1.08 4
167 DENSE 4096 4096 1.00 7.22 0.03 10.59 1.47 3
168 DENSE 11008 4096 2.69 3.76 0.01 8.72 2.32 0
169 DENSE 11008 4096 2.69 5.28 0.02 8.83 1.67 0
170 DENSE 11008 4096 2.69 5.39 0.02 9.75 1.81 0
173 DENSE 4096 4096 1.00 2.76 0.02 6.52 2.37 2
174 DENSE 4096 4096 1.00 2.91 0.02 7.18 2.47 4
175 DENSE 4096 4096 1.00 10.00 0.03 12.43 1.24 3
176 DENSE 4096 4096 1.00 7.24 0.04 10.79 1.49 2
177 DENSE 11008 4096 2.69 3.79 0.01 8.72 2.30 0
178 DENSE 11008 4096 2.69 5.79 0.02 9.65 1.67 0
179 DENSE 11008 4096 2.69 5.49 0.01 9.52 1.73 0
182 DENSE 4096 4096 1.00 3.09 0.02 7.35 2.38 4
183 DENSE 4096 4096 1.00 3.22 0.02 7.97 2.47 3
184 DENSE 4096 4096 1.00 7.88 0.05 9.01 1.14 2
185 DENSE 4096 4096 1.00 7.54 0.05 11.22 1.49 2
186 DENSE 11008 4096 2.69 3.81 0.01 8.72 2.29 0
187 DENSE 11008 4096 2.69 7.15 0.03 11.51 1.61 0
188 DENSE 11008 4096 2.69 5.54 0.02 9.56 1.73 0
191 DENSE 4096 4096 1.00 2.81 0.02 6.65 2.37 4
192 DENSE 4096 4096 1.00 2.86 0.03 7.02 2.45 3
193 DENSE 4096 4096 1.00 5.42 0.05 6.35 1.17 1
194 DENSE 4096 4096 1.00 8.68 0.06 15.15 1.75 3
195 DENSE 11008 4096 2.69 3.79 0.01 8.74 2.31 0
196 DENSE 11008 4096 2.69 8.38 0.04 12.72 1.52 0
197 DENSE 11008 4096 2.69 5.72 0.02 9.63 1.68 0
200 DENSE 4096 4096 1.00 3.28 0.01 7.76 2.37 4
201 DENSE 4096 4096 1.00 3.55 0.02 8.61 2.42 3
202 DENSE 4096 4096 1.00 7.03 0.02 9.07 1.29 2
203 DENSE 4096 4096 1.00 5.54 0.02 9.77 1.76 2
204 DENSE 11008 4096 2.69 3.87 0.02 8.64 2.23 0
205 DENSE 11008 4096 2.69 8.09 0.03 12.32 1.52 0
206 DENSE 11008 4096 2.69 6.44 0.03 10.40 1.61 0
209 DENSE 4096 4096 1.00 2.71 0.02 6.45 2.38 2
210 DENSE 4096 4096 1.00 2.98 0.03 7.30 2.44 3
211 DENSE 4096 4096 1.00 4.41 0.06 5.37 1.22 3
212 DENSE 4096 4096 1.00 6.21 0.02 11.18 1.80 1
213 DENSE 11008 4096 2.69 3.95 0.02 8.81 2.23 0
214 DENSE 11008 4096 2.69 8.13 0.02 12.19 1.50 0
215 DENSE 11008 4096 2.69 7.09 0.03 11.29 1.59 0
217 DENSE 4096 4096 1.00 3.06 0.03 7.18 2.35 3
218 DENSE 4096 4096 1.00 3.13 0.04 7.60 2.43 3
219 DENSE 4096 4096 1.00 5.33 0.06 6.28 1.18 3
220 DENSE 4096 4096 1.00 9.32 0.04 15.21 1.63 2
221 DENSE 11008 4096 2.69 4.10 0.02 9.00 2.19 0
222 DENSE 11008 4096 2.69 6.87 0.02 10.57 1.54 0
223 DENSE 11008 4096 2.69 7.74 0.04 12.21 1.58 0
226 DENSE 4096 4096 1.00 3.83 0.02 9.04 2.36 2
227 DENSE 4096 4096 1.00 3.40 0.03 8.27 2.43 3
228 DENSE 4096 4096 1.00 8.60 0.04 10.47 1.22 2
229 DENSE 4096 4096 1.00 8.26 0.03 13.31 1.61 3
230 DENSE 11008 4096 2.69 4.29 0.02 9.40 2.19 0
231 DENSE 11008 4096 2.69 5.78 0.02 8.81 1.53 0
232 DENSE 11008 4096 2.69 7.71 0.02 12.78 1.66 0
235 DENSE 4096 4096 1.00 3.79 0.02 8.80 2.32 3
236 DENSE 4096 4096 1.00 3.44 0.02 8.17 2.38 2
237 DENSE 4096 4096 1.00 10.57 0.03 12.30 1.16 3
238 DENSE 4096 4096 1.00 8.97 0.04 13.53 1.51 2
239 DENSE 11008 4096 2.69 4.99 0.02 10.80 2.16 0
240 DENSE 11008 4096 2.69 5.06 0.02 7.93 1.57 0
241 DENSE 11008 4096 2.69 7.77 0.03 13.47 1.73 0
244 DENSE 4096 4096 1.00 3.91 0.02 9.12 2.33 2
245 DENSE 4096 4096 1.00 4.10 0.03 9.79 2.38 3
246 DENSE 4096 4096 1.00 8.35 0.04 10.91 1.31 1
247 DENSE 4096 4096 1.00 7.01 0.04 12.65 1.80 2
248 DENSE 11008 4096 2.69 4.93 0.01 10.75 2.18 0
249 DENSE 11008 4096 2.69 4.67 0.02 7.20 1.54 0
250 DENSE 11008 4096 2.69 7.46 0.04 14.17 1.90 0
253 DENSE 4096 4096 1.00 3.09 0.03 7.19 2.32 3
254 DENSE 4096 4096 1.00 3.27 0.04 7.86 2.41 3
255 DENSE 4096 4096 1.00 7.08 0.04 9.00 1.27 2
256 DENSE 4096 4096 1.00 7.91 0.05 13.10 1.66 3
257 DENSE 11008 4096 2.69 4.99 0.02 10.88 2.18 0
258 DENSE 11008 4096 2.69 5.14 0.02 7.95 1.55 0
259 DENSE 11008 4096 2.69 6.67 0.04 13.79 2.07 0
262 DENSE 4096 4096 1.00 3.12 0.02 7.12 2.28 3
263 DENSE 4096 4096 1.00 3.11 0.02 7.31 2.35 3
264 DENSE 4096 4096 1.00 9.22 0.06 13.80 1.50 2
265 DENSE 4096 4096 1.00 7.82 0.07 13.79 1.76 3
266 DENSE 11008 4096 2.69 4.87 0.02 10.78 2.21 0
267 DENSE 11008 4096 2.69 5.74 0.02 9.43 1.64 0
268 DENSE 11008 4096 2.69 5.85 0.04 13.23 2.26 0
271 DENSE 4096 4096 1.00 3.21 0.02 7.42 2.31 3
272 DENSE 4096 4096 1.00 3.50 0.03 8.41 2.40 3
273 DENSE 4096 4096 1.00 8.37 0.05 11.93 1.42 2
274 DENSE 4096 4096 1.00 6.88 0.04 11.86 1.72 3
275 DENSE 11008 4096 2.69 3.42 0.03 7.74 2.26 0
276 DENSE 11008 4096 2.69 5.59 0.03 16.65 2.98 0
277 DENSE 11008 4096 2.69 4.84 0.04 11.76 2.43 0
280 DENSE 4096 4096 1.00 2.70 0.01 6.42 2.38 7
281 DENSE 4096 4096 1.00 2.91 0.01 7.44 2.55 8
282 DENSE 4096 4096 1.00 6.16 0.04 8.93 1.45 2
283 DENSE 4096 4096 1.00 4.11 0.05 10.62 2.59 3
284 DENSE 11008 4096 2.69 3.85 0.04 10.28 2.67 0
285 DENSE 11008 4096 2.69 4.81 0.03 9.63 2.00 0
286 DENSE 11008 4096 2.69 2.94 0.03 7.71 2.62 0
290 DENSE 32000 4096 7.81 5.21 0.03 17.61 3.38 0