dolly-v2-12b


Find this model in the Dolly model summary

Model source: https://huggingface.co/databricks/dolly-v2-12b

dolly-v2-12b Model Summary Plots

dolly-v2-12b Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
4 DENSE 15360 5120 3.00 3.66 0.02 9.36 2.56 0
5 DENSE 5120 5120 1.00 3.37 0.01 7.42 2.20 6
6 DENSE 20480 5120 4.00 7.45 0.06 19.32 2.59 0
7 DENSE 20480 5120 4.00 9.61 0.05 20.19 2.10 0
10 DENSE 15360 5120 3.00 3.67 0.02 8.13 2.22 0
11 DENSE 5120 5120 1.00 4.11 0.02 6.63 1.61 5
12 DENSE 20480 5120 4.00 2.68 0.01 7.99 2.98 0
13 DENSE 20480 5120 4.00 5.34 0.03 12.13 2.27 0
16 DENSE 15360 5120 3.00 3.37 0.03 7.26 2.15 0
17 DENSE 5120 5120 1.00 4.44 0.02 7.51 1.69 5
18 DENSE 20480 5120 4.00 2.69 0.01 7.16 2.66 0
19 DENSE 20480 5120 4.00 3.80 0.03 8.08 2.13 0
22 DENSE 15360 5120 3.00 3.09 0.02 6.58 2.13 0
23 DENSE 5120 5120 1.00 4.87 0.03 8.00 1.64 6
24 DENSE 20480 5120 4.00 2.81 0.01 7.70 2.75 0
25 DENSE 20480 5120 4.00 3.70 0.01 8.64 2.34 0
28 DENSE 15360 5120 3.00 4.20 0.03 9.39 2.23 0
29 DENSE 5120 5120 1.00 5.57 0.05 8.66 1.55 5
30 DENSE 20480 5120 4.00 2.93 0.01 7.79 2.66 0
31 DENSE 20480 5120 4.00 3.22 0.01 7.67 2.38 0
34 DENSE 15360 5120 3.00 4.17 0.03 9.33 2.24 0
35 DENSE 5120 5120 1.00 6.63 0.05 9.44 1.42 6
36 DENSE 20480 5120 4.00 2.95 0.01 7.77 2.64 0
37 DENSE 20480 5120 4.00 3.28 0.01 7.32 2.23 0
40 DENSE 15360 5120 3.00 4.22 0.03 9.46 2.24 0
41 DENSE 5120 5120 1.00 3.92 0.05 5.18 1.32 4
42 DENSE 20480 5120 4.00 2.95 0.01 7.82 2.65 0
43 DENSE 20480 5120 4.00 3.23 0.01 6.66 2.06 0
46 DENSE 15360 5120 3.00 3.73 0.02 9.01 2.42 0
47 DENSE 5120 5120 1.00 7.02 0.05 9.38 1.34 4
48 DENSE 20480 5120 4.00 2.95 0.01 7.84 2.66 0
49 DENSE 20480 5120 4.00 3.26 0.01 6.30 1.93 0
52 DENSE 15360 5120 3.00 3.25 0.01 8.15 2.50 0
53 DENSE 5120 5120 1.00 3.89 0.04 5.07 1.30 4
54 DENSE 20480 5120 4.00 2.92 0.01 7.80 2.67 0
55 DENSE 20480 5120 4.00 3.36 0.01 6.16 1.83 0
58 DENSE 15360 5120 3.00 3.23 0.01 8.48 2.63 0
59 DENSE 5120 5120 1.00 4.17 0.04 5.09 1.22 5
60 DENSE 20480 5120 4.00 2.90 0.02 7.73 2.67 0
61 DENSE 20480 5120 4.00 3.00 0.01 5.66 1.89 0
64 DENSE 15360 5120 3.00 3.14 0.01 8.34 2.65 0
65 DENSE 5120 5120 1.00 3.56 0.04 4.56 1.28 5
66 DENSE 20480 5120 4.00 2.96 0.01 7.89 2.67 0
67 DENSE 20480 5120 4.00 3.18 0.01 5.84 1.84 0
70 DENSE 15360 5120 3.00 3.19 0.01 8.48 2.66 0
71 DENSE 5120 5120 1.00 3.35 0.06 4.28 1.28 4
72 DENSE 20480 5120 4.00 2.91 0.02 7.74 2.66 0
73 DENSE 20480 5120 4.00 2.97 0.01 5.56 1.87 0
76 DENSE 15360 5120 3.00 3.02 0.01 8.14 2.70 0
77 DENSE 5120 5120 1.00 3.54 0.06 4.32 1.22 4
78 DENSE 20480 5120 4.00 2.98 0.02 7.88 2.65 0
79 DENSE 20480 5120 4.00 3.29 0.01 6.13 1.87 0
82 DENSE 15360 5120 3.00 2.87 0.01 8.01 2.79 0
83 DENSE 5120 5120 1.00 3.26 0.05 4.11 1.26 4
84 DENSE 20480 5120 4.00 2.85 0.02 7.52 2.64 0
85 DENSE 20480 5120 4.00 3.01 0.01 5.97 1.98 0
88 DENSE 15360 5120 3.00 2.82 0.01 8.03 2.85 0
89 DENSE 5120 5120 1.00 3.27 0.06 4.06 1.24 4
90 DENSE 20480 5120 4.00 2.87 0.03 7.54 2.63 0
91 DENSE 20480 5120 4.00 2.97 0.01 6.02 2.03 0
94 DENSE 15360 5120 3.00 2.72 0.02 8.21 3.02 0
95 DENSE 5120 5120 1.00 4.30 0.06 5.12 1.19 4
96 DENSE 20480 5120 4.00 2.86 0.02 7.58 2.65 0
97 DENSE 20480 5120 4.00 2.92 0.01 5.74 1.97 0
100 DENSE 15360 5120 3.00 2.57 0.02 8.12 3.16 0
101 DENSE 5120 5120 1.00 4.42 0.06 5.51 1.25 5
102 DENSE 20480 5120 4.00 2.89 0.03 7.65 2.65 0
103 DENSE 20480 5120 4.00 3.11 0.01 6.07 1.95 0
106 DENSE 15360 5120 3.00 2.49 0.02 8.06 3.23 0
107 DENSE 5120 5120 1.00 11.15 0.05 12.76 1.14 3
108 DENSE 20480 5120 4.00 2.88 0.03 7.63 2.65 0
109 DENSE 20480 5120 4.00 2.99 0.01 5.91 1.98 0
112 DENSE 15360 5120 3.00 2.46 0.03 8.09 3.29 0
113 DENSE 5120 5120 1.00 13.14 0.04 15.10 1.15 4
114 DENSE 20480 5120 4.00 2.99 0.03 7.89 2.64 0
115 DENSE 20480 5120 4.00 3.15 0.01 6.21 1.97 0
118 DENSE 15360 5120 3.00 2.36 0.02 7.71 3.26 0
119 DENSE 5120 5120 1.00 8.54 0.04 9.36 1.10 4
120 DENSE 20480 5120 4.00 2.92 0.03 7.67 2.63 0
121 DENSE 20480 5120 4.00 3.36 0.01 6.37 1.89 0
124 DENSE 15360 5120 3.00 2.14 0.01 7.12 3.32 0
125 DENSE 5120 5120 1.00 10.70 0.05 11.80 1.10 4
126 DENSE 20480 5120 4.00 2.98 0.03 7.94 2.67 0
127 DENSE 20480 5120 4.00 3.38 0.02 6.78 2.01 0
130 DENSE 15360 5120 3.00 2.35 0.02 7.82 3.33 0
131 DENSE 5120 5120 1.00 10.30 0.05 11.37 1.10 3
132 DENSE 20480 5120 4.00 2.90 0.03 7.68 2.65 0
133 DENSE 20480 5120 4.00 3.61 0.01 7.14 1.98 0
136 DENSE 15360 5120 3.00 2.03 0.03 6.68 3.28 0
137 DENSE 5120 5120 1.00 10.34 0.04 11.62 1.12 4
138 DENSE 20480 5120 4.00 2.97 0.04 7.88 2.65 0
139 DENSE 20480 5120 4.00 4.05 0.01 7.76 1.92 0
142 DENSE 15360 5120 3.00 2.35 0.02 7.79 3.32 0
143 DENSE 5120 5120 1.00 5.89 0.05 6.04 1.03 4
144 DENSE 20480 5120 4.00 2.93 0.04 7.72 2.63 0
145 DENSE 20480 5120 4.00 4.58 0.02 8.73 1.91 0
148 DENSE 15360 5120 3.00 2.09 0.02 6.90 3.30 0
149 DENSE 5120 5120 1.00 7.89 0.03 7.75 0.98 4
150 DENSE 20480 5120 4.00 3.70 0.04 9.80 2.65 0
151 DENSE 20480 5120 4.00 4.76 0.01 9.02 1.89 0
154 DENSE 15360 5120 3.00 2.36 0.03 7.80 3.31 0
155 DENSE 5120 5120 1.00 8.48 0.02 8.11 0.96 5
156 DENSE 20480 5120 4.00 3.96 0.03 10.41 2.63 0
157 DENSE 20480 5120 4.00 5.65 0.01 10.24 1.81 0
160 DENSE 15360 5120 3.00 2.35 0.03 7.75 3.30 0
161 DENSE 5120 5120 1.00 12.83 0.03 11.21 0.87 4
162 DENSE 20480 5120 4.00 4.06 0.03 10.69 2.63 0
163 DENSE 20480 5120 4.00 5.94 0.01 11.00 1.85 0
166 DENSE 15360 5120 3.00 2.37 0.02 7.77 3.28 0
167 DENSE 5120 5120 1.00 12.67 0.04 11.93 0.94 6
168 DENSE 20480 5120 4.00 4.05 0.04 10.63 2.62 0
169 DENSE 20480 5120 4.00 5.89 0.01 10.80 1.83 0
172 DENSE 15360 5120 3.00 2.42 0.03 7.91 3.27 0
173 DENSE 5120 5120 1.00 8.41 0.03 9.60 1.14 4
174 DENSE 20480 5120 4.00 4.22 0.04 11.02 2.61 0
175 DENSE 20480 5120 4.00 6.25 0.01 10.94 1.75 0
178 DENSE 15360 5120 3.00 2.08 0.03 6.71 3.23 0
179 DENSE 5120 5120 1.00 7.25 0.02 8.36 1.15 4
180 DENSE 20480 5120 4.00 4.36 0.04 11.40 2.61 0
181 DENSE 20480 5120 4.00 6.08 0.02 10.44 1.72 0
184 DENSE 15360 5120 3.00 2.56 0.04 8.22 3.21 0
185 DENSE 5120 5120 1.00 8.60 0.05 11.22 1.31 5
186 DENSE 20480 5120 4.00 4.56 0.04 11.86 2.60 0
187 DENSE 20480 5120 4.00 6.17 0.02 10.50 1.70 0
190 DENSE 15360 5120 3.00 2.55 0.04 8.23 3.23 0
191 DENSE 5120 5120 1.00 5.38 0.03 7.41 1.38 6
192 DENSE 20480 5120 4.00 5.10 0.04 13.27 2.60 0
193 DENSE 20480 5120 4.00 5.78 0.02 10.38 1.80 0
196 DENSE 15360 5120 3.00 2.77 0.05 8.87 3.20 0
197 DENSE 5120 5120 1.00 10.00 0.05 10.11 1.01 5
198 DENSE 20480 5120 4.00 5.16 0.03 13.41 2.60 0
199 DENSE 20480 5120 4.00 5.48 0.01 10.40 1.90 0
202 DENSE 15360 5120 3.00 2.73 0.05 8.81 3.23 0
203 DENSE 5120 5120 1.00 7.15 0.04 10.65 1.49 6
204 DENSE 20480 5120 4.00 5.23 0.03 13.64 2.61 0
205 DENSE 20480 5120 4.00 4.98 0.02 9.93 1.99 0
208 DENSE 15360 5120 3.00 2.71 0.04 8.58 3.17 0
209 DENSE 5120 5120 1.00 4.83 0.06 8.85 1.83 12
210 DENSE 20480 5120 4.00 4.83 0.03 12.77 2.64 0
211 DENSE 20480 5120 4.00 4.30 0.01 9.58 2.23 0
214 DENSE 15360 5120 3.00 2.11 0.05 6.47 3.07 0
215 DENSE 5120 5120 1.00 3.21 0.05 4.97 1.55 10
216 DENSE 20480 5120 4.00 2.98 0.02 8.06 2.70 0
217 DENSE 20480 5120 4.00 3.73 0.03 11.02 2.95 0