dolly-v2-7b


Find this model in the Dolly model summary

Model source: https://huggingface.co/databricks/dolly-v2-7b

dolly-v2-7b Model Summary Plots

dolly-v2-7b Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
4 DENSE 12288 4096 3.00 3.72 0.03 9.07 2.44 0
5 DENSE 4096 4096 1.00 3.31 0.02 6.28 1.90 5
6 DENSE 16384 4096 4.00 8.63 0.07 20.24 2.34 0
7 DENSE 16384 4096 4.00 9.37 0.05 17.34 1.85 0
10 DENSE 12288 4096 3.00 3.69 0.01 7.61 2.06 0
11 DENSE 4096 4096 1.00 4.00 0.02 5.29 1.32 5
12 DENSE 16384 4096 4.00 2.93 0.01 7.99 2.73 0
13 DENSE 16384 4096 4.00 6.80 0.07 13.79 2.03 0
16 DENSE 12288 4096 3.00 3.50 0.02 7.16 2.04 0
17 DENSE 4096 4096 1.00 3.87 0.02 5.72 1.48 4
18 DENSE 16384 4096 4.00 2.85 0.02 7.16 2.51 0
19 DENSE 16384 4096 4.00 3.96 0.02 7.46 1.88 0
22 DENSE 12288 4096 3.00 3.27 0.02 6.52 1.99 0
23 DENSE 4096 4096 1.00 4.02 0.02 5.61 1.39 4
24 DENSE 16384 4096 4.00 3.02 0.01 7.77 2.57 0
25 DENSE 16384 4096 4.00 3.56 0.01 7.57 2.12 0
28 DENSE 12288 4096 3.00 4.64 0.04 9.47 2.04 0
29 DENSE 4096 4096 1.00 5.41 0.05 7.43 1.37 5
30 DENSE 16384 4096 4.00 3.11 0.01 7.90 2.54 0
31 DENSE 16384 4096 4.00 3.32 0.01 7.29 2.20 0
34 DENSE 12288 4096 3.00 4.01 0.03 8.44 2.10 0
35 DENSE 4096 4096 1.00 4.56 0.04 6.40 1.40 4
36 DENSE 16384 4096 4.00 3.06 0.01 7.66 2.50 0
37 DENSE 16384 4096 4.00 3.24 0.01 7.10 2.19 0
40 DENSE 12288 4096 3.00 4.48 0.03 9.65 2.16 0
41 DENSE 4096 4096 1.00 4.95 0.04 6.71 1.36 4
42 DENSE 16384 4096 4.00 3.04 0.01 7.66 2.52 0
43 DENSE 16384 4096 4.00 3.22 0.01 6.83 2.12 0
46 DENSE 12288 4096 3.00 4.80 0.05 10.22 2.13 0
47 DENSE 4096 4096 1.00 5.86 0.05 8.00 1.36 3
48 DENSE 16384 4096 4.00 3.10 0.01 7.74 2.50 0
49 DENSE 16384 4096 4.00 3.15 0.01 5.85 1.86 0
52 DENSE 12288 4096 3.00 4.76 0.03 9.95 2.09 0
53 DENSE 4096 4096 1.00 3.30 0.07 3.94 1.19 4
54 DENSE 16384 4096 4.00 3.07 0.01 7.66 2.49 0
55 DENSE 16384 4096 4.00 3.18 0.02 5.66 1.78 0
58 DENSE 12288 4096 3.00 3.38 0.02 7.22 2.14 0
59 DENSE 4096 4096 1.00 4.93 0.06 6.09 1.24 4
60 DENSE 16384 4096 4.00 3.02 0.01 7.50 2.49 0
61 DENSE 16384 4096 4.00 3.04 0.01 5.45 1.79 0
64 DENSE 12288 4096 3.00 3.59 0.01 8.09 2.25 0
65 DENSE 4096 4096 1.00 4.27 0.06 5.14 1.20 2
66 DENSE 16384 4096 4.00 3.07 0.03 7.61 2.48 0
67 DENSE 16384 4096 4.00 3.26 0.01 5.72 1.76 0
70 DENSE 12288 4096 3.00 3.40 0.01 8.23 2.42 0
71 DENSE 4096 4096 1.00 4.08 0.05 4.65 1.14 3
72 DENSE 16384 4096 4.00 3.00 0.02 7.49 2.50 0
73 DENSE 16384 4096 4.00 3.10 0.01 5.49 1.77 0
76 DENSE 12288 4096 3.00 3.20 0.02 7.61 2.38 0
77 DENSE 4096 4096 1.00 3.81 0.06 4.47 1.17 4
78 DENSE 16384 4096 4.00 3.03 0.02 7.49 2.48 0
79 DENSE 16384 4096 4.00 3.29 0.01 5.75 1.75 0
82 DENSE 12288 4096 3.00 3.06 0.01 7.53 2.46 0
83 DENSE 4096 4096 1.00 3.70 0.06 4.07 1.10 3
84 DENSE 16384 4096 4.00 3.05 0.03 7.48 2.45 0
85 DENSE 16384 4096 4.00 3.47 0.01 6.37 1.84 0
88 DENSE 12288 4096 3.00 3.08 0.02 7.86 2.55 0
89 DENSE 4096 4096 1.00 11.11 0.07 11.28 1.02 3
90 DENSE 16384 4096 4.00 2.90 0.03 7.08 2.44 0
91 DENSE 16384 4096 4.00 3.24 0.01 5.71 1.76 0
94 DENSE 12288 4096 3.00 3.09 0.01 7.93 2.57 0
95 DENSE 4096 4096 1.00 9.02 0.05 10.36 1.15 3
96 DENSE 16384 4096 4.00 2.98 0.03 7.36 2.47 0
97 DENSE 16384 4096 4.00 3.24 0.01 5.75 1.77 0
100 DENSE 12288 4096 3.00 2.95 0.02 8.14 2.76 0
101 DENSE 4096 4096 1.00 4.25 0.05 4.64 1.09 4
102 DENSE 16384 4096 4.00 2.92 0.03 7.13 2.44 0
103 DENSE 16384 4096 4.00 3.34 0.01 5.86 1.75 0
106 DENSE 12288 4096 3.00 2.70 0.01 7.81 2.90 0
107 DENSE 4096 4096 1.00 8.32 0.04 9.32 1.12 4
108 DENSE 16384 4096 4.00 3.00 0.03 7.42 2.48 0
109 DENSE 16384 4096 4.00 3.35 0.01 6.02 1.79 0
112 DENSE 12288 4096 3.00 2.72 0.03 8.01 2.94 0
113 DENSE 4096 4096 1.00 9.19 0.02 10.34 1.13 3
114 DENSE 16384 4096 4.00 3.01 0.03 7.49 2.49 0
115 DENSE 16384 4096 4.00 3.83 0.01 6.72 1.76 0
118 DENSE 12288 4096 3.00 2.63 0.02 7.90 3.00 0
119 DENSE 4096 4096 1.00 6.27 0.04 7.50 1.20 3
120 DENSE 16384 4096 4.00 3.05 0.03 7.55 2.47 0
121 DENSE 16384 4096 4.00 3.66 0.01 6.71 1.83 0
124 DENSE 12288 4096 3.00 2.58 0.03 7.85 3.05 0
125 DENSE 4096 4096 1.00 7.56 0.04 9.43 1.25 4
126 DENSE 16384 4096 4.00 3.02 0.03 7.41 2.45 0
127 DENSE 16384 4096 4.00 4.33 0.02 7.37 1.70 0
130 DENSE 12288 4096 3.00 2.08 0.03 6.43 3.09 0
131 DENSE 4096 4096 1.00 10.24 0.04 10.39 1.01 4
132 DENSE 16384 4096 4.00 3.06 0.03 7.56 2.47 0
133 DENSE 16384 4096 4.00 4.69 0.01 8.24 1.76 0
136 DENSE 12288 4096 3.00 2.15 0.02 6.78 3.16 0
137 DENSE 4096 4096 1.00 7.69 0.03 7.33 0.95 3
138 DENSE 16384 4096 4.00 3.37 0.03 8.34 2.47 0
139 DENSE 16384 4096 4.00 5.55 0.01 9.33 1.68 0
142 DENSE 12288 4096 3.00 2.40 0.03 7.54 3.15 0
143 DENSE 4096 4096 1.00 18.04 0.06 13.44 0.75 3
144 DENSE 16384 4096 4.00 3.20 0.04 7.90 2.47 0
145 DENSE 16384 4096 4.00 5.93 0.01 10.08 1.70 0
148 DENSE 12288 4096 3.00 2.05 0.03 6.45 3.14 0
149 DENSE 4096 4096 1.00 13.72 0.03 11.21 0.82 3
150 DENSE 16384 4096 4.00 3.23 0.04 7.94 2.46 0
151 DENSE 16384 4096 4.00 6.44 0.02 10.66 1.65 0
154 DENSE 12288 4096 3.00 2.44 0.03 7.69 3.16 0
155 DENSE 4096 4096 1.00 16.76 0.06 12.91 0.77 3
156 DENSE 16384 4096 4.00 3.45 0.04 8.47 2.45 0
157 DENSE 16384 4096 4.00 6.27 0.01 10.16 1.62 0
160 DENSE 12288 4096 3.00 2.02 0.04 6.31 3.12 0
161 DENSE 4096 4096 1.00 8.26 0.04 6.76 0.82 4
162 DENSE 16384 4096 4.00 3.40 0.04 8.26 2.43 0
163 DENSE 16384 4096 4.00 6.73 0.02 10.60 1.58 0
166 DENSE 12288 4096 3.00 2.64 0.04 8.21 3.11 0
167 DENSE 4096 4096 1.00 10.94 0.05 10.43 0.95 3
168 DENSE 16384 4096 4.00 5.09 0.04 12.36 2.43 0
169 DENSE 16384 4096 4.00 6.39 0.02 10.13 1.59 0
172 DENSE 12288 4096 3.00 2.54 0.04 7.87 3.10 0
173 DENSE 4096 4096 1.00 7.47 0.04 6.91 0.93 4
174 DENSE 16384 4096 4.00 4.62 0.03 11.21 2.42 0
175 DENSE 16384 4096 4.00 5.69 0.01 10.08 1.77 0
178 DENSE 12288 4096 3.00 2.04 0.04 6.29 3.08 0
179 DENSE 4096 4096 1.00 7.66 0.03 8.06 1.05 3
180 DENSE 16384 4096 4.00 4.96 0.03 12.06 2.43 0
181 DENSE 16384 4096 4.00 5.51 0.01 9.63 1.75 0
184 DENSE 12288 4096 3.00 2.72 0.05 8.46 3.11 0
185 DENSE 4096 4096 1.00 9.04 0.05 9.64 1.07 3
186 DENSE 16384 4096 4.00 4.85 0.02 11.85 2.44 0
187 DENSE 16384 4096 4.00 4.80 0.01 9.03 1.88 0
190 DENSE 12288 4096 3.00 2.58 0.05 8.13 3.15 0
191 DENSE 4096 4096 1.00 4.78 0.06 7.74 1.62 3
192 DENSE 16384 4096 4.00 3.05 0.03 7.75 2.54 0
193 DENSE 16384 4096 4.00 3.67 0.03 10.24 2.79 0