opt-2.7b


Find this model in the OPT model summary

Model source: https://huggingface.co/facebook/opt-1.3b

opt-2.7b Model Summary Plots

opt-2.7b Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
2 DENSE 2560 2050 1.25 1.58 0.05 3.52 2.23 1
4 DENSE 2560 2560 1.00 3.25 0.01 4.52 1.39 5
5 DENSE 2560 2560 1.00 4.68 0.04 0.35 0.08 7
6 DENSE 2560 2560 1.00 3.06 0.04 3.76 1.23 4
7 DENSE 2560 2560 1.00 3.19 0.08 6.88 2.16 10
9 DENSE 10240 2560 4.00 4.75 0.07 10.17 2.14 0
10 DENSE 10240 2560 4.00 4.77 0.07 10.20 2.14 0
12 DENSE 2560 2560 1.00 1.93 0.03 4.34 2.25 14
13 DENSE 2560 2560 1.00 3.84 0.04 2.55 0.66 6
14 DENSE 2560 2560 1.00 1.97 0.03 4.94 2.51 15
15 DENSE 2560 2560 1.00 2.77 0.06 6.09 2.20 8
17 DENSE 10240 2560 4.00 3.42 0.06 7.61 2.23 0
18 DENSE 10240 2560 4.00 4.91 0.05 11.21 2.28 0
20 DENSE 2560 2560 1.00 1.83 0.03 4.47 2.44 18
21 DENSE 2560 2560 1.00 4.00 0.03 3.61 0.90 5
22 DENSE 2560 2560 1.00 1.92 0.02 5.04 2.63 16
23 DENSE 2560 2560 1.00 2.71 0.05 5.78 2.13 6
25 DENSE 10240 2560 4.00 3.84 0.05 8.52 2.22 0
26 DENSE 10240 2560 4.00 4.57 0.03 10.75 2.35 0
28 DENSE 2560 2560 1.00 1.93 0.02 4.67 2.42 18
29 DENSE 2560 2560 1.00 3.63 0.01 3.09 0.85 5
30 DENSE 2560 2560 1.00 2.00 0.02 5.29 2.64 19
31 DENSE 2560 2560 1.00 2.70 0.02 4.88 1.81 6
33 DENSE 10240 2560 4.00 3.99 0.03 8.91 2.23 0
34 DENSE 10240 2560 4.00 4.36 0.02 9.26 2.12 0
36 DENSE 2560 2560 1.00 2.24 0.03 4.96 2.21 18
37 DENSE 2560 2560 1.00 4.38 0.04 3.82 0.87 4
38 DENSE 2560 2560 1.00 2.32 0.02 5.64 2.43 18
39 DENSE 2560 2560 1.00 3.10 0.02 4.40 1.42 5
41 DENSE 10240 2560 4.00 3.58 0.02 8.37 2.34 0
42 DENSE 10240 2560 4.00 4.38 0.02 9.27 2.12 0
44 DENSE 2560 2560 1.00 2.52 0.04 5.25 2.09 18
45 DENSE 2560 2560 1.00 2.89 0.03 2.41 0.83 5
46 DENSE 2560 2560 1.00 2.35 0.03 5.36 2.28 20
47 DENSE 2560 2560 1.00 3.48 0.03 3.76 1.08 5
49 DENSE 10240 2560 4.00 3.02 0.01 7.29 2.41 0
50 DENSE 10240 2560 4.00 5.19 0.03 10.66 2.05 0
52 DENSE 2560 2560 1.00 2.37 0.03 4.57 1.93 17
53 DENSE 2560 2560 1.00 2.82 0.04 2.31 0.82 3
54 DENSE 2560 2560 1.00 2.25 0.02 4.67 2.08 19
55 DENSE 2560 2560 1.00 2.28 0.06 1.72 0.75 4
57 DENSE 10240 2560 4.00 2.85 0.02 6.75 2.37 0
58 DENSE 10240 2560 4.00 5.85 0.04 11.41 1.95 0
60 DENSE 2560 2560 1.00 2.42 0.02 4.60 1.90 16
61 DENSE 2560 2560 1.00 3.82 0.04 3.24 0.85 3
62 DENSE 2560 2560 1.00 2.32 0.04 5.16 2.22 18
63 DENSE 2560 2560 1.00 4.79 0.05 3.38 0.70 5
65 DENSE 10240 2560 4.00 2.88 0.02 6.71 2.33 0
66 DENSE 10240 2560 4.00 5.64 0.04 10.69 1.90 0
68 DENSE 2560 2560 1.00 2.47 0.02 4.88 1.97 15
69 DENSE 2560 2560 1.00 3.64 0.05 3.08 0.84 3
70 DENSE 2560 2560 1.00 2.29 0.02 4.92 2.15 14
71 DENSE 2560 2560 1.00 4.81 0.03 3.17 0.66 4
73 DENSE 10240 2560 4.00 2.91 0.02 6.66 2.29 0
74 DENSE 10240 2560 4.00 5.10 0.03 9.18 1.80 0
76 DENSE 2560 2560 1.00 2.24 0.03 4.53 2.02 11
77 DENSE 2560 2560 1.00 4.12 0.04 3.15 0.76 3
78 DENSE 2560 2560 1.00 2.21 0.02 4.61 2.08 10
79 DENSE 2560 2560 1.00 4.63 0.06 2.71 0.58 4
81 DENSE 10240 2560 4.00 2.98 0.02 6.88 2.31 0
82 DENSE 10240 2560 4.00 5.12 0.01 9.04 1.77 0
84 DENSE 2560 2560 1.00 2.54 0.02 5.34 2.10 9
85 DENSE 2560 2560 1.00 3.80 0.05 2.82 0.74 4
86 DENSE 2560 2560 1.00 2.38 0.02 4.61 1.93 8
87 DENSE 2560 2560 1.00 4.21 0.06 2.62 0.62 4
89 DENSE 10240 2560 4.00 2.98 0.02 6.97 2.34 0
90 DENSE 10240 2560 4.00 4.47 0.01 7.89 1.76 0
92 DENSE 2560 2560 1.00 2.80 0.02 5.85 2.09 7
93 DENSE 2560 2560 1.00 3.52 0.04 2.97 0.84 5
94 DENSE 2560 2560 1.00 2.59 0.03 4.76 1.84 6
95 DENSE 2560 2560 1.00 3.77 0.06 2.41 0.64 4
97 DENSE 10240 2560 4.00 3.06 0.02 7.19 2.35 0
98 DENSE 10240 2560 4.00 4.32 0.01 7.43 1.72 0
100 DENSE 2560 2560 1.00 2.70 0.02 5.59 2.07 7
101 DENSE 2560 2560 1.00 4.39 0.04 3.51 0.80 4
102 DENSE 2560 2560 1.00 2.42 0.03 4.23 1.75 6
103 DENSE 2560 2560 1.00 5.95 0.05 4.38 0.74 3
105 DENSE 10240 2560 4.00 3.13 0.01 7.38 2.36 0
106 DENSE 10240 2560 4.00 4.23 0.01 7.27 1.72 0
108 DENSE 2560 2560 1.00 2.68 0.01 5.60 2.09 5
109 DENSE 2560 2560 1.00 3.90 0.03 3.12 0.80 4
110 DENSE 2560 2560 1.00 2.32 0.03 3.97 1.71 5
111 DENSE 2560 2560 1.00 3.89 0.04 2.86 0.73 4
113 DENSE 10240 2560 4.00 3.20 0.01 7.55 2.36 0
114 DENSE 10240 2560 4.00 4.00 0.01 6.95 1.74 0
116 DENSE 2560 2560 1.00 2.82 0.02 5.75 2.04 4
117 DENSE 2560 2560 1.00 4.54 0.03 3.44 0.76 4
118 DENSE 2560 2560 1.00 2.38 0.05 3.84 1.62 3
119 DENSE 2560 2560 1.00 6.16 0.04 4.98 0.81 3
121 DENSE 10240 2560 4.00 3.27 0.01 7.66 2.35 0
122 DENSE 10240 2560 4.00 3.68 0.01 6.38 1.73 0
124 DENSE 2560 2560 1.00 2.69 0.02 5.59 2.08 4
125 DENSE 2560 2560 1.00 3.90 0.04 3.11 0.80 4
126 DENSE 2560 2560 1.00 2.24 0.05 3.63 1.62 4
127 DENSE 2560 2560 1.00 3.91 0.05 2.88 0.74 3
129 DENSE 10240 2560 4.00 3.31 0.01 7.68 2.32 0
130 DENSE 10240 2560 4.00 3.41 0.02 5.94 1.74 0
132 DENSE 2560 2560 1.00 2.73 0.02 5.69 2.08 4
133 DENSE 2560 2560 1.00 3.43 0.04 2.98 0.87 4
134 DENSE 2560 2560 1.00 2.78 0.06 4.38 1.58 4
135 DENSE 2560 2560 1.00 3.90 0.06 2.73 0.70 4
137 DENSE 10240 2560 4.00 3.32 0.01 7.74 2.33 0
138 DENSE 10240 2560 4.00 3.49 0.02 6.54 1.87 0
140 DENSE 2560 2560 1.00 2.95 0.02 5.99 2.03 3
141 DENSE 2560 2560 1.00 3.10 0.04 3.02 0.98 3
142 DENSE 2560 2560 1.00 2.85 0.05 4.35 1.53 3
143 DENSE 2560 2560 1.00 3.58 0.06 2.88 0.80 4
145 DENSE 10240 2560 4.00 3.40 0.02 7.98 2.34 0
146 DENSE 10240 2560 4.00 3.60 0.02 6.20 1.72 0
148 DENSE 2560 2560 1.00 2.95 0.02 5.71 1.94 4
149 DENSE 2560 2560 1.00 2.74 0.04 2.85 1.04 4
150 DENSE 2560 2560 1.00 3.13 0.06 4.64 1.48 3
151 DENSE 2560 2560 1.00 3.07 0.06 2.45 0.80 3
153 DENSE 10240 2560 4.00 3.55 0.02 8.45 2.38 0
154 DENSE 10240 2560 4.00 3.60 0.02 5.94 1.65 0
156 DENSE 2560 2560 1.00 2.64 0.02 5.27 1.99 3
157 DENSE 2560 2560 1.00 2.57 0.06 2.65 1.03 4
158 DENSE 2560 2560 1.00 2.45 0.06 3.57 1.46 4
159 DENSE 2560 2560 1.00 6.36 0.08 5.68 0.89 3
161 DENSE 10240 2560 4.00 3.50 0.02 8.42 2.40 0
162 DENSE 10240 2560 4.00 3.86 0.03 6.40 1.66 0
164 DENSE 2560 2560 1.00 2.75 0.02 5.28 1.92 4
165 DENSE 2560 2560 1.00 2.79 0.06 2.80 1.00 5
166 DENSE 2560 2560 1.00 2.62 0.05 3.84 1.46 4
167 DENSE 2560 2560 1.00 2.90 0.08 2.51 0.87 4
169 DENSE 10240 2560 4.00 3.54 0.01 8.54 2.41 0
170 DENSE 10240 2560 4.00 4.00 0.03 6.54 1.64 0
172 DENSE 2560 2560 1.00 2.85 0.02 5.18 1.82 3
173 DENSE 2560 2560 1.00 3.28 0.06 3.40 1.04 3
174 DENSE 2560 2560 1.00 2.71 0.03 4.22 1.56 3
175 DENSE 2560 2560 1.00 3.21 0.06 3.15 0.98 4
177 DENSE 10240 2560 4.00 3.47 0.01 8.47 2.44 0
178 DENSE 10240 2560 4.00 4.37 0.03 7.19 1.65 0
180 DENSE 2560 2560 1.00 2.79 0.01 5.45 1.96 4
181 DENSE 2560 2560 1.00 6.01 0.07 5.34 0.89 3
182 DENSE 2560 2560 1.00 2.61 0.04 4.26 1.64 5
183 DENSE 2560 2560 1.00 8.09 0.05 9.00 1.11 3
185 DENSE 10240 2560 4.00 3.45 0.01 8.51 2.47 0
186 DENSE 10240 2560 4.00 4.45 0.02 7.39 1.66 0
188 DENSE 2560 2560 1.00 2.79 0.02 5.02 1.80 3
189 DENSE 2560 2560 1.00 7.25 0.05 6.00 0.83 3
190 DENSE 2560 2560 1.00 2.95 0.04 5.19 1.76 3
191 DENSE 2560 2560 1.00 4.30 0.07 4.99 1.16 2
193 DENSE 10240 2560 4.00 3.47 0.01 8.61 2.48 0
194 DENSE 10240 2560 4.00 4.78 0.02 7.79 1.63 0
196 DENSE 2560 2560 1.00 2.79 0.02 5.00 1.79 3
197 DENSE 2560 2560 1.00 9.50 0.06 7.80 0.82 2
198 DENSE 2560 2560 1.00 2.70 0.03 4.74 1.76 4
199 DENSE 2560 2560 1.00 7.42 0.07 8.83 1.19 2
201 DENSE 10240 2560 4.00 3.52 0.01 8.77 2.49 0
202 DENSE 10240 2560 4.00 4.25 0.03 6.85 1.61 0
204 DENSE 2560 2560 1.00 3.21 0.03 5.71 1.78 3
205 DENSE 2560 2560 1.00 9.68 0.03 9.79 1.01 3
206 DENSE 2560 2560 1.00 3.17 0.01 6.24 1.97 3
207 DENSE 2560 2560 1.00 6.57 0.03 8.51 1.30 3
209 DENSE 10240 2560 4.00 3.48 0.01 8.72 2.50 0
210 DENSE 10240 2560 4.00 5.02 0.02 8.37 1.67 0
212 DENSE 2560 2560 1.00 2.86 0.03 5.11 1.79 3
213 DENSE 2560 2560 1.00 18.34 0.08 16.40 0.89 2
214 DENSE 2560 2560 1.00 2.83 0.02 5.28 1.87 3
215 DENSE 2560 2560 1.00 8.44 0.07 10.54 1.25 2
217 DENSE 10240 2560 4.00 3.53 0.01 8.92 2.53 0
218 DENSE 10240 2560 4.00 4.87 0.02 8.09 1.66 0
220 DENSE 2560 2560 1.00 2.92 0.04 5.56 1.91 4
221 DENSE 2560 2560 1.00 6.03 0.06 6.35 1.05 3
222 DENSE 2560 2560 1.00 2.82 0.02 5.59 1.98 3
223 DENSE 2560 2560 1.00 9.79 0.06 10.68 1.09 2
225 DENSE 10240 2560 4.00 3.58 0.01 9.11 2.54 0
226 DENSE 10240 2560 4.00 4.66 0.02 7.28 1.56 0
228 DENSE 2560 2560 1.00 2.88 0.04 5.77 2.00 3
229 DENSE 2560 2560 1.00 5.01 0.09 4.87 0.97 3
230 DENSE 2560 2560 1.00 2.80 0.03 5.47 1.95 3
231 DENSE 2560 2560 1.00 8.72 0.07 10.62 1.22 2
233 DENSE 10240 2560 4.00 3.61 0.01 9.30 2.58 0
234 DENSE 10240 2560 4.00 4.63 0.03 7.16 1.55 0
236 DENSE 2560 2560 1.00 3.54 0.04 8.44 2.38 3
237 DENSE 2560 2560 1.00 5.30 0.11 5.02 0.95 3
238 DENSE 2560 2560 1.00 2.49 0.03 5.33 2.14 2
239 DENSE 2560 2560 1.00 6.99 0.06 9.36 1.34 2
241 DENSE 10240 2560 4.00 3.66 0.01 9.48 2.59 0
242 DENSE 10240 2560 4.00 5.16 0.03 8.09 1.57 0
244 DENSE 2560 2560 1.00 3.82 0.04 9.95 2.60 2
245 DENSE 2560 2560 1.00 11.72 0.10 11.86 1.01 2
246 DENSE 2560 2560 1.00 2.50 0.04 6.12 2.45 2
247 DENSE 2560 2560 1.00 5.51 0.07 8.90 1.61 1
249 DENSE 10240 2560 4.00 3.82 0.01 10.06 2.64 0
250 DENSE 10240 2560 4.00 5.02 0.02 9.04 1.80 0
252 DENSE 2560 2560 1.00 3.53 0.04 9.99 2.83 3
253 DENSE 2560 2560 1.00 15.48 0.06 16.71 1.08 2
254 DENSE 2560 2560 1.00 2.34 0.04 6.45 2.76 2
255 DENSE 2560 2560 1.00 4.38 0.08 7.52 1.72 2
257 DENSE 10240 2560 4.00 4.00 0.03 11.18 2.80 0
258 DENSE 10240 2560 4.00 5.30 0.03 10.01 1.89 0