gpt-neox-20b


Find this model in the GPT-NeoX model summary

Model source: https://huggingface.co/EleutherAI/gpt-neox-20b

gpt-neox-20b Model Summary Plots

gpt-neox-20b Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
4 DENSE 18432 6144 3.00 3.87 0.02 10.58 2.74 0
5 DENSE 6144 6144 1.00 3.43 0.02 7.81 2.28 6
7 DENSE 24576 6144 4.00 5.63 0.04 15.23 2.70 0
8 DENSE 24576 6144 4.00 7.67 0.06 21.22 2.77 0
11 DENSE 18432 6144 3.00 2.97 0.01 8.34 2.81 0
12 DENSE 6144 6144 1.00 3.73 0.04 6.65 1.78 4
14 DENSE 24576 6144 4.00 2.24 0.03 7.23 3.22 0
15 DENSE 24576 6144 4.00 6.08 0.04 16.74 2.75 0
18 DENSE 18432 6144 3.00 2.84 0.02 7.95 2.80 0
19 DENSE 6144 6144 1.00 3.45 0.04 6.42 1.86 4
21 DENSE 24576 6144 4.00 2.42 0.01 7.00 2.89 0
22 DENSE 24576 6144 4.00 3.54 0.02 8.74 2.47 0
25 DENSE 18432 6144 3.00 3.41 0.03 9.69 2.84 0
26 DENSE 6144 6144 1.00 3.28 0.03 5.90 1.80 4
28 DENSE 24576 6144 4.00 2.61 0.01 7.57 2.90 0
29 DENSE 24576 6144 4.00 3.73 0.01 9.44 2.53 0
32 DENSE 18432 6144 3.00 3.37 0.02 8.86 2.63 0
33 DENSE 6144 6144 1.00 3.28 0.02 6.20 1.89 4
35 DENSE 24576 6144 4.00 2.68 0.02 7.81 2.92 0
36 DENSE 24576 6144 4.00 3.70 0.02 9.13 2.47 0
39 DENSE 18432 6144 3.00 3.45 0.02 8.75 2.54 0
40 DENSE 6144 6144 1.00 3.48 0.03 6.64 1.91 4
42 DENSE 24576 6144 4.00 2.80 0.01 8.07 2.88 0
43 DENSE 24576 6144 4.00 3.20 0.01 8.10 2.53 0
46 DENSE 18432 6144 3.00 3.13 0.02 7.78 2.49 0
47 DENSE 6144 6144 1.00 5.25 0.04 9.80 1.87 4
49 DENSE 24576 6144 4.00 2.83 0.01 8.21 2.90 0
50 DENSE 24576 6144 4.00 3.13 0.01 8.15 2.60 0
53 DENSE 18432 6144 3.00 3.02 0.02 7.35 2.43 0
54 DENSE 6144 6144 1.00 5.97 0.04 10.98 1.84 5
56 DENSE 24576 6144 4.00 2.80 0.01 9.87 3.52 0
57 DENSE 24576 6144 4.00 3.17 0.01 9.15 2.89 0
60 DENSE 18432 6144 3.00 3.58 0.03 9.29 2.59 0
61 DENSE 6144 6144 1.00 5.53 0.04 10.29 1.86 4
63 DENSE 24576 6144 4.00 2.80 0.01 7.92 2.83 0
64 DENSE 24576 6144 4.00 3.05 0.01 7.95 2.60 0
67 DENSE 18432 6144 3.00 3.10 0.02 9.01 2.90 0
68 DENSE 6144 6144 1.00 6.33 0.05 11.51 1.82 5
70 DENSE 24576 6144 4.00 2.81 0.02 8.05 2.87 0
71 DENSE 24576 6144 4.00 2.84 0.01 7.40 2.61 0
74 DENSE 18432 6144 3.00 2.59 0.01 8.35 3.22 0
75 DENSE 6144 6144 1.00 7.30 0.05 12.60 1.72 4
77 DENSE 24576 6144 4.00 2.74 0.02 7.80 2.84 0
78 DENSE 24576 6144 4.00 2.93 0.02 7.45 2.54 0
81 DENSE 18432 6144 3.00 2.34 0.01 8.15 3.47 0
82 DENSE 6144 6144 1.00 6.38 0.05 9.92 1.55 4
84 DENSE 24576 6144 4.00 2.69 0.02 7.89 2.93 0
85 DENSE 24576 6144 4.00 2.75 0.01 6.72 2.44 0
88 DENSE 18432 6144 3.00 2.32 0.01 8.14 3.51 0
89 DENSE 6144 6144 1.00 2.95 0.05 4.72 1.60 5
91 DENSE 24576 6144 4.00 2.69 0.02 7.87 2.92 0
92 DENSE 24576 6144 4.00 2.89 0.02 6.93 2.39 0
95 DENSE 18432 6144 3.00 2.37 0.01 8.31 3.51 0
96 DENSE 6144 6144 1.00 4.16 0.06 6.34 1.52 4
98 DENSE 24576 6144 4.00 2.61 0.03 7.61 2.91 0
99 DENSE 24576 6144 4.00 2.88 0.01 6.97 2.42 0
102 DENSE 18432 6144 3.00 2.33 0.02 8.21 3.53 0
103 DENSE 6144 6144 1.00 9.66 0.05 14.99 1.55 3
105 DENSE 24576 6144 4.00 2.61 0.03 7.64 2.92 0
106 DENSE 24576 6144 4.00 2.89 0.01 6.96 2.41 0
109 DENSE 18432 6144 3.00 2.27 0.02 8.10 3.57 0
110 DENSE 6144 6144 1.00 10.03 0.06 14.98 1.49 4
112 DENSE 24576 6144 4.00 2.60 0.03 7.57 2.91 0
113 DENSE 24576 6144 4.00 2.92 0.01 7.12 2.44 0
116 DENSE 18432 6144 3.00 2.27 0.02 8.09 3.57 0
117 DENSE 6144 6144 1.00 3.37 0.06 5.04 1.50 4
119 DENSE 24576 6144 4.00 2.59 0.03 7.67 2.96 0
120 DENSE 24576 6144 4.00 2.96 0.01 7.20 2.43 0
123 DENSE 18432 6144 3.00 2.29 0.02 8.16 3.57 0
124 DENSE 6144 6144 1.00 8.00 0.05 12.05 1.51 3
126 DENSE 24576 6144 4.00 2.59 0.03 7.69 2.96 0
127 DENSE 24576 6144 4.00 2.91 0.01 7.09 2.44 0
130 DENSE 18432 6144 3.00 2.28 0.02 8.19 3.59 0
131 DENSE 6144 6144 1.00 5.25 0.06 7.66 1.46 4
133 DENSE 24576 6144 4.00 2.65 0.03 7.82 2.96 0
134 DENSE 24576 6144 4.00 2.98 0.01 7.09 2.38 0
137 DENSE 18432 6144 3.00 2.29 0.02 8.28 3.61 0
138 DENSE 6144 6144 1.00 7.14 0.06 9.93 1.39 2
140 DENSE 24576 6144 4.00 2.66 0.03 7.86 2.95 0
141 DENSE 24576 6144 4.00 3.04 0.01 7.32 2.41 0
144 DENSE 18432 6144 3.00 2.29 0.02 8.33 3.64 0
145 DENSE 6144 6144 1.00 6.50 0.03 10.09 1.55 3
147 DENSE 24576 6144 4.00 2.69 0.03 7.97 2.97 0
148 DENSE 24576 6144 4.00 3.13 0.01 8.22 2.63 0
151 DENSE 18432 6144 3.00 2.29 0.02 8.30 3.62 0
152 DENSE 6144 6144 1.00 6.10 0.03 11.08 1.82 3
154 DENSE 24576 6144 4.00 2.69 0.03 7.90 2.94 0
155 DENSE 24576 6144 4.00 3.32 0.01 8.95 2.69 0
158 DENSE 18432 6144 3.00 2.26 0.02 8.16 3.60 0
159 DENSE 6144 6144 1.00 7.68 0.05 12.26 1.60 4
161 DENSE 24576 6144 4.00 2.72 0.03 8.05 2.96 0
162 DENSE 24576 6144 4.00 3.30 0.01 8.79 2.66 0
165 DENSE 18432 6144 3.00 2.29 0.02 8.33 3.64 0
166 DENSE 6144 6144 1.00 6.96 0.05 11.85 1.70 4
168 DENSE 24576 6144 4.00 2.74 0.03 8.06 2.94 0
169 DENSE 24576 6144 4.00 3.41 0.01 9.24 2.71 0
172 DENSE 18432 6144 3.00 2.21 0.03 8.02 3.62 0
173 DENSE 6144 6144 1.00 7.10 0.03 11.62 1.64 4
175 DENSE 24576 6144 4.00 2.77 0.03 8.18 2.95 0
176 DENSE 24576 6144 4.00 3.50 0.01 9.44 2.69 0
179 DENSE 18432 6144 3.00 2.24 0.02 8.06 3.60 0
180 DENSE 6144 6144 1.00 6.39 0.04 11.94 1.87 3
182 DENSE 24576 6144 4.00 2.78 0.02 8.19 2.94 0
183 DENSE 24576 6144 4.00 3.88 0.01 10.76 2.77 0
186 DENSE 18432 6144 3.00 2.27 0.02 8.09 3.56 0
187 DENSE 6144 6144 1.00 6.42 0.04 12.09 1.88 4
189 DENSE 24576 6144 4.00 2.83 0.02 8.31 2.94 0
190 DENSE 24576 6144 4.00 4.06 0.02 10.85 2.67 0
193 DENSE 18432 6144 3.00 2.24 0.02 8.01 3.57 0
194 DENSE 6144 6144 1.00 6.67 0.03 11.97 1.79 4
196 DENSE 24576 6144 4.00 2.85 0.03 8.35 2.93 0
197 DENSE 24576 6144 4.00 4.16 0.01 10.75 2.58 0
200 DENSE 18432 6144 3.00 2.29 0.03 8.17 3.57 0
201 DENSE 6144 6144 1.00 7.01 0.05 12.37 1.76 4
203 DENSE 24576 6144 4.00 2.87 0.03 8.43 2.93 0
204 DENSE 24576 6144 4.00 4.31 0.01 10.72 2.49 0
207 DENSE 18432 6144 3.00 2.33 0.02 8.36 3.59 0
208 DENSE 6144 6144 1.00 5.89 0.03 9.56 1.62 3
210 DENSE 24576 6144 4.00 2.92 0.03 8.55 2.93 0
211 DENSE 24576 6144 4.00 4.63 0.01 10.85 2.34 0
214 DENSE 18432 6144 3.00 2.30 0.02 8.32 3.61 0
215 DENSE 6144 6144 1.00 6.29 0.02 9.66 1.53 3
217 DENSE 24576 6144 4.00 2.97 0.03 8.63 2.91 0
218 DENSE 24576 6144 4.00 4.96 0.01 11.06 2.23 0
221 DENSE 18432 6144 3.00 2.31 0.02 8.32 3.61 0
222 DENSE 6144 6144 1.00 5.83 0.03 8.78 1.51 4
224 DENSE 24576 6144 4.00 3.00 0.03 8.71 2.91 0
225 DENSE 24576 6144 4.00 5.23 0.01 11.52 2.20 0
228 DENSE 18432 6144 3.00 2.38 0.03 8.62 3.61 0
229 DENSE 6144 6144 1.00 6.59 0.01 9.19 1.39 5
231 DENSE 24576 6144 4.00 3.09 0.03 8.97 2.90 0
232 DENSE 24576 6144 4.00 4.83 0.01 10.58 2.19 0
235 DENSE 18432 6144 3.00 2.39 0.03 8.64 3.61 0
236 DENSE 6144 6144 1.00 9.69 0.05 13.52 1.40 4
238 DENSE 24576 6144 4.00 3.16 0.03 9.15 2.90 0
239 DENSE 24576 6144 4.00 4.95 0.01 10.72 2.17 0
242 DENSE 18432 6144 3.00 2.40 0.03 8.63 3.60 0
243 DENSE 6144 6144 1.00 5.77 0.02 8.43 1.46 4
245 DENSE 24576 6144 4.00 3.22 0.03 9.32 2.90 0
246 DENSE 24576 6144 4.00 4.99 0.01 10.89 2.18 0
249 DENSE 18432 6144 3.00 2.44 0.03 8.77 3.60 0
250 DENSE 6144 6144 1.00 5.77 0.02 9.92 1.72 4
252 DENSE 24576 6144 4.00 3.25 0.04 9.34 2.88 0
253 DENSE 24576 6144 4.00 5.00 0.01 10.81 2.16 0
256 DENSE 18432 6144 3.00 2.50 0.03 8.95 3.57 0
257 DENSE 6144 6144 1.00 6.31 0.02 11.05 1.75 2
259 DENSE 24576 6144 4.00 3.31 0.04 9.50 2.87 0
260 DENSE 24576 6144 4.00 5.05 0.02 10.70 2.12 0
263 DENSE 18432 6144 3.00 2.48 0.03 8.79 3.54 0
264 DENSE 6144 6144 1.00 6.37 0.03 9.76 1.53 5
266 DENSE 24576 6144 4.00 4.89 0.04 13.96 2.86 0
267 DENSE 24576 6144 4.00 5.09 0.02 10.77 2.12 0
270 DENSE 18432 6144 3.00 2.11 0.03 7.49 3.55 0
271 DENSE 6144 6144 1.00 7.91 0.04 12.76 1.61 4
273 DENSE 24576 6144 4.00 4.88 0.03 13.82 2.83 0
274 DENSE 24576 6144 4.00 5.04 0.02 11.26 2.23 0
277 DENSE 18432 6144 3.00 2.63 0.04 9.38 3.57 0
278 DENSE 6144 6144 1.00 9.54 0.05 15.03 1.58 4
280 DENSE 24576 6144 4.00 4.86 0.02 13.78 2.84 0
281 DENSE 24576 6144 4.00 5.24 0.02 11.83 2.26 0
284 DENSE 18432 6144 3.00 2.62 0.04 9.30 3.56 0
285 DENSE 6144 6144 1.00 7.77 0.04 11.52 1.48 3
287 DENSE 24576 6144 4.00 4.70 0.01 13.30 2.83 0
288 DENSE 24576 6144 4.00 5.02 0.02 12.13 2.42 0
291 DENSE 18432 6144 3.00 2.60 0.04 9.29 3.57 0
292 DENSE 6144 6144 1.00 7.50 0.06 11.37 1.52 3
294 DENSE 24576 6144 4.00 4.57 0.02 12.95 2.83 0
295 DENSE 24576 6144 4.00 4.76 0.01 11.85 2.49 0
298 DENSE 18432 6144 3.00 2.04 0.04 7.27 3.56 0
299 DENSE 6144 6144 1.00 6.14 0.09 13.42 2.18 4
301 DENSE 24576 6144 4.00 4.29 0.02 12.32 2.87 0
302 DENSE 24576 6144 4.00 4.07 0.02 11.37 2.79 0
305 DENSE 18432 6144 3.00 2.12 0.03 6.95 3.29 0
306 DENSE 6144 6144 1.00 2.40 0.06 5.23 2.18 15
308 DENSE 24576 6144 4.00 3.77 0.03 11.17 2.97 0
309 DENSE 24576 6144 4.00 3.43 0.03 11.95 3.48 0