BLOOMChat-176b


Find this model in the BLOOMChat model summary

Model source: https://huggingface.co/sambanovasystems/BLOOMChat-176B-v1

BLOOMChat-176b Model Summary Plots

BLOOMChat-176b Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
4 DENSE 43008 14336 3.00 3.83 0.01 8.08 2.11 0
5 DENSE 14336 14336 1.00 3.79 0.01 10.15 2.68 16
10 DENSE 43008 14336 3.00 2.51 0.01 7.04 2.80 0
11 DENSE 14336 14336 1.00 2.72 0.01 7.23 2.66 16
13 DENSE 43008 14336 3.00 2.35 0.01 7.00 2.98 0
14 DENSE 14336 14336 1.00 2.78 0.01 7.17 2.58 19
19 DENSE 43008 14336 3.00 2.52 0.01 7.56 3.00 0
20 DENSE 14336 14336 1.00 3.41 0.01 7.65 2.24 23
25 DENSE 43008 14336 3.00 2.70 0.01 8.12 3.00 0
26 DENSE 14336 14336 1.00 3.77 0.02 5.75 1.53 24
31 DENSE 43008 14336 3.00 2.71 0.02 7.98 2.94 0
32 DENSE 14336 14336 1.00 3.75 0.01 5.61 1.49 24
36 DENSE 43008 14336 3.00 2.81 0.01 8.23 2.93 0
37 DENSE 14336 14336 1.00 4.42 0.04 6.14 1.39 24
42 DENSE 43008 14336 3.00 2.78 0.01 8.12 2.92 0
43 DENSE 14336 14336 1.00 4.47 0.04 6.20 1.39 25
48 DENSE 43008 14336 3.00 2.79 0.01 7.98 2.87 0
49 DENSE 14336 14336 1.00 4.63 0.03 6.68 1.44 24
54 DENSE 43008 14336 3.00 2.69 0.01 7.56 2.81 0
55 DENSE 14336 14336 1.00 3.97 0.03 6.15 1.55 24
60 DENSE 43008 14336 3.00 3.18 0.02 8.89 2.80 0
61 DENSE 14336 14336 1.00 3.32 0.02 5.19 1.57 23
66 DENSE 43008 14336 3.00 2.70 0.02 7.50 2.78 0
67 DENSE 14336 14336 1.00 3.56 0.01 5.62 1.58 21
72 DENSE 43008 14336 3.00 2.64 0.02 7.37 2.79 0
73 DENSE 14336 14336 1.00 3.38 0.02 5.47 1.62 21
75 DENSE 43008 14336 3.00 2.67 0.02 7.31 2.74 0
76 DENSE 14336 14336 1.00 3.39 0.02 5.64 1.66 20
81 DENSE 43008 14336 3.00 2.63 0.02 7.22 2.75 0
82 DENSE 14336 14336 1.00 3.44 0.01 5.59 1.63 20
87 DENSE 43008 14336 3.00 2.71 0.02 7.34 2.70 0
88 DENSE 14336 14336 1.00 3.34 0.01 5.53 1.65 19
93 DENSE 43008 14336 3.00 2.63 0.02 7.14 2.72 0
94 DENSE 14336 14336 1.00 3.47 0.02 5.88 1.69 19
98 DENSE 43008 14336 3.00 2.75 0.02 7.45 2.71 0
99 DENSE 14336 14336 1.00 3.53 0.02 5.75 1.63 18
104 DENSE 43008 14336 3.00 2.74 0.02 7.42 2.70 0
105 DENSE 14336 14336 1.00 3.59 0.02 6.61 1.84 17
110 DENSE 43008 14336 3.00 2.68 0.01 7.07 2.64 0
111 DENSE 14336 14336 1.00 3.50 0.01 6.98 1.99 17
116 DENSE 43008 14336 3.00 2.64 0.01 7.00 2.65 0
117 DENSE 14336 14336 1.00 3.39 0.02 8.03 2.37 17
122 DENSE 43008 14336 3.00 2.55 0.01 6.68 2.62 0
123 DENSE 14336 14336 1.00 3.30 0.01 8.62 2.61 16
128 DENSE 43008 14336 3.00 2.52 0.01 6.59 2.62 0
129 DENSE 14336 14336 1.00 3.22 0.01 8.33 2.59 15
134 DENSE 43008 14336 3.00 2.54 0.01 6.59 2.59 0
135 DENSE 14336 14336 1.00 3.17 0.01 8.15 2.57 14
137 DENSE 43008 14336 3.00 2.47 0.01 6.37 2.58 0
138 DENSE 14336 14336 1.00 3.12 0.01 7.41 2.37 14
143 DENSE 43008 14336 3.00 2.46 0.01 6.27 2.55 0
144 DENSE 14336 14336 1.00 3.15 0.02 6.64 2.11 14
149 DENSE 43008 14336 3.00 2.51 0.01 6.29 2.51 0
150 DENSE 14336 14336 1.00 3.30 0.01 6.05 1.83 13
155 DENSE 43008 14336 3.00 2.46 0.01 6.26 2.54 0
156 DENSE 14336 14336 1.00 3.27 0.02 5.79 1.77 13
160 DENSE 43008 14336 3.00 2.51 0.01 6.30 2.52 0
161 DENSE 14336 14336 1.00 3.61 0.02 6.26 1.73 15
166 DENSE 43008 14336 3.00 2.42 0.01 6.25 2.58 0
167 DENSE 14336 14336 1.00 3.99 0.02 7.21 1.81 14
172 DENSE 43008 14336 3.00 2.45 0.01 6.17 2.52 0
173 DENSE 14336 14336 1.00 3.88 0.02 6.37 1.64 15
178 DENSE 43008 14336 3.00 2.38 0.01 6.00 2.52 0
179 DENSE 14336 14336 1.00 5.04 0.02 7.45 1.48 16
184 DENSE 43008 14336 3.00 2.37 0.01 6.10 2.57 0
185 DENSE 14336 14336 1.00 3.03 0.03 5.04 1.66 15
190 DENSE 43008 14336 3.00 2.41 0.01 6.10 2.53 0
191 DENSE 14336 14336 1.00 4.58 0.04 7.17 1.57 14
196 DENSE 43008 14336 3.00 2.32 0.01 5.88 2.53 0
197 DENSE 14336 14336 1.00 2.81 0.04 4.21 1.50 15
199 DENSE 43008 14336 3.00 2.32 0.01 5.76 2.49 0
200 DENSE 14336 14336 1.00 2.71 0.04 3.94 1.45 13
205 DENSE 43008 14336 3.00 2.34 0.02 5.79 2.48 0
206 DENSE 14336 14336 1.00 2.59 0.05 3.80 1.47 13
211 DENSE 43008 14336 3.00 2.34 0.02 5.74 2.45 0
212 DENSE 14336 14336 1.00 3.02 0.05 4.47 1.48 14
217 DENSE 43008 14336 3.00 2.35 0.02 5.78 2.45 0
218 DENSE 14336 14336 1.00 2.85 0.04 4.43 1.55 13
222 DENSE 43008 14336 3.00 2.37 0.02 5.71 2.41 0
223 DENSE 14336 14336 1.00 2.75 0.05 4.24 1.54 14
228 DENSE 43008 14336 3.00 2.48 0.02 5.99 2.41 0
229 DENSE 14336 14336 1.00 3.13 0.06 4.54 1.45 15
234 DENSE 43008 14336 3.00 2.54 0.03 6.04 2.38 0
235 DENSE 14336 14336 1.00 2.65 0.05 3.92 1.48 13
240 DENSE 43008 14336 3.00 2.55 0.02 6.03 2.37 0
241 DENSE 14336 14336 1.00 3.03 0.05 4.28 1.41 13
246 DENSE 43008 14336 3.00 2.59 0.02 6.16 2.38 0
247 DENSE 14336 14336 1.00 3.02 0.05 4.32 1.43 13
252 DENSE 43008 14336 3.00 2.63 0.02 6.20 2.35 0
253 DENSE 14336 14336 1.00 2.97 0.03 4.13 1.39 14
258 DENSE 43008 14336 3.00 2.88 0.02 6.96 2.42 0
259 DENSE 14336 14336 1.00 3.25 0.03 4.53 1.40 13
261 DENSE 43008 14336 3.00 2.91 0.01 6.93 2.38 0
262 DENSE 14336 14336 1.00 3.58 0.04 4.96 1.39 12
267 DENSE 43008 14336 3.00 3.00 0.01 7.12 2.37 0
268 DENSE 14336 14336 1.00 3.89 0.04 5.17 1.33 13
273 DENSE 43008 14336 3.00 2.99 0.01 7.06 2.36 0
274 DENSE 14336 14336 1.00 7.37 0.03 11.06 1.50 13
279 DENSE 43008 14336 3.00 2.98 0.01 7.29 2.44 0
280 DENSE 14336 14336 1.00 5.06 0.02 8.32 1.64 13
284 DENSE 43008 14336 3.00 3.05 0.01 7.31 2.40 0
285 DENSE 14336 14336 1.00 6.43 0.02 10.01 1.56 13
290 DENSE 43008 14336 3.00 3.09 0.01 7.50 2.43 0
291 DENSE 14336 14336 1.00 6.88 0.03 10.02 1.46 11
296 DENSE 43008 14336 3.00 3.15 0.01 7.60 2.41 0
297 DENSE 14336 14336 1.00 6.65 0.02 10.57 1.59 11
302 DENSE 43008 14336 3.00 3.11 0.01 7.57 2.43 0
303 DENSE 14336 14336 1.00 5.56 0.02 9.61 1.73 12
308 DENSE 43008 14336 3.00 3.02 0.01 7.47 2.48 0
309 DENSE 14336 14336 1.00 5.67 0.05 8.95 1.58 12
314 DENSE 43008 14336 3.00 3.06 0.01 7.58 2.48 0
315 DENSE 14336 14336 1.00 6.02 0.03 10.92 1.81 11
320 DENSE 43008 14336 3.00 3.02 0.01 7.54 2.50 0
321 DENSE 14336 14336 1.00 6.82 0.03 11.48 1.68 12
323 DENSE 43008 14336 3.00 2.99 0.01 7.46 2.49 0
324 DENSE 14336 14336 1.00 6.06 0.03 10.75 1.78 10
329 DENSE 43008 14336 3.00 3.09 0.01 7.84 2.54 0
330 DENSE 14336 14336 1.00 6.04 0.02 9.65 1.60 11
335 DENSE 43008 14336 3.00 3.08 0.00 7.83 2.54 0
336 DENSE 14336 14336 1.00 5.74 0.02 9.74 1.70 12
341 DENSE 43008 14336 3.00 3.10 0.00 7.99 2.58 0
342 DENSE 14336 14336 1.00 7.45 0.03 11.21 1.51 10
346 DENSE 43008 14336 3.00 3.12 0.00 8.18 2.62 0
347 DENSE 14336 14336 1.00 6.55 0.05 10.45 1.60 11
352 DENSE 43008 14336 3.00 3.11 0.00 8.36 2.69 0
353 DENSE 14336 14336 1.00 6.61 0.05 11.88 1.80 10
358 DENSE 43008 14336 3.00 3.14 0.00 8.31 2.65 0
359 DENSE 14336 14336 1.00 6.02 0.06 11.33 1.88 12
364 DENSE 43008 14336 3.00 3.17 0.01 8.44 2.67 0
365 DENSE 14336 14336 1.00 5.39 0.05 11.63 2.16 10
370 DENSE 43008 14336 3.00 3.19 0.01 8.41 2.63 0
371 DENSE 14336 14336 1.00 5.17 0.06 13.00 2.51 10
376 DENSE 43008 14336 3.00 3.17 0.01 8.14 2.57 0
377 DENSE 14336 14336 1.00 4.43 0.07 11.76 2.66 11
382 DENSE 43008 14336 3.00 3.19 0.01 7.89 2.47 0
383 DENSE 14336 14336 1.00 1.97 0.06 5.04 2.56 13
385 DENSE 43008 14336 3.00 3.12 0.01 7.71 2.47 0
386 DENSE 14336 14336 1.00 2.03 0.05 4.67 2.30 13
391 DENSE 43008 14336 3.00 3.06 0.01 7.55 2.47 0
392 DENSE 14336 14336 1.00 3.42 0.05 7.53 2.20 14