stablelm-tuned-alpha-7b


Find this model in the StableLM model summary

Model source: https://huggingface.co/stabilityai/stablelm-tuned-alpha-7b

stablelm-tuned-alpha-7b Model Summary Plots

stablelm-tuned-alpha-7b Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
4 DENSE 18432 6144 3.00 3.29 0.02 8.82 2.68 0
5 DENSE 6144 6144 1.00 3.60 0.02 8.22 2.28 6
6 DENSE 24576 6144 4.00 7.46 0.07 20.88 2.80 0
7 DENSE 24576 6144 4.00 8.93 0.06 20.15 2.26 0
10 DENSE 18432 6144 3.00 3.77 0.01 9.76 2.59 0
11 DENSE 6144 6144 1.00 3.89 0.02 7.39 1.90 4
12 DENSE 24576 6144 4.00 2.63 0.05 8.03 3.05 0
13 DENSE 24576 6144 4.00 7.06 0.04 15.42 2.18 0
16 DENSE 18432 6144 3.00 3.34 0.02 8.13 2.43 0
17 DENSE 6144 6144 1.00 4.11 0.02 7.20 1.75 4
18 DENSE 24576 6144 4.00 2.69 0.01 7.71 2.87 0
19 DENSE 24576 6144 4.00 3.45 0.04 7.29 2.11 0
22 DENSE 18432 6144 3.00 3.32 0.02 7.77 2.34 0
23 DENSE 6144 6144 1.00 3.87 0.04 6.32 1.63 4
24 DENSE 24576 6144 4.00 2.69 0.02 9.35 3.47 0
25 DENSE 24576 6144 4.00 4.07 0.03 9.01 2.21 0
28 DENSE 18432 6144 3.00 3.82 0.02 9.72 2.54 0
29 DENSE 6144 6144 1.00 3.47 0.04 5.63 1.62 4
30 DENSE 24576 6144 4.00 2.81 0.02 8.08 2.88 0
32 DENSE 24576 6144 4.00 3.45 0.03 7.43 2.16 0
35 DENSE 18432 6144 3.00 3.78 0.02 9.88 2.62 0
36 DENSE 6144 6144 1.00 3.23 0.04 5.26 1.63 4
37 DENSE 24576 6144 4.00 2.93 0.02 8.36 2.86 0
38 DENSE 24576 6144 4.00 3.43 0.03 7.44 2.17 0
41 DENSE 18432 6144 3.00 3.34 0.01 9.84 2.94 0
42 DENSE 6144 6144 1.00 3.67 0.04 6.21 1.69 3
43 DENSE 24576 6144 4.00 2.95 0.01 8.32 2.82 0
44 DENSE 24576 6144 4.00 3.35 0.02 7.17 2.14 0
47 DENSE 18432 6144 3.00 2.64 0.01 8.27 3.14 0
48 DENSE 6144 6144 1.00 8.84 0.04 15.07 1.70 4
49 DENSE 24576 6144 4.00 2.94 0.01 8.23 2.80 0
50 DENSE 24576 6144 4.00 4.42 0.01 9.01 2.04 0
53 DENSE 18432 6144 3.00 2.35 0.02 8.42 3.59 0
54 DENSE 6144 6144 1.00 9.04 0.03 13.81 1.53 4
55 DENSE 24576 6144 4.00 2.88 0.01 8.25 2.87 0
56 DENSE 24576 6144 4.00 3.58 0.02 7.75 2.16 0
59 DENSE 18432 6144 3.00 2.06 0.02 7.42 3.60 0
60 DENSE 6144 6144 1.00 8.95 0.02 12.91 1.44 3
61 DENSE 24576 6144 4.00 2.94 0.01 8.38 2.85 0
62 DENSE 24576 6144 4.00 3.84 0.01 8.35 2.18 0
64 DENSE 18432 6144 3.00 2.44 0.03 8.84 3.62 0
65 DENSE 6144 6144 1.00 9.94 0.05 14.07 1.42 5
66 DENSE 24576 6144 4.00 3.00 0.01 8.62 2.87 0
67 DENSE 24576 6144 4.00 3.94 0.01 8.81 2.24 0
70 DENSE 18432 6144 3.00 2.05 0.03 7.31 3.56 0
71 DENSE 6144 6144 1.00 9.08 0.04 14.09 1.55 3
72 DENSE 24576 6144 4.00 3.07 0.01 8.72 2.84 0
73 DENSE 24576 6144 4.00 4.55 0.01 9.73 2.14 0
76 DENSE 18432 6144 3.00 2.17 0.02 7.63 3.52 0
77 DENSE 6144 6144 1.00 7.71 0.01 10.19 1.32 3
78 DENSE 24576 6144 4.00 3.21 0.01 9.03 2.81 0
79 DENSE 24576 6144 4.00 4.64 0.01 9.98 2.15 0
82 DENSE 18432 6144 3.00 2.10 0.02 7.28 3.47 0
83 DENSE 6144 6144 1.00 7.11 0.04 9.04 1.27 4
84 DENSE 24576 6144 4.00 3.36 0.02 9.14 2.72 0
85 DENSE 24576 6144 4.00 4.63 0.01 9.72 2.10 0
88 DENSE 18432 6144 3.00 2.23 0.03 7.73 3.47 0
89 DENSE 6144 6144 1.00 5.98 0.02 12.14 2.03 5
90 DENSE 24576 6144 4.00 3.52 0.01 9.36 2.66 0
91 DENSE 24576 6144 4.00 4.17 0.01 9.84 2.36 0
94 DENSE 18432 6144 3.00 2.99 0.05 10.02 3.35 0
95 DENSE 6144 6144 1.00 4.79 0.08 12.06 2.52 4
97 DENSE 24576 6144 4.00 3.72 0.02 10.16 2.73 0
98 DENSE 24576 6144 4.00 3.39 0.02 11.14 3.29 0