有効性を証明するには、事前に○○の効果を調べるよ！と事前宣告します（具体的には臨床試験登録情報に研究プロトコルを公開、プライマリアウトカムを事前に設定）。
とりあえず、試験を実施して、さまざまなパラメータを調べて、改善されたパラメータを探し、そこをピックアップして「効果あり！」と主張するのはちょっとまずいです。
どういうことかというと、
理想的な検証方法は…
「あの的をめがけて、この弾丸で狙います！」と事前宣告し、
事前に定めた的を射抜けるかどうかで効果判定します。
命中すれば、的を射抜く性能があるってことです。
一方…
手当たり次第、撃ちまくって（複数のアウトカムを検証して）、撃ち終わったあとに、的を射抜いた弾丸を掲げて「これがプライマリアウトカム弾だ！有効性を証明した！」というのはちょっとまずいですよね。
「たまたまではなく、狙い定めて的を射抜いた！」と考えられる場合に、「この薬は効く！」と言えるわけですが、撃ちまくったら「的を射抜く性能があるのか」それとも「たまたま当たった」のかがわからず、もやもやします。
たまたま当たったのではないことを知らしめるために、上段の図のように事前に「この弾丸であの的を射抜きます！」と片手をあげて宣誓するわけですね。この宣誓が臨床試験登録情報などに公開するプロトコルです。
原則として、有効性の証明は事前に設定したプライマリアウトカムのみとされていますが、事前に設定したプライマリアウトカムではないアウトカムにフォーカスし、「○○は△△に有効！」と主張する場面も見かけます（事前宣告したプライマリアウトカム弾は的を外しているのに、的にあたった別の弾丸を掲げて「命中した！」と主張している事例もある）。厳密にはこのような事後解析は「効くと証明された」ではなく、「効く可能性がある」と受け止めるとよいのではないでしょうか。このあたりは冷静に評価したいところですね。
「的を射抜く」というざっくりした例えでゆるく解説してみました（厳密にはつっこみどころがある例え話かもですが）。
有意差、ｐ値と絡めて考えるとわかりやすいのですが、ブログではここまで。続きは拙著で！
書籍「医薬品情報のトリセツ」の紹介 byねこ薬剤師 - pharmacist's record
（つづきは有料オンラインサロンで！ みたいなノリ…。すみません、怒らないで…）
