یک مجموعه داده را به زیر گروه پس از زیرگروه تقسیم کنید تا زمانی که شانس شما p <0.05 را نشان دهد - سپس نمونه جدیدی را تماشا کنید که آیا یافته شما واقعی است یا تصادفی.
درمان هیچ اثر واقعی ندارد، بنابراین هر اهمیتی که پیدا کنید سر و صدا است. دادهها را در زیر گروهها فیلتر کنید و هر چند بار که لازم است تست را دوباره اجرا کنید تا به مقدار p زیر 0.05 برخورد کنید، سپس "یافته" خود را به داور ارسال کنید. پیچ و تاب: یک بررسی تکرار یک نمونه مستقل تازه میکشد و ادعای دقیق شما را دوباره آزمایش میکند. اثرات واقعی زنده می مانند. p-hacks ناپدید می شوند - و این شکاف تمام درس است.
Cherry Picker در مورد هک p، مقایسه های متعدد و چرایی اهمیت تکرار - یکپارچگی آمار است.
فیلتر کردن به زیرگروهها و تکرار آزمون تا وقتی چیزی معنادار از آب درآید، لایروبی داده است — p-hacking: انجام آزمونهای بسیار و گزارش تنها آنهایی که معنادار از آب درمیآیند.
طراحی ابتکاری این است که درمان هیچ اثر واقعیای ندارد، پس هر نتیجهای که پیدا میکنید بنا به ساختار، نویز است.
این تنها راه صادقانهی آموزش این موضوع است. اگر بهصورت انتزاعی گفته شود، p-hacking مثل تقلبی به نظر میرسد که آدم دقیق هرگز مرتکبش نمیشود؛ انجام آن روی دادههایی که تضمیناً تهیاند نشان میدهد معناداری چه آسان پدیدار میشود، و این مسئلهی مقایسههای چندگانه است نه یک نقص شخصیتی.
Cherry Picker یک بازی آماری در مورد هک p، مقایسه های متعدد و چرایی اهمیت تکرار است. این یک بازی مرورگر رایگان اصلی است که برای PlayPendium ساخته شده است.