شش عامل مؤثر بر تکرارپذیری در تحقیقات علوم زندگی و نحوه رسیدگی به آنها

پیشرفت علمی به پایه و اساس محکمی از اعتبار داده بستگی دارد. با این حال ، یافته های علمی در تحقیقات زیست پزشکی همیشه قابل تکرار نیست. با سازمان هایی که در حال ارتقاء بهترین شیوه ها هستند و به محققان کمک می کند تا علم با کیفیت بالا را انجام دهند ، ملاقات کنید.

دلایل مختلفی وجود دارد که نمی توان یک آزمایش را تکرار کرد.

تأیید مستقل از داده ها یک اصل اساسی تحقیقات علمی در سراسر رشته ها است. مکانیسم های خود اصلاح روش علمی بستگی به توانایی محققان در بازتولید یافته های مطالعات منتشر شده به منظور تقویت شواهد و ایجاد بر کارهای موجود دارد. محقق پزشکی دانشگاه استنفورد ، جان ایوانیدیس ، یک محقق برجسته در مورد تکرارپذیری در علم ، خاطرنشان کرده است که اهمیت تکرارپذیری مربوط به اطمینان از "صحت" نتایج نیست ، بلکه با اطمینان از شفافیت دقیقاً آنچه در آن انجام شده است. یک خط تحقیق مشخص 1.

از نظر تئوری ، محققان باید بتوانند آزمایش ها را دوباره ایجاد کنند ، نتایج مشابهی را تولید کنند و به همان نتیجه گیری برسند ، بنابراین به اعتبارسنجی و تقویت کار اصلی کمک می کنند. با این حال ، واقعیت همیشه این انتظارات را برآورده نمی کند. غالباً ، یافته های علمی در تحقیقات پزشکی نمی توانند تکثیر شوند. در نتیجه ، منابع و زمان هدر می رود و اعتبار یافته های علمی در معرض خطر قرار می گیرد. علاوه بر این ، با وجود آگاهی شدید اخیر ، نیاز به آموزش بهتر دانش آموزان و کارآموزان تحقیق در مورد عدم تکرارپذیری در تحقیقات علوم زندگی و اقداماتی که می تواند برای بهبود آن انجام شود ، وجود دارد. در اینجا ، ما عوامل غالب مؤثر بر تکرارپذیری و تلاش های تشریح برای بهبود وضعیت را مرور می کنیم.

تکرارپذیری چیست؟

عبارت "عدم تکرارپذیری" در جامعه علمی قابل درک است ، اما این یک عبارت نسبتاً گسترده است که جنبه های مختلفی را در بر می گیرد. اگرچه یک تعریف استاندارد به طور کامل مشخص نشده است ، انجمن آمریکایی برای زیست شناسی سلولی ® (ASCB ®) با شناسایی تفاوت های ظریف در نحوه درک این اصطلاح در جامعه علمی ، یک رویکرد چند منظوره برای تعریف اصطلاح تکرارپذیری انجام داده است.

ACSB 4 این اختلافات را با اصطلاحات زیر مورد بحث قرار داده است: تکثیر مستقیم ، که تلاش برای تولید مثل نتیجه قبلی مشاهده شده با استفاده از همان طراحی آزمایشی و شرایط به عنوان مطالعه اصلی است. تکثیر تحلیلی ، که هدف آن تولید مثل یک سری از یافته های علمی از طریق تجزیه و تحلیل مجدد مجموعه داده های اصلی است. تکثیر سیستمیک ، که تلاشی برای بازتولید یک یافته منتشر شده در شرایط مختلف آزمایشی (به عنوان مثال ، در یک سیستم کشت متفاوت یا مدل حیوانی) است. و تکثیر مفهومی ، که در آن اعتبار یک پدیده با استفاده از مجموعه ای متفاوت از شرایط یا روش های تجربی ارزیابی می شود.

به طور کلی تصور می شود که بهبود تکثیر مستقیم و تکثیر تحلیلی از طریق آموزش ، اصلاح سیاست و سایر مداخلات به راحتی مورد بررسی قرار می گیرد ، در حالی که عدم موفقیت در تکثیر سیستماتیک و مفهومی ، اتصال به مشکلات با نحوه انجام تحقیقات دشوارتر استتنوع طبیعی در بازی.

مشکل تکرارپذیری

بسیاری از مطالعات نتیجه قابل توجهی دارند ، اما یافته های آنها قابل تولید نیست. این مشکل در سالهای اخیر توجه بیشتری را به خود جلب کرده است ، با چندین مطالعه شواهدی مبنی بر اینکه تحقیقات اغلب قابل تکرار نیست. به عنوان مثال ، یک Survey Nature Nature در سال 2016 نشان داد که تنها در زمینه زیست شناسی ، بیش از 70 ٪ از محققان قادر به بازتولید یافته های دانشمندان دیگر نبودند و تقریباً 60 ٪ از محققان نتوانستند یافته های خود را تولید کنند.

فقدان تکرارپذیری در تحقیقات علمی تأثیرات منفی بر سلامت ، کاهش بهره وری علمی پایین تر ، کندتر 6 ، 7 پیشرفت علمی ، هدر رفتن وقت و پول دارد و اعتماد مردم را به تحقیقات علمی از بین می برد. اگرچه بسیاری از این مشکلات برای تعیین کمیت دشوار است ، اما تلاش برای محاسبه ضررهای مالی صورت گرفته است. متاآنالیز 5 از مطالعات گذشته در مورد هزینه تحقیقات غیر تولیدی تخمین زده می شود که 28 میلیارد دلار در سال برای تحقیقات بالینی هزینه می شود که قابل تکرار نیست. با نگاهی به زباله های قابل اجتناب در تحقیقات زیست پزشکی در کل ، تخمین زده می شود که به اندازه 85 ٪ از هزینه ها ممکن است به دلیل عواملی که به طور مشابه به تحقیقات غیر تولیدی مانند طراحی مطالعه نامناسب کمک می کنند ، هدر رود ، عدم برخورد مناسب به تعصبات ، غیرانتشار مطالعات با نتایج ناامیدکننده و توضیحات کافی از مداخلات و روشها.

عوامل مؤثر در عدم تکرارپذیری

شکست های تکرارپذیری را نمی توان در یک علت ردیابی کرد، اما چندین دسته از کاستی ها وجود دارد که می تواند بسیاری از مواردی را که پژوهش نمی تواند بازتولید کند توضیح دهد. در اینجا برخی از مهم ترین دسته بندی ها آورده شده است.

عدم دسترسی به جزئیات روش شناختی، داده های خام و مواد تحقیق.

برای اینکه دانشمندان بتوانند آثار منتشر شده را بازتولید کنند، باید بتوانند به داده های اصلی، پروتکل ها و مواد اصلی تحقیقاتی دسترسی داشته باشند. بدون اینها، تولید مثل تا حد زیادی مانع می شود و محققان مجبور می شوند چرخ را دوباره اختراع کنند، زیرا تلاش می کنند کارهای قبلی را تکرار کنند. مکانیسم ها و سیستم های به اشتراک گذاری داده های منتشر نشده خام و مواد تحقیقاتی، مانند مخازن داده ها و مخازن زیستی، باید قوی شوند تا اشتراک گذاری مانعی برای تکرارپذیری نباشد.

استفاده از رده های سلولی و میکروارگانیسم های شناسایی نادرست، آلوده، یا عبور بیش از حد.

تکرارپذیری می تواند توسط مواد بیولوژیکی که نمی توانند به منبع اصلی آن ها ردیابی شوند، کاملاً تأیید نشده اند یا به درستی نگهداری نمی شوند، پیچیده و/یا باطل شود. به عنوان مثال، اگر یک رده سلولی به درستی شناسایی نشود، یا آلوده به مایکوپلاسما یا نوع سلول دیگری باشد، نتایج می توانند به طور قابل توجهی تحت تأثیر قرار گیرند و احتمال تکرار آنها کاهش یابد. موارد زیادی از مطالعات انجام شده با رده های سلولی نادرست یا آلوده متقابل انجام شده است، بنابراین نتایج مشکوک هستند و نتایج حاصل از آنها به طور بالقوه نامعتبر است. نگهداری نادرست مواد بیولوژیکی از طریق عبور طولانی مدت سریال نیز می تواند به طور جدی بر ژنوتیپ و فنوتیپ تأثیر بگذارد که می تواند تولید مثل داده ها را دشوار کند. چندین مطالعه نشان داده اند که عبور سریال می تواند منجر به تغییرات در بیان ژن، سرعت رشد، انتشار و مهاجرت در رده های سلولی شود. و تغییرات در فیزیولوژی، تولید فاکتور حدت و مقاومت آنتی بیوتیکی در میکروارگانیسم ها 11، 12، 13.

ناتوانی در مدیریت مجموعه داده های پیچیده

پیشرفت های فناوری، تولید مجموعه های داده ای گسترده و پیچیده را امکان پذیر کرده است. با این حال، بسیاری از محققین دانش یا ابزار مورد نیاز برای تجزیه و تحلیل، تفسیر و ذخیره سازی صحیح داده ها را ندارند. علاوه بر این، ممکن است فن آوری ها یا روش های جدید هنوز پروتکل هایی را ایجاد یا استاندارد نکرده باشند، بنابراین تغییرات و سوگیری ها را می توان به راحتی معرفی کرد، که به نوبه خود می تواند بر توانایی تکرار تحلیلی داده ها تأثیر بگذارد.

شیوه های تحقیقاتی ضعیف و طراحی آزمایشی

از جمله یافته های مربوط به تلاش های علمی در مورد بررسی عدم تولید مجدد این است که ، در بخش قابل توجهی از موارد ، علت می تواند در گزارش های ضعیف در گزارش نتایج تحقیق و طراحی آزمایشی ضعیف 14 ، 15 به شیوه های ضعیف ردیابی شود. مطالعات ضعیف بدون مجموعه اصلی پارامترهای تجربی ، که روش شناسی آنها به وضوح گزارش نشده است ، کمتر قابل تکرار هستند. اگر یک مطالعه بدون بررسی کامل شواهد موجود طراحی شود ، یا اگر تلاش برای به حداقل رساندن تعصب کافی نباشد ، تکرارپذیری مشکل ساز تر می شود.

تعصب شناختی

اینها به روشهایی اشاره می کند که قضاوت و تصمیم گیری تحت تأثیر زمینه اجتماعی ذهنی فردی قرار می گیرد که هر شخص در اطراف خود ایجاد می کند. آنها خطاهایی هستند که در فرآیندهای شناختی ایجاد می شوند که ناشی از اعتقادات شخصی یا برداشت است. محققان در تلاش برای بی طرفی هستند و سعی می کنند از تعصب شناختی جلوگیری کنند ، اما خاموش کردن کامل روشهای ظریف و ناخودآگاه که تعصب شناختی می تواند بر انجام تحقیقات 16 ، 17 تأثیر بگذارد ، دشوار است. دانشمندان ده ها نوع مختلف از تعصب شناختی ، از جمله تعصب تأیید ، تعصب انتخاب ، اثر باند ، توهم خوشه ای و گزارش تعصب 17 را شناسایی کرده اند. تعصب تأیید ، عمل ناخودآگاه در تفسیر شواهد جدید به روش هایی است که سیستم اعتقادی موجود یا نظریه های موجود را تأیید می کند. این نوع تعصب بر نحوه جمع آوری ، تفسیر و یادآوری اطلاعات تأثیر می گذارد. تعصب انتخاب ، محققان را انتخاب می کند که موضوعات یا داده هایی را برای تجزیه و تحلیل انتخاب می کنند که به درستی تصادفی نیستند. در اینجا ، نمونه به دست آمده واقعاً نماینده کل جمعیت نیست. اثر باند ، تمایل به توافق با یک موقعیت به راحتی و بدون ارزیابی کافی به منظور حفظ هماهنگی گروهی است. این شکل از تعصب ممکن است منجر به پذیرش ایده های غیرممکن شود که محبوبیت خود را به دست آورده است. توهم خوشه زمانی است که الگوهای در مجموعه ای از داده های تصادفی درک می شوند که در آن هیچ الگوی واقعی وجود ندارد. تعصب مبتنی بر گرایش مغز به جستجوی الگوهای. گزارش تعصب زمانی است که شرکت کنندگان در مطالعه به طور انتخابی اطلاعات را در یک مطالعه با توجه به رانندگان ناخودآگاه خود نشان می دهند. این شکل از تعصب ممکن است منجر به عدم گزارش نتایج آزمایشی منفی یا نامطلوب شود.

یک فرهنگ رقابتی که به یافته های رمان پاداش می دهد و نتایج منفی را کم می کند

سیستم تحقیقاتی دانشگاهی انتشار سریع نتایج جدید را تشویق می کند. محققان برای انتشار یافته های رمان بیشتر پاداش می گیرند ، و نه برای انتشار نتایج منفی (به عنوان مثال ، جایی که همبستگی یافت نشد) 15. در واقع ، عرصه های محدودی برای انتشار نتایج منفی وجود دارد ، که می تواند تلاش محققان را به وجود آورد و از تکرار کار که تکرار آن دشوار است ، جلوگیری کنند. به طور کلی ، تکرارپذیری در تحقیقات با گزارش زیر گزارش مطالعاتی که نتایج حاصل از آن ناامید کننده یا ناچیز به نظر می رسد ، مانع می شود. معیارهای استخدام و ارتقاء دانشگاه اغلب بر انتشار در مجلات با تأثیر بالا تأکید می کند و به طور کلی نتایج منفی را پاداش نمی دهد. همچنین ، یک محیط رقابتی برای کمک های مالی تحقیقاتی ممکن است محققان را برای محدود کردن گزارشگری از جزئیات آموخته شده از طریق تجربه ای که باعث می شود آزمایشات بهتر شود ، تحریک کند.

بهترین روشهای توصیه شده

تعدادی از تلاشهای مهم در پرداختن به عدم تکرارپذیری در تحقیقات علمی انجام شده است. محققان انفرادی ، ناشران مجله ، آژانس های تأمین مالی و دانشگاه ها همه تلاش های اساسی در جهت شناسایی تغییرات احتمالی سیاست با هدف بهبود تکرارپذیری 16 ، 18 ، 19 ، 20 ، 21 انجام داده اند. آنچه از این تلاش ها ناشی شده است ، مجموعه ای از شیوه های پیشنهادی و نسخه های سیاست است که انتظار می رود تأثیر زیادی داشته باشد.

آموزش روشهای آماری و طراحی مطالعه برای تحقیقات قابل تکرار ضروری است.

به اشتراک گذاری قوی داده ها ، مواد ، نرم افزار و سایر ابزارها.

تمام داده های خام که زیربنای هر نتیجه گیری منتشر شده است باید به راحتی در دسترس محققان و داوران مقاله منتشر شده باشد. واریز داده های خام در یک بانک اطلاعاتی در دسترس عموم ، احتمال اینکه محققان فقط آن نتیجه هایی را انتخاب کنند که از یک نگرش غالب پشتیبانی می کنند یا کار قبلی را تأیید می کنند ، کاهش می دهد. چنین اشتراکی اکتشافات علمی را تسریع می کند و دانشمندان را قادر می سازد تا در یک سطح معنی دار در تعامل و همکاری باشند.

استفاده از مواد زیستی معتبر

یکپارچگی داده ها و تکرارپذیری سنجش می تواند با استفاده از مواد مرجع معتبرتر و کم عبور ، تا حد زیادی بهبود یابد. رده های سلولی و میکروارگانیسم های تأیید شده توسط یک رویکرد چند وجهی که صفات فنوتیپی و ژنوتیپی را تأیید می کند ، و کمبود آلاینده ها ، ابزارهای اساسی برای تحقیق هستند. با شروع مجموعه ای از آزمایشات با مواد مرجع قابل ردیابی و تأیید شده و ارزیابی معمول مواد بیولوژیکی در طول گردش کار تحقیق ، داده های حاصل قابل اطمینان تر و به احتمال زیاد قابل تکرار خواهد بود.

آموزش روشهای آماری و طراحی مطالعه

اگر محققان آموزش داده شوند که چگونه می توانند آزمایشات را به درستی انجام دهند و تجزیه و تحلیل آماری از نتایج را انجام دهند ، تکرارپذیری تجربی می تواند به طور قابل توجهی بهبود یابد. محققان با رعایت دقیق به مجموعه ای از بهترین شیوه ها در روش آماری و طراحی تجربی ، می توانند اعتبار و تکرارپذیری کار خود را تقویت کنند.

پیش ثبت نام مطالعات علمی

اگر دانشمندان قبل از شروع مطالعه ، مطالعات علمی (از جمله رویکرد) را ارائه دهند ، این امکان را برای بررسی دقیق تمام قسمت های فرایند تحقیق فراهم می کند و سرکوب نتایج منفی را دلسرد می کند.

داده های منفی را منتشر کنید

بسیاری اوقات ، داده های "منفی" که از یک فرضیه پشتیبانی نمی کنند ، به طور معمول منتشر نمی شوند زیرا تأثیر بالایی یا ابتکاری در نظر گرفته نمی شوند. با انتشار داده های منفی ، به تفسیر نتایج مثبت از مطالعات مرتبط کمک می کند و می تواند به محققان کمک کند تا طراحی آزمایشی خود را تنظیم کنند تا منابع و بودجه بیشتر 22 هدر نرود.

توضیحات کامل روشها

این مهم است که روش تحقیق کاملاً توصیف شده است تا به بهبود تکرارپذیری کمک کند. محققان باید به وضوح پارامترهای اصلی آزمایش را گزارش دهند ، از جمله اینکه آیا آزمایشات کور شده اند ، از کدام استانداردها و ابزارها استفاده شده است ، چه تعداد تکرار ساخته شده است ، چگونه نتایج تفسیر می شود ، چگونه تجزیه و تحلیل آماری انجام می شود ، چگونه تصادفی انجام می شود و چه معیارهابرای شامل یا حذف هرگونه داده استفاده شد.

تلاش های مداوم برای بهبود تکرارپذیری

یک گروه متنوع و تأثیرگذار از سازمان ها وجود دارد که در حال حاضر در تلاشند تا تکرارپذیری تحقیقات علمی را بهبود بخشند. در زیر لیستی از ابتکارات با هدف حمایت از یک یا چند جنبه از مسئله تکرارپذیری تحقیق وجود دارد.

انجمن زیست شناسی سلولی آمریکا (ASCB) - گزارش ASCB در مورد تکرارپذیری

ASCB به شناسایی روشها و بهترین شیوه هایی که باعث افزایش تکرارپذیری در تحقیقات اساسی می شود ، ادامه می دهد. از تجزیه و تحلیل اصلی خود ، کارگروه ASCB چندین توصیه را با محوریت حمایت از تلاش های موجود و آغاز فعالیت های جدید در زمینه آموزش بهتر ، کاهش رقابت ، به اشتراک گذاری داده ها ، بهبود بررسی همسالان و ارائه دستورالعمل های احراز هویت سلول شناسایی و منتشر کرد.

مجموعه فرهنگ نوع آمریکایی (ATCC) - خدمات و برنامه های احراز هویت سلول و میکروبی

مراکز منابع بیولوژیکی ، مانند ATCC ، خطوط سلولی استاندارد ، قابل ردیابی ، کاملاً معتبر و میکروارگانیسم ها را برای کمک به تکرارپذیری در جامعه تحقیق می کنند. در ATCC ، سویه های میکروبی از طریق تجزیه و تحلیل ژنوتیپی ، فنوتیپی و عملکردی تأیید و مشخص می شوند تا هویت ، خلوص ، حدت و مقاومت آنتی بیوتیکی را تأیید کنند. ATCC همچنین با انتشار استاندارد اجماع داوطلبانه ، ANSI/ATCC ASN-0002: احراز هویت رده های سلولی انسانی: استاندارد سازی پروفایل STR ، و با انجام پروفایل Stron در تمام خطوط سلولی انسانی که در بین دارایی های آن اداره می شود ، در تأیید اعتبار سلولی نقش داشته است.

علاوه بر این ، ATCC آموزش تأیید هویت سلولی آنلاین را با همکاری موسسه جهانی استانداردهای بیولوژیکی ، NIH (R25GM116155-03) و سوزان G. Komen (SPP160007) ارائه می دهد ، که بر بهترین شیوه های دریافت ، مدیریت ، تأیید اعتبار ، کشت و حفظ متمرکز است. کشت های سلولی. برای حمایت بیشتر از تأیید هویت سلول و تکرارپذیری در علوم زندگی ، ATCC همچنین پروفایل STR و آزمایش تشخیص مایکوپلاسما را به عنوان خدمات به محققان ارائه می دهد.

مؤسسات ملی بهداشت (NIH) - سختگیری و تکرارپذیری

برای کمک به بهبود سخت گیری ، تکرارپذیری و شفافیت در تحقیقات علمی ، NIH در سال 2015 اعلامیه ای صادر کرد که دانشمندان را از دستورالعمل های درخواست اعطای کمک مالی که بر بهبود طراحی تجربی ، تأیید اعتبار منابع بیولوژیکی و شیمیایی ، تجزیه و تحلیل و تفسیر نتایج و گزارش های دقیق گزارش شده است ، آگاه کرد. یافته هااین تلاش ها منجر به اتخاذ دستورالعمل های مشابه توسط مجلات در رشته های علمی متعدد شده است و منجر به احراز هویت سلولی به یک پیش نیاز برای انتشار شده است.

تبادل علوم و مرکز علوم آزاد - پروژه تکرارپذیری: زیست شناسی سرطان

این ابتکار به منظور ارائه شواهدی از تکرارپذیری در تحقیقات سرطان و شناسایی عوامل احتمالی که ممکن است بر تکرارپذیری تأثیر بگذارد ، طراحی شده است. در اینجا ، نتایج منتخب از مقالات با مشخصات بالا به طور مستقل توسط اشخاص ثالث بی طرفانه تکرار می شود تا ارزیابی کنند که آیا داده ها می توانند به طور مداوم تکثیر شوند. برای هر مطالعه ارزیابی شده ، یک گزارش ثبت شده که جریان کار تجربی را ترسیم می کند ، قبل از شروع آزمایش بررسی و منتشر می شود. پس از جمع آوری و تجزیه و تحلیل داده ها ، نتایج به عنوان یک مطالعه تکثیر منتشر می شود.

سیاست های نویسنده برای انتشار

بسیاری از مجلات بررسی شده توسط همسالان ، الزامات گزارشگری خود را به روز کرده اند تا به بهبود تکرارپذیری نتایج منتشر شده کمک کنند. به عنوان مثال ، ژورنال های تحقیقاتی طبیعت ، سیاست های تحریریه جدیدی را اجرا کرده اند که به اطمینان از در دسترس بودن داده ها ، مواد تحقیقاتی کلیدی ، کدهای رایانه ای و الگوریتم ها و پروتکل های تجربی به سایر دانشمندان کمک می کند. محققان اکنون باید یک لیست چک سیاست سرمقاله را تکمیل کنند تا از پیروی از این سیاست ها قبل از اینکه نسخه خطی آنها برای بررسی و انتشار در نظر گرفته شود ، اطمینان حاصل شود.

بیشتر افراد آشنا با موضوع تکرارپذیری موافق هستند که این تلاش ها در حال افزایش است. با این حال ، پیشرفت نیاز به توجه پایدار به این مسئله و همچنین همکاری و مشارکت ذینفعان در زمینه های مختلف دارد.

سیستم تحقیقاتی دانشگاهی انتشار سریع نتایج جدید را تشویق می کند.

حرکت به جلو

دقت و تکرارپذیری برای تقویت تحقیقات قوی و معتبر و برای ارتقاء پیشرفت علمی ضروری است. عوامل غالب وجود دارد که به عدم تکرارپذیری در تحقیقات علوم زندگی کمک کرده است. این موضوع در سالهای اخیر به چشم می خورد و تعدادی از دستورالعمل ها و توصیه های مربوط به دستیابی به تکرارپذیری در علوم زندگی پدید آمده است ، اما اجرای عملی این شیوه ها ممکن است چالش برانگیز باشد. ضروری است که جامعه علمی هنگام طراحی آزمایشات عینی باشد ، مسئولیت تصویربرداری دقیق نتایج خود را به عهده بگیرد و تمام روشهای مورد استفاده را کاملاً و دقیق توصیف کند. علاوه بر این ، سرمایه گذاران ، ناشران و سیاست گذاران باید همچنان در مورد عدم تکرارپذیری آگاهی داشته باشند و از موقعیت خود برای ارتقاء شیوه های تحقیق بهتر در طول علوم زندگی استفاده کنند. محققان و ذینفعان اصلی با اقدام و جستجوی فرصت برای بهبود ، می توانند به بهبود شیوه های تحقیق و اعتبار داده های علمی کمک کنند.

برای کسب اطلاعات بیشتر در مورد چگونگی بهبود تکرارپذیری تحقیقات خود ، به ATCC بصورت آنلاین مراجعه کنید.

منابع

Ioaidis JP. پزشکی PLOS 11: E1001747 ، 2014.

Feilden T. Science & Environment ، BBC News ، 22 فوریه 2017.

ویژگی Baker M. Nature News ، 25 مه 2016.

Freedman LP ، Cockbu IM ، Simcoe TS. زیست شناسی PLOS 13: E1002165 ، 2015.

Chalmers I ، Glasziou P. Lancet 374: 86-89 ، 2009.

MacLeod MR ، و همکاران. Lancet 383: 101-104 ، 2014.

Horbach S ، Halffman W. Plos One 12: E0186281 ، 2017.

Mouriaux F ، et al. سرمایه گذاری Ophthalmol Vis Sci 57 (13): 5288-5301 ، 2016.

Liao H ، et al. سیتوتکنولوژی 66: 229-238 ، 2014.

سامرویل GA و همکاران. J Bacteriol 184: 1430-1437 ، 2002.

گریم د ، و همکاران. Immun 71 (16): 3138-3145 ، 2003.

لی جی ، و همکاران. گزارش های علمی 6: 25543 ، 2016.

resnik db ، shamoo ae. حساب Res 24 (2): 116-123 ، 2017.

آکادمی علوم پزشکی ، BBSRC ، شورای تحقیقات داخلی ، Wellcome Trust. گزارش سمپوزیوم ، اکتبر 2015.

Munafò MR ، و همکاران. رفتار انسان طبیعت 1: 0021 ، 2017.

روانشناسی شناختی Cherry K. بسیار خوب است. 8 اکتبر 2018.

Stodden V ، Leisch F ، Peng Rd. چاپ اول ، چاپمن و هال/CRC ، 2014.

Landis SC ، و همکاران. طبیعت 490: 187-191 ، 2012.

دیویس ، EW ، ادواردز ، DD. گزارشی از آکادمی میکروبیولوژی آمریکا: ترویج تحقیقات علمی مسئول ، 2016.