Simple study designs in ecology produce inaccurate estimates of biodiversity responses

• Published in: The Journal of applied ecology Vol. 56; no. 12; pp. 2742 - 2754
• Main Authors: Christie, Alec P., Amano, Tatsuya, Martin, Philip A., Shackelford, Gorm E., Simmons, Benno I., Sutherland, William J., Louzada, Júlio
• Format: Journal Article
• Language: English
• Published: Oxford Blackwell Publishing Ltd 01.12.2019
• Subjects: Accuracy; Anthropogenic factors; Before–After Control–Impact; Biodiversity; causal inference; Clinical trials; Confidence intervals; Decision analysis; Design; Design analysis; Ecological monitoring; Ecology; Empirical analysis; Environmental changes; Environmental effects; Environmental impact; Estimates; evidence synthesis; Foreign languages; Human influences; impact evaluation; inverse‐variance weighting; Meta-analysis; Parameter estimation; Partnerships; Population density; Randomization; randomized controlled trial; Simulation; study design; Synthesis; Weight
• ISSN: 0021-8901; 1365-2664
• DOI: 10.1111/1365-2664.13499

Monitoring the impacts of anthropogenic threats and interventions to mitigate these threats is key to understanding how to best conserve biodiversity. Ecologists use many different study designs to monitor such impacts. Simpler designs lacking controls (e.g. Before–After (BA) and After) or pre‐impact data (e.g. Control–Impact (CI)) are considered to be less robust than more complex designs (e.g. Before–After Control‐Impact (BACI) or Randomized Controlled Trials (RCTs)). However, we lack quantitative estimates of how much less accurate simpler study designs are in ecology. Understanding this could help prioritize research and weight studies by their design's accuracy in meta‐analysis and evidence assessment. We compared how accurately five study designs estimated the true effect of a simulated environmental impact that caused a step‐change response in a population's density. We derived empirical estimates of several simulation parameters from 47 ecological datasets to ensure our simulations were realistic. We measured design performance by determining the percentage of simulations where: (a) the true effect fell within the 95% Confidence Intervals of effect size estimates, and (b) each design correctly estimated the true effect's direction and magnitude. We also considered how sample size affected their performance. We demonstrated that BACI designs performed: 1.3–1.8 times better than RCTs; 2.9–4.2 times versus BA; 3.2–4.6 times versus CI; and 7.1–10.1 times versus After designs (depending on sample size), when correctly estimating true effect's direction and magnitude to within ±30%. Although BACI designs suffered from low power at small sample sizes, they outperformed other designs for almost all performance measures. Increasing sample size improved BACI design accuracy, but only increased the precision of simpler designs around biased estimates. Synthesis and applications. We suggest that more investment in more robust designs is needed in ecology since inferences from simpler designs, even with large sample sizes may be misleading. Facilitating this requires longer‐term funding and stronger research–practice partnerships. We also propose ‘accuracy weights’ and demonstrate how they can weight studies in three recent meta‐analyses by accounting for study design and sample size. We hope these help decision‐makers and meta‐analysts better account for study design when assessing evidence. Foreign Language Japanese 生物多様性の保全を効果的に行うためには、人為的脅威の影響や保全対策の効果を適切に評価することが重要となる。生態学ではこのような評価を行うために、様々な研究デザインが用いられている。対照区が存在しないBefore‐After (BA)デザインやAfterデザイン、また処理以前のデータが存在しないControl‐Impact (CI)デザインなど簡素な研究デザインは、Before‐After Control‐Impact (BACI)デザインやランダム化比較試験（RCTs: Randomized Controlled Trials)などの複雑なデザインよりも頑健さに劣ると考えられている。しかしながら、生態学においてこれら簡素な研究デザインがどれだけ正確度に劣るのか、定量的な評価はこれまで行われていない。研究デザインの正確度を定量的に評価することで、メタ解析やエビデンスの評価を行う際に、用いられた研究デザインの正確度に基づいて各研究の優先順位付けや重み付けを行うことが可能になるだろう。 本研究では、環境変化が個体群密度に及ぼす影響を、5種類の研究デザインがどれだけ正確に推定することができるのか、シミュレーションを用いて検討した。より現実に即した状況を再現するため、シミュレーションで用いたパラメータは、47の生態学的データから抽出した。各研究デザインの正確度は、シミュレーションにおいて、（１）推定された効果サイズの95％信頼区間に真の効果が含まれる割合、（２）推定された効果が真の効果の方向・程度と一致した割合、を算出することによって評価した。またサンプルサイズの違いが各研究デザインの正確度に及ぼす影響も検討した。 シミュレーションの結果、BACIデザインはランダム化比較試験に対して1.3–1.8倍、BAデザインに対して2.9–4.2倍、CIデザインに対して3.2–4.6倍、Afterデザインに比較すると7.1–10.1倍も正確に真の効果を推定できる（推定された効果が真の効果の方向と一致し、且つ真の効果の ± 30%内に含まれる）ことが明らかになった（比較値のばらつきはサンプルサイズによる）。BACIデザインの正確度はサンプルサイズが小さい場合には低下したが、それでもほとんどの指標において他のデザインよりも高い正確度を示していた。サンプルサイズを増やすことでBACIデザインの正確度は向上したが、他の研究デザインでは偏った推定値の精度が向上するだけであった。 Synthesis and applications. 例えサンプルサイズが十分であったとしても、簡素なデザインに基づいた推論は正確でない可能性があるため、生態学においてもより頑健な研究デザインの利用を推進していく必要があると考えられる。頑健な研究デザインの利用を推進するためには、長期に渡る研究資金の確保や、研究と実践の間でのより強固な連携が必要となるだろう。本研究では更にこれらの結果に基づいて、メタ解析において研究デザインとサンプルサイズに基づいて各研究の重み付けをする手法を提案し、近年行われた３つのメタ解析を用いてその実用例を提示した。これらの結果は、意思決定者やメタ解析を行う研究者が、研究デザインを考慮したエビデンスの評価を行うために有用となるだろう。 We suggest that more investment in more robust designs is needed in ecology since inferences from simpler designs, even with large sample sizes may be misleading. Facilitating this requires longer‐term funding and stronger research–practice partnerships. We also propose ‘accuracy weights’ and demonstrate how they can weight studies in three recent meta‐analyses by accounting for study design and sample size. We hope these help decision‐makers and meta‐analysts better account for study design when assessing evidence.