top of page
scipy-japan-2020-3000x543-color-wodate.p
議長及び審査員ガイドライン

プログラム委員会の仕事は、与えられた時間内で、聴衆全員に最大の利益をもたらす講演を選択することです。

SciPy Japan 2020はダブルオープンレビューを実施します。著者とレビューアは互いに公開されています。 エリアチェアは、審査員のコメントと会議のスケジュールの制限によって通知され、承認の決定を下します。 その意図は、その過程で透明性を提供し、地域社会への信頼を築くことです。 (匿名レビューと比較して、署名されたレビューの質の高さを証明する研究もあります。)


調査によると、ピアレビューには採用プロセスと同様に暗黙のバイアスがあるため、女性、マイノリティ、および権威の低い機関からの人々が不利になることがあります。 匿名レビューと比較した署名付きレビューの質の高さを証明する研究もあります[1]、[2]、[3]。 このため、私たちはレビュープロセスにおけるバイアスについて審査員を教育し、このバイアスを防ぐためのツールを用意したいと思います。

審査プロセスにおけるバイアス


人間は常に、日常的に、そして深くバイアスを持っている。私たちは深くバイアスを持っているだけでなく、自身がそうであることに気付きません。 (ご参考までに [4]、[5])

第一に、人々が全員バイアスを持っていることを認識し、受け入れることによって、自身で監視することができます。また、同じようにしようとしている周りの人々も互いに助け合うことができます。意識を構築するこのプロセスは、マニュアル自動車でクラッチを踏むときに起こることと似ています。モーターは止まりません(バイアスが止まらない)が、車はもう前進することはありません。私たちが自分たちのバイアスに注意することによって、私たちの決定をバイアスが知らずと影響を及ぼしてしまう可能性はほとんどありません。


注意しましょう!レビューすると共に、自身に問いましょう・・・


・プロポーザルについて、私の印象に特に影響を与えるものはありますか?それらは内容に関係ありますか?


・講演者について、どのような評価をしましたか。それらはしっかりした情報に基づいているのか、それとも単に私の解釈なのか?


・この人の作品は何らかの理由で私自身を思い出させますか?私的な課題がこの提案を評価する上で影響を及ぼしていますか?影響要因になっている私の過去の経験はありますか?

・この人は、私に肯定的にも否定的にも誰かを思い出させますか? (現在のプロジェクトや仕事に関連する評価の偏りに注意してください。あなたにとって重要なプロジェクトに関するものであるため、提案を多かれ少なかれ積極的に評価することは簡単です。)


・この人の学業機関、勤務先(就職先)、その他所属先が私のこの作品の受け入れ方に影響を与えていませんか?

 

レビューの準備をする際に考慮すべきこと


パターンにおけるバイアス - 最も革新的で生産的で効果的な方法ではなく、「ここでのやり方」で物事を進めているという理由で、一人の人が利益を得るのでしょうか。


評価されている作品についてのあなたの予測に注意を払ってください。

異なるグループ間で評価のパターンを探します。たとえば、一般的に女性は男性と違う評価を受けていますか?


セマンティックジェンダープライミングを探してください:男性(例、積極的、競争的)または女性(例、支持的、育成的)ステレオタイプとより強く関連する言葉にさらされると、その後の男性または女性ターゲットの評価に影響を与えます。


集合的データに基づく個人についての推論またはグループについての仮定:文化的ステレオタイプに基づいて個人についての仮定をすることは一種の生態学的な誤りです。例えば、少数の女性は大きな中心的補助金を導くので、個々の女性は大規模なプログラムを主導することができないと仮定します。あるいは、全体的な黒人の学生の達成率は白人の学生よりも低いため、個々の黒人の学生は準備が不十分であると仮定している[4]。

レビュー担当者向けのヒント

 

 


あなたのバイアスを中断しなさい - あなたがどのルーブリック/測定基準を確立したかについて各セクションの後にあなた自身をリフレッシュしてくださいそしてあなたがそれに応じて提出物をレビューしていることを確認しなさい。礼儀正しくしなさい。伝える代わりに、新しいアプローチの方法を尋ねます。


無礼はやめましょう。少なくとも1つ良いことを常に言ってください。


ありがたく思いましょう。あなたが学んだことを指摘し、感謝を言いましょう。


読書しながらフレッシュでいましょう。長い時間のレビューをしていると、何かを見落としてしまう可能性があります。

査読者は複数の要求を抱えており、査読を終えるために時間的制約を受けることがよくあります。時間的制約は意思決定に影響を及ぼす可能性があります。

 

ジェンダーバイアスに関する興味深いその他リンク:

 

 

 

Doug Hellmannが以下のヒントを提供されています。


要約:時折タイトルが出てくるので、私は+1を投票して次の話に進む前に読み続けなければならないことを思い出さなければなりません。興味深いトピックを網羅するだけでは十分ではありません。それは話がまた面白くなることを示す必要があります。私が読んでいる間、私はいくつかの要因を探します。


抽象は明確ですか?たとえその分野について何も知らなかったとしても、話者は彼らが話すことを計画しているトピックを私が理解できる言葉で説明しなければなりません。明確に書かれた抄録は、ドメイン固有の専門用語をあまり使わずに、スピーカーがオーディエンスとコミュニケーションできるようになることを私に伝えています。

抄録は完成しましたか?不完全な提案は私が考える最大のマイナス要因です。提案が不完全な場合、話者が何について話しているのか、あるいは話の主題を知っていても、私は実際には言えません。提案に詳細な要約や概要がない場合は、私が提出者として詳細を説明します。

抽象は説得力がありますか?実際の主題に関係なく、要約は観客を引き付けるように書かれていますか?私は話者がその話題に興奮していること、そして彼らがその同じ興奮を聴衆に伝えていることを示す要約を探します。

 

トピック:一部の人々にとって、投票の際に考慮すべき最も重要な、または唯一の側面は、話の主題です。私は退屈だと思うトピックについてのプレゼンテーションを見ましたが、それは私が最初から面白いと思う協議以上にそれらを楽しんだというような熱意をもって配信されました。私の考えでは、このトピックは重要な要素ですが、必ずしも考慮すべき最も重要な要素ではありません。

 

このトピックはどの程度関連性があり、すぐに役に立ち、そして斬新ですか?最初に、そのトピックが会議の出席者に関連しているかどうかを調べます。参加者は、さまざまな経験レベル、興味、および経歴を持ちます。私たちは幅広いトピックを求めていますが、狭すぎるニッチに焦点を絞った話し合いを避けるように注意する必要があります。多くの約束を示す新しいプロジェクトが彼らのトークプロポーザルをポスタープロポーザルに変換することを私はしばしばお勧めします。トピックがあまりにもニッチであるかどうかを検討する対抗策として、私はまた観客がすぐに役に立つものを奪うかどうかを考慮に入れようとします。

利益相反

 

 


査読における利益相反の定義は、「公平な科学的判断または評価を下すことができない」ことを意味する状況です(PNAS利益相反方針)。

利益相反(COI)は個人の偏見とは異なります。それはあなたの客観的な評価を損なう可能性があるあらゆる興味からの独立性、作品の知的な質以外のあらゆる懸念に関係しています。

査読者として、特定の作家とのあなたの現在または以前の協会は教科書COIを持ちます:最近の4年間の研究資金または出版物の共同研究者、家族、ビジネスパートナー、そして論文学生/アドバイザーまたはメンター。他の団体はもっと穏やかであるかもしれません:例えば、同じ機関によって雇用されている。この場合、査読者としてのあなたの義務は、潜在的なCOIを地域委員長またはプログラム委員長に開示することであり、あなたがその作品について公平な評価を下すことができると考えるかどうかを述べることです。

提出物と利益相反がある場合は、それを確認して具体的な理由をプログラムチェアに開示することを拒否する必要があります。

会議のトラックやミニシンポジウムのエリアチェアとして、あなたは受け入れの決定を下す際に利益相反を避けるべきです:あなたは共同作業者の仕事に関する決定(あるいは実際にあなた自身の提出物)からあなた自身を却下し、共同議長(またはプログラムチェア)。

利益相反の可能性を宣言することは職業倫理の下で要求されます。疑問がある場合:プログラムチェアに尋ねる。

出典と引用

 

 

 

 


SciPy 2017ダイバーシティ委員会とプログラムチェアによって作成されました。便利なリンクを提供しいただいたPhilip B. Starkに感謝します。

 

この文書は、以下にリストされているさまざまなソースからの編集です。

 

https://doughellmann.com/blog/2011/10/18/how-i-review-a-pycon-talk-proposal/

https://nearsoft.com/blog/europython-2016-a-review/

日常のバイアス:私たちの日常生活における無意識の判断を識別してナビゲートする。ハワードJ.ロス。

https://hbr.org/2015/04/3-ways-to-make-less-biased-decisions

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4238945/#!po=88.4615

[1] http://bmjopen.bmj.com/content/5/9/e008707

[2] http://bjp.rcpsych.org/content/176/1/47/full-text.pdf+html

[3] https://www.ncbi.nlm.nih.gov/pubmed/28580134/

[4] https://www.amazon.com/Everyday-Bias-Identifying-Navigating-Unconscious/dp/1442230835

[5] https://implicit.harvard.edu/implicit/takeatest.html

[6] https://hbr.org/2015/04/3-ways-to-make-less-biased-decisions

[7]査読における客観性への脅威:ジェンダーの場合

bottom of page