N= (N1*N2)/N3? Где N - численность популяции
N1 - число животных в первом отлове
N2 - число животных во втором отлове
N3 - число животных с меткой во втором отлов
1) N=(40*40)/20=80
2)80 - число особей на площади 100м2, значит плотность популяции= 0.8 особь/м2
Но я не уверена, что это правильно.