No creo que ayude de mucho ya que, como indicaste, ya ovulaste. Hay pastillas que sí disminuyen o incluso suprimen la menstruación, pero normalmente esto ocurre al tercer o cuarto ciclo de estarlas tomando, no al inicio del tratamiento.
Además, las pastillas no puedes tomarlas como se te antoje, normalmente las puedes empezar a tomar entre el día 1 a 5 de tu ciclo, es decir cuando te baje la regla, el día dependerá de las indicaciones de la pastilla en específico que prefieras usar, pero algunas te indican el día 1, otras el 5. No es recomendable tomarlas a tontas y a locas sin llegar las indicaciones del fabricante y de un médico que te las prescriba, se trata de un medicamento como cualquier otro, incluso en algunos sitios te piden receta médica para vendértelas.