Dem Ermittlungsrichter obliegt zum einen die Kontrolle der Ermittlungshandlungen anderer Organe (Staatsanwaltschaft und deren Hilfsbeamten).

Neben dieser Kontrollfunktion ist der Ermittlungsrichter für die Vornahme bestimmter Ermittlungshandlungen und die Anordnung von Zwangsmaßnahmen zuständig. Wegen des verfassungsrechtlich verankerten Richtervorbehalts ist nämlich die Anordnung von besonders einschneidenden Maßnahmen, die einen schweren Eingriff in die Grundrechte des Betroffenen beinhalten, ausschließlich dem Richter zugewiesen. Dieser wird in der Regel auf Antrag der Staatsanwaltschaft tätig.
Zu diesen Maßnahmen gehören insbesondere Haft- und Unterbringungssachen, die Anordnung von Durchsuchungen und Beschlagnahmen, die Anordnung der Überwachung des Fernmeldeverkehrs und des Einsatzes technischer Mittel, die vorläufige Entziehung der Fahrerlaubnis.

Zuständig ist grundsätzlich bis zur Erhebung der öffentlichen Klage der vom Präsidium des Amtsgerichts als Ermittlungsrichter bestellte Amtsrichter, nach Erhebung der Anklage das mit der Sache befasste Gericht. In den Fällen des § 120 GVG (Staatsschutzsachen u.ä.) sind die Ermittlungsrichter des Bundesgerichtshofes beziehungsweise die Ermittlungsrichter beim Oberlandesgericht zuständig.