src/server/handlers/robots-handler.ts

   1 import type { Response } from "express";
   2
   3 export default async ({ res }: { res: Response }) => {
   4   res.setHeader("content-type", "text/plain; charset=utf-8");
   5
   6   res.send(`User-Agent: *
   7   Disallow: /login
   8   Disallow: /settings
   9   Disallow: /create_community
  10   Disallow: /create_post
  11   Disallow: /create_private_message
  12   Disallow: /inbox
  13   Disallow: /setup
  14   Disallow: /admin
  15   Disallow: /password_change
  16   Disallow: /search/
  17   `);
  18 };