src/server/index.tsx

   1 import express from "express";
   2 import { existsSync } from "fs";
   3 import { readdir, readFile } from "fs/promises";
   4 import { IncomingHttpHeaders } from "http";
   5 import { Helmet } from "inferno-helmet";
   6 import { matchPath, StaticRouter } from "inferno-router";
   7 import { renderToString } from "inferno-server";
   8 import IsomorphicCookie from "isomorphic-cookie";
   9 import { GetSite, GetSiteResponse, LemmyHttp, Site } from "lemmy-js-client";
  10 import path from "path";
  11 import process from "process";
  12 import sanitize from "sanitize-html";
  13 import serialize from "serialize-javascript";
  14 import sharp from "sharp";
  15 import { App } from "../shared/components/app/app";
  16 import { getHttpBase, getHttpBaseInternal } from "../shared/env";
  17 import {
  18   ILemmyConfig,
  19   InitialFetchRequest,
  20   IsoDataOptionalSite,
  21 } from "../shared/interfaces";
  22 import { routes } from "../shared/routes";
  23 import {
  24   ErrorPageData,
  25   favIconPngUrl,
  26   favIconUrl,
  27   initializeSite,
  28   isAuthPath,
  29 } from "../shared/utils";
  30
  31 const server = express();
  32 const [hostname, port] = process.env["LEMMY_UI_HOST"]
  33   ? process.env["LEMMY_UI_HOST"].split(":")
  34   : ["0.0.0.0", "1234"];
  35 const extraThemesFolder =
  36   process.env["LEMMY_UI_EXTRA_THEMES_FOLDER"] || "./extra_themes";
  37
  38 if (!process.env["LEMMY_UI_DISABLE_CSP"] && !process.env["LEMMY_UI_DEBUG"]) {
  39   server.use(function (_req, res, next) {
  40     res.setHeader(
  41       "Content-Security-Policy",
  42       `default-src 'self'; manifest-src *; connect-src *; img-src * data:; script-src 'self' 'unsafe-inline' 'unsafe-eval'; style-src 'self' 'unsafe-inline'; form-action 'self'; base-uri 'self'; frame-src *; media-src *`
  43     );
  44     next();
  45   });
  46 }
  47 const customHtmlHeader = process.env["LEMMY_UI_CUSTOM_HTML_HEADER"] || "";
  48
  49 server.use(express.json());
  50 server.use(express.urlencoded({ extended: false }));
  51 server.use("/static", express.static(path.resolve("./dist")));
  52
  53 const robotstxt = `User-Agent: *
  54 Disallow: /login
  55 Disallow: /settings
  56 Disallow: /create_community
  57 Disallow: /create_post
  58 Disallow: /create_private_message
  59 Disallow: /inbox
  60 Disallow: /setup
  61 Disallow: /admin
  62 Disallow: /password_change
  63 Disallow: /search/
  64 `;
  65
  66 server.get("/service-worker.js", async (_req, res) => {
  67   res.setHeader("Content-Type", "application/javascript");
  68   res.sendFile(path.resolve("./dist/service-worker.js"));
  69 });
  70
  71 server.get("/robots.txt", async (_req, res) => {
  72   res.setHeader("content-type", "text/plain; charset=utf-8");
  73   res.send(robotstxt);
  74 });
  75
  76 server.get("/css/themes/:name", async (req, res) => {
  77   res.contentType("text/css");
  78   const theme = req.params.name;
  79   if (!theme.endsWith(".css")) {
  80     res.statusCode = 400;
  81     res.send("Theme must be a css file");
  82   }
  83
  84   const customTheme = path.resolve(`./${extraThemesFolder}/${theme}`);
  85   if (existsSync(customTheme)) {
  86     res.sendFile(customTheme);
  87   } else {
  88     const internalTheme = path.resolve(`./dist/assets/css/themes/${theme}`);
  89
  90     // If the theme doesn't exist, just send litely
  91     if (existsSync(internalTheme)) {
  92       res.sendFile(internalTheme);
  93     } else {
  94       res.sendFile(path.resolve("./dist/assets/css/themes/litely.css"));
  95     }
  96   }
  97 });
  98
  99 async function buildThemeList(): Promise<string[]> {
 100   const themes = ["darkly", "darkly-red", "litely", "litely-red"];
 101   if (existsSync(extraThemesFolder)) {
 102     const dirThemes = await readdir(extraThemesFolder);
 103     const cssThemes = dirThemes
 104       .filter(d => d.endsWith(".css"))
 105       .map(d => d.replace(".css", ""));
 106     themes.push(...cssThemes);
 107   }
 108   return themes;
 109 }
 110
 111 server.get("/css/themelist", async (_req, res) => {
 112   res.type("json");
 113   res.send(JSON.stringify(await buildThemeList()));
 114 });
 115
 116 // server.use(cookieParser());
 117 server.get("/*", async (req, res) => {
 118   try {
 119     const activeRoute = routes.find(route => matchPath(req.path, route));
 120     let auth: string | undefined = IsomorphicCookie.load("jwt", req);
 121
 122     const getSiteForm: GetSite = { auth };
 123
 124     const headers = setForwardedHeaders(req.headers);
 125     const client = new LemmyHttp(getHttpBaseInternal(), headers);
 126
 127     const { path, url, query } = req;
 128
 129     // Get site data first
 130     // This bypasses errors, so that the client can hit the error on its own,
 131     // in order to remove the jwt on the browser. Necessary for wrong jwts
 132     let site: GetSiteResponse | undefined = undefined;
 133     let routeData: any[] = [];
 134     let errorPageData: ErrorPageData | undefined;
 135     try {
 136       let try_site: any = await client.getSite(getSiteForm);
 137       if (try_site.error == "not_logged_in") {
 138         console.error(
 139           "Incorrect JWT token, skipping auth so frontend can remove jwt cookie"
 140         );
 141         getSiteForm.auth = undefined;
 142         auth = undefined;
 143         try_site = await client.getSite(getSiteForm);
 144       }
 145
 146       if (!auth && isAuthPath(path)) {
 147         res.redirect("/login");
 148         return;
 149       }
 150
 151       site = try_site;
 152       initializeSite(site);
 153
 154       if (site) {
 155         const initialFetchReq: InitialFetchRequest = {
 156           client,
 157           auth,
 158           path,
 159           query,
 160           site,
 161         };
 162
 163         if (activeRoute?.fetchInitialData) {
 164           routeData = await Promise.all([
 165             ...activeRoute.fetchInitialData(initialFetchReq),
 166           ]);
 167         }
 168       }
 169     } catch (error) {
 170       errorPageData = getErrorPageData(error, site);
 171     }
 172
 173     // Redirect to the 404 if there's an API error
 174     if (routeData[0] && routeData[0].error) {
 175       const error = routeData[0].error;
 176       console.error(error);
 177       if (error === "instance_is_private") {
 178         return res.redirect(`/signup`);
 179       } else {
 180         errorPageData = getErrorPageData(error, site);
 181       }
 182     }
 183
 184     const isoData: IsoDataOptionalSite = {
 185       path,
 186       site_res: site,
 187       routeData,
 188       errorPageData,
 189     };
 190
 191     const wrapper = (
 192       <StaticRouter location={url} context={isoData}>
 193         <App />
 194       </StaticRouter>
 195     );
 196
 197     const root = renderToString(wrapper);
 198
 199     res.send(await createSsrHtml(root, isoData));
 200   } catch (err) {
 201     // If an error is caught here, the error page couldn't even be rendered
 202     console.error(err);
 203     res.statusCode = 500;
 204     return res.send(
 205       process.env.NODE_ENV === "development" ? err.message : "Server error"
 206     );
 207   }
 208 });
 209
 210 server.listen(Number(port), hostname, () => {
 211   console.log(`http://${hostname}:${port}`);
 212 });
 213
 214 function setForwardedHeaders(headers: IncomingHttpHeaders): {
 215   [key: string]: string;
 216 } {
 217   const out: { [key: string]: string } = {};
 218   if (headers.host) {
 219     out.host = headers.host;
 220   }
 221   const realIp = headers["x-real-ip"];
 222   if (realIp) {
 223     out["x-real-ip"] = realIp as string;
 224   }
 225   const forwardedFor = headers["x-forwarded-for"];
 226   if (forwardedFor) {
 227     out["x-forwarded-for"] = forwardedFor as string;
 228   }
 229
 230   return out;
 231 }
 232
 233 process.on("SIGINT", () => {
 234   console.info("Interrupted");
 235   process.exit(0);
 236 });
 237
 238 const iconSizes = [72, 96, 128, 144, 152, 192, 384, 512];
 239 const defaultLogoPathDirectory = path.join(
 240   process.cwd(),
 241   "dist",
 242   "assets",
 243   "icons"
 244 );
 245
 246 export async function generateManifestBase64(site: Site) {
 247   const url = (
 248     process.env.NODE_ENV === "development"
 249       ? "http://localhost:1236/"
 250       : getHttpBase()
 251   ).replace(/\/$/g, "");
 252   const icon = site.icon ? await fetchIconPng(site.icon) : null;
 253
 254   const manifest = {
 255     name: site.name,
 256     description: site.description ?? "A link aggregator for the fediverse",
 257     start_url: url,
 258     scope: url,
 259     display: "standalone",
 260     id: "/",
 261     background_color: "#222222",
 262     theme_color: "#222222",
 263     icons: await Promise.all(
 264       iconSizes.map(async size => {
 265         let src = await readFile(
 266           path.join(defaultLogoPathDirectory, `icon-${size}x${size}.png`)
 267         ).then(buf => buf.toString("base64"));
 268
 269         if (icon) {
 270           src = await sharp(icon)
 271             .resize(size, size)
 272             .png()
 273             .toBuffer()
 274             .then(buf => buf.toString("base64"));
 275         }
 276
 277         return {
 278           sizes: `${size}x${size}`,
 279           type: "image/png",
 280           src: `data:image/png;base64,${src}`,
 281           purpose: "any maskable",
 282         };
 283       })
 284     ),
 285   };
 286
 287   return Buffer.from(JSON.stringify(manifest)).toString("base64");
 288 }
 289
 290 async function fetchIconPng(iconUrl: string) {
 291   return await fetch(
 292     iconUrl.replace(/https?:\/\/[^\/]+/g, getHttpBaseInternal())
 293   )
 294     .then(res => res.blob())
 295     .then(blob => blob.arrayBuffer());
 296 }
 297
 298 function getErrorPageData(error: Error, site?: GetSiteResponse) {
 299   const errorPageData: ErrorPageData = {};
 300
 301   if (site) {
 302     errorPageData.error = error.message;
 303   }
 304
 305   const adminMatrixIds = site?.admins
 306     .map(({ person: { matrix_user_id } }) => matrix_user_id)
 307     .filter(id => id) as string[] | undefined;
 308   if (adminMatrixIds && adminMatrixIds.length > 0) {
 309     errorPageData.adminMatrixIds = adminMatrixIds;
 310   }
 311
 312   return errorPageData;
 313 }
 314
 315 async function createSsrHtml(root: string, isoData: IsoDataOptionalSite) {
 316   const site = isoData.site_res;
 317   const appleTouchIcon = site?.site_view.site.icon
 318     ? `data:image/png;base64,${sharp(
 319         await fetchIconPng(site.site_view.site.icon)
 320       )
 321         .resize(180, 180)
 322         .extend({
 323           bottom: 20,
 324           top: 20,
 325           left: 20,
 326           right: 20,
 327           background: "#222222",
 328         })
 329         .png()
 330         .toBuffer()
 331         .then(buf => buf.toString("base64"))}`
 332     : favIconPngUrl;
 333
 334   const eruda = (
 335     <>
 336       <script src="//cdn.jsdelivr.net/npm/eruda"></script>
 337       <script>eruda.init();</script>
 338     </>
 339   );
 340
 341   const erudaStr = process.env["LEMMY_UI_DEBUG"] ? renderToString(eruda) : "";
 342
 343   const helmet = Helmet.renderStatic();
 344
 345   const config: ILemmyConfig = { wsHost: process.env.LEMMY_UI_LEMMY_WS_HOST };
 346
 347   return `
 348   <!DOCTYPE html>
 349   <html ${helmet.htmlAttributes.toString()}>
 350   <head>
 351   <script>window.isoData = ${sanitize(JSON.stringify(isoData))}</script>
 352   <script>window.lemmyConfig = ${serialize(config)}</script>
 353
 354   <!-- A remote debugging utility for mobile -->
 355   ${erudaStr}
 356
 357   <!-- Custom injected script -->
 358   ${customHtmlHeader}
 359
 360   ${helmet.title.toString()}
 361   ${helmet.meta.toString()}
 362
 363   <!-- Required meta tags -->
 364   <meta name="Description" content="Lemmy">
 365   <meta charset="utf-8">
 366   <meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no">
 367   <link
 368      id="favicon"
 369      rel="shortcut icon"
 370      type="image/x-icon"
 371      href=${site?.site_view.site.icon ?? favIconUrl}
 372    />
 373
 374   <!-- Web app manifest -->
 375   ${
 376     site &&
 377     `<link
 378         rel="manifest"
 379         href={${`data:application/manifest+json;base64,${await generateManifestBase64(
 380           site.site_view.site
 381         )}`}}
 382       />`
 383   }
 384   <link rel="apple-touch-icon" href=${appleTouchIcon} />
 385   <link rel="apple-touch-startup-image" href=${appleTouchIcon} />
 386
 387   <!-- Styles -->
 388   <link rel="stylesheet" type="text/css" href="/static/styles/styles.css" />
 389
 390   <!-- Current theme and more -->
 391   ${helmet.link.toString()}
 392
 393   </head>
 394
 395   <body ${helmet.bodyAttributes.toString()}>
 396     <noscript>
 397       <div class="alert alert-danger rounded-0" role="alert">
 398         <b>Javascript is disabled. Actions will not work.</b>
 399       </div>
 400     </noscript>
 401
 402     <div id='root'>${root}</div>
 403     <script defer src='/static/js/client.js'></script>
 404   </body>
 405 </html>
 406 `;
 407 }