src/server/index.tsx

   1 import express from "express";
   2 import { existsSync } from "fs";
   3 import { readdir, readFile } from "fs/promises";
   4 import { IncomingHttpHeaders } from "http";
   5 import { Helmet } from "inferno-helmet";
   6 import { matchPath, StaticRouter } from "inferno-router";
   7 import { renderToString } from "inferno-server";
   8 import IsomorphicCookie from "isomorphic-cookie";
   9 import { GetSite, GetSiteResponse, LemmyHttp, Site } from "lemmy-js-client";
  10 import path from "path";
  11 import process from "process";
  12 import serialize from "serialize-javascript";
  13 import sharp from "sharp";
  14 import { App } from "../shared/components/app/app";
  15 import { getHttpBase, getHttpBaseInternal } from "../shared/env";
  16 import {
  17   ILemmyConfig,
  18   InitialFetchRequest,
  19   IsoDataOptionalSite,
  20 } from "../shared/interfaces";
  21 import { routes } from "../shared/routes";
  22 import {
  23   ErrorPageData,
  24   favIconPngUrl,
  25   favIconUrl,
  26   initializeSite,
  27   isAuthPath,
  28 } from "../shared/utils";
  29
  30 const server = express();
  31 const [hostname, port] = process.env["LEMMY_UI_HOST"]
  32   ? process.env["LEMMY_UI_HOST"].split(":")
  33   : ["0.0.0.0", "1234"];
  34 const extraThemesFolder =
  35   process.env["LEMMY_UI_EXTRA_THEMES_FOLDER"] || "./extra_themes";
  36
  37 if (!process.env["LEMMY_UI_DISABLE_CSP"] && !process.env["LEMMY_UI_DEBUG"]) {
  38   server.use(function (_req, res, next) {
  39     res.setHeader(
  40       "Content-Security-Policy",
  41       `default-src 'self'; manifest-src *; connect-src *; img-src * data:; script-src 'self' 'unsafe-inline' 'unsafe-eval'; style-src 'self' 'unsafe-inline'; form-action 'self'; base-uri 'self'; frame-src *`
  42     );
  43     next();
  44   });
  45 }
  46 const customHtmlHeader = process.env["LEMMY_UI_CUSTOM_HTML_HEADER"] || "";
  47
  48 server.use(express.json());
  49 server.use(express.urlencoded({ extended: false }));
  50 server.use("/static", express.static(path.resolve("./dist")));
  51
  52 const robotstxt = `User-Agent: *
  53 Disallow: /login
  54 Disallow: /settings
  55 Disallow: /create_community
  56 Disallow: /create_post
  57 Disallow: /create_private_message
  58 Disallow: /inbox
  59 Disallow: /setup
  60 Disallow: /admin
  61 Disallow: /password_change
  62 Disallow: /search/
  63 `;
  64
  65 server.get("/service-worker.js", async (_req, res) => {
  66   res.setHeader("Content-Type", "application/javascript");
  67   res.sendFile(path.resolve("./dist/service-worker.js"));
  68 });
  69
  70 server.get("/robots.txt", async (_req, res) => {
  71   res.setHeader("content-type", "text/plain; charset=utf-8");
  72   res.send(robotstxt);
  73 });
  74
  75 server.get("/css/themes/:name", async (req, res) => {
  76   res.contentType("text/css");
  77   const theme = req.params.name;
  78   if (!theme.endsWith(".css")) {
  79     res.statusCode = 400;
  80     res.send("Theme must be a css file");
  81   }
  82
  83   const customTheme = path.resolve(`./${extraThemesFolder}/${theme}`);
  84   if (existsSync(customTheme)) {
  85     res.sendFile(customTheme);
  86   } else {
  87     const internalTheme = path.resolve(`./dist/assets/css/themes/${theme}`);
  88
  89     // If the theme doesn't exist, just send litely
  90     if (existsSync(internalTheme)) {
  91       res.sendFile(internalTheme);
  92     } else {
  93       res.sendFile(path.resolve("./dist/assets/css/themes/litely.css"));
  94     }
  95   }
  96 });
  97
  98 async function buildThemeList(): Promise<string[]> {
  99   const themes = ["darkly", "darkly-red", "litely", "litely-red"];
 100   if (existsSync(extraThemesFolder)) {
 101     const dirThemes = await readdir(extraThemesFolder);
 102     const cssThemes = dirThemes
 103       .filter(d => d.endsWith(".css"))
 104       .map(d => d.replace(".css", ""));
 105     themes.push(...cssThemes);
 106   }
 107   return themes;
 108 }
 109
 110 server.get("/css/themelist", async (_req, res) => {
 111   res.type("json");
 112   res.send(JSON.stringify(await buildThemeList()));
 113 });
 114
 115 // server.use(cookieParser());
 116 server.get("/*", async (req, res) => {
 117   try {
 118     const activeRoute = routes.find(route => matchPath(req.path, route));
 119     let auth: string | undefined = IsomorphicCookie.load("jwt", req);
 120
 121     const getSiteForm: GetSite = { auth };
 122
 123     const headers = setForwardedHeaders(req.headers);
 124     const client = new LemmyHttp(getHttpBaseInternal(), headers);
 125
 126     const { path, url, query } = req;
 127
 128     // Get site data first
 129     // This bypasses errors, so that the client can hit the error on its own,
 130     // in order to remove the jwt on the browser. Necessary for wrong jwts
 131     let site: GetSiteResponse | undefined = undefined;
 132     let routeData: Record<string, any> = {};
 133     let errorPageData: ErrorPageData | undefined;
 134     try {
 135       let try_site: any = await client.getSite(getSiteForm);
 136       if (try_site.error == "not_logged_in") {
 137         console.error(
 138           "Incorrect JWT token, skipping auth so frontend can remove jwt cookie"
 139         );
 140         getSiteForm.auth = undefined;
 141         auth = undefined;
 142         try_site = await client.getSite(getSiteForm);
 143       }
 144
 145       if (!auth && isAuthPath(path)) {
 146         res.redirect("/login");
 147         return;
 148       }
 149
 150       site = try_site;
 151       initializeSite(site);
 152
 153       if (site) {
 154         const initialFetchReq: InitialFetchRequest = {
 155           client,
 156           auth,
 157           path,
 158           query,
 159           site,
 160         };
 161
 162         if (activeRoute?.fetchInitialData) {
 163           const routeDataKeysAndVals = await Promise.all(
 164             Object.entries(activeRoute.fetchInitialData(initialFetchReq)).map(
 165               async ([key, val]) => [key, await val]
 166             )
 167           );
 168
 169           routeData = routeDataKeysAndVals.reduce((acc, [key, val]) => {
 170             acc[key] = val;
 171
 172             return acc;
 173           }, {});
 174         }
 175       }
 176     } catch (error) {
 177       errorPageData = getErrorPageData(error, site);
 178     }
 179
 180     const error = Object.values(routeData).find(val => val?.error)?.error;
 181
 182     // Redirect to the 404 if there's an API error
 183     if (error) {
 184       console.error(error);
 185       if (error === "instance_is_private") {
 186         return res.redirect(`/signup`);
 187       } else {
 188         errorPageData = getErrorPageData(error, site);
 189       }
 190     }
 191
 192     const isoData: IsoDataOptionalSite = {
 193       path,
 194       site_res: site,
 195       routeData,
 196       errorPageData,
 197     };
 198
 199     const wrapper = (
 200       <StaticRouter location={url} context={isoData}>
 201         <App />
 202       </StaticRouter>
 203     );
 204
 205     const root = renderToString(wrapper);
 206
 207     res.send(await createSsrHtml(root, isoData));
 208   } catch (err) {
 209     // If an error is caught here, the error page couldn't even be rendered
 210     console.error(err);
 211     res.statusCode = 500;
 212     return res.send(
 213       process.env.NODE_ENV === "development" ? err.message : "Server error"
 214     );
 215   }
 216 });
 217
 218 server.listen(Number(port), hostname, () => {
 219   console.log(`http://${hostname}:${port}`);
 220 });
 221
 222 function setForwardedHeaders(headers: IncomingHttpHeaders): {
 223   [key: string]: string;
 224 } {
 225   let out: { [key: string]: string } = {};
 226   if (headers.host) {
 227     out.host = headers.host;
 228   }
 229   let realIp = headers["x-real-ip"];
 230   if (realIp) {
 231     out["x-real-ip"] = realIp as string;
 232   }
 233   let forwardedFor = headers["x-forwarded-for"];
 234   if (forwardedFor) {
 235     out["x-forwarded-for"] = forwardedFor as string;
 236   }
 237
 238   return out;
 239 }
 240
 241 process.on("SIGINT", () => {
 242   console.info("Interrupted");
 243   process.exit(0);
 244 });
 245
 246 const iconSizes = [72, 96, 128, 144, 152, 192, 384, 512];
 247 const defaultLogoPathDirectory = path.join(
 248   process.cwd(),
 249   "dist",
 250   "assets",
 251   "icons"
 252 );
 253
 254 export async function generateManifestBase64(site: Site) {
 255   const url = (
 256     process.env.NODE_ENV === "development"
 257       ? "http://localhost:1236/"
 258       : getHttpBase()
 259   ).replace(/\/$/g, "");
 260   const icon = site.icon ? await fetchIconPng(site.icon) : null;
 261
 262   const manifest = {
 263     name: site.name,
 264     description: site.description ?? "A link aggregator for the fediverse",
 265     start_url: url,
 266     scope: url,
 267     display: "standalone",
 268     id: "/",
 269     background_color: "#222222",
 270     theme_color: "#222222",
 271     icons: await Promise.all(
 272       iconSizes.map(async size => {
 273         let src = await readFile(
 274           path.join(defaultLogoPathDirectory, `icon-${size}x${size}.png`)
 275         ).then(buf => buf.toString("base64"));
 276
 277         if (icon) {
 278           src = await sharp(icon)
 279             .resize(size, size)
 280             .png()
 281             .toBuffer()
 282             .then(buf => buf.toString("base64"));
 283         }
 284
 285         return {
 286           sizes: `${size}x${size}`,
 287           type: "image/png",
 288           src: `data:image/png;base64,${src}`,
 289           purpose: "any maskable",
 290         };
 291       })
 292     ),
 293   };
 294
 295   return Buffer.from(JSON.stringify(manifest)).toString("base64");
 296 }
 297
 298 async function fetchIconPng(iconUrl: string) {
 299   return await fetch(
 300     iconUrl.replace(/https?:\/\/[^\/]+/g, getHttpBaseInternal())
 301   )
 302     .then(res => res.blob())
 303     .then(blob => blob.arrayBuffer());
 304 }
 305
 306 function getErrorPageData(error: Error, site?: GetSiteResponse) {
 307   const errorPageData: ErrorPageData = {};
 308
 309   if (site) {
 310     errorPageData.error = error.message;
 311   }
 312
 313   const adminMatrixIds = site?.admins
 314     .map(({ person: { matrix_user_id } }) => matrix_user_id)
 315     .filter(id => id) as string[] | undefined;
 316   if (adminMatrixIds && adminMatrixIds.length > 0) {
 317     errorPageData.adminMatrixIds = adminMatrixIds;
 318   }
 319
 320   return errorPageData;
 321 }
 322
 323 async function createSsrHtml(root: string, isoData: IsoDataOptionalSite) {
 324   const site = isoData.site_res;
 325   const appleTouchIcon = site?.site_view.site.icon
 326     ? `data:image/png;base64,${sharp(
 327         await fetchIconPng(site.site_view.site.icon)
 328       )
 329         .resize(180, 180)
 330         .extend({
 331           bottom: 20,
 332           top: 20,
 333           left: 20,
 334           right: 20,
 335           background: "#222222",
 336         })
 337         .png()
 338         .toBuffer()
 339         .then(buf => buf.toString("base64"))}`
 340     : favIconPngUrl;
 341
 342   const eruda = (
 343     <>
 344       <script src="//cdn.jsdelivr.net/npm/eruda"></script>
 345       <script>eruda.init();</script>
 346     </>
 347   );
 348
 349   const erudaStr = process.env["LEMMY_UI_DEBUG"] ? renderToString(eruda) : "";
 350
 351   const helmet = Helmet.renderStatic();
 352
 353   const config: ILemmyConfig = { wsHost: process.env.LEMMY_UI_LEMMY_WS_HOST };
 354
 355   return `
 356   <!DOCTYPE html>
 357   <html ${helmet.htmlAttributes.toString()} lang="en">
 358   <head>
 359   <script>window.isoData = ${JSON.stringify(isoData)}</script>
 360   <script>window.lemmyConfig = ${serialize(config)}</script>
 361
 362   <!-- A remote debugging utility for mobile -->
 363   ${erudaStr}
 364
 365   <!-- Custom injected script -->
 366   ${customHtmlHeader}
 367
 368   ${helmet.title.toString()}
 369   ${helmet.meta.toString()}
 370
 371   <!-- Required meta tags -->
 372   <meta name="Description" content="Lemmy">
 373   <meta charset="utf-8">
 374   <meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no">
 375   <link
 376      id="favicon"
 377      rel="shortcut icon"
 378      type="image/x-icon"
 379      href=${site?.site_view.site.icon ?? favIconUrl}
 380    />
 381
 382   <!-- Web app manifest -->
 383   ${
 384     site &&
 385     `<link
 386         rel="manifest"
 387         href={${`data:application/manifest+json;base64,${await generateManifestBase64(
 388           site.site_view.site
 389         )}`}}
 390       />`
 391   }
 392   <link rel="apple-touch-icon" href=${appleTouchIcon} />
 393   <link rel="apple-touch-startup-image" href=${appleTouchIcon} />
 394
 395   <!-- Styles -->
 396   <link rel="stylesheet" type="text/css" href="/static/styles/styles.css" />
 397
 398   <!-- Current theme and more -->
 399   ${helmet.link.toString()}
 400
 401   </head>
 402
 403   <body ${helmet.bodyAttributes.toString()}>
 404     <noscript>
 405       <div class="alert alert-danger rounded-0" role="alert">
 406         <b>Javascript is disabled. Actions will not work.</b>
 407       </div>
 408     </noscript>
 409
 410     <div id='root'>${root}</div>
 411     <script defer src='/static/js/client.js'></script>
 412   </body>
 413 </html>
 414 `;
 415 }