src/lib.rs

   1 pub mod api_routes_http;
   2 pub mod code_migrations;
   3 pub mod root_span_builder;
   4 pub mod scheduled_tasks;
   5 #[cfg(feature = "console")]
   6 pub mod telemetry;
   7
   8 use crate::{code_migrations::run_advanced_migrations, root_span_builder::QuieterRootSpanBuilder};
   9 use activitypub_federation::config::{FederationConfig, FederationMiddleware};
  10 use actix_cors::Cors;
  11 use actix_web::{middleware, web::Data, App, HttpServer, Result};
  12 use lemmy_api_common::{
  13   context::LemmyContext,
  14   lemmy_db_views::structs::SiteView,
  15   request::build_user_agent,
  16   utils::{
  17     check_private_instance_and_federation_enabled,
  18     local_site_rate_limit_to_rate_limit_config,
  19   },
  20 };
  21 use lemmy_apub::{VerifyUrlData, FEDERATION_HTTP_FETCH_LIMIT};
  22 use lemmy_db_schema::{
  23   source::secret::Secret,
  24   utils::{build_db_pool, get_database_url, run_migrations},
  25 };
  26 use lemmy_routes::{feeds, images, nodeinfo, webfinger};
  27 use lemmy_utils::{error::LemmyError, rate_limit::RateLimitCell, settings::SETTINGS};
  28 use reqwest::Client;
  29 use reqwest_middleware::ClientBuilder;
  30 use reqwest_tracing::TracingMiddleware;
  31 use std::{env, thread, time::Duration};
  32 use tracing::subscriber::set_global_default;
  33 use tracing_actix_web::TracingLogger;
  34 use tracing_error::ErrorLayer;
  35 use tracing_log::LogTracer;
  36 use tracing_subscriber::{filter::Targets, layer::SubscriberExt, Layer, Registry};
  37 use url::Url;
  38
  39 /// Max timeout for http requests
  40 pub(crate) const REQWEST_TIMEOUT: Duration = Duration::from_secs(10);
  41
  42 /// Placing the main function in lib.rs allows other crates to import it and embed Lemmy
  43 pub async fn start_lemmy_server() -> Result<(), LemmyError> {
  44   let args: Vec<String> = env::args().collect();
  45
  46   let scheduled_tasks_enabled = args.get(1) != Some(&"--disable-scheduled-tasks".to_string());
  47
  48   let settings = SETTINGS.to_owned();
  49
  50   // Run the DB migrations
  51   let db_url = get_database_url(Some(&settings));
  52   run_migrations(&db_url);
  53
  54   // Set up the connection pool
  55   let pool = build_db_pool(&settings).await?;
  56
  57   // Run the Code-required migrations
  58   run_advanced_migrations(&pool, &settings).await?;
  59
  60   // Initialize the secrets
  61   let secret = Secret::init(&pool)
  62     .await
  63     .expect("Couldn't initialize secrets.");
  64
  65   // Make sure the local site is set up.
  66   let site_view = SiteView::read_local(&pool)
  67     .await
  68     .expect("local site not set up");
  69   let local_site = site_view.local_site;
  70   let federation_enabled = local_site.federation_enabled;
  71
  72   if federation_enabled {
  73     println!("federation enabled, host is {}", &settings.hostname);
  74   }
  75
  76   check_private_instance_and_federation_enabled(&local_site)?;
  77
  78   // Set up the rate limiter
  79   let rate_limit_config =
  80     local_site_rate_limit_to_rate_limit_config(&site_view.local_site_rate_limit);
  81   let rate_limit_cell = RateLimitCell::new(rate_limit_config).await;
  82
  83   println!(
  84     "Starting http server at {}:{}",
  85     settings.bind, settings.port
  86   );
  87
  88   let user_agent = build_user_agent(&settings);
  89   let reqwest_client = Client::builder()
  90     .user_agent(user_agent.clone())
  91     .timeout(REQWEST_TIMEOUT)
  92     .connect_timeout(REQWEST_TIMEOUT)
  93     .build()?;
  94
  95   let client = ClientBuilder::new(reqwest_client.clone())
  96     .with(TracingMiddleware::default())
  97     .build();
  98
  99   // Pictrs cannot use the retry middleware
 100   let pictrs_client = ClientBuilder::new(reqwest_client.clone())
 101     .with(TracingMiddleware::default())
 102     .build();
 103
 104   let context = LemmyContext::create(
 105     pool.clone(),
 106     client.clone(),
 107     secret.clone(),
 108     rate_limit_cell.clone(),
 109   );
 110
 111   if scheduled_tasks_enabled {
 112     // Schedules various cleanup tasks for the DB
 113     thread::spawn({
 114       let context = context.clone();
 115       move || {
 116         scheduled_tasks::setup(db_url, user_agent, context)
 117           .expect("Couldn't set up scheduled_tasks");
 118       }
 119     });
 120   }
 121
 122   let settings_bind = settings.clone();
 123
 124   let federation_config = FederationConfig::builder()
 125     .domain(settings.hostname.clone())
 126     .app_data(context.clone())
 127     .client(client.clone())
 128     .http_fetch_limit(FEDERATION_HTTP_FETCH_LIMIT)
 129     .worker_count(settings.worker_count)
 130     .retry_count(settings.retry_count)
 131     .debug(cfg!(debug_assertions))
 132     .http_signature_compat(true)
 133     .url_verifier(Box::new(VerifyUrlData(context.pool().clone())))
 134     .build()
 135     .await?;
 136
 137   // Create Http server with websocket support
 138   HttpServer::new(move || {
 139     let cors_config = if cfg!(debug_assertions) {
 140       Cors::permissive()
 141     } else {
 142       let cors_origin = std::env::var("LEMMY_CORS_ORIGIN").unwrap_or("http://localhost".into());
 143       Cors::default()
 144         .allowed_origin(&cors_origin)
 145         .allowed_origin(&settings.get_protocol_and_hostname())
 146     };
 147
 148     App::new()
 149       .wrap(middleware::Logger::new(
 150         // This is the default log format save for the usage of %{r}a over %a to guarantee to record the client's (forwarded) IP and not the last peer address, since the latter is frequently just a reverse proxy
 151         "%{r}a '%r' %s %b '%{Referer}i' '%{User-Agent}i' %T",
 152       ))
 153       .wrap(middleware::Compress::default())
 154       .wrap(cors_config)
 155       .wrap(TracingLogger::<QuieterRootSpanBuilder>::new())
 156       .app_data(Data::new(context.clone()))
 157       .app_data(Data::new(rate_limit_cell.clone()))
 158       .wrap(FederationMiddleware::new(federation_config.clone()))
 159       // The routes
 160       .configure(|cfg| api_routes_http::config(cfg, rate_limit_cell))
 161       .configure(|cfg| {
 162         if federation_enabled {
 163           lemmy_apub::http::routes::config(cfg);
 164           webfinger::config(cfg);
 165         }
 166       })
 167       .configure(feeds::config)
 168       .configure(|cfg| images::config(cfg, pictrs_client.clone(), rate_limit_cell))
 169       .configure(nodeinfo::config)
 170   })
 171   .bind((settings_bind.bind, settings_bind.port))?
 172   .run()
 173   .await?;
 174
 175   Ok(())
 176 }
 177
 178 pub fn init_logging(opentelemetry_url: &Option<Url>) -> Result<(), LemmyError> {
 179   LogTracer::init()?;
 180
 181   let log_description = std::env::var("RUST_LOG").unwrap_or_else(|_| "info".into());
 182
 183   let targets = log_description
 184     .trim()
 185     .trim_matches('"')
 186     .parse::<Targets>()?;
 187
 188   let format_layer = {
 189     #[cfg(feature = "json-log")]
 190     let layer = tracing_subscriber::fmt::layer().json();
 191     #[cfg(not(feature = "json-log"))]
 192     let layer = tracing_subscriber::fmt::layer();
 193
 194     layer.with_filter(targets.clone())
 195   };
 196
 197   let subscriber = Registry::default()
 198     .with(format_layer)
 199     .with(ErrorLayer::default());
 200
 201   if let Some(_url) = opentelemetry_url {
 202     #[cfg(feature = "console")]
 203     telemetry::init_tracing(_url.as_ref(), subscriber, targets)?;
 204     #[cfg(not(feature = "console"))]
 205     tracing::error!("Feature `console` must be enabled for opentelemetry tracing");
 206   } else {
 207     set_global_default(subscriber)?;
 208   }
 209
 210   Ok(())
 211 }