]> Untitled Git - lemmy.git/blobdiff - crates/apub/src/objects/person.rs
Sanitize html (#3708)
[lemmy.git] / crates / apub / src / objects / person.rs
index 18522e569b792c6c53835322d30a31af1d97218d..2c238fb56c309d4c23accaa81633e06f4190fae6 100644 (file)
@@ -1,35 +1,44 @@
 use crate::{
-  check_is_apub_id_valid,
-  generate_outbox_url,
-  objects::get_summary_from_string_or_source,
+  check_apub_id_valid_with_strictness,
+  local_site_data_cached,
+  objects::{instance::fetch_instance_actor_for_object, read_from_string_or_source_opt},
   protocol::{
-    objects::person::{Person, UserTypes},
+    objects::{
+      person::{Person, UserTypes},
+      Endpoints,
+    },
     ImageObject,
     Source,
   },
 };
-use activitystreams::{actor::Endpoints, object::kind::ImageType};
+use activitypub_federation::{
+  config::Data,
+  protocol::verification::verify_domains_match,
+  traits::{Actor, Object},
+};
 use chrono::NaiveDateTime;
-use lemmy_api_common::blocking;
-use lemmy_apub_lib::{
-  traits::{ActorType, ApubObject},
-  values::MediaTypeMarkdown,
-  verify::verify_domains_match,
+use lemmy_api_common::{
+  context::LemmyContext,
+  utils::{generate_outbox_url, local_site_opt_to_slur_regex, sanitize_html, sanitize_html_opt},
 };
 use lemmy_db_schema::{
-  naive_now,
-  source::person::{Person as DbPerson, PersonForm},
+  source::person::{Person as DbPerson, PersonInsertForm, PersonUpdateForm},
+  traits::{ApubActor, Crud},
+  utils::naive_now,
 };
 use lemmy_utils::{
-  utils::{check_slurs, check_slurs_opt, convert_datetime, markdown_to_html},
-  LemmyError,
+  error::LemmyError,
+  utils::{
+    markdown::markdown_to_html,
+    slurs::{check_slurs, check_slurs_opt},
+    time::convert_datetime,
+  },
 };
-use lemmy_websocket::LemmyContext;
 use std::ops::Deref;
 use url::Url;
 
-#[derive(Clone, Debug, PartialEq)]
-pub struct ApubPerson(DbPerson);
+#[derive(Clone, Debug, PartialEq, Eq)]
+pub struct ApubPerson(pub(crate) DbPerson);
 
 impl Deref for ApubPerson {
   type Target = DbPerson;
@@ -40,219 +49,224 @@ impl Deref for ApubPerson {
 
 impl From<DbPerson> for ApubPerson {
   fn from(p: DbPerson) -> Self {
-    ApubPerson { 0: p }
+    ApubPerson(p)
   }
 }
 
-#[async_trait::async_trait(?Send)]
-impl ApubObject for ApubPerson {
+#[async_trait::async_trait]
+impl Object for ApubPerson {
   type DataType = LemmyContext;
-  type ApubType = Person;
-  type TombstoneType = ();
+  type Kind = Person;
+  type Error = LemmyError;
 
   fn last_refreshed_at(&self) -> Option<NaiveDateTime> {
     Some(self.last_refreshed_at)
   }
 
-  async fn read_from_apub_id(
+  #[tracing::instrument(skip_all)]
+  async fn read_from_id(
     object_id: Url,
-    context: &LemmyContext,
+    context: &Data<Self::DataType>,
   ) -> Result<Option<Self>, LemmyError> {
     Ok(
-      blocking(context.pool(), move |conn| {
-        DbPerson::read_from_apub_id(conn, object_id)
-      })
-      .await??
-      .map(Into::into),
+      DbPerson::read_from_apub_id(&mut context.pool(), &object_id.into())
+        .await?
+        .map(Into::into),
     )
   }
 
-  async fn delete(self, context: &LemmyContext) -> Result<(), LemmyError> {
-    blocking(context.pool(), move |conn| {
-      DbPerson::update_deleted(conn, self.id, true)
-    })
-    .await??;
+  #[tracing::instrument(skip_all)]
+  async fn delete(self, context: &Data<Self::DataType>) -> Result<(), LemmyError> {
+    let form = PersonUpdateForm::builder().deleted(Some(true)).build();
+    DbPerson::update(&mut context.pool(), self.id, &form).await?;
     Ok(())
   }
 
-  async fn to_apub(&self, _pool: &LemmyContext) -> Result<Person, LemmyError> {
+  #[tracing::instrument(skip_all)]
+  async fn into_json(self, _context: &Data<Self::DataType>) -> Result<Person, LemmyError> {
     let kind = if self.bot_account {
       UserTypes::Service
     } else {
       UserTypes::Person
     };
-    let source = self.bio.clone().map(|bio| Source {
-      content: bio,
-      media_type: MediaTypeMarkdown::Markdown,
-    });
-    let icon = self.avatar.clone().map(|url| ImageObject {
-      kind: ImageType::Image,
-      url: url.into(),
-    });
-    let image = self.banner.clone().map(|url| ImageObject {
-      kind: ImageType::Image,
-      url: url.into(),
-    });
 
     let person = Person {
       kind,
-      id: self.actor_id.to_owned().into_inner(),
+      id: self.actor_id.clone().into(),
       preferred_username: self.name.clone(),
       name: self.display_name.clone(),
       summary: self.bio.as_ref().map(|b| markdown_to_html(b)),
-      source,
-      icon,
-      image,
+      source: self.bio.clone().map(Source::new),
+      icon: self.avatar.clone().map(ImageObject::new),
+      image: self.banner.clone().map(ImageObject::new),
       matrix_user_id: self.matrix_user_id.clone(),
       published: Some(convert_datetime(self.published)),
       outbox: generate_outbox_url(&self.actor_id)?.into(),
-      endpoints: Endpoints {
-        shared_inbox: self.shared_inbox_url.clone().map(|s| s.into()),
-        ..Default::default()
-      },
-      public_key: self.get_public_key()?,
+      endpoints: self.shared_inbox_url.clone().map(|s| Endpoints {
+        shared_inbox: s.into(),
+      }),
+      public_key: self.public_key(),
       updated: self.updated.map(convert_datetime),
-      unparsed: Default::default(),
       inbox: self.inbox_url.clone().into(),
     };
     Ok(person)
   }
 
-  fn to_tombstone(&self) -> Result<(), LemmyError> {
-    unimplemented!()
-  }
-
-  async fn from_apub(
+  #[tracing::instrument(skip_all)]
+  async fn verify(
     person: &Person,
-    context: &LemmyContext,
     expected_domain: &Url,
-    _request_counter: &mut i32,
-  ) -> Result<ApubPerson, LemmyError> {
-    verify_domains_match(&person.id, expected_domain)?;
-    let actor_id = Some(person.id.clone().into());
-    let name = person.preferred_username.clone();
-    let display_name: Option<String> = person.name.clone();
-    let bio = get_summary_from_string_or_source(&person.summary, &person.source);
-    let shared_inbox = person.endpoints.shared_inbox.clone().map(|s| s.into());
-    let bot_account = match person.kind {
-      UserTypes::Person => false,
-      UserTypes::Service => true,
-    };
+    context: &Data<Self::DataType>,
+  ) -> Result<(), LemmyError> {
+    let local_site_data = local_site_data_cached(&mut context.pool()).await?;
+    let slur_regex = &local_site_opt_to_slur_regex(&local_site_data.local_site);
+    check_slurs(&person.preferred_username, slur_regex)?;
+    check_slurs_opt(&person.name, slur_regex)?;
+
+    verify_domains_match(person.id.inner(), expected_domain)?;
+    check_apub_id_valid_with_strictness(person.id.inner(), false, context).await?;
 
-    let slur_regex = &context.settings().slur_regex();
-    check_slurs(&name, slur_regex)?;
-    check_slurs_opt(&display_name, slur_regex)?;
+    let bio = read_from_string_or_source_opt(&person.summary, &None, &person.source);
     check_slurs_opt(&bio, slur_regex)?;
+    Ok(())
+  }
+
+  #[tracing::instrument(skip_all)]
+  async fn from_json(
+    person: Person,
+    context: &Data<Self::DataType>,
+  ) -> Result<ApubPerson, LemmyError> {
+    let instance_id = fetch_instance_actor_for_object(&person.id, context).await?;
+
+    let name = sanitize_html(&person.preferred_username);
+    let display_name = sanitize_html_opt(&person.name);
+    let bio = read_from_string_or_source_opt(&person.summary, &None, &person.source);
+    let bio = sanitize_html_opt(&bio);
 
-    check_is_apub_id_valid(&person.id, false, &context.settings())?;
+    // Some Mastodon users have `name: ""` (empty string), need to convert that to `None`
+    // https://github.com/mastodon/mastodon/issues/25233
+    let display_name = display_name.filter(|n| !n.is_empty());
 
-    let person_form = PersonForm {
+    let person_form = PersonInsertForm {
       name,
-      display_name: Some(display_name),
+      display_name,
       banned: None,
-      deleted: None,
-      avatar: Some(person.icon.clone().map(|i| i.url.into())),
-      banner: Some(person.image.clone().map(|i| i.url.into())),
-      published: person.published.map(|u| u.clone().naive_local()),
-      updated: person.updated.map(|u| u.clone().naive_local()),
-      actor_id,
-      bio: Some(bio),
+      ban_expires: None,
+      deleted: Some(false),
+      avatar: person.icon.map(|i| i.url.into()),
+      banner: person.image.map(|i| i.url.into()),
+      published: person.published.map(|u| u.naive_local()),
+      updated: person.updated.map(|u| u.naive_local()),
+      actor_id: Some(person.id.into()),
+      bio,
       local: Some(false),
       admin: Some(false),
-      bot_account: Some(bot_account),
+      bot_account: Some(person.kind == UserTypes::Service),
       private_key: None,
-      public_key: Some(Some(person.public_key.public_key_pem.clone())),
+      public_key: person.public_key.public_key_pem,
       last_refreshed_at: Some(naive_now()),
-      inbox_url: Some(person.inbox.to_owned().into()),
-      shared_inbox_url: Some(shared_inbox),
-      matrix_user_id: Some(person.matrix_user_id.clone()),
+      inbox_url: Some(person.inbox.into()),
+      shared_inbox_url: person.endpoints.map(|e| e.shared_inbox.into()),
+      matrix_user_id: person.matrix_user_id,
+      instance_id,
     };
-    let person = blocking(context.pool(), move |conn| {
-      DbPerson::upsert(conn, &person_form)
-    })
-    .await??;
+    let person = DbPerson::upsert(&mut context.pool(), &person_form).await?;
+
     Ok(person.into())
   }
 }
 
-impl ActorType for ApubPerson {
-  fn is_local(&self) -> bool {
-    self.local
-  }
-  fn actor_id(&self) -> Url {
-    self.actor_id.to_owned().into_inner()
-  }
-  fn name(&self) -> String {
-    self.name.clone()
+impl Actor for ApubPerson {
+  fn id(&self) -> Url {
+    self.actor_id.inner().clone()
   }
 
-  fn public_key(&self) -> Option<String> {
-    self.public_key.to_owned()
+  fn public_key_pem(&self) -> &str {
+    &self.public_key
   }
 
-  fn private_key(&self) -> Option<String> {
-    self.private_key.to_owned()
+  fn private_key_pem(&self) -> Option<String> {
+    self.private_key.clone()
   }
 
-  fn inbox_url(&self) -> Url {
+  fn inbox(&self) -> Url {
     self.inbox_url.clone().into()
   }
 
-  fn shared_inbox_url(&self) -> Option<Url> {
-    self.shared_inbox_url.clone().map(|s| s.into_inner())
+  fn shared_inbox(&self) -> Option<Url> {
+    self.shared_inbox_url.clone().map(Into::into)
   }
 }
 
 #[cfg(test)]
 pub(crate) mod tests {
+  #![allow(clippy::unwrap_used)]
+  #![allow(clippy::indexing_slicing)]
+
   use super::*;
-  use crate::objects::tests::{file_to_json_object, init_context};
-  use lemmy_db_schema::traits::Crud;
+  use crate::{
+    objects::{
+      instance::{tests::parse_lemmy_instance, ApubSite},
+      tests::init_context,
+    },
+    protocol::{objects::instance::Instance, tests::file_to_json_object},
+  };
+  use activitypub_federation::fetch::object_id::ObjectId;
+  use lemmy_db_schema::{source::site::Site, traits::Crud};
   use serial_test::serial;
 
-  pub(crate) async fn parse_lemmy_person(context: &LemmyContext) -> ApubPerson {
-    let json = file_to_json_object("assets/lemmy/objects/person.json");
+  pub(crate) async fn parse_lemmy_person(context: &Data<LemmyContext>) -> (ApubPerson, ApubSite) {
+    let site = parse_lemmy_instance(context).await;
+    let json = file_to_json_object("assets/lemmy/objects/person.json").unwrap();
     let url = Url::parse("https://enterprise.lemmy.ml/u/picard").unwrap();
-    let mut request_counter = 0;
-    let person = ApubPerson::from_apub(&json, context, &url, &mut request_counter)
-      .await
-      .unwrap();
-    assert_eq!(request_counter, 0);
-    person
+    ApubPerson::verify(&json, &url, context).await.unwrap();
+    let person = ApubPerson::from_json(json, context).await.unwrap();
+    assert_eq!(context.request_count(), 0);
+    (person, site)
   }
 
-  #[actix_rt::test]
+  #[tokio::test]
   #[serial]
   async fn test_parse_lemmy_person() {
-    let context = init_context();
-    let person = parse_lemmy_person(&context).await;
+    let context = init_context().await;
+    let (person, site) = parse_lemmy_person(&context).await;
 
     assert_eq!(person.display_name, Some("Jean-Luc Picard".to_string()));
-    assert!(person.public_key.is_some());
     assert!(!person.local);
     assert_eq!(person.bio.as_ref().unwrap().len(), 39);
 
-    DbPerson::delete(&*context.pool().get().unwrap(), person.id).unwrap();
+    cleanup((person, site), &context).await;
   }
 
-  #[actix_rt::test]
+  #[tokio::test]
   #[serial]
   async fn test_parse_pleroma_person() {
-    let context = init_context();
-    let json = file_to_json_object("assets/pleroma/objects/person.json");
+    let context = init_context().await;
+
+    // create and parse a fake pleroma instance actor, to avoid network request during test
+    let mut json: Instance = file_to_json_object("assets/lemmy/objects/instance.json").unwrap();
+    json.id = ObjectId::parse("https://queer.hacktivis.me/").unwrap();
     let url = Url::parse("https://queer.hacktivis.me/users/lanodan").unwrap();
-    let mut request_counter = 0;
-    let person = ApubPerson::from_apub(&json, &context, &url, &mut request_counter)
-      .await
-      .unwrap();
+    ApubSite::verify(&json, &url, &context).await.unwrap();
+    let site = ApubSite::from_json(json, &context).await.unwrap();
+
+    let json = file_to_json_object("assets/pleroma/objects/person.json").unwrap();
+    ApubPerson::verify(&json, &url, &context).await.unwrap();
+    let person = ApubPerson::from_json(json, &context).await.unwrap();
 
-    assert_eq!(person.actor_id.clone().into_inner(), url);
+    assert_eq!(person.actor_id, url.into());
     assert_eq!(person.name, "lanodan");
-    assert!(person.public_key.is_some());
     assert!(!person.local);
-    assert_eq!(request_counter, 0);
+    assert_eq!(context.request_count(), 0);
     assert_eq!(person.bio.as_ref().unwrap().len(), 873);
 
-    DbPerson::delete(&*context.pool().get().unwrap(), person.id).unwrap();
+    cleanup((person, site), &context).await;
+  }
+
+  async fn cleanup(data: (ApubPerson, ApubSite), context: &LemmyContext) {
+    DbPerson::delete(&mut context.pool(), data.0.id)
+      .await
+      .unwrap();
+    Site::delete(&mut context.pool(), data.1.id).await.unwrap();
   }
 }