Optimize hot rank updates (#3617)

Split activity table into sent and received parts (fixes #3103) (#3583)

* Split activity table into sent and received parts (fixes #3103)

The received activities are only stored in order to avoid processing
the same incoming activity multiple times. For this purpose it is
completely unnecessary to store the data. So we can split the
table into sent_activity and received_activity parts, where
only sent_activity table needs to store activity data. This should
reduce storage use significantly.

Also reduces activity storage duration to three months, we can reduce
this further if necessary.

Additionally the id columns of activity tables are removed because
they are completely unused and risk overflowing (fixes #3560).

* address review

* move insert_received_activity() methods to verify handlers

* remove unnecessary conflict line

* clippy

* use on conflict, add tests

work around race condition on community fetch (#3414)

Make `lemmy_api_common` wasm-compatible (#3587)

* Fixing lemmy_api_common optionals

* Adding taplo for .toml files.

* Versioning taplo in woodpecker.

* Addressing PR comments.

Add dev profile to strip symbols and disable debug info (ref #3610) (#3611)

* Add dev profile to strip symbols and disable debug info (ref #3610)

This significantly speeds up builds:
- with strip symbols and debug 0: 43s
- without: 169s

* add comment, no strip symbols

Check for dead federated instances (fixes #2221) (#3427)

* Check for dead federated instances (fixes #2221)

* move to apub crate, use timestamp

* make it compile

* clippy

* use moka to cache blocklists, dead instances, restore orig scheduled tasks

* remove leftover last_alive var

* error handling

* wip

* fix alive check for instances without nodeinfo, add coalesce

* clippy

* move federation blocklist cache to #3486

* unused deps

Fix wrong SMTP port when TLS is being used (fixes #3574) (#3607)

Co-authored-by: Manuel Bleichner <manuel.bleichner@bvu.de>

Add workaround for #3102 until cross-compile work complete (#3472)

* Add workaround for #3102 until cross-compile work complete

* Minor cleanup

---------

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

Updated Lemmy Matrix Support link (#3599)

Update RELEASES.md (#3593)

replaced the confusing api_key line that's commented out with the line that is now used in the new config.hjson in /lemmy-ansible/examples

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

Add infinite scroll user option (#3572)

Use specific Rust nightly version for CI cargo fmt (fixes #3467) (#3577)

* Use specific Rust nightly version for CI cargo fmt (fixes #3467)

* fix

* fix

Make functions work with both connection and pool (#3420)

* a lot

* merge

* Fix stuff broken by merge

* Get rid of repetitive `&mut *context.conn().await?`

* Add blank lines under each line with `conn =`

* Fix style mistakes (partial)

* Revert "Fix style mistakes (partial)"

This reverts commit 48a033b87f4fdc1ce14ff86cc019e1c703cd2741.

* Revert "Add blank lines under each line with `conn =`"

This reverts commit 773a6d3beba2cf89eac75913078b40c4f5190dd4.

* Revert "Get rid of repetitive `&mut *context.conn().await?`"

This reverts commit d2c6263ea13710177d49b2791278db5ad115fca5.

* Use DbConn for CaptchaAnswer methods

* DbConn trait

* Remove more `&mut *`

* Fix stuff

* Re-run CI

* try to make ci start

* fix

* fix

* Fix api_common::utils

* Fix apub::activities::block

* Fix apub::api::resolve_object

* Fix some things

* Revert "Fix some things"

This reverts commit 2bf8574bc8333d8d34ca542d61a0a5b50039c24d.

* Revert "Fix apub::api::resolve_object"

This reverts commit 3e4059aabbe485b2ff060bdeced8ef958ff62832.

* Revert "Fix apub::activities::block"

This reverts commit 3b02389abd780a7b1b8a2c89e26febdaa6a12159.

* Revert "Fix api_common::utils"

This reverts commit 7dc73de613a5618fa57eb06450f3699bbcb41254.

* Revert "Revert "Fix api_common::utils""

This reverts commit f740f115e5457e83e53cc223e48196a2c47a9975.

* Revert "Revert "Fix apub::activities::block""

This reverts commit 2ee206af7c885c10092cf209bf4a5b1d60327866.

* Revert "Revert "Fix apub::api::resolve_object""

This reverts commit 96ed8bf2e9dcadae760743929498312334e23d2e.

* Fix fetch_local_site_data

* Fix get_comment_parent_creator

* Remove unused perma deleted text

* Fix routes::feeds

* Fix lib.rs

* Update lib.rs

* rerun ci

* Attempt to create custom GetConn and RunQueryDsl traits

* Start over

* Add GetConn trait

* aaaa

* Revert "aaaa"

This reverts commit acc9ca1aed10c39efdd91cefece066e035a1fe80.

* Revert "Revert "aaaa""

This reverts commit 443a2a00a56d152bb7eb429efd0d29a78e21b163.

* still aaaaaaaaaaaaa

* Return to earlier thing

Revert "Add GetConn trait"

This reverts commit ab4e94aea5bd9d34cbcddf017339131047e75344.

* Try to use DbPool enum

* Revert "Try to use DbPool enum"

This reverts commit e4d1712646a52006b865a1fbe0dcf79976fdb027.

* DbConn and DbPool enums (db_schema only fails to compile for tests)

* fmt

* Make functions take `&mut DbPool<'_>` and make db_schema tests compile

* Add try_join_with_pool macro and run fix-clippy on more crates

* Fix some errors

* I did it

* Remove function variants that take connection

* rerun ci

* rerun ci

* rerun ci

Shrink capacity in `RateLimitStorage::remove_older_than` (#3536)

* Shrink capacity in `RateLimitStorage::remove_older_than`

* Update rate_limiter.rs

* rerun ci

* rerun ci

* rerun ci

* Update rate_limiter.rs

Fix #3366: Wrap plain-text error responses from the API in JSON (#3559)

* Fix #3366: API does return plain HTML errors

* Fix Clippy errors

* Improve api response times by doing send_activity asynchronously (#3493)

* do send_activity after http response

* move to util function

* format

* fix prometheus

* make synchronous federation configurable

* cargo fmt

* empty

* empty

---------

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>
* Updating `login.rs` with generic `incorrect_login` response. (#3549)

* Adding v0.18.1 and v0.18.0 release notes. (#3530)

* Update RELEASES.md (#3556)

added instruction to find the location of your docker directory (especially useful for those who used ansible since they never had to setup docker manually)

* Use async email sender (#3554)

* Upgrade all dependencies (#3526)

* Upgrade all dependencies

* as base64

* Adding phiresky to codeowners. (#3576)

* Error enum fixed (#3487)

* Create error type enum

* Replace magic string slices with LemmyErrorTypes

* Remove unused enum

* Add rename snake case to error enum

* Rename functions

* clippy

* Fix merge errors

* Serialize in PascalCase instead of snake_case

* Revert src/lib

* Add serialization tests

* Update translations

* Fix compilation error in test

* Fix another compilation error

* Add code for generating typescript types

* Various fixes to avoid breaking api

* impl From<LemmyErrorType> for LemmyError

* with_lemmy_type

* trigger ci

---------

Co-authored-by: SleeplessOne1917 <abias1122@gmail.com>
* Only update site_aggregates for local site (#3516)

* Fix #3501 - Fix aggregation counts for elements removed and deleted (#3543)

Two bugs were found and fixed:
- previously elements removal and deletion were counted as two separate disappearances
- removing comments did not affect post aggregations

* Use LemmyErrorType also make error_type compulsory

* Add missing import for jsonify_plain_text_errors

* Fix formatting

* Trying to make woodpecker run again

---------

Co-authored-by: phiresky <phireskyde+git@gmail.com>
Co-authored-by: Dessalines <dessalines@users.noreply.github.com>
Co-authored-by: rosenjcb <rosenjcb@gmail.com>
Co-authored-by: nixoye <12674582+nixoye@users.noreply.github.com>
Co-authored-by: dullbananas <dull.bananas0@gmail.com>
Co-authored-by: Nutomic <me@nutomic.com>
Co-authored-by: SleeplessOne1917 <abias1122@gmail.com>
Co-authored-by: Sander Saarend <sander@saarend.com>
Co-authored-by: Piotr Juszczyk <74842304+pijuszczyk@users.noreply.github.com>

Fix #3501 - Fix aggregation counts for elements removed and deleted (#3543)

Two bugs were found and fixed:
- previously elements removal and deletion were counted as two separate disappearances
- removing comments did not affect post aggregations

Only update site_aggregates for local site (#3516)

Error enum fixed (#3487)

* Create error type enum

* Replace magic string slices with LemmyErrorTypes

* Remove unused enum

* Add rename snake case to error enum

* Rename functions

* clippy

* Fix merge errors

* Serialize in PascalCase instead of snake_case

* Revert src/lib

* Add serialization tests

* Update translations

* Fix compilation error in test

* Fix another compilation error

* Add code for generating typescript types

* Various fixes to avoid breaking api

* impl From<LemmyErrorType> for LemmyError

* with_lemmy_type

* trigger ci

---------

Co-authored-by: SleeplessOne1917 <abias1122@gmail.com>

Adding phiresky to codeowners. (#3576)

Upgrade all dependencies (#3526)

* Upgrade all dependencies

* as base64

Use async email sender (#3554)

Update RELEASES.md (#3556)

added instruction to find the location of your docker directory (especially useful for those who used ansible since they never had to setup docker manually)

Adding v0.18.1 and v0.18.0 release notes. (#3530)

Updating `login.rs` with generic `incorrect_login` response. (#3549)

Improve api response times by doing send_activity asynchronously (#3493)

* do send_activity after http response

* move to util function

* format

* fix prometheus

* make synchronous federation configurable

* cargo fmt

* empty

* empty

---------

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

Version 0.18.1

Revert "Make sure hot rank sorts for post and community filter by positive hot ranks. (#3497)" (#3521)

This reverts commit 6840fd64f9bee9fff263ed797350a316ebdb98c6.

Make hot rank not crash on future (#3517)

* make hot rank zero for future

* parallel safe

Upgrade crossbeam-channel (#3512)

Update prettier to 3.0.0 (#3509)

* Update prettier to 3.0.0

* Updating prettier dep.

* Explicity 3.0.0 version.

Version 0.18.1-rc.10

improve admin and mod check to not do seq scans and return unnecessary data (#3483)

* improve admin and mod check

* fix clippy

* move admin index to existing code

* Revert "move admin index to existing code"

This reverts commit d0c58d5f4021e1775d0c1d30d8df6c7df87557c4.

* third attempt at the migration

* fix formatting

* rebuild

---------

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

Only allow http(s) scheme for urls (ref #3505) (#3508)

With this change only http(s) schemes are allowed for post.url
field. This is checked for incoming api and federation requests.
Existing posts in database which are sent to clients are not
checked. Neither does it check urls in markdown.

Change security contact mail (#3506)

Old one isnt working apparently

Allow cross-origin requests (#3421)

Co-authored-by: pfg <pfg@pfg.pw>

Make sure hot rank sorts for post and community filter by positive hot ranks. (#3497)

* Make sure hot rank sorts for post and community filter by positive hot ranks.

- Context #2994

* Adding a comment.

Fixes wrong community moderator ordering. (#3495)

Use fixed prettier version for CI (#3507)

3.0.0 was pushed to docker hub 2 hours ago, thats probably why
builds are breaking now.

upgrade markdown-it to fix panic (#3490)

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

improve performance of community followers inbox query (#3482)

* improve performance of community followers inbox query

* nightly format

* force woodpecker to retry

---------

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

Cache federation blocklist (#3486)

* Cache federation blocklist

* revert submodule change

Add Prometheus endpoint (#3456)

Add a server for serving Prometheus metrics. Include a configuration
block in the config file. Provide HTTP metrics on the API, along with
process-level metrics and DB pool metrics.

Adding a person.admin index, and featured_local/community indexes. (#3479)

Add feature for enabling json logging (#3462)

fix(posts/comments/search): return error on invalid community name (#3418)

Improved validation of display names (Fixes #3436) (#3437)

* Fixed validation of display names

Fixed validation of display names: reject names beginning with invisible unicode characters.

* Formatting

Formatting fix.

* Expanded list of forbidden Unicode characters. Validation now checks for disallowed characters anywhere in the name.

* Formatting

* Added a comment detailing source of the list of invisible chars.

Fixing clippy. (#3471)

Remove not needed anymore  http-signature-normalization-actix dependency (#3458)

300 comment limit. (#3306)

* 300 comment limit.

* Another fix.

Version 0.18.1-rc.9

Do not decrement comment score twice when removing then deleting. (#3196)

Fixes #3004

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

Remove excessive content_type header configuration (#3470)

Adding rest of community sorts. Fixes #3374 (#3376)

* Adding rest of community sorts. Fixes #3374

* Addressing PR comments.

Dont compare db string errors (fixes #1393) (#3424)

* Dont compare db string errors (fixes #1393)

* cargo fmt

---------

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

Add Open links in new tab setting (#3318)

* Add Open links in new tab setting

* reorder because it fixes tests ?

Fix awesome-lemmy owner (#3469)

Add awesome-lemmy to LemmyNet? (#3413)

* Add LemmyNet/awesome-lemmy

* Delete other apps/projects from README.md

Use serde(skip) instead of skip_serializing, add placeholder values (#3362)

* Use serde(skip) instead of skip_serializing

The latter breaks lemmy_crawler as the field is not included in
the Lemmy API, but is required when attempting to parse API responses.
Should only use serde(skip) to avoid this problem

* use option

* add placeholders

* no unwrap

Mark follow as pending when subscribing to remote community (fixes #3384) (#3406)

Fix formatting for latest nightly (#ref 3467)

Remove PerformApub trait (#3423)

* Remove PerformApub trait

This is completely useless now that websocket is gone. In the future
I also plan to remove Perform and PerformCrud traits, but it will be
difficult to do that while still compiling crates in parallel.

* params need to use query

Fix quoting of max-file in docker-compose.yml (#3442)

don't strip, log trace if requested (#3425)

Update federated posts to not cache sensitive images if not allow by local site (#3253)

* Update federated posts to not cache sensitive images if not allow by local site

* Refactor thumbnail match to simplify logic

Fix concatenation of audio captcha wav files (#3350)

* Fix concatenation of audio captcha wav files

* Log errors rather than crashing

* Return Result from captcha_as_wav_base64

* Change to return LemmyError

* Check for wav write error, format

* Remove unused import

* Rewrite to avoid clippy warnings

Automatically manage database when running scripts/test.sh (#3389)

* Update .gitignore

* Create start-dev-db.sh

* Rename start-dev-db.sh to start_dev_db.sh

* Update .gitignore

* Update start_dev_db.sh

* Update start_dev_db.sh

* Update start_dev_db.sh

* Update start_dev_db.sh

* h

* Update test.sh

* Update start_dev_db.sh

* made it work

* Make test.sh work when run from scripts dir

Version 0.18.1-rc.4

Fixing release script. (#3398)

* Fixing release script.

* Version 0.18.1-rc.2

* Removing cargo update from release script.

* Fixing topdir location.

Added gitattributes to normalize all files to lf (#3386)

This makes it less annoying to build on windows/mac

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

Update activitypub-federation crate to 0.4.5 (#3379)

https://github.com/LemmyNet/activitypub-federation-rust/releases/tag/0.4.5

Fix cargo warnings (#3397)

Fix missing sorting types (#3370)

* Fix missing sorting types

* Reordered sort_type_enum

docs(api): Add api-common info on generating TypeScript bindings (#3330)

Remove redundant calls to `Iterator::collect` (#3365)

* Remove redundant calls to `Iterator::collect`

* Update mentions.rs

* Add clippy lints and run fmt

* CI ran on the wrong commit again 

Run cargo update as part of release script (#3369)

To get newest dependency patches and get rid of yanked deps

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

Version 0.18.1-rc.1

Fixes #2900 - Checks slur regex to see if it is too permissive (#3146)

* Fixes #2900 - Checks slur regex to see if it is too permissive along with small validation organization

* Clean up variable names, add handler for valid empty string usecase

* Update tests

* Create validation function and add tests

* Test clean up

* Use payload value vs local site value to prevent stunlocking

* Remove println added while testing

* Fall back to local site regex if not provided from request

* Attempt clean up of flaky comment_view tests

* Pull in latest submodule

* Move application, post check into functions, add more tests and improve test readability

---------

Co-authored-by: Nutomic <me@nutomic.com>

add new flag to api (#3363)

feat: re-added captcha checks (#3289)

Limit password resets (#3344)

Fixing the release script. (#3295)

* Fixing the release script.

* Updating the submodules.

Batch hot rank updates (#3175)

Feature add three six and nine months options backend (#3226)

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

Fetch community outbox and moderators in parallel (#3360)

This will speedup first time fetching of a remote community

Remove networks from docker-compose.yml (#3356)

Item URL should point to post URL (#3345)

If the post is an URL post the item link should point to the URL of the
link that is being posted.

Site Metadata: resolve relative URLs for embedded images/videos (#3338)

* Site Metadata: resolve relative URLs for embedded images/videos

* api_common: relax version requirement of `webpage` dependency

With this change we opt into next (non breaking) versions of webpage-rs

* cargo +nightly fmt

* Add tests for resolving absolute urls in SiteMetadata

Use compression middleware (#3343)

Remove another unused dev dependency

Adjust the config check to be a separate faster to compile binary (#3313)

Remove unused actix_rt dependency

Add Liftoff to README.md (#3357)

Respond with `Content-Type: application/activity+json` (#3353)

As per ActivityPub specification, the return type should be
`application/activity+json`, not `application/json`.

Fix lemmy UI environment variable (#3299)

Leave no apk cache in Docker image (#3327)

Allow wildcard imports in schema.rs (#3293)

Dont mess with auto-generated code, this avoids problems with
clippy after running diesel commands

Update DB local_user.theme type to text (#3266)

* Update local_user.theme type to text

* fix default value

* Undo auto generate changes

feat: allow all admins to purge content (#3271)

Add separate Post check for is_valid_body_field (#3263)

* Add separate Post check for is_valid_body_field

* Modify is_valid_body_check for posts only

* Fix check var reinit in validation.rs

* Extra empty line to rerun woodpecker with changes

* Change Option to bool, add false to non-post calls

* Woodpecker trick.. again

* Probable rust_fmt fail fixed

* cargo_clippy changes

* Missing space between = and if

* Remove ; after body length checks

Merge branch 'vijaykramesh_clear_deleted_posts_comments'