openbilibili/app/job/main/tv/CHANGELOG.md

tv-job

Version 1.7.6

1. tv数据上报多表联合查询上报改为单表查询上报

Version 1.7.5

1. seasonCMS结构体新增pay_status字段，写入缓存中，用于tv-interface的卡片贴标
2. 消费databus更新ep缓存逻辑中新增pay_status和subtitle字段

Version 1.7.4

1. Season的Area字段由int改为string型，兼容多个地区合拍的情况；目前兼容老数据，当area仍为int时，走老逻辑，否则走新逻辑
2. 修复空season提审问题

Version 1.7.3

1. 同步pgc付费信息给牌照

Version 1.7.2

1. 修改sync.Waitgroup的写法，将s.waiter.Add()移出
2. 修改cache.New的写法，使用新的Fanout

Version 1.7.1

1. 补全dao/app下的ut

Version 1.7.0

1. 判断UGC稿件为付费稿件时，不导入tv后台
2. 对稿件的判断，如ugc付费，原创等全部收敛到model中，方便以后迭代

Version 1.6.9

1. 稿件自动cms上架逻辑，如果当前稿件为过审且cms下架状态，且稿件新增

Version 1.6.8

1. 补dao层中archive和ftp的ut

Version 1.6.7

1. 优化tv数据上报逻辑

Version 1.6.6

1. 修复一个cid出现在两个稿件时，其中一个cid发送到牌照方后，另外一个cid虽未发送但也显示已发送

Version 1.6.5

1. 添加详情页风格标签及跳转

Version 1.6.4

1. UGC提审加速：
2. videoDatabus中判断是否为转码完成并且需要提交的，如是则加入channel中
3. fullRefresh中的aid遍历逻辑也进由channel处理
4. 写法优化：原创逻辑、可提审逻辑等迁入model中，方便复用

Version 1.6.3

1. 为准备tv会员，临时对所有无过审或免费的season做下架处理，反之做上架处理；上下架操作结果发送到企业微信
2. 在配置中设置开关，tv会员上下后，只对无过审的season做下架，不再考虑付费状态

Version 1.6.2

1. 修复数据上报bug

Version 1.6.1

1. databus监听逻辑优化，比较媒资字段是否修改后再更新
2. 优化PGC过审保持逻辑
3. 去掉所有带7的逻辑
4. 改为由databus更新放入内存中，另一侧进行消费
5. 提审由ep改为season，异步改同步
6. PGC提审优化：
7. 第一次提审失败后，即进入resub队列，最多重试5次
8. 去掉audit_time相关的操作
9. PGC提审新增字段：出品方和剧集类型

Version 1.6.0

1. tv数据上报

Version 1.5.9

1. tv-job做grpc改造
2. 一些log.error改成log.warn

Version 1.5.8

1. 筛选archive-Notify T消息时，需要大量查询DB中upper表，优化为查询内存中的map
2. pgc的全量缓存刷新由异步改为同步，使用type func统一season和ep的刷新方式，减少代码量
3. call视频云改为异步批量操作，提升效率，降低DB依赖
4. UGC的视频全量扫描，进行以下任务：
5. (原有) 稿件缓存刷新
6. (原有) 视频缓存刷新
7. (新增) 处理删除稿件，如其下仍有未删除的分p，则进行删除
8. (新增) 处理cid > 12780000 并且 转码失败的分p，进行分p及稿件（如稿件下无有效分p）的删除
9. (新增) 获取稿件下所有可提审的video，分片后拼接提审xml（取消原有扫描DB提审的方式，避免慢查询）
10. (新增) 提审时如果命中视频云指定错误码，如10005，则分p删除和稿件（如无其他分p）删除
11. 修复seasonCMS的model中的json tag，保证芒果媒资中的origin_name字段可以正常从MC中获取
12. dao层所有rows.Next补上rows.Err

Version 1.5.7

1. 芒果媒资同步配套

Version 1.5.6

1. 转载视频从manual、auto和init三个途径禁止进入
2. cid <= 12780000的分p视频无需提交视频云

Version 1.5.5

1. 导入up主的每页视频中增加间隙，防止cpu、db query等过快增长触发报警
2. 消费databus的消息时，通过配置可限制goroutines的数量
3. ugc全量缓存所有配置和pgc配置分开、ugc全量缓存生产时增加间隙、取消job启时刷新全量ugc缓存
4. 优化选取ugc提审video和archive的sql，以避免扫描全表
5. 修改稿件重新提审不再依赖DB，转而由databus获取消息后放入channel中进行通知

Version 1.5.4

1. 配合tv-interface的历史记录需求，增加pgc中ep的cms信息的缓存逻辑
2. 简化pgc索引页逻辑

Version 1.5.3

1. service、dao、model层整理，全部改为文件夹封装
2. 在redis中维护ugc索引页数据：生活，科技，游戏，时尚，音乐

Version 1.5.2

1. ugc稿件提审条件中不必要视频转码完成，若其cid <= 12780000，认为已转码完成，无需提审
2. 完善tv-job的UT，提升ut通过率至100%

Version 1.5.1

1. 修复up主刷新时，异步回写缓存导致缓存中数据不全的问题
2. 修复up主face因为bfs节点导致误认为是头像更新的问题

Version 1.5.0

1. [up主管理及同步] 新增dao/upper
2. 将手动提审的aid落库时，如发现其up主未在白名单内，加入到白名单内
3. 同步ugc分p或者稿件时，携带其稿件的up主信息给牌照（取原名）
4. 定时全量刷新tv端up主白名单信息，检测up主头像和昵称的变动，触发牌照同步
5. 增加UT覆盖率

Version 1.4.7

1. 新增逻辑：新增ugc稿件时，如命中pgc分区则忽略
2. 新增逻辑：ugc稿件分区修改同步，如命中pgc分区则删除该稿件

Version 1.4.6

1. 针对archive-notify T中的archive的稿件的封面字段进行补全

Version 1.4.5

1. 修复UGC搜索数据源上传ftp时的字段，由id改为aid
2. 修改全量刷新缓存的策略，采用串行的方式，降低并发度，避免过多timeout

Version 1.4.4

1. UGC和PGC搜索数据源上传ftp
2. 修改ftp上传的方式，由cron改为sleep

Version 1.4.3

1. ugc提审处判断视频云转码状态，如果转码未完成，不提审

Version 1.4.2

1. 修复copyright导致ugc不提审的问题
2. 修复pgc删除接口通知牌照时，sign和prefix倒反的问题
3. 对于删除接口，如果返回为-404视频未找到，不认为是错误，更新通知状态为成功

Version 1.4.1

1. 针对当贝和芒果的最新更新第X集的需求，使用过滤方式进行计算，加入缓存中
2. 修复问题：在最新ep过审后，不会更新season的缓存，导致前端拿到的newestEP不准确

Version 1.4.0

1. 在自身表的变更databus消息的消费逻辑中增加，如果archive为过审状态，则缓存archive的arc和view的rpc结果，便于ugc详情页调用archive的数据
2. 在fullRefresh中添加ugc的video的逻辑，将ugc的video全量缓存铺满mc

Version 1.3.8

1. 修复缓存中newestOrder字段的逻辑

Version 1.3.7

1. 针对ugc稿件，定时刷新全量的cms和鉴权信息；databus刷新增量的cms和鉴权信息

Version 1.3.6

1. 去掉ping方法中的内容，避免被踢节点
2. 向搜索ftp上传文件时增加重试
3. 去掉一些重复的log.Error
4. 维护全量和增量的pgc和ugc的媒资信息（用于在tv-interface中吐出给当贝） 扩展在mc中的pgc的媒资信息：定时全量刷新，databus增量刷新 新增在mc中的ugc的媒资信息：定时全量刷新，databus增量刷新

Version 1.3.5

1. 不同步UGC转载的稿件到牌照方

Version 1.3.4

1. 在mc中的ep鉴权信息中增加watermark信息

Version 1.3.3

1. 同步新增视频至视频云

Version 1.3.2

1. 修复牌照字段错误

Version 1.3.1

1. 修复重启时调用service.Close报错的问题

Version 1.3.0

1. 对接UGC视频数据
2. 手动提审视频落库
3. 导入up主的全量历史数据
4. 新增数据提审！！
5. 数据修改，删除，通知牌照方（分p全量diff判断修改）

Version 1.2.10

1.fix xml错误的 panic

Version 1.2.9

1.添加pgc下架过审状态保持的配套逻辑，当season/ep状态为7时，通知牌照方已删除，之后恢复到过审状态。

Version 1.2.8

1. 修改配置

Version 1.2.7

1.修复文件写入不截断的问题，加入TRUNC模式

Version 1.2.6

1.定期向搜索的ftp上传过审season的title的文件

1. Update Bazel

Version 1.2.5

1.同步修改过的season时，检查其下的ep数量，为0时不提交

Version 1.2.4

1.修改牌照提审前缀为可配置，xds

Version 1.2.3

1.添加redis相关逻辑，在redis中为每个分区维护一个过审season id的列表 2.增加databus消息同步redis逻辑

Version 1.2.2

1.playurl接口添加参数qn=16, fix视频质量为16

Version 1.2.1

1.修复文件名命名，去除大小和驼峰 2.对接playurl接口，获取playurl后提供给牌照方

Version 1.2.0

1.增加重新提审逻辑：如果原来已过审，season的check字段，ep的state字段会在pgc更新后变为7。tv-job对于7的进行单独重新提审，而后立刻恢复上线状态。

Version 1.1.0

1. 添加全量数据MC同步 - 每日一次定时任务将DB中数据刷新到MC中 2, 添加异步数据MC同步 - 监听Databus数据更新MC中 - 审核状态+干预数据

Version 1.0.1

1. 添加season的zone的翻译，除了1中国，2日本之外的数字全部翻译为“其他”

Version 1.0.0

1. 初始版本：对比pgc同步过来的ep、season表和tv_content_ep表的数据差值，插入到content表，state为1（待审核）
2. 选取所有待审核的ep信息，调用牌照方接口提审（包含视频云临时视频url）